Le roman, tout comme le film, est divisé en quatre parties:
« Le Mystère du Louvre »
« De mystère en mystère »
« Le Fantôme noir »
« Les Deux Polices »
L'histoire commence au Musée du Louvre, dans la « salle des Dieux barbares », où un veilleur de nuit surprend une étrange silhouette qui semblait vouloir s'en prendre à la statue de « Belphégor, dieu des Moabites ». Pourchassé par le gardien, le visiteur fantomatique disparaît mystérieusement. La nuit suivante, il se manifeste à nouveau et assomme un autre gardien, retrouvé mourant le lendemain matin, à côté de la statue renversée. L'inspecteur Ménardier, chargé de l'enquête officielle, n'apprécie guère qu'un jeune journaliste intrépide s'intéresse de très près à l'affaire. Le célèbre détective privé Chantecoq se lance aussi sur la piste du fantôme ...