Il devient facteur rural autour de 1867. Ferdinand est un rêveur. Pendant sa tournée, il s'imagine construire des mondes féeriques, un palais surtout.
Un jour d'avril 1879, son pied bute contre un obstacle, Ferdinand est projeté dans une chute et lorsqu'il se relève, il découvre une pierre à la forme extraordinaire. Ce sera la révélation, le coup d'envoi pour une aventure incomparable.
À partir de cet instant, Ferdinand ne connaîtra plus la quiétude d'un retour à la maison après le travail. Même pendant ses tournées, il ramassera pierres et cailloux, les chargera sur son dos, fera des kilomètres ainsi alourdi et ne vivra plus que pour l'édification de son palais.
Il a 43 ans lorsqu'il entreprend la construction de son oeuvre. Il creuse d'abord un bassin dans lequel il sculptera un bestiaire incroyable. Ensuite, il y ajoutera une cascade. Deux ans seront nécessaires à cette réalisation.
Il met les vingt années suivantes à élever les murs extérieurs du palais. Avec des pierres de toutes formes, du mortier, du ciment et de la chaux, Cheval façonne des murs pouvant atteindre jusqu'à 11 mètres de hauteur, illustrés de scènes que l'on sent inspirées de fables bibliques et orientales.
Le château fait approximativement 23 mètres de longueur et nul autre que Cheval ne participe à sa facture.
Dans les environs, on le considère un peu simple. Il passe pour l'idiot du village et ses voisins critiquent même son entreprise. Mais lorsque des pans entiers de ce palais singulier prennent forme sous leurs yeux, année après année, ils n'ont d'autre choix que de se rendre à l'évidence du génie de Cheval.
Et non seulement de cet aspect visionnaire qui caractérise son oeuvre mais de l'acharnement qu'il met à la mener à terme, seul, comme investi d'une mission divine...