L'histoire de notre village est intimement liée à celle du château.
Le « petit château » est construit en 1515 pour le sieur d'Harville, gouverneur de Monfort et bailli du roi François Ier.
Le « grand château » est construit en 1710 par Guillaume IV de Briçonnet, avocat général au Grand Conseil et conseilleur au Parlement de Paris.
Le prince de Polignac devient propriétaire de Millemont en 1827.
La princesse de Polignac vend le château en 1843 à M. Richard, riche avocat d'affaires parisien. Maurice Richard, son fils, ministre sous le Second Empire, en hérite. Éloigné des affaires publiques suite à la chute de l'Empire, il se rangea, lors de la scission qui se produisit dans le parti bonapartiste, du côté du prince Napoléon, dont il resta le familier et l'ami. C'est à Millemont que le prince reçut du gouvernement de Thiers, en 1872, l'ordre de quitter la France.
Les communs sont inscrits au titre des monuments historiques depuis le 28 avril 1947 tandis que l'ensemble du château fait l’objet d’un classement au titre des monuments historiques depuis le 25 janvier 1965.
