Il devient alors la propriété de la famille de Thomas Dussin, huissier de chambre de Louis XIII et Anne d’Autriche. Sa pierre tombale se trouve conservée dans le transept de l’église Saint-Vigor.

Il fait l’objet d’une importante spéculation immobilière au  cours du XVII^e siècle, jusqu’à aboutir entre les mains d’un autre Thomas Dussin, fils du précédent, premier huissier de chambre de Monsieur, qui le revend, au bout de 20 jours et au double de son prix, le 14 décembre 1693, à Guy-Crescent Fagon, premier médecin de Louis XIV, membre de l’Académie des sciences et administrateur du Jardin des Plantes. Ce dernier ne cessera dès lors d’agrandir le domaine durant 23 ans.

Le 4 août 1802, il échoit à l’abbé Sieyès, comte d’Empire et sénateur, et devient, au XIX^e siècle, la propriété du libraire Charles Gosselin, puis du banquier Weisweiler.

Un lotissement pavillonnaire y est construit au début des années 1930. L’association « Pour les aveugles » fondée en 1917 par Madame Chambet-Chenault y installe, de 1963 à 1999, un centre de réinsertion pour aveugles.