Il a été construit entre 1640 et 1646, sur commande de Pierre Le Marinier, un parlementaire de Rouen, et selon les plans de François Mansart. Pierre de Becdelièvre puis Anne-Christian de Montmorency-Luxembourg en furent ensuite successivement les propriétaires. En 2012, il appartient au comte Antoine de Dreux-Brézé.
Ouvert au public chaque été à partir du 1er juillet et jusqu'au 31 août (sauf les vendredis).