Marszałek wielki koronny Stanisław Herakliusz Lubomirski zlecił w drugiej połowie XVII wieku budowę swoistej samotni, która sprzyjałaby wypoczynkowi i rozmyślaniom. Budynek nazwany Ermitażem powstał na terenie Łazienek Królewskich według projektu Tylmana z Gameren. W 1764 r. Ermitaż wraz z całym Ujazdowem został własnością króla Stanisława Augusta Poniatowskiego. W 1777 r. budynek spłonął, po czym został odbudowany według projektu Dominika Merliniego. Na zapleczu Ermitaża powstał duży ogród łączący style angielski i chiński. Obiekt przez długie lata mieścił przedszkole, ale po staraniach dyrektora Marka Kwiatkowskiego wrócił do Łazienek Królewskich w 1993 r.