Szpital Psychiatryczny w Tworkach zaczęto tworzyć w 1881 r. Po zebraniu niezbędnych funduszy budowę rozpoczęto w 1888 r., a już w 1892 lecznica zaczęła działalność. I wojna światowa była okresem przerwy w jej funkcjonowaniu. Działalność szpital wznowił w niepodległej Polsce w 1919 r. Nadzór nad nim przejęło Ministerstwo Zdrowia Publicznego.

W latach 1928-1939 trwała rozbudowa zespołu budynków, zarówno szpitalnych, jak i administracyjno-socjalnych. W 1929 r. oddano do użytku w pobliżu głównego wejścia tzw. Dom Rozrywki będący centrum kultury dla pracowników i pensjonariuszy szpitala. Budynkowi nadano formę obszernego dworu klasycystycznego. Siedmioosiowa fasada frontowa posiadała piętrowy ryzalit z głównym wejściem, w którego tympanonie umieszczono rok budowy MCMXXIX. Mansardowy dach kryty blachą skrywał użytkowe poddasze.

Po II wojnie światowej Dom Rozrywki przemianowano na Dom Pacjenta, w 2008 r. zmieniono w wyniku konkursu jego nazwę na Pałacyk nad Utratą. Od 1994 r. budynek jest również siedzibą Towarzystwa "Amici di Tworki".