U podnóża Gaików, szczytu w Beskidzie Małym, w XV-wiecznej wsi Lipnik, będącej siedzibą starostwa niegrodowego, istniał folwark stanowiący siedzibę starostów. W 1596 r. w jego miejsce ówczesny starosta Piotr Komorowski wybudował niewielki zamek-rezydencję mający chronić przed zbójnikami beskidzkimi mieszkańców oraz granicę biegnącą między Rzeczpospolitą a Monarchią Habsburgów.

W pierwszej połowie XIX wieku stał się własnością najstarszego syna Karola Habsburga i jego żony Henriety, arcyksięcia Albrechta Fryderyka Habsburga, który od 1847 r. był księciem cieszyńskim. Albrecht Fryderyk Habsburg, znany z hojności filantrop, popierał budowę hut, tartaków, szpitala i kościoła ewangelickiego, przekształcił dotychczasową lipnicką budowlę w późnoklasyczny pałac z zespołem parkowym. W 1885 r. go wydzierżawił, a następnie podarował powstałemu w 1868 r. w Wiedniu Zgromadzeniu Zakonnemu Córek Bożej Miłości, które znalazło tu swoją pierwszą na ziemiach polskich siedzibę.

W 1869 r. przebudowany został wg projektu Emanuela Rosta. Budynek podwyższono, dobudowano kaplicę św. Hildegardy i utworzono w nim zakład naukowo-wychowawczy dla dziewcząt, przekształcony później w seminarium nauczycielskie.

Po II wojnie światowej, po znacjonalizowaniu umieszczono w nim III Liceum Ogólnokształcące im. A. Asnyka. Po 2001 r. wrócił do prawowitych właścicieli i na powrót utworzono tu Gimnazjum i Liceum Zgromadzenia Córek Bożej Miłości. Zgodnie ze swoimi założeniami zakonnymi mieszczące się tam zgromadzenie zakonne, oprócz placówek oświatowych, umieściło w nim również dom opieki dla upośledzonych dzieci i kobiet.