Pałac wybudowano około połowy XIX wieku jako budowlę jednopiętrową. W latach 1885-1886, ówczesny właściciel Aleksander von Baildon dobudował piętro oraz wewnętrzne schody z białego marmuru. W 1930 r. przejęty przez zakon salezjanów, którzy dokonali adaptacji budynku na potrzeby salezjańskiego seminarium. W czasie II wojny światowej, od 1942r. pieczę nad nim miała agenda partii nazistowskiej. W budynku utworzono obóz przejściowy dla reemigrantów niemieckich przesiedlanych na tereny Śląska w ramach akcji Heim ins Reich.

W kolejnych latach obóz otoczono drutem kolczastym i powstało tu w ramach sieci obozów koncentracyjny mającej na celu wysiedlanie ludności polskiej miejsce eksterminacji zwane Polenlagrem i oznaczone nr 82. Osadzano w nim Polaków wysiedlanych z Żywiecczyzny w ramach Akcji Saybusch. W 1943r. obóz przekształcony został w tzw. Kinderlager, w którym umieszczano dzieci rodziców wysyłanych do obozów koncentracyjnych.

Obecnie w budynku pałacu znajduje się klasztor sióstr salezjanek. Wokół pałacu siostry prowadzą park-ogród, w którym umieszczono postument przypominający o ofiarach niemieckiego obozu Kinderlager.