Majątek Gardkowice do 1551 r. składał się z kilku części należących do różnych właścicieli. Po scaleniu przez rodzinę Balge, dobra należały do rodów von Krokow, von Jatzkow, Weiher, von Rakowski i von Chmielnicki. Ostatnim właścicielem (od roku 1859) była rodzina von Koss. Jej zasługą jest rozbudowa pałacu do obecnego kształtu i poszerzenia folwarku. W 1945 r., tuż przed nadejściem wojsk radzieckich rodzina mieszkająca w pałacu popełniła zbiorowe samobójstwo; zwłoki pochowali w ogrodzie żołnierze Armii Czerwonej.

Zaraz po przejściu frontu majątek stał się przedmiotem systematycznego rabunku: wywieziono żywy inwentarz i zapasy, ale i maszyny folwarczne. Cały pozostały majątek przejął PGR Żelazna; budynki wykorzystywano jako mieszkania i magazyny. Niszczejące z wolna, nie były remontowane ale rozbierane. Po wyprowadzce ostatnich lokatorów pałac powtórnie obrabowano, niszcząc m.in. podłogi i stolarkę budowlaną. Obecny właściciel prowadzi systematyczne prace restauracyjne.