Wzmianki o Zwartowie pochodzą z roku 1364, lecz świadectwa dotyczące dworu - dopiero z XVIII w. W międzyczasie majątek wielokrotnie był sprzedawany. Obecny kształt pałac otrzymał dzięki przebudowom w połowie XIX w. i w dwudziestoleciu międzywojennym; wtedy też rozbudowano część gospodarczą. W parku zasadzono nie występujące w okolicy drzewa: tulipanowiec, kasztan jadalny, jodła kaukaska...

Po II wojnie światowej majątek został przejęty przez skarb państwa, folwark wykorzystywała Stacja Hodowli Roślin (dziś w rękach prywatnych), zaś pałac - Ministerstwo Sprawiedliwości. Dziś jest w nim ośrodek wypoczynkowo-szkoleniowy Służby Więziennej. Ogłoszenia w Internecie świadczą, że i cywile mogą się tam wybrać na wczasy.