W 1493 r. Giżyce stanowiły własność biskupa płockiego Pawła Giżyckiego herbu Gozdawa, który w tym czasie wzniósł obronny dwór, a w Pułtusku ufundował kolegiatę i utworzył przy niej archidziekanat. Pod koniec XVII wieku majątek ziemski był on własnością Antonina Dąbskiego, wojewody mazowieckiego, a następnie od 1819 roku był w rękach Ludwika Rudzkiego i jego żony Antoniny Matyldy z Koelichenów von Rustern, a od 1872 r. stanowił własność Piotra Suskiego.

W 1875 r. został gruntownie przebudowany w stylu skromnego klasycycmu. Jest to pałac wzniesiony na planie prostokąta, podpiwniczony, piętrowy z poddaszem, które jest przykryte czterospadowym dachem. Posiada taras i schody przed głównym wejściem. Jest zwieńczony trójkątnym ryzalitem. Przy ścianie głównej znajduje się wieża w stylu neogotyckim.

W 1939 r. w pałacu mieścił się szpital. W 1945 r. został przejęty przez państwo. W latach 1945-51 mieścił się w nim Uniwersytet Ludowy, a następnie do dnia dzisiejszego znajduje się w nim Dom Dziecka. Obok pałacu znajduje się zaniedbany park krajobrazowy.