W końcu XVI w. Andrzej Dunin Modliszewski herbu Łabędź wybudował renesansowy dwór o charakterze obronnym w miejscu XIV wiecznego zamku bądź dworu Odrowążów. Położony jest na sztucznej wyspie otoczonej fosą.

Budowla na planie prostokąta, w narożach budynku wybudowano dwie cylindryczne piętrowe wieże pokryte dachem. Można jeszcze dostrzec ciekawe detale architektoniczne świadczące o dużych walorach artystycznych obiektu. Na początku XVII w. jego właścicielem został Jan Lipski, póżniejszy prymas Polski. Wtedy to dobudowano piętrowy budynek bramny ozdobiony kamiennym portalem wejściowym z herbem Lipskich - Łada i mur obwodowy, którego do dziś pozostały zaledwie fragmenty. We władanie rodu Małachowskich wszedł w I poł. XVIII w., którzy dobudowali przyległy budynek zwany kuźnią. W końcu XIX w. zamek został sprzedany Tarnowskim.

W czasie okupacji był siedzibą zarządcy Niemca Fittinga, który zmuszał Polaków do morderczej pracy i grabił mieszkańców. Nie pomogła wieża strzelnicza, którą kazał postawić w obawie o własne życie - i tak został zabity. W latach 1983-1985 odbudowano budynek bramny oraz kuźnię. Kilka lat później rozpoczęto remont dworu, ale ze względu na brak środków finansowych prace przerwano. Obecnie zamek w Modliszewicach jest własnością Świętokrzyskiego Ośrodka Doradztwa Rolniczego.Obiekt w dalszym ciągu oczekuje na dobrego gospodarza, który by dokończył odbudowę.