Pałac, zwany też zamkiem, wzniósł w 1610 r. Wojciech Padniewski (być może na ruinach wcześniejszego zamku). Około 1650 r. kolejny właściciel, Stanisław Warszycki, otoczył go fortyfikacjami bastionowymi. Kolejnej przebudowy dokonała Maria z Wesslów Sobieska i jej bratanek Teodor Wessel; w tym czasie wokół pałacu założono duży park. W 2 poł. XIX w. Chrystian August Moes i Leon Epstein, przemysłowcy i właściciele miasta, pałac zmodernizowali, a fortyfikacje obłożyli okładziną z cegieł i ozdobili wieżyczkami.
Pałac warto zobaczyć. Jest budowlą piętrową, składa się z 4 skrzydeł usytuowanych wokół wewnętrznego dziedzińca. Znajdowało się w nim ok. 40 sal, w tym najciekawsze: sala jadalna z kasetonowym sufitem, sala rycerska (zwana też lustrzaną lub balową), ozdobiona sztukateriami, z dębowa intarsjowaną podłogą
Atrakcją są kamienne detale: głowy w zwieńczeniach okien, sfinksy, ślepa brama z tyłu fortyfikacji, wieżyczki i baszty obronne, pozostałości murów fortyfikacyjnych. Przed pałacem znajduje się fontanna wykonana przez znanego rzeźbiarza B. Chromego. Z tyłu pałacu znajduje się fragment fosy, ściana straceń z okresu II wojny światowej, ziemny kurhan powstańczy z 1863 r. (pozostałość po powstaniu styczniowym). W otaczającym pałac parku (10 ha), który jest zabytkiem sztuki ogrodniczej, znajdują się budynki dawnych oficyn, wozowni i stajni oraz wiele pięknych, starych drzew, w tym lipa licząca około 600 lat oraz rzadko spotykany buk płaczący.
Jak już wspomniano, obecnie pałac i park są własnością prywatną i nie są dostępne dla zwiedzających.