Pałac Ostrowskich, dawnych właścicieli miasta został wzniesiony w roku 1812 jako letnia rezydencja rodziny. Głównym gniazdem rodzinnym był pałac znajdujący się w Ujeździe.

Pierwotnie był to budynek parterowy w stylu klasycystycznym. Powstał on według planów architekta Lessela. W 1817 r. do budynku dobudowano oranżerię. W późniejszym okresie kaplicę pałacową oraz wieżę. Całość inwestycji zakończono na początku lat 30. XIX w. Rezydencja Ostrowskich była w ich posiadaniu do II wojny światowej. Po jej zakończeniu w zabytkowych wnętrzach znalazło siedzibę Muzeum im. Antoniego hr. Ostrowskiego.

Dawna rezydencja Ostrowskich jest wpisana do wojewódzkiego rejestru zabytków.