Historia rytwiańskiego pałacu Radziwiłłów sięga połowy XIX wieku.Na terenie dzisiejszego parku została wybudowana cukrownia. W budynku mieszkał dyrektor cukrowni,a jego druga część pełniła funkcję magazynu. Pożar w 1924 roku strawił zabudowania cukrowni, ruiny decyzją księcia Artura Radziwiłła kilka lat później zostały rozebrane. Budynek po magazynach przebudowano na pałac letni rodziny Radziwiłłów.

Budowla jest bezstylowa i nie jest nazbyt okazała, ale utrzymana w niezłym stanie. W tym czasie założono też park,najstarszy drzewostan to lipy i kasztanowce i nieliczne pojedyncze okazy innych drzew. Od roku 1975 mieścił się tutaj hotel robotniczy Elektrowni Połaniec. Nowy okres w swoich dziejach pałac w Rytwianach rozpoczął po gruntownym remoncie w 1997 roku. Znajduje się tutaj ekskluzywny hotel "Rytwiany" gwarantujący wysoki standard świadczonych usług, a i walory przyrodnicze są ogromnym atutem jego położenia bo lasy dominują w jego krajobrazie.