Stanisław Rupniewski podczas bitwy pod Wiedniem w 1683 r. dostał się do tureckiej niewoli. W czasie 20-letniej niewoli szczególnie zachwyciły go haremy, bowiem kasztelan bardzo był czuły na wdzięki niewieście. Wykupiony z niewoli przez wuja w 1709 r., powrócił do swoich dóbr koło Szydłowa.

Tu, w Grabkach Dużych wzniósł rokokowy pałac o formie niespotykanej w Polsce. Od centralnie umieszczonej sali odchodzą cztery krótkie, symetryczne skrzydła, a na piętrze znajdują się maleńkie pokoiki, z których każdy połączony był osobnymi schodami z główną salą. Prawdopodobnie takie rozplanowanie pałacu związane było z umieszczeniem w nim haremu. Jak wieść niesie, w wieku 60 lat pan Stanisław poznał pannę z Szydłowa, dla której całkiem stracił głowę. Wobec braku zgody opiekuna panny na małżeństwo, kasztelan porwał ją do Grabek. Rozpędzony powóz roztrzaskał się o drzewo w alei prowadzącej do pałacu, a niefortunny adorator zginął na miejscu.