Głównym zabytkiem Skaryszewa jest ponad 300 letni kościół p.w. św. Jakuba Apostoła urzekający barokowym wystrojem. Fundatorem świątyni jest ówczesny proboszcz ksiądz Szymon Erazm Sierzycki.
Budowla została wzniesiona w stylu barokowym w latach 1691-1701. W latach 1949-1952 została dobudowana nowa kaplica chrzcielna i zakrystia.
Jarosław Iwaszkiewicz umieścił w Skaryszewie akcję głośnego opowiadania "Kościół w Skaryszewie" z 1968 roku. Rok później na kanwie opowiadania powstała w reżyserii Władysława Wasilewskiego etiuda szkolna pod tym samym tytułem. Mimo, że to fikcja literacka pisarz świadomie wykorzystał scenerię miasteczka i samą nazwę. Stanisław Różewicz w 1981 roku na podstawie tego opowiadania wyreżyserował pełnometrażowy film pt: "Ryś".