Ledwo czytelne zarysy ruin zamku, który w dawnych wiekach wybudowany został w Przyszowie, można zobaczyć na samym skraju wsi. Kilkanaście metrów od drogi jest słabo widoczne wzniesienie, a na nim kontury murów tego zamku.
Pierwsze wzmianki o zamku pochodzą od Jana Długosza, który napisał, że budowla składa się z murowanej wieży, budynku mieszkalnego i otacza go drewniana palisada oraz mokradła, które zapewniają bezpieczeństwo. Po rozbudowie zamek składał się z 20 budynków (wiele z nich było drewnianych) i otoczony był fosą. Murowany zamek zbudował Kazimierz Wielki i przypuszczalnie miał stanowić siedzibę myśliwską króla, który nierzadko wybierał się na polowania w Puszczy Sandomierskiej. Częste napady tatarskie, litewskie i ruskie na ziemię sandomierską przyczyniły się do ufortyfikowania zamku. Wtedy też zamek pełnił funkcję strażnicy broniącej dostępu do Sandomierza od strony wschodniej.
W czasach panowania Władysława Łokietka zamek stracił na znaczeniu obronnym i stał się typową siedzibą myśliwską. Król Jagiełło wielokrotnie przebywał tu na polowaniach wraz ze swymi gośćmi, gdyż miejsce to należało do jego ulubionych siedzib królewskich. Wtedy też zamek rozbudowano, aby można było pomieścić liczną świtę królewską. W roku 1409 król Jagiełło przybył tu specjalnie po to, aby zaopatrzyć się w mięso przed zbliżającą się wojną z Krzyżakami.
Około roku 1540 teren zamku został powiększony, otoczony mocniejszą palisadą, głębszą fosą, ponadto dobudowana została brama z opuszczanym pomostem. Wzmocnienia te zostały wzniesione w celu uchronienia zamku i ludności przed zbliżającym się zagrożeniem ze strony Tatarów. W tym czasie na terenie zamku powstały również stajnie, piekarnia, browar, kościół oraz arsenał.
Podczas wojny z Tatarami zamek był wielokrotnie oblegany przez małe oddziały Tatarów i w dużej części został zniszczony. W roku 1610 przystąpiono do jego częściowej odbudowy. Zrekonstruowano murowaną, piętrową wieżę i nowy most zwodzony. W roku 1624 zamek był kilkakrotnie niszczony (częściowo) przez oddziały kozackie - od tej pory przestał być odbudowywany i popadał w ruinę. W XVII wieku zamek był plądrowany i pustoszony przez Szwedów i wtedy właśnie został prawie całkowicie zrównany z ziemią.
Około roku 1740 Przyszów wraz z zamkiem przeszedł w ręce rodziny Lubomirskich. W tym okresie z zamku pozostały tylko dwie ściany głównego budynku, które wykorzystane zostały do budowy klasztoru ojców Kapucynów w pobliskim Rozwadowie. Klasztor ufundowała rodzina Lubomirskich.