Aktualnie po zamku nie ma już śladu gdyż stał on na nieistniejącej już wyspie położonej na lewym brzegu Wisły i połączonej z lądem. Dziś wyspa ta widoczna jest tylko przy bardzo niskim stanie wody w Wiśle a wielbiciele historii śladu po zamku mogą się jeszcze doszukać się pod powierzchnią wody, gdy założą sprzęt do nurkowania. Przy odrobinie szczęścia na dnie mogą zobaczyć pojedyńcze cegły które są jedyną pozostałością po tym zamku. Cegły te zobaczyć też można gdy wyspa zamkowa wyłania się z Wisły podczas suszy.
Historia zamku zaczyna się na początku XIII wieku gdy Zawichost był osadą kasztelańską a sam zamek wtedy był drewniany. W roku 1241 Zawichost najechali Tatarzy, którzy splądrowani miasto i spalili drewniany zamek. Po tym zdarzeniu zamek został odbudowany (częściowo murowany a częściowo drewniany) przez króla Bolesława Wstydliwego. Zamek stał się wtedy jedną z rezydencji tego króla Polski. Jan Długosz w swych księgach opisuje, iż na początku XIV wieku zamek ten stal się już w pełni murowanym zamkiem książęcym i odgrywał bardzo ważną role w systemie obronnym wschodnich granic, które były najeżdżane przez Tatarów i Litwinów.
W 1384 roku Zawichost znów został splądrowany, tym razem przez Litwinów, którymi dowodził przyszły król Polski Władysław Jagiełło. Zamek nie został zniszczony lecz ogołocony ze wszelkich dóbr. Dwa lata później na zamku znów zjawił się Jagiełło ale tym razem jako gość. W 1502 roku Tatarzy znów splądrowali miasto ale zamek tym razem nie został zdobyty. Pod koniec XVI wieku zamek został przebudowany aby mógł lepiej spełniać swoje funkcje obronne. W 1655 roku zamek jednak zdobyty został przez Szwedów którzy zajęli też Zawichost. Rok później miasto wraz z zamkiem zostało odbite przez Stefana Czarneckiego.
W 1657 roku Zawichost zalała ogromna fala uciekających przed Polakami wojsk szwedzkich ( około 70 tys ) wspomaganych przez wojska węgierskie, rumuńskie i kozackie. Zawichost został doszczętnie zniszczony a zamek spalony i częściowo zburzony. Z 1200 mieszkańców Zawichostu najazd wojsk Szwedzkich przeżyło tylko 241 osób. W 1678 zniszczony zamek popadał w coraz większą ruinę a część jego murów rozebrano i wykorzystano do budowy kościoła reformatów w Sandomierzu. Sama wyspa, na której stał zamek niszczona była przez coraz częstsze powodzie i zmieniające swój bieg koryto Wisły.
W 1813 roku ogromna powódź, która nawiedziła te tereny zalała całkowicie wyspę zamkową i nad powierzchnię wody wystawała tylko część ruin. Z czasem nurt rzeki osłabił mury zamku do tego stopnia, że rozpadły się one całkowicie a wyspa widoczna jest tylko podczas suszy. Najstarsi mieszkańcy Zawichostu mówią o tym, że na początku XX wieku pozostałości murów były jeszcze czasami widoczne lecz i one już nie oparły się nurtowi rzeki i na dnie zostały tylko pojedyńcze kamienie i cegły po tym zamku, który kiedyś pełnił ważną rolę w obronności tych terenów .