Rycerska warownia na stromym wzgórzu nad Dunajcem powstała w XIV w. Strzegła tzw. Bramy Sądeckiej, przez którą kiedyś z Polski na Górne Węgry wiodły dwa ważne szlaki handlowe: wodny i lądowy. Właściciele fortecy często samowolnie próbowali przejmować kontrolę nad tymi szlakami.

Najbardziej dały się we znaki uprawiające tu zbójecki proceder dwa rody - Chebdów i Gabońskich. W czasach przynależności zamku do rodu Gabońskich zarządzający burgrabiowie organizowali pirackie napady na łodzie i tratwy przewożące towary Dunajcem. Aby ukrócić ten proceder, panowie sąsiedniego Rożnowa w 1574 r. napadli na twierdzę i doszczętnie ją zniszczyli. W XVII w. ruiny znów stały się siedzibą zbójników. Zrozpaczeni kupcy posłużyli się podobno fortelem. Wypuścili w stronę budowli łódź z zatrutym winem, którą przechwycili zbójnicy. Niebawem zakończyli życie w męczarniach. Od tego czasu ruiny były opuszczone.

Dziś jest to jedyny zrekonstruowany w całości polski średniowieczny zamek obronny, co czyni go niebywałą atrakcją.