Zbudowany przez Kazimierza Wielkiego w połowie XIV w. zamek, usytuowany w dolinie Pilicy, w miejscu o naturalnych walorach obronnych, strzegł Ziemi Łęczyckiej i Małopolski oraz bronił przeprawy przez rzekę. Zamek warto zobaczyć. Został wzniesiony z miejscowego, rdzawobrunatnego piaskowca na planie prostokąta o wymiarach ok. 49x31 m. W obwodzie murów znajdowały się dwie wieże, co w średniowieczu należało do rzadkości. Zamki o umocnionej linii obronnej w postaci dwóch wież powstawały w miejscach strategicznych. Jest to dowodem szczególnego znaczenia inowłodzkiego grodu dla obrony kraju. Zabudowę wewnętrzną tworzył budynek w kształcie litery L, przylegający do zachodniego i północnego obwodu muru. Całość otoczona była szeroką na 20 m fosą, która dzięki specjalnemu przekopowi łączącemu ją z Pilicą była stale wypełniona wodą. W ścianie wschodniej zamku znajdowała się brama prowadząca do otoczonego murami miasta.

Wraz ze zmianami właścicieli zamek ulegał licznym przebudowom. Od XV w. był rezydencją starostów inowłodzkich. W 1515 r. dobra wraz z zamkiem wykupili Drzewiccy. Jako ostatni mieszkali tu przedstawiciele rodu Lipskich herbu Łada. Podczas potopu szwedzkiego zamek został zdobyty i nieodwracalnie zniszczony. Wycofujący się Szwedzi położyli kres jego świetności. Do dziś zachowały się jedynie fundamenty z pozostałościami piwnic i baszt oraz ślady fosy. Od 2008 r. prowadzone są prace mające na celu konserwację i utrwalenie ruin oraz częściową rekonstrukcję zamku, tak by stał się atrakcją turystyczną.