Pierwsze zamki rycerskie w Polsce, wznoszone od XIII w., miały zazwyczaj postać otoczonego fosą kopca, na którym stawiano drewniany budynek mieszkalny. Dla podniesienia walorów obronnych, jak również ze względów propagandowych, domy te miały często formę wieży. Dzięki temu przypominały wieże dużych zamków królewskich, a mieszkający w nich rycerz - tak jak król - mógł z góry patrzeć na swoich poddanych. Tylko niektóre możne rody mogły sobie pozwolić na to, by taką drewnianą wieżę mieszkalno-obronną zastąpić z czasem budynkiem murowanym. Należał do nich ród Pałuków (wywodzący swoje korzenie od Sobiebora - brata św. Wojciecha), który być może już pod koniec XIV w. wzniósł ceglany zamek w Gołańczy (niewykluczone, że fundatorami tej budowli byli dopiero Grudzińscy, którzy gospodarzyli tutaj w drugiej połowie XV w.).

Istniejący do dzisiaj główny budynek zamkowy w postaci trójkondygnacyjnej wieży jest stosunkowo dobrze zachowany, ponieważ funkcję mieszkalną pełnił do połowy XIX w. Pierwotne wejście do wieży prowadziło od strony północnej przez ostrołukowy gotycki portal, umieszczony w wysokiej wnęce z opuszczaną broną. Wieża otoczona była ceglanym murem obronnym z bramą i dwiema basztami. Jego fragmenty istnieją do dzisiaj. Od południa do zamku przylegało obronne przedzamcze z budynkami gospodarczymi. Całość była otoczona fosą, połączoną z pobliskim jeziorem Smolary. 

Co ciekawe, w dziejach tej szlacheckiej warowni najbardziej dramatyczny moment przypada nie na czasy średniowiecza, lecz na rok 1656, kiedy to po bohaterskiej trzydniowej obronie wdarli się do niej Szwedzi. W zdobytym zamku i sąsiadującym z nim miasteczku szwedzcy żołdacy wymordowali wówczas ponad 400 mieszkańców! Z okresem "potopu" związanych jest kilka legend, m.in. o pięknej starościance Hannie, co nie chciała Szweda za męża - wolała śmierć w przyzamkowym jeziorze. 

W 1989 r. właścicielem ruin została Polka mieszkająca na stałe w Stanach Zjednoczonych. Niestety, od tego czasu planowana przez nią odbudowa zamku niewiele się posunęła. Nadal jest on głównie ulubionym miejscem spotkań wagarowiczów...