Korzystając z książki Leszka Kajzera pt. „Zamek w Raciążku” i zawartych informacji w informatorze na tablicy przed ruinami zamku w Raciążku dowiadujemy się, że: pierwsze wzmianki o miejscowości datowane są na 1065r.
W II połowie XIIw. wybudowano tu drewniano-ziemny gród, w którym zamieszkali lokalni książęta. W XIII wieku ekspansja biskupów kujawskich spowodowała przejęcie grodu, a później jego rozbudowę. W tym miejscu podjęto budowę grodu obronnego mającego strzec biskupich włości. Gród z racji braku placetu Kazimierza, księcia łęczycko-kujawskiego, stał się przedmiotem konfliktu i zatargu między panującym, a kościołem i w konsekwencji prawie gotowy w 1259r. został praktycznie zniszczony. Konflikt między stronami sporu zażegnała dopiero wydana w 1262r.przez papieża Urbana IV bulla papieska potwierdzają prawa ówczesnego biskupa Wolmira do Raciążka. Dwór odbudowano i funkcjonował do lipca 1330 r. kiedy został spalony przez oblegających Raciążek Krzyżaków.
Około 1336r. biskup włocławski Maciej z Gołańczy podjął odbudowę, a właściwie budowę murowanego zamku w miejsce spalonego grodu. Zbudowano tzw. „kamienicę wielką”, później ją rozbudowując i budując pomocnicze budynki takie jak kaplica, dzwonnica kapliczna i świetlica. Doskonale usytuowany i uposażony gród staje się miejscem ważnym i często odwiedzanym przez dwór królewski.
W 1343r. przebywał tu Kazimierz Wielki ze swoją świtą, a w okresie poprzedzającym wojnę z zakonem krzyżackim odbywały się spotkania oraz rokowania wojenne. Przebywała tu również Jadwiga wraz z Władysławem Jagiełło. W XV wieku, postępuje kolejna rozbudowa polegająca na dobudowie trzykondygnacyjnej wieży nadającej budowli zamkowego wyglądu. Za czasów biskupa Hieronima Rozdrażewskiego w XVI wieku zbudowano rezydencję starościńską i dokończono budowę muru obronnego budując poza ich obwodem wieżę bramną.
Ostatnią fazą wykorzystywania wzgórza zamkowego i jego budowli były czasy biskupa włocławskiego Krzysztofa A. Szembeka, późniejszego arcybiskupa gnieźnieńskiego, który na fundamentach gotyckiej budowli rozpoczął budowę barokowego pałacu kontynuowaną przez biskupa Walentego Czapskiego w oparciu o projekt włoskiego architekta Jana Baptystę Cocchiego.
Sekularyzacja dóbr kościelnych w wyniku utraty niepodległości Polski spowodowała, że władze pruskie przeznaczyły zamek do rozbiórki wykorzystując zdobyty w ten sposób materiał budowlany na budowę własnych budowli. Pod koniec lat 70 tych XX wieku rozpoczęto prace konserwatorskie, które pozwoliły zabezpieczyć budowlę jako trwałą ruinę zamku.