Warownia została wzniesiona przez Krzyżaków w latach 1344-1391 jako jedna z południowych strażnic państwa zakonnego. Budowla powstała wokół kwadratowego dziedzińca o boku 46 m, była otoczona murem i fosą. Od strony podjazdu stały dwie wieże. Zamek posiadał własne zaplecze gospodarcze - młyn, browar i folusz. Podczas "potopu" zamek był przez kilka miesięcy siedzibą króla szwedzkiego Karola X Gustawa.

Do czasów współczesnych zachowała się jedna część, wielka atrakcja turystyczna Działdowa - Dom Wielki (m.in. dawny refektarz, kaplica i piwnice ze sklepieniami krzyżowymi) oraz piwnice skrzydła południowo-zachodniego (na których wybudowano nową część, która jest siedzibą Urzędu Miasta).