Nie było mu pisane długie istnienie. Zbudowany przez księcia świdnickiego Bolka I w miejscu wcześniejszej drewnianej czatowni. Wraz z zamkami Radosno, Grodno, Nowy Dwór znajdował się w linii granicznych warowni od strony Czech.

Zniszczony w czasie wojen husyckich, stał się siedzibą rycerzy - rozbójników. Uciążliwą sadybę w powietrze wysadziły wojska Macieja Korwina w 1497 roku. Od tego czasu trwała ruina.

Rogowiec jest najwyżej w Polsce położonym zamkiem ( 870 m n.p.m.).