Zamek Rajsko zwany pierwotnie Neidburg zbudowano w XIII wieku. Na początku XV wieku zamek był w posiadaniu niemieckiego rycerza rozbójnika zwanego Jobst von Kolditz. W czasie wojen husyckich w I połowie XV wieku zamek został spalony i zburzony. Od tamtej pory warownia pozostawała w ruinie.

W drugiej połowie XIX wieku ruinami zainteresował się niemiecki mecenas sztuki baron Aleksander von Minutoli. W latach 1875-1878 na zachowanych ruinach i fragmentach murów wzniósł nowy zamek w którym stworzył muzeum. Po śmierci barona zlikwidowano muzeum a zamek został mocno zaniedbany.

Z czasem w pomieszczeniach warowni stworzono schronisko młodzieżowe, które istniało do końca II wojny światowej. Po wojnie w 1945 roku zamek został opuszczony i ponownie popadł w ruinę.