Jezuici zostali sprowadzeni do Braniewa przez biskupa warmińskiego kardynała Stanisława Hozjusza w 1565 r. Wkrótce z ich inicjatywy powstało tutaj słynne Collegium Hosianum, pierwsza z polskich szkół jezuickich. Mieściła się w dawnym klasztorze franciszkanów. W latach 1743-1771 na potrzeby szkoły wzniesiono późnobarokowy, trzykondygnacyjny budynek, a w 1923 r. dobudowano do niego przęsło zachodnie i włączono w obręb kompleksu zabudowań wieżę obronną zwaną Kleszą.

Za czasów pruskich tradycje szkoły kontynuowały Liceum Hosianum i Akademia Teologiczna, która działała do 1944 r. Obecnie to niezwykle ciekawe miejsce jest siedzibą Zespółu Szkół Zawodowych (ul. Gdańska 17).