Przy ulicy Zamkowej 4, obok kościoła św. Jerzego stoi budynek dawnego gimnazjum. Szkoła gimnazjalna w tym budynku funkcjonowała w latach 1817-1907. W 1896 roku szkołę nazwano imieniem Księcia Albrechta. Do gimnazjum uczęszczali między innymi: w latach 1855-1859 historyk Wojciech Kętrzyński oraz w latach 1875-1879 fizyk, laureat nagrody Nobla Wilhelm Wien. Na ścianie budynku wiszą tablice upamiętniające wybitnych uczniów.