Od XV wieku działał we Fromborku szpital leprozoryczny z oratorium, jako miejski przybytek Świętego Jerzego. Miejsce to zostało zdewastowane w XVI wieku, w 1598 roku odbudowano jedynie kaplicę, którą konsekrował biskup Marcin Kromer. Niestety kaplica uległa ponownemu zniszczeniu w wieku XVII, ostatecznie rozebrano ją w 1826 roku, w związku z budową nowej szosy do Braniewa.

Ta dawna budowla sakralna zlokalizowana była niegdyś po północnej stronie dzisiejszej ulicy Braniewskiej. Obecną kaplicę Świętego Jerzego wzniesiono na nowym miejscu po roku 1826 i usytuowana jest po południowej stronie wspomnianej ulicy, na terenie dawnego cmentarza miejskiego oraz w pobliżu szpitala Świętego Ducha i kaplicy Świętej Anny. Do jej wybudowania wykorzystano cegłę pozyskaną z dawnego oratorium, przyjęła ona również jego uposażenie.

Kaplicę wybudowano na planie prostokąta zbliżonego do kwadratu, z wejściem w elewacji bocznej. Budowla wyróżnia się północnym szczytem o formach barokizujących, wypiętrzonym nieco ponad dwuspadowy dach. Po stronie południowej, na daszku krytym dachówką wzniesiono ażurową, neogotycką sygnaturkę na dwóch słupkach, która zwieńczona jest stożkowym hełmem na rzucie ośmioboku. Do dziś pod hełmem zachował się dzwon, kiedyś uruchamiany był ręcznie za pomocą sznura.

Kaplicę otaczają pomnikowe klony, co jest typowym nawiązaniem do warmińskich zwyczajów.
Kaplica Świętego Jerzego w roku 1967 wpisana została do rejestru zabytków.