Pierwsze wzmianki o Iłowie-Osadzie pochodzą z XIV w. W 1290 r. miejscowość stała się własnością zakonu krzyżackiego Szpitala Najświętszej Marii Panny Domu Niemieckiego w Jerozolimie. Od 1403 r. Iłowo znajdowało się w rękach rycerza Piotra Bażyńskiego. W okolicy krąży legenda, że właśnie w owym czasie główną drogą Iłowa, dziś nazywaną Jagiellońska, mieli uciekać litewscy dezerterzy spod Grunwaldu.