Na przełomie XIX i XX wieku ulica Adama Mickiewicza, zwana wówczas Schillestrasse, była jedną z tak zwanych reprezentacyjnych ulic. Wraz z przyległymi ulicami był to wtedy główny trakt przebiegający ze starego centrum miasta w kierunku dworca kolejowego. W związku z dynamicznym rozwojem miasta w tym okresie, przy tych ulicach powstało wiele ciekawych architektonicznie zabudowań, wystawionych przez znamienitych wtedy fabrykantów i budowanych głównie jako budynki czynszowe.
U zbiegu ulicy A. Mickiewicza i T. Kościuszki w 1903 r. wystawiono okazałą kamienicę, której właścicielem był mistrz budowlany Antoni Swierzewski i zwaną dzisiaj jako Willa ze Strażnikiem i był to wówczas jeden z ostatnich domów czynszowych wybudowanych w tej części miasta. Budynek wzniesiono na kształcie litery L, a patrząc na jego ogólny kształt można wywnioskować, że najprawdopodobniej powstawał etapami. Najpierw wybudowano część przy ulicy Mickiewicza, później część przy ulicy Kościuszki.
Willa posiada cztery kondygnacje i jest podpiwniczona a wyjątkowego charakteru dodają jej bogate elementy dekoracyjne; wieżyczki, ornamenty roślinne, zdobione parapety, liczne loggie, balkony i weranda. Jednak obiekt ten swoje główne zainteresowanie zawdzięcza wyjątkowym płaskorzeźbom znajdującym się na ścianie od strony ulicy Kościuszki.
Ta umieszczona wyżej przedstawia pagórkowaty krajobraz z domami, kościołem oraz zamkiem, obłokami i ptakami. Płaskorzeźba umieszczona niżej w specjalnej niszy, nad wybitym w murze już później oknem, przedstawia brodatego mężczyznę w szynelu i służbowej czapce z laską w jednej ręce, z upiętym do pasa pękiem kluczy i trąbką. Od tej postaci wzięła się nazwa Willi ze Strażnikiem, gdyż w zamyśle autora jest to najwyraźniej postać strażnika miejskiego strzegącego na rogatkach dostępu do miasta i pobierającego myto. Jest to uzasadnione tym że, jeszcze przed I-szą wojną światową na osi obecnej ul. Kościuszki znajdowały się uzbrojone w szlabany punkty poboru opłaty (tzw. bramowej), którą pobierano w dni targowe od wjeżdżających do Olsztyna furmanek.
Okres II wojny światowej obszedł się z budynkiem dość łaskawie; uniknął większych zniszczeń. Po wojnie willa stała się własnością miasta, przez długi czas na parterze mieściła się biblioteka dla dzieci i młodzieży. Odbywały się w niej często spotkania autorskie takich znanych pisarzy jak chociażby Zbigniew Nienacki, Ewa Nowacka, Wanda Chotomska czy Maryna Okęcka-Bromkowa. W 1988 r. budynek został wpisany do rejestru zabytków.