Na dawny dworek znajdujący się dosłownie na końcu starej części ulicy Warszawskiej mówiono kiedyś „posiadłość pod miastem”. Pod koniec XIX wieku było to miejsce znacznie oddalone od granic Olsztyna a obecnie znajduje się niemal w centrum. Do niedawna błędnie uważano że budynek powstał pod koniec XIX lub na początku XX w. Obiekt prawdopodobnie wybudowany został w 1843 r, wskazuje na to data wyryta na fundamencie, jako siedziba Królewskiego Urzędu Domenalno – Rentowego.
W latach 70 XIX w. w dworku zamieszkał Justus Rarkowski, który był synem ostatniego polskiego burmistrza Olsztyna, radnym i działaczem katolickiej Partii Centrum. Trzeba nadmienić że wspomniany dom wybudowany został na gruntach należących do rodziny Rarkowskich majątku Kortowo, czyli na obecnych terenach uniwersyteckich. Budynek jeszcze kilkakrotnie zmieniał właścicieli, jednak to rodzina Anderssonów najbardziej utkwiła w pamięci mieszkańców.
Ernst Andersson był Szwedem żonatym z Warmianką. W 1905 r. zakupił dworek wraz z pięknym ogrodem i osiedlił się w Olsztynie. Ernst Andersson zasłynął jako zapalony bibliofil, posiadał największą prywatną bibliotekę w mieście. Ernst zmarł w 1958 r., jego żona Maria wiele lat wcześniej bo już w 1927 r.; obydwoje spoczęli na cmentarzu św. Józefa w Olsztynie. Dużą sławę zdobyły ich córki; Ingrid Wagner-Andersson, malarka oraz Hedwig Bienkowski-Andersson, poetka i pisarka.
To właśnie Hedwig Bienkowski-Andersson zasłynęła jako autorka wspaniałych wspomnień ze swojego dzieciństwa spędzonego w Olsztynie. Dość znane były także jej liryczne, wierszowane aforyzmy pełne licznych odniesień do osobliwości warmińskich, dodatkowo ozdobione ilustracjami jej siostry. Smutny jest fakt, że mimo wielu wyróżnień i nagród jej dzieła nie doczekały się dotąd tłumaczenia na język polski.
Obecnie Dworek Anderssonów pełni rolę budynku komunalnego, jest zaniedbany wymaga natychmiastowego remontu a dawny piękny ogród zamieniono na tereny budowlane. I dlatego coraz częściej słyszy się głosy aby ratować i otoczyć szczególną opieką ten bogaty historycznie obiekt głównie właśnie ze względu na pamięć o córkach Anderssona. Gdy zimą 1945 r. musiały uciekać z Olsztyna tuż przed wkroczeniem Armii Czerwonej wiedziały, że opuszczają na zawsze swój kraj młodości, to jednak twórczością swoją udowodniły jak pięknie można ukazać i żyć wspomnieniami.