Karlikowo (południowo-wschodnia część Sopotu ograniczona ul. 3 Maja, linią kolejową i brzegiem morza) należało początkowo do Świemirowa (wieś leżąca po drugiej stronie torów kolejowych), od XIV w. było samodzielnym majątkiem w domenie cystersów z Oliwy.

W nieznanych bliżej okolicznościach stało się własnością prywatną jednego z gdańskich patrycjuszy, który postawił tu okazały pałacyk. Miejsce to wiosną 1660 r. stało się na krótko stolicą Polski, tu bowiem rezydował król Jan Kazimierz w czasie pertraktacji przed zawarciem tzw. pokoju oliwskiego.

Zabudowania Karlikowa spłonęły w 1734 r.; po odbudowie powstał barkowy dworek, młyn, zabudowania gospodarskie. W końcu XIX w. dwór służył jako pensjonat i szkoła ludowa. W 1910 r. cały majątek kupiło od rodziny Ricert miasto Sopot.

Po wojnie, przebudowach i wyburzeniach z kompleksu pozostał staw młyński i dom ostatnich właścicieli, stojący przy ul. 3 Maja 45. Zbudowany w 1895 r. otoczony był dużym ogrodem. Dom zachował się w dobrym stanie, ze starych zdjęć widać, że przebudowano szczyt wieży zmniejszając jej szpiczasty daszek.

Jak głosi tablica na budynku, w latach 1957-1991 mieszkał w nim Jerzy Afanasjew, poeta, pisarz i reżyser.