W swojej niemal 800-letniej pisanej historii Swarożyn wielokrotnie zmieniał właścicieli i przynależność państwową, zmieniały się też układy narodowościowe i wyznaniowe. Z dawnych czasów nie zachowały się jednak żadne zabytki materialne. Dziś najbardziej interesującymi obiektami we wsi są znajdujące się naprzeciw siebie, przy drodze krajowej nr 22 budynki: poluterański kościół z 1894 i młodszy od niego o nieco ponad pół wieku pałac. Pierwsze założenie dworsko-parkowe powstało, gdy majątkiem władała rodzina von Verson (od 1806 r.), dzisiejszy kształt budowla zyskała w czasie rządów Wilhelma von Paleske (po 1825 r.) Obecnie posiadłość ma właściciela, ale jest bardzo zaniedbana.