Istniejące do dziś skrzydło pałacu w Wysokiej Małej, które znajduje się w parku, pochodzi prawdopodobnie z XVIII wieku. Po roku 1945 pałac oraz zabudowania gospodarcze przejął PGR, a w starszym skrzydle (z muru pruskiego) utworzono świetlicę. Pozostałe pomieszczenia pałacu zaadoptowano na mieszkania dla pracowników. Kolejna zmiana nastąpiła w roku 1957, kiedy to Państwowemu Gospodarstwu Rolnemu przekazano budynek starej szkoły we wsi, a w zamian za to władzom oświatowym udostępniono niegdysiejszy pałac. Wkrótce utworzono w nim szkołę podstawową. W chwili obecnej zaadaptowany na mieszkania.