W Górkach warto zobaczyć dwór z XVI w. Wzniesiono go na rzucie prostokąta, z wieżą w północno-wschodnim narożniku. Duży dach i hełm wieży w kształcie ostrosłupa pokryto blachą. W 1850 r. budynek został gruntownie przebudowany.

Dwór ten jest bardzo ciekawym miejscem. Jako jeden z nielicznych w Prusach Wschodnich, od 1910 r. należał do polskich właścicieli, państwa Kowalskich. W okresie przedplebiscytowym Górki były bardzo ważnym ośrodkiem polskości. Pan Jan Kowalski został w 1920 r. polskim adiutantem przy landracie na powiat kwidzyński z ramieniem Komisji Międzysojuszniczej. Tutaj miały miejsce zjazdy i narady, przyjeżdżali tu emisariusze, delegaci, działacze plebiscytowi. W maju 1920 r. państwo Kowalscy gościli u siebie Stefana Żeromskiego, Jana Kasprowicza oraz dziennikarza Władysława Kozickiego. "Na oścież się nam otwarły podwoje polskiego domu", napisał Jan Kasprowicz. Po przegranym plebiscycie dwór nadal pozostawał ośrodkiem polskości, przez co właściciele byli szykanowani przez władze niemieckie. W 1934 r. zmuszono ich do opuszczenia Powiśla, a w 1937 r. majątek wraz z dworem przeszedł w ręce niemieckie.

Po wojnie w Górkach utworzono PGR. W dworku urządzono biura, a następnie pomieszczenia mieszkalne. Budynek ulegał stopniowo degradacji. Dziś, po gruntownym remoncie przeprowadzonym w latach 2002-2005, w pełni odrestaurowany dwór jest siedzibą Centrum Rehabilitacji Osób Niepełnosprawnych.