Już w XVI wieku na wzgórzu (zwanym obecnie Wzgórzem Kościuszki) stała szubienica. Na starych mapach wzgórze to nosiło nazwę - Galgenberg (Szubieniczna Góra), a na miedziorycie F.B. Wernera z XVIII w. przedstawiającym panoramę Jeleniej Góry widoczne jest wzgórze z cylindryczną szubienicą.
Na przełomie kwietnia i maja 2012 r. członkowie i sympatycy Stowarzyszenia Ochrony i Badań Zabytków Prawa przy wsparciu finansowym Urzędu Miejskiego w Jeleniej Górze przeprowadzili badania archeologiczne na Wzgórzu Kościuszki. Zbiegło się to z pracami rewitalizacyjnymi parku miejskiego, który zajmuje znaczną część tego wzgórza. Historycy i archeolodzy wytypowali miejsce do badań na podstawie widoków z XVIII w., map i kronikarskich zapisów o jeleniogórskim Wzgórzu Szubienicznym. Brano przy tym pod uwagę, że szubienica musiała być zlokalizowana poza murami miasta i była widoczna z drogi prowadzącej do Kowar i dalej do Czech.
W trakcie badań odsłonięto fragment fundamentu murowanej szubienicy o grubości ok. 95 cm i średnicy całkowitej ok. 550 cm. Wewnątrz odkopano kości ludzkie, gwoździe z konstrukcji szubienicy, skoble oraz jedno ogniwo łańcucha egzekucyjnego. Znaleziono również resztki dachówek z daszku, który prawdopodobnie znajdował się nad wejściem do szubienicy. Szubienica zbudowana była z kamienia w formie cylindrycznej studni z trzema filarami, do których przymocowane były drewniane belki egzekucyjne i na nich mocowano stryczki dla skazańców. Przy szubienicy wykonywano również wyroki śmierci przez ścięcie mieczem, łamanie kołem. Według zapisów w kronikach miejskich od 1519 do 1738 roku wykonano na 37 osobach wyroki śmierci za morderstwa, w tym 4 za dzieciobójstwo, kazirodztwo, sodomię, kradzieże w ratuszu lub w obiektach sakralnych. Skazańców nie odcinano ze stryczków. Wisieli tak długo aż sami odpadli, a wówczas zwłoki zakopywano bez pogrzebu pod szubienicą.
W 1737 r. szubienicę gruntownie wyremontowano i funkcjonowała ona do roku 1778, kiedy to dowódca wojsk stacjonujących w mieście generał Favrat, kazał ją zburzyć, aby wznieść w tym miejscu obwarowania. Wojskowe umocnienia zwano Cavalier (kawaler) i od tego czasu wzgórze zmieniło nazwę z Galgenberg na Cavalierberg. Ta ostatnia nazwa dotrwała do 1945 r.
W październiku 2012 r. zakończono prace przy nowo utworzonej ścieżce przyrodniczo-historycznej po parku na Wzgórzu Kościuszki. Piąty przystanek tej ścieżki znajduje się na najwyższym punkcie wzgórza, gdzie stała kiedyś szubienica, a teraz można stąd podziwiać widoki na jeleniogórską dzielnicę mieszkaniową Zabobrze i znajdujące się za nią Góry Kaczawskie.