Kożuchów należący do najstarszych miast dolnośląskich powstał we wczesnym średniowieczu, w miejscu osady Dziadoszan. Jego położenie na skrzyżowaniu ważnych handlowych traktów łączących Wrocław z Krosnem oraz Głogów z Poznaniem było przyczynkiem do wzniesienia tu w XIII wieku kasztelańskiego grodu. Gród ten był poprzednikiem książęcego zamku, który jest dziś jednym z głównych zabytków historii miasta.
Przez wieki kożuchowski zamek należący do Polski, Czech oraz Prus przechodził różne koleje losu. Zamek w Kożuchowie wzniósł książę żagański Henryk IV Wierny, w pierwszej połowie XIV w. Książęca siedziba składała się z piętrowego budynku mieszkalnego, wieży oraz dziedzińca otoczonego murem kurtynowym. Dodatkowym jej zabezpieczeniem była fosa, nad którą przerzucono zwodzony most prowadzący do zamku.
Książęta żagańsko-głogowscy byli panami na zamku do śmierci w 1476 r. ostatniego przedstawiciela tej linii śląskich Piastów Henryka XI. Do tego czasu kolejni właściciele rozbudowali kompleks powiększając go od zachodu o skrzydło mieszkalne, zamkową kaplicę oraz budynek bramny. Zaadaptowano również dolną część wieży do celów mieszkalnych.
W XVI i XVII wiekach często zmieniali się właściciele grodu oraz jego dzierżawcy. Uszkadzany w czasie wojen zamek został w 1675 r. przekazany miastu, które po dziesięciu latach sprzedało go zakonowi karmelitów. Zakonnicy dokonali znacznej przebudowy obiektów adaptując je na klasztor. Przy zamku wznieśli w latach 1705-1706 kościół św. Józefa.
Dawny zamek przejęty został przez pruską armię po kasacie zakonu karmelitów w 1810 r. Od tej pory budynki służyły za zbrojownię, a klasztorny kościół przejęli pod koniec XIX w. staroluteranie. Zamek w Kożuchowie przetrwał w niezłym stanie II wojnę światową. W jego wnętrzach urządzono mieszkania.
W latach 1976-1984 po przeniesieniu mieszkańców przeprowadzono kompleksowy remont budynków przeznaczając je na siedzibę domu kultury i biblioteki. Dawny kościół karmelitów stał się salą widowiskowo-koncertową. Zabytkowa budowla o ciekawej przeszłości jest dobrze utrzymaną wizytówką miasta.