Na przełomie X i XI w. istniał tu gród strzegący przeprawy przez Nysę. Obok niego rozwijała się osada, która przed 1310 r. stała się miastem. Pod koniec XIII w. w miejscu grodu powstał zamek. Była to budowla typowa dla tego okresu. Składała się z murów obwodowych i wolno stojącej wieży - tzw. stołpu. W 1413 r. właścicielem miasta został książę Jan I Żagański, który włączył je do swojego księstwa. Po jego śmierci księstwo zostało podzielone między trzech synów. Niezadowolony z tego podziału najmłodszy z braci, Jan II, rozpoczął walkę z Baltazarem i Rudolfem. Niebawem ten ostatni zginął w bitwie pod Chojnicami. Na placu boju pozostali tylko Jan i Baltazar. W 1472 r. Baltazar został pojmany przez Jana i uwięziony w wieży zamku w Przewozie. Zamknięty w ciemnicy, bez pożywienia i wody niebawem zmarł, przeklinając przed śmiercią Jana i jego potomstwo. Odtąd wieża nosi nazwę Głodowej. Ma 22 m wysokości, średnica u podstawy wynosi 11 m, a jej mury osiągają grubość bez mała 4 m.