Siedziba obecnej Izby Celnej znajduje się w miejscu, gdzie opłaty celne pobierano już od około 1500 roku, od statków przepływających pod ówczesnym Mostem Kłodnym (dziś niestety nieistniejącym). Po włączeniu Szczecina do Prus (na pocz. XVIII w.) podjęto decyzję o budowie gmachu, w którym miały być uiszczane wszelkie opłaty celno-podatkowe.

W związku z tym w latach 1723-1726 wybudowany został tzw. Packhof (Pakownia). Składał się on z kas i magazynów. Rozwijający się intensywnie handel niejako wymusił rozbudowę ówczesnego budynku. W związku z tym w roku 1900 powstał projekt nowej siedziby Urzędu Celnego, budynek Pakowni wyburzono, a jego miejsce zajął niezwykle okazały gmach.

Nowa budowla została zaprojektowana na planie litery "L" w stylu północnoniemieckiego renesansu, a realizacja projektu trwała od 1904 do 1908 roku. Po II wojnie światowej budynek, jako jeden z najmniej zniszczonych obiektów użyteczności publicznej, został najszybciej wyremontowany i oddany do użytku zgodnie ze swoim pierwotnym przeznaczeniem.