W 1284 roku biskup pomezański Albert powołał pierwszych członków kapituły, dlatego jeszcze pod koniec XIII wieku przystąpiono do budowy drugiej twierdzy. Usytuowano ją po przeciwległej stronie miasta, a sama budowa przebiegała w kilku etapach. Obiekt w XV i XVI wieku był kilkakrotnie oblegany i niszczony. 19 września 1410 do zamku wkroczył wracający spod Malborka Władysław Jagiełło. Murowany zamek zbudowany został na planie zbliżonym do kwadratu o wymiarach około 49x50 metrów. Najsilniejszy punkt obrony stanowiła usytuowana w południowej części dziedzińca wieża-dzwonnica o wysokości 59 metrów. Przewyższała ona zamkowe budowle o ponad 20 metrów, a jej szczyt zwieńczony został krenelaże m. Od zachodu wybudowano kibelek, na "cześć" gdańszczan, nazwany gdaniskiem (jest to prawdopodobnie największa latryna na świecie). Dzisiaj w zamku mieści się dość obszerne i bogato wyposażone muzeum, w którym na kilku piętrach rozlokowano obrazy, stare meble, rzeźby, ceramikę, piece, wyroby ślusarskie i kowalskie, pamiątki powstańcze oraz setki wypchanych zwierząt.