Zbudowany przez Władysława Jagiełłę w latach 1424-1428. Z czasem przy zamku powstała konkurująca z krzyżackim Toruniem osada, którą nazwano Nieszawą. W 1431 roku wojska Torunia i Krzyżaków zdobyły zamek i spaliły Nieszawę, jednakże wkrótce Krzyżacy zamek odrestaurowali i osadzili w nim swoją załogę. Po czterech latach po pokoju w Brześciu Kujawskim, zamek wraz z lewym brzegiem Wisły wrócił do Polski.

W 1454 r. król Kazimierz Jagiellończyk wydał tutaj statuty nieszawskie. Od 1456 roku zamek w Dybowie był siedzibą starostów królewskich. Znajdowała się tam też komora celna co spowodowało częściowe przekształcenie założenia zamkowego na cele gospodarcze. Położona obok zamku Nieszaw a była niewygodnym konkurentem w handlu dla Torunia, więc na skutek żądania mieszczan toruńskich w roku 1460 przeniesiono mieszkańców Nieszawy o 30 km w górę Wisły, gdzie powstało miasto Nieszawa, zwane wówczas Nową Nieszawą. W zamku dybowskim gościli królowie polscy odwiedzający Toruń i Prusy Królewskie.



Podczas wojen szwedzko-polskich zamek został spalony przez Szwedów w 1656 roku. W 1703 roku, podczas oblężenia Torunia przez Szwedów, z zamku ostrzeliwano miasto, dlatego też wojska polskie stacjonujące w mieście ostrzelały zamek, przez co zniszczono jego część mieszkalną od strony rzeki.

W XVIII wieku zamek był własnością rodu Dębskich, natomiast po rozbiorach otworzono w nim gorzelnię. W roku 1813 czterdziestu Francuzów pod dowództwem porucznika Savary wytrzymało w zamku trzymiesięczne oblężenie Rosjan, kapitulując dopiero wraz z Toruniem. W 1848 roku, w murach przebito nowe, widoczne do dzisiaj, strzelnice. Zamek przetrwał do dzisiaj w postaci ruiny, zachowały się imponujące mury obwodowe, 2-kondygnacyjna wieża bramna i obwarowania. Badania wykopaliskowe na zamku prowadzono w latach 1998-2000.