W roku 1624 król Zygmunt III Waza kazał wznieść murowany pałac na planie kwadratu z czterema wieżami, dziedzińcem arkadowym i loggią widokową od strony Wisły. Autorem projektu był jeden z dwóch najbardziej cenionych architektów królewskich: Giovanni Battista Trevano bądź Mateusz Castelli. Realizację inicjatywy Zygmunta III Wazy nadzorował jego syn - Władysław IV.

Później decyzją sejmu pałacyk wraz z okolicznymi dobrami przeszedł w posiadanie rodziny Lubomirskich, którzy mieszkali tutaj przez kolejne 80 lat. Z ich fundacji wybitny architekt Tylman z Gameren przekształcił surowe założenie w pyszną barokową rezydencję.W roku 1766 obiekt zakupił Stanisław August Poniatowski, który wymarzył sobi e kolejną jego przebudowę. d 1988 roku gospodarzem zameczku jest Centrum Sztuki Współczesnej, propagujące "sztukę" awangardową oraz niekonwencjonalną.