Zamek w Kazimierzu został wzniesiony, jak podaje Jan Długosz, w latach 40-ych XIV stulecia z inicjatywy króla Kazimierza Wielkiego. Usytuowano go na wzniesieniu nieopodal istniejącej wcześniej samotnej wieży, zbudowanej przypuszczalnie za panowania Władysława Łokietka. Obydwie budowle służyć miały przede wszystkim ochronie miasta i pobliskiej przeprawy na Wiśle przed najazdami hord tatarskich. Do czasów nam współczesnych zachował się pełen zarys murów obwodowych, ściany domów mieszkalnych oraz fragmenty północnej baszty, w której przyziemiu mieści się obecnie sklepik z pamiątkami. Dobrze zachowała się wieża. Z jej zakończonego blankami (po rekonstrukcji) tarasu podziwiać można panoramę Kazimierza i przepiękną dolinę Wisły