Pierwsza wzmianka o "zamku Przymiłowice" (późniejszym Olsztynie) pochodzi z 1306 roku. Wzniesiony został na miejscu wczesnośredniowiecznego grodu, rozbudowany w latach 1349-59 z inicjatywy Kazimierza Wielkiego, dla obrony pogranicza śląsko-małopolskiego. Od 1370 r zamek przeszedł w ręce Władysława Jagiełły.