Na górze zwanej, później „zamkową”, biskup krakowski Florian z Mokrska wzniósł jeszcze przed 1380 rokiem zamek, mający być potem letnią rezydencją biskupów krakowskich. Umieszczono go na skarpie otoczonej z dwóch stron wodami rzeki Psarki. Umocnienia zamku łączyły się z murami miejskimi.