Prvními známými majiteli byli bratři Noztupus a Gebhardus, jejichž jména jsou zmiňována poprvé v roce 1229. S přídomkem „z Hořovic“ se objevují až o čtyři roky později ve spisu Regesta Bohemiae et Moraviae.

Samotné město bylo založeno v první polovině 14. století Plichtou ze Žerotína a jeho synem Ješkem. Mimo městské hradby se tehdy ocitlo samotné panské sídlo i kostel sv. Jiljí.