The stone castle was built in the eleventh century on the site of the old rampart fort, and the small Romanesque church of St Emmeram at the top of the rock belongs to that century too — it is already named in a text written about the middle of it. That church is still there: the oldest room in the complex, with walls absurdly thick for the space they enclose. In the same period the castle was the centre of a duchy — a third of the kingdom of Hungary, governed from Nitra by the king's younger brother or son. The bishopric was restored about 1105, and from then on the hill has had a bishop on it almost without a break.Kamenný hrad vyrástol v 11. storočí na mieste starého valového hradiska a do toho istého storočia patrí aj malý románsky Kostol svätého Emeráma na vrchole brala — spomína ho už text napísaný okolo polovice 11. storočia. Ten kostol tu stojí dodnes: je najstaršou miestnosťou celého areálu a jeho múry sú nezmyselne hrubé na priestor, ktorý uzatvárajú. V tom čase bol hrad centrom údelného kniežatstva — tretinu Uhorského kráľovstva spravoval z Nitry kráľov mladší brat alebo syn. Okolo roku 1105 obnovili biskupstvo a odvtedy na kopci sídli biskup takmer bez prerušenia.
