At the start of the fourteenth century the castle belonged to the domain of Matúš Čák of Trenčín, and on his death in 1321 it fell back to the king. In that same year Charles Robert moved the seat of Tekov county from the old castle at Starý Tekov, just downstream, to Levice — and Levice kept it until 1580. In 1388 the king granted the castle to the family later known as the Lévai Cseh, who held it for more than a century and a half. A county was the basic unit of government in the kingdom: where the castle sat, the court sat, the taxes were collected and the nobles held their assembly.Na začiatku 14. storočia patril hrad k panstvu Matúša Čáka Trenčianskeho a po jeho smrti v roku 1321 sa vrátil kráľovi. Ešte v tom istom roku preniesol Karol Róbert sídlo Tekovskej stolice zo starého hradu v Starom Tekove, kúsok po prúde, do Levíc — a Levice si ho udržali až do roku 1580. V roku 1388 dal panovník hrad rodu, ktorý poznáme ako Levických, a ten ho držal vyše poldruha storočia. Stolica (ľudovo župa) bola základnou jednotkou správy v Uhorsku: kde sídlil hrad, tam zasadal súd, tam sa vyberali dane a tam sa schádzala šľachta.
