The castle passed quickly into the hands of Matúš Čák of Trenčín, the magnate who ran most of what is now western Slovakia as his own country until his death in 1321. After him it belonged to kings and to the men kings favoured: Sigismund of Luxembourg held it, and so did Stibor of Stiborice, a Polish nobleman who was Sigismund's strong arm in the Váh valley. Through the fifteenth and sixteenth centuries it changed hands again and again, and wealthy families went to law over it. A castle that keeps changing owner is a castle nobody spends money on, and that is part of why it ended as a ruin.Hrad sa čoskoro dostal do rúk Matúša Čáka Trenčianskeho, veľmoža, ktorý až do svojej smrti v roku 1321 spravoval väčšinu dnešného západného Slovenska ako vlastnú krajinu. Po ňom patril kráľom a ich ľuďom: držal ho Žigmund Luxemburský aj Stibor zo Stiboríc, poľský šľachtic, ktorý bol Žigmundovou pravou rukou na Považí. V pätnástom a šestnástom storočí menil majiteľov znova a znova a bohaté rody sa oň súdili. Hrad, ktorý stále mení pána, je hrad, do ktorého nikto neinvestuje — aj preto z neho napokon zostala zrúcanina.
