The castle first appears in writing in 1316 under the name Bystrický hrad, at a moment when this whole corner of the kingdom answered to Matúš Čák of Trenčín — a magnate who collected castles and taxes as though the king were far away, which he largely was. A charter of 1330 names the settlement again. By the end of the fourteenth century the place is recorded with the marks of a town: a market, privileges of its own, a name of its own. All of it depended on the road under the ridge, because traffic moving up the Váh had nowhere else to go.Hrad sa prvý raz spomína v roku 1316 pod menom Bystrický hrad — v čase, keď celý tento kút kráľovstva poslúchal Matúša Čáka Trenčianskeho, veľmoža, ktorý zbieral hrady a dane, akoby bol kráľ kdesi ďaleko. A do značnej miery aj bol. Listina z roku 1330 osadu spomína znova a na sklonku 14. storočia už má znaky mestečka: trh, vlastné výsady, vlastné meno. Všetko stálo na ceste pod hradným bralom, lebo doprava po Považí nemala kade inade ísť.