Juraj Thurzó had daughters in abundance and one son, Imrich, who died in 1621 in his early thirties. With him the Bytča and Orava branch of the family lost its male line, and in 1624 the château passed by marriage to the Esterházy family — Imrich's widow Kristína Nyáry remarried, and the house went with her. The whole Thurzó family's male line ended in 1635 or 1636 with its Spiš branch, depending on which member you count as the last. The Esterházys had grander seats elsewhere and used Bytča as a farm building, which is the fate of most great houses whose owners no longer live in them: not a dramatic ruin, just a slow demotion.Juraj Turzo mal dcér habadej a jediného syna Imricha, ktorý zomrel roku 1621 sotva tridsaťročný. S ním stratila bytčianska a oravská vetva rodu mužskú líniu a roku 1624 prešiel zámok sobášom na Esterháziovcov — Imrichova vdova Kristína Nyáryová sa znova vydala a dom išiel s ňou. Mužská línia celého rodu Turzovcov dohorela roku 1635 alebo 1636 v spišskej vetve, podľa toho, koho pokladáme za posledného. Esterháziovci mali honosnejšie sídla inde a Bytču využívali ako hospodársku budovu — a to je osud väčšiny veľkých domov, v ktorých majiteľ prestane bývať: nie dramatická skaza, len pomalé zostupovanie.
