Dobra żywieckie, zwane "państwem żywieckim" kupił w 1838 roku od rodu Wielopolskich, arcyksiążę Karol Ludwik Habsburg. Jego syn Albrecht Fryderyk Habsburg założył browar w Żywcu. W 1895 roku, po śmierci Albrechta Fryderyka, odziedziczył dobra żywieckie bratanek - Karol Stefan Habsburg, oficer marynarki wojennej Austro-Węgier, miłośnik morskich podróży, mający rezydencję na adriatyckiej wyspie Loçinj. Jego związek z polskością wynikał z projektu politycznego. "Odrzucił tradycyjny kosmopolityzm rodziny cesarskiej, aby stać się Polakiem w nadziei, że zostanie regentem lub księciem Polski" - pisał Timothy Snyder w książce "Czerwony książę". Zdaniem amerykańskiego historyka Karol Stefan uważał, że rozwój nacjonalizmów jest nieuchronny, ale zniszczenie imperiów - już nie. "Europejczycy, jak wierzył Stefan, lepiej by na tym wyszli, gdyby pogodzili swe aspiracje narodowe z lojalnością wobec imperium - w szczególności monarchii habsburskiej". W tej wizji Karol Stefan chciał być reprezentantem i monarchą Polaków. "Nie czekał na adorację poddanego narodu, lecz sam do niego dołączył" - pisał Snyder. Karol Stefan Habsburg nauczył się języka polskiego. Ufundował tablicę upamiętniającą pobyt na zamku w Żywcu króla Jana Kazimierza. Wnętrza jego żywieckiej rezydencji przebudowywali polscy architekci: Tadeusz Stryjeński i Franciszek Mączyński. Karol Stefan posiadał galerię malarstwa polskiego, w której znalazły się obrazy m.in. Fałata, Chełmońskiego, Tetmajera, Kossaka, Malczewskiego. Nabywał też portrety królów polskich. Był protektorem krakowskiej Akademii Umiejętności. Dwie córki wydał za przedstawicieli najbardziej prominentnych polskich rodów arystokratycznych: Renatę za księcia Hieronima Radziwiłła, Mechtyldę za księcia Olgierda Czartoryskiego. Gdy w listopadzie 1916 roku, decyzją cesarzy Wilhelma I i Franciszka Józefa I proklamowane zostało Królestwo Polskie, pojawiła się kandydatura Karola Stefana Habsburga jako jego władcy. Latem 1918 r. cesarz Wilhelm mówił o niej księciu Januszowi Radziwiłłowi, dyrektorowi departamentu spraw zagranicznych Królestwa Polskiego. Jednak, jak stwierdza Timothy Snyder rozwiązanie austro-polskie przewidywało, że królem Polski ma zostać cesarz Austro-Węgier. Adam Tracz współautor książki "Ostatni król Polski" o Karolu Stefanie Habsburgu, twierdzi, że Wiedeń i Berlin nie zgodziły się na warunki stawiane przez niego: musi być zaakceptowany przez Polaków, w momencie jego wjazdu do Warszawy ma ją opuścić niemiecki generalny gubernator, polskie wojsko będzie użyte do obrony ziem polskich. Na mocy traktatu pokojowego zawartego w 1919 roku między państwami Ententy i Austrią państwo polskie przejęło pod przymusowy zarząd dobra Habsburgów. Stan ten trwał do 1924 roku, kiedy to Karol Stefan odzyskał swoje majątki, liczące około 50 tys. ha. Podarował wówczas Polskiej Akademii Umiejętności 10 tys. ha ziemi. Na zwrot majątku miała niewątpliwie wpływ postawa dwóch jego synów, którzy wstąpili do wojska polskiego i walczyli w wojnie z bolszewicką Rosją. Leon Karol Habsburg w 1920 był rotmistrzem, dowódcą szwadronu w 11 pułku ułanów. Do 1924 roku służył w Wojsku Polskim. Zmarł w 1939 r. w swoim majątku w Bestwinie. Karol Olbracht Habsburg, do 1918 roku zawodowy oficer armii austriackiej, był pułkownikiem WP, dowódcą XVI brygady artylerii 16 Pomorskiej Dywizji Piechoty, dowódcą twierdzy Grudziądz, dowódcą artylerii Grupy Operacyjnej w 6 Armii. Odznaczony został Krzyżem Walecznych. Karol Olbracht przejął dobra żywieckie po ojcu zmarłym w 1933 roku. Był ożeniony ze szwedzką arystokratką Alicją Elżbietą Ankacrona, poprzednio żoną galicyjskiego ziemianina Ludwika Badeniego. Wychowywali dzieci w duchu polskim. Ich córka Maria Krystyna nauczyła się niemieckiego dopiero w gimnazjum. We wrześniu 1939 roku Karol Olbracht Habsburg zgłosił się do wojska, lecz nie został zmobilizowany ze względu na stan zdrowia i wiek. W listopadzie 1939 r. został aresztowany przez gestapo po tym jak odmówił zadeklarowania się jako Niemiec. Stanisław Cat Mackiewicz pisał, ze Karol Olbracht miał powiedzieć: "Moje pochodzenie jest niemieckie, moim macierzystym językiem jest język niemiecki, ale jestem obywatelem polskim i uważam się za Polaka". Według innej wersji oświadczył: "Habsburg nie jest Niemcem". Był więziony przez ponad dwa lata w Cieszynie i brutalnie traktowany. Uległ częściowemu paraliżowi, stracił widzenie w jednym oku. Późnej był w areszcie domowym, pod nadzorem policji. Jego żona Alicja została internowana z córkami w Wiśle. Tłumaczyła dla ZWZ/AK na angielski informacje wywiadowcze, prowadziła nasłuch zachodnich radiostacji. Została odznaczona Krzyżem Walecznych. Syn Karola Olbrachta - Karol Stefan walczył w 1 Dywizji Pancernej gen. Maczka. Ukończył w 1945 r. szkołę podchorążych artylerii. Po II wojnie światowej żywieccy Habsburgowie, którym III Rzesza zabrała majątek, nie odzyskali go - zostali ponownie wywłaszczeni, tym razem przez władze Polski Ludowej. Karol Olbracht wyjechał na leczenie do Szwecji, gdzie zmarł w 1951 r. Na jego pogrzeb wyjechała z Polski żona, która zamieszkała w Szwecji (podobnie jak jej syn - Karol Stefan) oraz córka Maria Krystyna. Maria Krystyna wiele lat mieszkała w Szwajcarii. Nie przyjęła obcego obywatelstwa. W 1993 r. otrzymała z powrotem polski paszport, od 2001 roku mieszkała w Żywcu, do śmierci w październiku 2012 roku. W 2011 r. otrzymała Krzyż Komandorski Orderu Odrodzenia Polski za działalność charytatywną i społeczną. Była honorową obywatelką Żywca.