Znamienici przedstawiciele żywieckich Habsburgów
      Na pewno znamienitym przedstawicielem tego rodu był książę Albrecht Fryderyk, który oddzielił dobra żywieckie od cieszyńskich i był m.in. założycielem miejscowego browaru.
Przedstawicielem Habsburgów, który zamieszkał na stałe w Żywcu był jego bratanek arcyksiążę Karol Stefan.
Jako eksternistyczny słuchacz uczęszczał do Akademii Marynarki w Fiume, po jej ukończeniu w 1879 został zaokrętowany jako chorąży na liniowy okręt flagowy. Zyskał sobie poważanie w marynarce wojennej, był znawcą broni i dobrym żeglarzem. w latach 1879/80, na pokładzie korwety "Saida" uczestniczył w transoceanicznej podróży do Brazylii, Zachodnich Indii i Ameryki Północnej. Jako oficer sztabowy, dowodził okrętami, a w 1894 roku był dowódcą dywizjonu krążowników i flotylli torpedowców, w czasie letnich ćwiczeń eskadry, dowodził nawet dwoma ciężkimi dywizjonami. Do jesieni 1895 roku, pozostawał w czynnej służbie marynarki i przeszedł wszystkie stopnie oficerskie do admirała włącznie, którym został w 1912 roku.
W 1886 roku ożenił się z arcyksiężną Marią Teresą. w tym małżeństwie urodziło się sześcioro dzieci.
Karol Stefan posiadał początkowo pałac w spokojnej dzielnicy Pola k/Triestu, gdzie mieszkał ze swoją rodziną. Po otrzymaniu żywiecczyzny od swojego stryja zamieszkał w nowym zamku wybudowanym przez niego przed 1885 roku. Wraz ze swą rodziną opanował z czasem biegle język polski. Obie córki tj. Renata i Mechtylda, poślubiły Polaków. Renata - księcia Hieronima Radziwiłła, zaś Mechtylda została żoną księcia Olgierda Czartoryskiego. Jedynie starsza Eleonora wyszła za mąż za Alfonsa von Klossa, oficera marynarki wojennej, z którym potajemnie była zaręczona od 10 lat. Był to związek wbrew woli rodziców, uchodził wówczas za mezalians. w czasopiśmie "Wieś i dwór" zachował się opis wesela Mechtyldy Habsburg z Olgierdem Czartoryskim, gdzie obok wymieniania osobistości, które brały udział autor zwrócił uwagę, że Pan Młody oraz przybyli goście wystąpili w strojach polskich szlachciców.
Karol Stefan pasjonował się nie tylko rozbudową i upiększaniem swojej żywieckiej posiadłości, jego wielką namiętnością pozostawały nadal morskie podróże i nowe jachty. Nabywał żaglowce i parowe jachty, którymi corocznie aż do początku i wojny przemierzał przez kilka miesięcy Morze Śródziemne. Każdego roku sprawiał sobie nowy jacht, projektowany przez wybitnych inżynierów i budowany w stoczniach angielskich. Takie statki miały ok. 20 miejsc dla gości i 50 miejsc dla załogi. Karol Stefan kochał podróże, na swych jachtach docierał do Rosji, Skandynawii i państw Morza Śródziemnego tj. Turcji, Grecji i Hiszpanii. Na pokładzie często gościł głowy koronowane nie licząc wywodzących się z kręgów arystokracji. Był człowiekiem bardzo żywotnym i lubił płatać swoim gościom różne figle np. paniom wkładał między bieliznę stare ryby. Gdy nie przebywał nad słonecznym Adriatykiem, poświęcał się sprawom swej lądowej posiadłości w Żywcu. Na zamku odbywały się często koncerty, otaczał opieką artystów muzyków i malarzy. Sam posiadał duże zdolności artystyczne, grał na fortepianie. Karol Stefan ufundował w 1904 roku tablicę pamiątkową z okazji pobytu na zamku żywieckim w XVIII wieku króla Jana Kazimierza.