Na podstawie tych zarzutów nie odwieziono go jak tysiące polskich oficerów do Of-Lagu, ale umieszczono jako więźnia politycznego w więzieniu w Cieszynie w celi nr. 126.
Niemcy starali się go złamać, nakłonić do zdrady i podpisania Volkslisty, ale się im to nie udało. Karol Olbracht Habsburg więziony był w Cieszynie przez 2 lata, do 23 sierpnia 1941 roku. w trakcie przesłuchań katowany był jak inni więźniowie, utracił wzrok w jednym oku i został częściowo sparaliżowany. Arc. Alicja chcąc ratować męża, szukała pomocy u zaprzyjaźnionych z Habsburgami dworów tj. szwedzkiego i hiszpańskiego. Dzięki jej staraniom Karol Olbracht Habsburg, został przeniesiony z więzienia w Cieszynie do "Sanatorium" dr. Sinna w Neubabelsbergu, koło Berlina. w międzyczasie Alicję z dziećmi przesiedlono do Wisły. Po czteromiesięcznym pobycie w Neubabelsbergu, został arc. Karol Olbracht zwolniony i otrzymał zezwolenie na zamieszkanie z rodziną w Wiśle.
Wszyscy, którzy zetknęli się z Alicją Habsburg, podkreślali jeden fakt, mianowicie odwagę cywilną. Mówiła Niemcom "prosto w oczy", co myśli, nie licząc się z konsekwencjami. w protokole końcowym z przesłuchań arcyksiężnej stwierdzono:"Pani von Habsburg nie robi żadnych tajemnic ze swoich przekonań politycznych i swej wrogiej postawy wobec III Rzeszy. Opowiada się całkowicie za polskością i zdecydowanie odsuwa państwo narodowo-socjalistyczne. Jej syn z pierwszego małżeństwa Kazimierz Badeni, przebywa w Anglii. Arcyksiężna nie chce wiedzieć czym się tam zajmuje, przyjmuje, że służy w angielskim wojsku. Pani von Habsburg ma nadzieję, że syn wstawia się w Anglii, za ponownym utworzeniem Polski. Należy stwierdzić z całą pewnością, że składała w szwedzkim poselstwie informacje o treści szkodliwej dla naszego państwa".
Rodzina Habsburgów cieszyła się w Wiśle sympatią polskiej ludności. Świadczono jej rozmaite usługi. Gestapo podejrzewało, że powiązania z kołami katolickiego kościoła wykorzystywane jest przeciwko Rzeszy Niemieckiej. Postanowiono więc przesiedlić rodzinę Habsburgów do Altreich, a arcyksięcia zatrudnić w zakładach zbrojeniowych. Ostatecznie Reichsfuhrer-SS Heinrich Himmler, wyraził zgodę na przesiedlenie do majątku państwowego Straussberg w Turyngii. Był to obóz pracy przymusowej niedaleko Buchenwaldu. Deportacja nastąpiła 4 października 1942 roku, a majątek żywiecki przeniesiono na własność prowincji Górny Śląsk, niepodzielnie i bez odszkodowania. Ostatecznie wypłacono z osiągniętego zysku na majątku odszkodowanie pieniężne wdowie po Leonie Habsburgu w wysokości 2 miliony RM, a arc.Karolowi Olbrachtowi i jego małżonce za odebrane dobra przyznano rentę, wynoszącą 800 RM miesięcznie, jako kwotę wystarczającą na utrzymanie czteroosobowej rodziny.
Starsza córka Maria Krystyna nie przebywała z rodzicami w Straussbergu, gdyż wysłano ją do Wiednia gdzie pobierała naukę w prywatnym pensjonacie dla dziewcząt Anny Metzger, nieco później dołączyła do niej młodsza siostra Renata. Była tam nie długo, bo tylko do 26 czerwca 1943 roku, ponieważ Maria Krystyna wezwana do biura Gestapo w Wiedniu, opowiedziała się za obywatelstwem polskim za co zostały wyrzucone z siostrą pensjonatu, ponieważ Polki nie mogły uczyć się razem z Niemkami.