Kaczorowski w harcerstwie udzielał się jako instruktor, drużynowy oraz opiekun obozów letnich. W roku 1934 rozpoczął także edukację w białostockiej Szkole Handlowej. Tuż przed wybuchem II wojny światowej został zastępcą komendanta białostockiego Pogotowia Harcerskiego, mającego pełnić funkcję pomocniczą w przypadku wojny. Po wejściu Sowietów do miasta, współtworzył na jego terenie konspiracyjne struktury Szarych Szeregów, m.in. jako hufcowy oraz komendant chorągwi. Za tajną działalność 17 czerwca 1940 roku aresztowało go NKWD. Przetrzymywany w Białymstoku i Mińsku, po trwającym dwa dni procesie został skazany wyrokiem sądu wojskowego na karę śmierci. Po stu dniach uwięzienia w celi śmierci 10 maja 1941 roku sąd Związku Sowieckiego zamienił mu karę na 10 lat łagrów i zesłał na Kołymę. Wypuszczony z więzienia po wejściu w życie układu Sikorski-Majski, w marcu 1942 roku zasilił szeregi tworzonej w ZSRR przez gen. Władysława Andersa Armii Polskiej i wyszedł wraz z nią do Palestyny. Jako żołnierz 2. Korpusu w Batalionie Łączności 3. Dywizji Strzelców Karpackich walczył w kampanii włoskiej, pełniąc podczas bitwy pod Monte Cassino funkcję dowódcy ośrodka łączności 2. Brygady Strzelców Karpackich. Po zakończeniu wojny pozostał na emigracji w Wielkiej Brytanii, gdzie ukończył przerwaną edukację. W 1947 roku zdał maturę w Liceum 3. Dywizji Strzelców Karpackich w Anglii, później studiował w Szkole Handlu Zagranicznego, by następnie przez wiele lat do czasu emerytury w 1986 roku pracować jako księgowy. W 1952 roku ożenił się z Karoliną Mariampolską; mieli dwie córki. Włączył się także w emigracyjną działalność Związku Harcerstwa Polskiego, najpierw jako naczelnik harcerzy w latach 1955-67, następnie jako przewodniczący Związku Harcerstwa Polskiego na uchodźstwie w latach 1967-88. Był także komendantem reprezentacji polskiej na Międzynarodowym Jubileuszowym Jamboree w 1957 roku oraz komendantem Światowego Zlotu Harcerstwa na Monte Cassino w 1969 i w Belgii w 1982 roku. Uczestniczył również w pracach parlamentu emigracyjnego zwanego Radą Narodową oraz w życiu społecznym emigracji jako członek Zarządu Głównego Stowarzyszenia Polskich Kombatantów, Zarządu Zjednoczenia Polskiego, Rady Polskiego Ośrodka Społeczno Kulturalnego, jak również Rady Polskiej Macierzy Szkolnej, Rady Instytutu Polskiego Akcji Katolickiej oraz Rady Koordynacyjnej Polonii Wolnego Świata. W roku 1986 powierzono mu stanowisko ministra do spraw krajowych w polskim rządzie na uchodźstwie. Nawiązał wówczas szerokie kontakty z działaczami opozycji i niezależnym harcerstwem w kraju. W styczniu 1988 roku prezydent Kazimierz Sabbat wyznaczył go "następcą prezydenta na wypadek opróżnienia się urzędu przed zawarciem pokoju". Po nagłej śmierci Sabbata, Kaczorowski został 19 lipca 1989 roku zaprzysiężony na urząd prezydenta na uchodźstwie. 22 grudnia 1990 roku podczas uroczystości na Zamku Królewskim w Warszawie w towarzystwie delegata rządu na uchodźstwie na Niemcy Wincentego Broniwój-Orlińskiego przekazał insygnia władzy, w tym m.in. Orderu Orła Białego, pierwszemu wybranemu w wolnych wyborach prezydentowi Lechowi Wałęsie. Po złożeniu urzędu Kaczorowski nadal czynnie działał w sferze publicznej i społecznej, zarówno w kraju, jak i na emigracji. Jest doktorem honoris causa czterech uczelni, uhonorowano go również wieloma odznaczeniami m.in. Orderem Orła Białego, przyznanym przez Jana Pawła II Wielkim Krzyżem Orderu Piano oraz otrzymanym od królowej Elżbiety II honorowym tytułem Rycerza Wielkiego Krzyża Orderu Św. Michała i Św. Jerzego.