Droga na Sybir była ciężka i długa. Wagony kolejowe, sanie i przeróżni towarzysze podróży. Do Irkucka przybyli w marcu 1865 roku. Józef przeznaczony był do pracy w nerczyńskiej kopalni złota słynącej z tego, że tysiące ludzi traciło w niej życie i zdrowie. Wszyscy wiedzieli, że przy wieloletnich wyrokach ciemność, wilgoć, jęki i łzy, tylko najsilniejsi z żelaznym zdrowiem mogli wytrzymać. Józef zdawał sobie sprawę ze swojego słabego zdrowia i szczupłej postury. Zdając sobie sprawę, że w kopalni czeka go rychła śmierć, na ostatniej Mszy Św. przed wysyłką do kopalni poprosił Opatrzność o ratunek. Kilka godzin później gubernator Szałasznikow na prośbę rodziny wysyła go do Usola zamiast do kopalni. Tym samym ręka Bożej Opatrzności uratowała mu życie.

 

W Usolu zamieszkał w koszarach dla zesłańców znajdujących się na wyspie oblanej wodami Angary. Warunki bytowe były nieprzyjazne, a katorżnicy zobowiązani byli do pracy w warzelniach soli. Otrzymali kajdany, które musieli zakładać w razie wyjścia do miasteczka. Z zapisków wspomnień Józefa z tego pobytu możemy zobaczyć oczyma - zesłańca to, co się dzieje w sercu i duszy. Ukazuje ciężkie warunki życia mimo piękna przyrody sybiru, tęsknotę za krajem oraz stopniowy „upadek” towarzyszy.

 

Amnestia carska z 1866 roku zmniejszyła karę zesłańcom o połowę oraz pozwalał zamieszkać im prywatnie w Usolu, zobowiązani byli jednak do robót rządowych w rolnictwie / uprawa warzyw itd. /. Nowa amnestia z 1868 roku uwolniła go zaś z ciężkich robót, zamieniając je na osiedlenie się w guberni irkuckiej. Większość zesłańców wybierała Irkuck ze względu na łatwiejsze znalezienie tam pracy, tak postąpił też Józef. Tam właśnie zaczął zajmować się pracą wychowawczą jako nauczyciel dzieci i opiekun sierot. Włącza się również w prace kulturalna i naukową wspomagając w badaniach przyrody profesorów z Uniwersytetu. Na Syberii otrzymuje również od Opatrzności kolejnego „syna”. W owym okresie pochłania dzieła mistrzów duchowości, spotyka kapłanów, którzy stają się jego nauczycielami „spotkania z Bogiem”, pogłębienia duchowości, uczenia się dyscypliny życia i ducha, tak potrzebnej mu potem do realizacji swojej misji w polskim kościele. Obserwuje również gorliwość kapłanów, księży i biskupów na zesłaniu ratujących dusze rodaków w tych ciężkich warunkach.

 

W czasie wygnania uwydatniła się życiowa wrażliwość Kalinowskiego na potrzeby drugiego człowieka. Nie potrafił być nieczuły na otaczającą go biedę materialną i moralną. Otrzymywane podczas zesłania od rodziców pieniądze przeznaczał dla potrzebujących. Uważał, że nie może odmówić pomocy ludziom, których nędza materialna prowadzi do upadku moralnego. On sam ma już w sobie skarb, pozostaje w nim myśl o wstąpieniu do kapłaństwa. Czeka tylko na wyjazd.

 

W 1872 Józef Kalinowski opuścił Irkuck i przez Permu dotarł do Smoleńska. Tam początkiem 1874 roku otrzymuje pozwolenia na wyjazd na terytorium byłego Królestwa Polskiego – drogę do wolności.

 

 

Kalinowski po opuszczeniu Smoleńska, udał się do Warszawy. Ponieważ czuł zobowiązanie wobec rodziny, która udzielała mu wsparcia finansowego podczas katorgi, podjął decyzję objęcia stanowiska nauczyciela i wychowawcy księcia Augusta Czartoryskiego, syna Władysława przywódcy emigracji polskiej w Paryżu. Swoje obowiązki rozpoczął w rezydencji Czartoryskich w Galicji - Sieniawie k. Jarosławia, gdzie spotkał się z rodziną Czartoryskich. Kilka tygodni później wraz z Guciem /jak zwano księcia/ przez Kraków, Wiedeń i Strasburg udać się do Paryża, gdzie przebywali pewien okres. Widząc warunki w jakich ma kierować wychowaniem księcia tj. prywatni profesorowie, brak kontaktu z rówieśnikami, życia rodzinnego ze względu na podróże i wyjazdy ojca, Kalinowski starał się przekonać księcia Czartoryskiego do pomysłu umieszczenia Augusta w dobrym kolegium jezuickim. Pomysł był z entuzjazmem przyjęty przez Gucia jednak zamiary te przekreśliła jego choroba. Od tego momentu Józef Kalinowski przez prawie dwa lata wędruje ze swoim wychowankiem po uzdrowiskowych miejscowościach Europy, zastępując mu w tym okresie rodziców i kształtując jego charakter i duchowość. Kiedy zdrowie Gucia na to pozwalało, uczył się pod kierunkiem prywatnych nauczycieli, a wychowawca wykładał mu fizykę i matematykę. Jak wyjątkowy wpływ duchowy i pedagogiczny miał na ludzi Kalinowski, świadczy fakt, że książę August to jedna z osób, która wsparta przez niego dokonała ogromnego dzieła i został błogosławioną podobnie jak bł. Brat Albert Chmielowski.