香港淪陷后不久，日本當(dāng)局命令對匯豐銀行展開清理，并勒令其職員協(xié)助。接收清理的是橫濱正金銀行，他們要求匯豐職員交出全部賬目清單。祁禮賓和較高級的職員被日本方面安排在一家名為“升華旅館”的客棧里。清理工作一直進(jìn)行到1943年。在他們住在這家旅館的18個(gè)月中，其余職員則被關(guān)在5英里外港島南面的赤柱集中營內(nèi)。

清理開始后，日本人在匯豐銀行金庫中發(fā)現(xiàn)一批約值億港元尚未發(fā)行的鈔票。祁禮賓等被脅迫在這些未經(jīng)簽字的鈔票上簽字畫押。一個(gè)多億港元的鈔票一經(jīng)簽字，日本人立即將它們發(fā)行。這批“迫簽紙幣”后來成為匯豐銀行戰(zhàn)后所必須面對的一個(gè)問題。

祁禮賓和他的高級助手們被迫幫助日本人一道清理有關(guān)的銀行事務(wù)。然而，他們并不都甘于忍受，兩名高級職員芬尼克和莫里遜，便在1942年10月中旬設(shè)法逃出。

莫里遜在后來撰寫的一篇?dú)v險(xiǎn)記中，詳細(xì)敘述了他們出逃的經(jīng)過：1942年10月18日晚6點(diǎn)半，他們設(shè)法避開警衛(wèi)，走出升華旅館，乘電車到達(dá)北角。在那里，一艘正在等候的船帶他們到達(dá)對岸的九龍，在一個(gè)羅姓中國軍人的引導(dǎo)下，啟程前往蔣介石政府所轄地區(qū)。在中國游擊隊(duì)的協(xié)助下，他們通過日占區(qū)，直至進(jìn)入桂林。在那里，他們收到了已獲悉他們出逃消息的摩爾斯的賀電。之后，他們從桂林飛往重慶，再從那里飛越駝峰到達(dá)印度。4個(gè)月后，即1943年2月18日，摩爾斯寫信說，從香港逃出的芬尼克和莫里遜到達(dá)倫敦，并已告訴他有關(guān)被拘留的香港職工的一切情況。

在升華旅館的匯豐銀行高級職員們還設(shè)法弄到了一筆數(shù)目不小的錢。因?yàn)榇蟛糠致殕T及其家屬被拘留在赤柱集中營內(nèi)，無法與外界接觸。這筆錢正好可以幫助他們補(bǔ)充生活必需品。時(shí)任匯豐香港出納主任的愛德華（）后來回憶說：“一部分相當(dāng)可觀的錢是從我們的中國朋友們那里募來的。我相信總數(shù)約有港幣200萬元。”

如何偷偷把錢送進(jìn)赤柱集中營是一個(gè)問題，因?yàn)橐瓦_(dá)的東西必須向日本人申報(bào)。不過，他們總會想到辦法。就這樣，祁禮賓和他的助手們時(shí)時(shí)接濟(jì)被關(guān)押在赤柱集中營內(nèi)的匯豐職員及其家屬。

不幸的是，1943年2月，日本人終于發(fā)現(xiàn)了這些情況。幾天后，當(dāng)祁禮賓得知日本人已就他們?nèi)绾闻竭@筆錢正對匯豐職員塔爾博特醫(yī)生展開偵詢時(shí)，作為一行之長，他想最好的辦法是自己去找外事部的頭目小田解釋。

2月23日，在另一職員史去非的陪同下，祁禮賓見到了小田。他對小田說，一些中國的同情者和幾個(gè)美國人給了他這筆錢，于是他請塔爾博特醫(yī)生去將錢分給匯豐銀行的被拘留者。史去非事后寫道：小田在訓(xùn)了我們一頓之后說，這是一個(gè)嚴(yán)重事件。

3月17日，祁禮賓和史去非被帶到憲兵司令部接受盤問，直至3月24日。之后，他們被關(guān)進(jìn)牢房。20天后，被拉到與赤柱集中營鄰近的赤柱監(jiān)獄，等候?qū)徟?。史去非寫道?943年6月30日，我們“（早晨）八時(shí)從囚監(jiān)中提出，給吃了一碗米飯，用手銬銬在一起，由日本和印度衛(wèi)兵押送，用一輛裝蓋小卡車載到香港的最高法院” 。

判決書下來了，他們被判處3個(gè)月徒刑，并被派去做花匠。從來沒有干過粗活、過著如此食不果腹的生活，更不用說心靈所遭受的折磨，62歲的祁禮賓終于支撐不住，于8月21日因病去世。一年后，匯豐銀行候任繼位人、在獄中的匯豐銀行第二把手艾文遜也因營養(yǎng)不良死去。