日軍政府佔領香港後，委派日本工程師為總督府（現稱香港禮賓府）進行改建，工程範圍包括將屋頂改為日式瓦頂，以及加建一座中央塔樓，兩項改動仍保留至今。 遮打爵士去世後，他的私人珍藏（稱為「遮打藏品」）包括油畫、水彩、素描、版畫及攝影等，按其遺願捐贈予香港政府。1941年，香港淪陷前夕，這些重要藏品秘密藏於總督府地下保險庫、酒窖及花園地底。1942年，日軍政府改建總督府時，工程判頭冼子霖發現遭棄置的畫作，冒險把其中23幅偷運出來，藏於家鄉，並於戰後悉數交還香港政府。
