日军政府占领香港后，委派日本工程师为总督府（现称香港礼宾府）进行改建，工程范围包括将屋顶改为日式瓦顶，以及加建一座中央塔楼，两项改动仍保留至今。 遮打爵士去世后，他的私人珍藏（称为「遮打藏品」）包括油画、水彩、素描、版画及摄影等，按其遗愿捐赠予香港政府。1941年，香港沦陷前夕，这些重要藏品秘密藏于总督府地下保险库、酒窖及花园地底。1942年，日军政府改建总督府时，工程判头冼子霖发现遭弃置的画作，冒险把其中23幅偷运出来，藏于家乡，并于战后悉数交还香港政府。
