第一次世界大戰爆發，香港未有直接受到影響，但第二次世界大戰卻令香港落入日軍手中，經歷三年零八個月的苦難歲月。1945年日本投降，英國重掌香港，此時內地政局動盪，導致大批居民南遷。他們大多抱着過客心態，對香港沒有歸屬感。隨着戰後出生一代逐漸成長，情況漸有改變，他們開始關心土生土長的地方。70年代當政府宣布拆卸中環郵政總局和尖沙咀火車站大樓時，引發一些知識分子走出來爭取保留，但最後功敗垂成。此時港府有意識要保育香港的歷史建築和考古遺址，1976 年實施《古物及古蹟條例》，同年成立古物諮詢委員會（Antiquities Advisory Board）及古物古蹟辦事處（古蹟辦Antiquities and Monuments Office）。身兼古物事務監督的官員，在諮詢古諮會並經港督（回歸後是行政長官）批准後，可宣布個別地方、建築物、地點或構築物為法定古蹟（declared monument）。由1978年至今（2019年5月），香港已有120項法定古蹟受到法律保護。
古蹟辦是政府一個行政機構，1980年引入評級制度作為內部參考，將文物建築分為三級。1996至2000年進行了一次全港歷史建築普查，記錄約8800幢建築物，從中挑選1444幢深入調查（其後不斷有新項目增加），由專家按「歷史價值」（historical interest）、「建築價值」（architectural merit）、「組合價值」（group value）、「社會價值」和「地區價值」（social value & local interest）、「保持原貌程度」（authenticity）和「罕有程度」（rarity）等六個準則進行評級，再交古諮會確認。
最哄動的是特區政府在2005年宣布拆卸天星碼頭和皇后碼頭，吸引大批市民到來拍照留念，抒發緬懷之情，甚至引發抗爭。雖然兩個碼頭最終在2006年底和2007年中拆卸，但亦令政府意識到要保育有集體回憶的歷史建築，因此曾蔭權於2007年7月接任行政長官後成立發展局（Development Bureau），其中一項工作是執行文物保育政策。翌年成立文物保育專員辦事處（Commissioner for Heritage’s Office），着力保育私人的歷史建築，並推出「活化歷史建築伙伴計劃」（Revitalising Historic Buildings Through Partnership Scheme），以社會企業模式活化政府閒置的歷史建築，令它們得以重生。
