石排灣（香港開埠後改稱「香港仔」）與鴨脷洲隔海相望，中間的水道有兩面山丘保護，不受強風吹襲，自古以來便有漁船停泊。水道兩岸各有一間供奉海神的廟宇，其中鴨脷洲的洪聖古廟在乾隆三十八年（1773年）建立，可見香港開埠前68年已有漁民和商人聚居香港仔。
在香港仔大道的天后古廟在開埠後10年建成，廟內保存了咸豐元年（1851年）鑄造的銅鐘。該廟過去曾進行多次修建，其中同治癸酉年（1873年）那次在第一進屋頂加上石灣瓦脊，由陸遂昌店造。脊上的陶塑人物排列得密密麻麻，細看可發現當中有女性。人物造型似是上演《六國大封相》的故事，題材與銅鑼灣天后古廟的瓦脊類同。
這座天后廟的布局也像銅鑼灣天后古廟，均是兩進三開間結構，主殿與兩旁偏殿之間各以月門分隔，左、右次間的天井分別有龍、虎灰塑，造型栩栩如生，灰塑四周布滿吉祥裝飾。
填海後的變化
1970年代當局在天后古廟對出填海，開闢了多條縱橫交錯的街道，以中國省市名稱命名，如湖南街、湖北街、西安街、洛陽街、成都道、南寧街和奉天街（奉天即今天的瀋陽市），還有一條東勝道。後者曾形成露天街市，是街坊購物的地方，1983年香港仔市政大廈落成後，小販遷入室內，但東勝道至今熱鬧依然。
那次填海還填平了天后古廟旁邊的香港仔船塢（Aberdeen Docks），出現了龐大的私人屋苑「香港仔中心」。該船塢由蘇格蘭造船匠約翰‧林蒙（John Lamont）夥拍蘇格蘭商人德忌利士‧立壁（Douglas Lapraik）興建，兩個旱塢先後在1860年和1867年落成，其後被黃埔船塢收購，成為香港造船業中心之一。
填海之後，天后古廟遠離岸邊，香火開始衰落。由於馬路填高，該廟變相陷於低窪之地，每逢大雨便水浸。1999年華人廟宇委員會決定拆卸該廟，保留原有的構件和文物，然後興築地台，在上面重建廟宇。由於失去原真性，古諮會將其建築評級由原來的二級降至三級。
西方宗教傳入
除了民間信仰外，香港仔亦有基督宗教傳入。天主教神父於1849年在此開展傳教事業，當時的對象是漁民。19世紀末，嘉諾撒仁愛女修會的修女開始到漁民社區服務，1897年在香港仔創辦了培德學校，是區內第一間女子小學。同時亦辦醫院和孤兒院，可惜日佔時期遭破壞而終止服務。戰後修女們在香港仔大道重建學校，招收男女漁民子弟。1957年擴建成三層高的校舍，改為津貼女子小學。為了讓女童有機會升讀中學，1975年在貝璐道創辦了嘉諾撒培德書院。
及後教友增加，天主教會於1929年在香港仔創立聖伯多祿堂，堂址由教友捐贈的小牛房改建而成，外表簡陋，容不下200人。直至1949年成立堂區後，神父開始計劃重建聖堂，第二代聖伯多祿堂在1962年落成。
戰後嬰兒潮出現，1958年神父在聖伯多祿堂隔鄰創辦聖伯多祿學校（男子小學）。當區內兒童漸長，教會在小學校舍對上地方設立聖伯多祿中學，1965年啟用。小學現在兼收男女生，並遷往石排灣邨，改名「香港仔聖伯多祿天主教小學」。中學亦由男校變為男女校，2012年遷入鄰近的香港仔水塘道地段。中學舊校舍歸還政府，但不包括小學舊校舍，因後者自資興建。但政府難以將中學舊校舍撥給其他團體使用，因為出入該處須經過小學舊校舍。
基督新教方面，較早來到香港仔的浸信會於1905年在鴨脷洲一會友之醫館門外掛上「浸信會談道所」，開始聚眾講道。1911年遷往人口較多的香港仔舊大街布道。其後兩次遷址，搬至天后古廟後方的山腳，中西兩種宗教並肩共存。另外，1912年成立的海面傳道會主力向漁民佈道，利用船隻在海上傳播福音，並且贈醫施藥，教漁民子弟讀書識字。
香港仔警署
香港仔很早已發展成人口稠密的社區，港府在1847年已設立警署維持治安。隨着人口不斷增加，1891年在香港仔大道近海山崗再建造一間規模較大的警署，且保留至今，是香港仔現存最古老的西式建築。
警署屬維多利亞時期的殖民地式建築物，主樓兩層高，以麻石和紅磚築砌。樓下有報案室、囚室、辦公室和單身警員宿舍；上層是警官宿舍，可供兩個家庭居住，各有寬敞的睡房和客廳，站在遊廊可以眺望鴨脷洲和附近海域。主樓旁邊還有兩幢附樓，其中一座用作飯堂和洗衣房。
到了1960年代，警署空間已不足夠，由於只有一條狹窄車路通往山丘，對警車出入亦構成不便。其後當局在香港仔工業學校對開的士丹頓灣填海，興建新的警署，1969年啟用。舊警署先後用作偵探訓練學校、水警訓練學校和南區水警警署，至1994年空置。經過全面維修，租予蒲窩青少年中心，為年輕人提供一處玩音樂、跳舞和塗鴉的地方。
此舊警署有個奇特現象，就是路口兩旁排列了大大小小的神壇，有土地公公、大王公公、榕樹公公、北帝二王爺、佛祖、觀音、關帝、山伯、地母元君和五華師母等等，各路神明濟濟一堂，十分熱鬧。當中有些在警署遷出前已經存在，居民為何選擇此處設壇，警署又為何容許，是一個值得探究的題目。
這間警署建成時曾經引起紛爭，有鴨脷洲居民指警署所在的山崗為「虎地」，警署猶如「猛虎下山」，影響鴨脷洲的風水。有堪輿師建議在洪聖古廟前豎立兩支木柱，繪以龍形圖案，化解警署煞氣。龍柱曾於1948年維修，經歷大半個世紀，終不敵2014年的颱風「海鷗」吹襲，其中一支折斷。翌年華人廟宇委員會出資製作新的龍柱，重新矗立廟前，繼續朝着香港仔舊警署。
