香港開埠初期實行鴉片專賣、自由吸食的政策，從而給吸毒者大開綠燈。
1842年3月，人口不足萬人的「女王城」，已有鴉片商號24戶，從業者131人。其後隨着人口的增加，吸毒隊伍日益擴大，使大批居民染上惡習，尤以華人受煙毒之害最為普遍，幾乎佔成年男性的10%左右。鴉片價格昂貴，長期吸毒，肯定禍及家庭，成為引致貧困和釀成社會悲劇的一大誘因。資料顯示，到19世紀60年代，香港在押犯中超過半數為吸毒者。
香港開埠初期，煙毒賭風瀰漫
英國人入侵前，港島並無賭博的記載。隨着殖民地開埠，煙毒與賭風結伴而來。在華人移民的積極參與下，早期香港賭博成風，為禍不淺。到1844年4月，這一彈丸之地已有賭館8家。到50年代，增至28家，另闢內番攤19家，打牌5家，字花和搖彩各兩家。至於三五成群的街頭聚賭和冠以私人俱樂部名義的賭博場所，更是多不勝數。政府對賭博或縱或禁，給了相關官員和警察貪贓枉法的極大空間。賭風助長貪風，更加速了當局警政的驚人腐敗。
色情業可說是殖民地最頑固的痼疾。英軍入侵香港後，從澳門和廣州等地跟貼而來的龜公、鴇母和妓女，在各行中率先開門營業。當香港闢為自由港後，各地商賈雲集，良莠雜處，為色情業的寄生和滋生提供了更多的市場。據統計，1842年3月，「女王城」中已有妓院23處，從業人員達439人。到50年代，維多利亞城的妓院已達137家。色情業有暴利可圖，使誘拐婦女、賣良為娼之風日熾；警察執法犯法，大肆徇私舞弊，致使性病成為其職業病。
鴉片戰後 海盜猖蹶 港府無策
1844年接替砵甸乍出任第二任香港總督的德庇時（Sir John Francis Davis，1795年－1890年，又譯爹核士、戴維斯和大衛斯等），1834年曾擔任英國駐華商務監督。他在1836年曾出版The Chinese: A general description of the Empire of China, and its Inhabitants （《中國人：中華帝國及其居民概述》）一書，記錄了大清政府多年間對海盜的鐵腕打擊。
書中紀錄，1816年，載有鴉片的美國商船「沃巴什號」在澳門遇劫。結果大多數海盜被中國當局迅速逮捕，立即處以死刑。他們的頭顱被擺在澳門海邊岩石上的籠子裏，以儆效尤。發生在1828年的法國商船「航海家號」的案子更引人注目，它在接近澳門的海上被劫殺一空。由於案件驚動了皇帝，在嚴格指令下，廣州官方當着歐洲人的面進行了審理。在24位海盜中，有17位被判斬立決；其首領當場被凌遲處死。
1840年鴉片戰爭以後，香港島周遭的海盜活動愈演愈烈。引致海盜橫行的原因，除大清水師在中英衝突中全覆沒外，更主要是受日益活躍的鴉片走私等不法活動鼓勵，以及對香港新財富的垂涎。在德庇時任內，1845年，海盜船隊封鎖了海港東西兩面的水道，「頗嚴重地癱瘓」了中港兩地間的貿易活動。其後的幾年裏，海盜大舉進襲的威脅，一度曾令全島進入緊急戒備狀態。
早期的港英當局對海盜肆虐束手無策，給香港的發展帶來很大的困擾。到第三任港督文咸任內（1848年-1854年），以徐亞保（19世紀？－1851年）為首的海盜，行動更為猖獗。
大清轉剿為撫，海盜日落西山
歷史上久負盛名的海盜張保仔（1786年－1822年。至今用其名命名的路、洞仍存世），1810年前活躍於南中國海，擁有部眾4萬餘人，戰船600餘艘。海上過往商船經過他所控制的地區，必須交納保護費，否則很難逃過被劫殺的命運。
據記載，當時在香港及其鄰近地區出沒為患的著名海盜，還有徐亞保和十五仔等。徐亞保是十五仔的屬下，兩人是繼張保仔之後香港勢力最大的華南海盜。追隨徐亞保的不法之徒有2000多人，裝備有戰船23艘，火砲18門。統率匪徒3000多人的十五仔，其軍事實力更為強悍，在64艘戰船上配置了火砲千餘門。
犯罪不分國籍，前來分羹的外國海盜也紛紛參雜其中。在船上懸掛米字旗的英國人芬頓，以護航保鏢為名，公開從事打家劫舍的海盜生涯，他曾親手劫殺過前往盤查的兩名葡萄牙軍官。
19世紀香港周邊的海盜聲勢浩大，全盛時要以旗色來互相區分。張保仔（懸掛紅旗）、郭婆帶（懸掛黑旗）和烏石二（懸掛藍旗）三股勢力聯盟後，屢次擊敗大清水師的軍事進剿，也使英國鴉片商船和英國兵艦吃盡苦頭，一度令香港政府和廣州當局望洋興嘆。
堡壘最先從內部攻破，隨着大清採用轉剿為撫的對策，郭婆帶等海盜相繼接受招安，英國軍艦和大清水師聯手圍剿，孤立無援的張保仔於嘉慶十五年（1810年）被招安投降，至此海盜的前景開始日落西山。
