恶霸奸人坚（黄子华 饰）是广州旗下街的一霸，他虽然不学无术，但仗着奸诈的脑袋，多年来聚集起一众无赖，横行旗下街。这日奸人坚打着“打败广东十虎黄麒英”的招牌招摇过市时，被初来广州的黄飞鸿（林嘉华 饰）见到，为了帮父亲出口气，飞鸿教训了奸人坚一顿，令奸人坚好不丢脸。随后，奸人坚为了争回一口气，偷走了飞鸿父亲黄麒英的神位，并在再次挑战飞鸿时用它来作挡箭牌威胁他，终于打败了飞鸿出了一口恶气，而飞鸿则被众人认为是懦夫。
警察厅厅长认为旗下街的一间姑婆屋档了他的官运，欲除之而后快，于是找来奸人坚帮他去收回姑婆屋。姑婆屋的主人是刚才南洋归来的阿翠（叶童 饰），这是她买来供一班姑婆们养老用的。奸人坚用尽办法和阿翠斗气都没有拿到姑婆屋的屋契，于是，一条毒计又诞生了。