地理环境、气候条件对文化的特质和发展起着重大作用，自然环境是人类社会生存和发展的基础，也是文化存在和发展的必备条件，任何文化都在一定的自然环境中产生、发展并受其制约和影响。岭南园林的产生和其特点的形成，很大程度取决于其所处的造园环境因素。
岭南古为百越之地，是百越民族居住的地方，秦末汉初它是南越王国的辖地。所谓岭南，是指五岭以南，五岭包括大庾岭、骑田岭、越城岭、萌渚岭、都庞岭（一说揭阳岭），它又称南岭。《晋书·地理志下》将秦代所立的南海、桂林、象郡称为“岭南三郡”，明确了岭南的区域范围。五岭大体上分布在广西东部至广东东部与湖南、江西交界的地方。岭南北靠五岭，南临南海，西连云贵，东接福建，范围包括了今广东、海南、闽南和广西的大部分。这些地区不但地理环境相近，人民生活习惯也有很多共同之处。由于其自然环境、社会环境等因素与中国其他区域的区别，因此创造出独具风格的岭南园林特色。