“南越”一词，最早见于《庄子》：“南越有邑焉，名为建德之国，其民愚而朴，少私而寡欲，知作而不知藏，与而不求其报，不知义之所适，不知礼之所将；猖狂妄行，乃蹈乎大方；其生何乐，其死何葬。”建德是立德行，庄子所描述的建德之国，似乎是一个理想之国，前人视为乌托邦。苏轼诗慨叹：“建德有遗民，道远我无车。”康有为则说：“庄子建德之国，列子儋甗之山，凡至人之所思，固不可测矣，而况孔子乎？”然而，撇开建德之名，可以见到庄子提示的是一幅原始社会的图景：作而不藏，是生产力低下，未有剩余产品；与而不求报，是原始共产主义社会道德风尚。这个南越之邑，倒是切近原始社会状态的岭南。如果说这条记载只是庄子对当时的岭南社会有所听闻，那么，至少可以肯定的是战国时期己有“南越”之称。为什么称南越？罗香林认为：“以其地为扬越南部，故称为南越。”在《史记》中，通称为“南越”，《汉书》称为“南粤”。广东省之简称“粤”由此而来。
关于南越人的起源，大体有两种观点。一种是外来说，另一种是土著说。外来说是传统的说法，基本论点是将越族视为一族，所谓“越为禹后”。《史记》载：“越王勾践，其行禹之苗裔，而夏后帝少康之庶子也。封于会稽以奉守禹之祀。文身断发，披草莱而邑焉。后二十余世至于允常。”允常之子即是历史上著名的越王勾践。公元前323年。越国为楚国所灭，勾践的子孙南迁又转向西南，遂成百越。《东越列传》、《汉书.地理志》均持此说。今人也有持此说的。
但是，大量的考古发现表明，百越民族群体的各族是以东南和南方各地区的土著为主体而发展形成的，有着各自发展形成的历程。岭南先秦居民的主体应是岭南的土著居民。从新石器时代晚期到秦汉时期的岭南先民，有着一脉相承的文化特征。马坝人和垌中岩人遗址，说明早在10万年甚至更早之前岭南大地就有人类在此生息繁衍劳作。新石器时代初期的文化遗址，包括了英德青塘遗址为代表的山区采集和狩猎类型和以南海西樵山为代表的平原地区采集和原始农业类型。中期文化遗址，以增城金兰寺第一文化层、新会罗山咀贝丘遗址为代表，说明人类己逐渐迁离石灰岩地区，到海滨河岸平坦的平原谷地生活。晚期文化遗址，遍及广东的河畔、海滨。广东地区的新石器晚期文化是在继承广东地区新石器中期文化及吸收闽、赣、浙、桂地区同时期文化因素中发展起来。形成粤北地区、粤东平行岭和粤中东江地区、粤东韩江流域地区、粤中低地区即珠江三角洲地区、粤西地区即西江中游地区、粤西南和雷州半岛及海南岛地区等六个不同的文化特征群体，从而呈现出粤地多民族的文化状态。南越国王赵佗和辑的“百越”，指的是岭南境内不同特征的各民族部落，其中中部和西北部的民族是南越族。蒋炳钊认为：“南越族的来源不是战国晚期南迁的遗民，也不可能是从福建省迁过来的。”“南越族同样是百越中一支古老的民族，来源主要是由当地土著居民发展形成的，应是广东最早的民族。”这个结论当更符合实际。
综上所述，百越民族群的主体是东南和岭南的土著，而不是由外地区迁入。同时，其文化发展进程受到外来文化的不断影响。中原文化对百越社会的上层建筑、意识形态的变化影响尤为重大。由于中原统治集团之间的角力，夏代发祥于伊洛之间原属于中原文化范畴的于越国，经历了自西向东、自北而南的迁移扩展演变过程，其影响也向此方向传播。在东南、岭南出现的“百越”，开始实际上是统治集团的概念，直到后来才演变为东南及岭南各族的概念。“自交趾至会稽七八千里，百越杂处，各有种姓，不得尽云少康之后也”，说的正是这种扩展演变的结果。正因为南越族的族源主体是土著，这也决定了广府文化的文化特征之一是原生型文化，而不是外来型文化。

南越