江南、廣州地區的開發，必然要影響到有關地區原來的居民。在這些居民中，有許多是少數民族。漢族人經濟勢力的滲入，破壞了他們原來的安靜生活。
長江以南，是一個多民族居住的地區。
到三國兩晉時為止，漢族和漢族文化在南方的發展，也只是沿長江兩岸，沿海以廣州為重點的一些點，與從荊州南下，透過湖南、江西逾五嶺而至廣州交通線上疏落的一些點。
這以外的廣大區域，還多是少數族居住著。
漢末晉末，北方漢人大量南移。東晉南朝時期，漢族文化才逐漸傳播開來，沿著原來漢人已到的上述點線地區向外發展。
當時南方廣大地區居住的民族，主要的是“蠻”、傒、俚和僚等。
漢文化傳到他們居住的地區，與他們便發生衝突，又通過沖突而逐漸有一定程度的融合。
“蠻”，是南方諸民族中人數最多的，常用作南方各少數民族的通稱。
蠻族中有兩大支：一支是長沙、武陵蠻，一支是巴郡、南郡蠻。
長沙、武陵蠻，自稱是槃瓠之後。他們的居住地區是長沙、武陵（今湖南省）一帶。“分建種落，布在諸郡縣”（《宋書 夷蠻傳》）。
後向西北遷移，發展到今湖北西部。他們原居在武陵一帶的，又分為椎谿、樠谿、辰谿、酉谿、舞谿，謂之五谿蠻；一部分居住在宜都、天門、巴東、建平、江北諸郡（今湖北省西部）。
蠻人所居多深山重阻，人跡少到的山區。
宋時，荊州設南蠻校尉，雍州設寧蠻校尉，用以管理有關蠻族的事務。
當時，“蠻民順附者，一戶輸谷數斛，其餘無雜調。而宋民賦役嚴苦，貧者不復堪命，多逃亡入蠻。蠻無徭役，強者又不供官稅”（《宋書 夷蠻傳》）。
巴郡、南郡蠻，是廩君蠻的後裔。
傳說廩君原出於武落鍾離山，廩君乘船從夷水至鹽陽（約在今四川、湖北相鄰地帶，參看《後漢書 南蠻傳巴郡、南郡蠻條》注）。後繁殖、生活於巴郡、南郡（今湖北省西部）。
東漢光武時，徙其種人七千餘口到江夏郡界，後稱為沔中蠻（今湖北漢水下游一帶）。
“東晉時，沔中蠻因劉石亂後漸徙於陸渾以南（今河南省南部），遍滿山谷。”（《通典 邊防典 南蠻傳序》）其活動地區還東到廬江郡（今安徽廬江一帶）。
《宋書》所稱豫州蠻，就是指的這一支。他們“種落熾盛”，居住的地區“北接淮汝，南極江漢，地方數千裡”（《宋書 夷蠻傳 豫州蠻條》）。
漢人在長江流域的發展，首先與“蠻”族接觸。漢族統治者需要蠻族人民向他們出租稅、出徭役，當兵打仗。為此，他們不斷向蠻族人民居住地區展開殘酷的進攻。宋時，進攻得很頻繁，也很殘酷。沈慶之前後數次領兵向蠻族進攻，他們俘獲的生口就有幾十萬人。
《宋書 夷蠻傳》總論宋廷對蠻族的戰爭指出：“自元嘉將半，寇慝彌廣，遂盤結數州，搖亂邦邑。於是命將出師，恣行誅討。自江漢以北，廬江以南，搜山蕩谷，窮兵罄武，繫頸囚浮，蓋以數百萬計。”
對蠻族用兵所得俘虜，一般是送京師作營戶，充兵役。
征服的地區，即設立郡縣稱左郡左縣，以管領蠻族人民，使其供租賦。如《宋書 荊、雍州蠻傳》所稱：“蠻民順附者，一戶輸谷數斛，其餘無雜調”，可能就是左郡縣的賦稅徵調。
宋孝武帝時，西陽（今湖北黃崗北）蠻附，“以蠻戶立宋安、光城二郡”（《宋書 夷蠻傳》）。
在《宋書 州郡志》中，晉末及宋時以蠻民立的郡縣有武寧、宋安、安陸、建寧等數郡，有靳水、赤亭、東安、陽城等二十多縣。
南齊時，據《南齊書 州郡志》所載，有更多的以蠻民設立的郡縣。
在豫州、南豫州、郢州、司州和雍州寧蠻府領下以蠻民設立的郡縣，有四十四郡、一百三十九縣。
這些縣所管領的戶口，沒有記載。如果以晉時所置的武寧郡“領縣二、戶九百五十八、口四千九百一十四”（《宋書 州郡志》荊州條）為基數來估計，一百三十九縣當有四十來萬人口。
南齊管領的戶口總數，照崔祖對齊武帝所講的情況，是“今戶口不能百萬”（《南史 虞玩之傳》），則蠻族人口占的戶口比數是很高了。
溪，也寫作奚或僅。
溪族居住的地區，主要在今江西南部和廣東北部。
溪族人多以漁釣為業，所居多在水邊，這大概是溪族得“溪”名的原因。
陳寅恪以為溪人之稱，當與五溪地名有關係。東晉南朝的門閥大族看不起溪族人，常常罵他們是“溪狗”。
溫嶠就曾嘲陶侃為“溪狗”（見《世說新語 容止篇》）。
南齊範柏年罵胡諧之為“傒狗”（見《南史 胡諧之傳》）。《晉書 陶侃傳》稱：陶侃本鄱陽，徙家尋陽，早孤貧。劉敬叔《異苑》雲，釣禨（週一良疑“禨”當從石，作“禨”）山者，陶侃曾釣於此山下水中。
陶侃出身微賤，少年時曾以漁釣為業，溫嶠又嘲他為“溪狗”，可能陶侃是出身溪族的。
歷史文獻中，常常談到溪族人的語音不正的問題。
如《初學記 奴婢門》載宋喬道元與天公：“小婢從成，南方之奚，形如驚■，言語嶁厲，聲音駭人，唯堪驅雞。”
又如《南史 胡諧之傳》：“齊武帝為江州，以諧之為別駕，委以事任。建元二年，為給事中、驍騎將軍。上方欲獎以貴族盛姻，以諧之家人語傒音不正，乃遣宮內四五人往諧之家教子女語。”此兩處都提到溪人語不正。溪語音不正，似正好說明溪人之漢化。如溪人純說溪語，漢人將完全不懂。語音不正，蓋正在漢化，說漢語又雜有溪語，故成不正。晉末宋初，溪人還是強悍善斗的。盧循起兵北上時，殷闡對何無忌說：“（盧）循所將之眾，皆三吳舊賊，始興溪子，拳捷善鬥，未易輕也。”（《資治通鑑》卷一一五）所謂“始興溪子”即溪族人。
俚族居住的地區，主要是湘、廣西州，即今湖南、廣東。
漢族勢力向廣州一線發展，與俚人的接觸漸多。
如《宋書 羊玄保傳附希傳》載：“泰始三年，出為寧朔將軍、廣州刺史。希以沛郡劉思道行晉康太守（今廣東德慶）領軍伐俚。”
又《宋書 良吏傳 徐豁傳》載：“元嘉初，為始興太守（今廣東韶關）。三年，遣大使巡行四方，並使郡縣各言損益。豁因此表陳三事。其一曰：（郡）既接蠻俚，去就益易其三曰：中宿縣俚民課銀，一子丁輸南稱半兩。”
僚，主要居住地區是長江上游的蜀，即今四川境。
《華陽國 志李壽志》稱，“晉康帝建元二年（344），蜀土無僚，至是始從山出。
自巴至犍為、梓潼，佈滿山谷，大為民患。”《魏書 僚傳》稱：“僚者，蓋南蠻之別種，自漢中達於邛笮川洞之間，所在多有。種類甚多，散居山谷，略無氏族之別。建國中，李勢在蜀，諸僚始出巴西、渠川、廣漢、陽安、資中，攻破郡縣，為益州大患。勢內外受敵，所以亡也。自桓溫破蜀之後，力不能制。又蜀人東流，山險之地多空僚遂挾山傍谷。與夏人參居者，頗輸租賦；在深山者，仍不為編戶。”
由此可見，僚的活動地區主要在蜀，自巴西、犍為一線逐漸向外擴充套件。
自東晉至陳，南朝常與“僚’族有戰爭。
據《南齊書 州郡志》所載：南齊時益州有東宕渠僚郡、越嶲僚郡、沈黎僚郡、甘松僚郡、始平僚郡、齊開僚郡、齊通僚郡，大約都是以降附和征服的僚民建立的。