秦漢時期的嶺南北靠五嶺，南臨南海，範圍包括今廣東、廣西和越南北部等地。始皇二十五年（公元前222年），秦國大將王翦六十萬大軍攻滅楚國，“歲餘，虜荊王負芻，竟平荊地為郡縣。因南征百越之君”（《史記 白起王翦列傳》），秦征服百越諸部的接觸戰在秦統一天下之際打響。
始皇二十六年，秦始皇“分天下以為三十六郡，地東至海暨朝鮮。。。南至北向戶”（《史記 秦始皇本紀》）。這個“北向戶”就是當時秦軍所至最遠的百越之地。
始皇二十九年（公元前218年），在蒙恬大軍北上修築長城的同時，秦始皇任命尉（中央一級將官）屠睢為主將，以王翦伐楚六十萬部隊留下的佔領軍為基礎，結合楚地徵召的“樓船之士”，整軍50萬征伐閩越和嶺南。嶺南遠征軍團正式組成。
針對百越各部分散而居強弱各異的格局，屠睢討伐軍兵分五路，“一軍塞鐔城之嶺（出越城嶺，今廣西北部），一軍守九疑之塞（出萌渚嶺，今湖南寧遠縣南），一軍處番禺之都（出騎田嶺，今湖南宜章），一軍守南野之界（出大庾嶺，今江西南康縣南），一軍結餘幹之水（出餘水，今江西餘干、樂平縣內信江）”（《淮南子·人間訓》）。
隨著出大庾嶺的秦軍切斷了閩越和嶺南諸越的聯絡，東路出餘水的秦軍攻勢迅猛犀利，閩越和東越（又稱東甌或甌越）率先降服，“閩越王無諸及越東海王搖者。。。皆廢為君長，以其地為閩中郡”（《史記 東越列傳》）；出騎田嶺大庾嶺的兩路秦樓船軍透過九嶷要隘，經武江、湞江順北江而下進佔番禺（今廣州）。
西二路出越城嶺、萌渚嶺的秦軍為嶺南軍團主力，由主帥屠睢親自統領，負責征服嶺南今廣西至越南北部地帶最難纏的西甌越和駱越（也稱雒越）部落。一路經越城嶺進入今廣西桂林，一路經萌渚嶺進入今廣西賀縣。
兩路主力部隊在戰事之初進展也較順利，但由於主帥屠睢不切實際地在百越蠻荒之地推行秦法，對不從者進行野蠻鎮壓，百越君長“俯首繫頸，委命下吏”，激起嶺南諸越的強烈反抗。 “越人皆入叢薄中，與禽獸處，莫肯為秦虜”，歷史上第一次大規模的山地叢林作戰打響。
百越游擊隊在他們本就熟悉的山林湖海之地神出鬼沒，秦軍疲於奔命，為了防範越人不時的襲擾，“三年不解甲弛弩”。
在付出慘重的代價後，秦軍終於擊殺西甌越君長西匝君譯籲宋，但越人推出新的首領桀駿繼續頑強抵抗。隨著時間和戰線的拉長，嶺南軍團靠肩挑人扛的後勤給養因五嶺山道的艱險阻隔和水路不暢難以跟上，大軍“深入越，越人遁逃。曠日持久，糧食絕乏”（《史記 平津侯主父列傳》），不可避免的陷入斷糧的絕境。
最後，嶺南軍團第一任主將屠睢在今廣西桂林一帶遭西甌越駱越聯軍夜襲身亡，秦軍全線潰敗，“伏屍流血數十萬”，第一次嶺南戰爭以慘敗結束，秦嶺南廣西遠征軍主力殘餘退回今湘桂邊界地帶。
秦帝國遭受統一後對外戰爭的最大失敗，在一定程度上打破了秦軍不可戰勝的神話，為八年之後的陳涉吳廣農民大起義埋下伏筆。百越反抗軍經過三年血戰，也從最初的五萬銳減到不足六千人。
嶺南三年討伐戰失敗後，秦廷總結水陸兩路交通不暢導致作戰失利的教訓，秦始皇派出監御史祿在今廣西興安境內督率軍隊“以卒鑿渠而通糧道”。興安境內的湘江灕江兩江源頭之間開出一條長達34公里的世界上最古老運河之一鑿渠（後稱靈渠），並同時在靈渠口築起一座總面積12平方公里可容納十萬士兵戍守的中轉站“秦城”（今廣西興安縣內“秦城”遺址）。
始皇三十三年（公元前214年），鑿渠開通，“秦城”完工。湘江灕水（今灕江）的溝通標誌著長江水系和珠江水系從此聯通，大批兵員和給養可以從楚地沿江踰嶺直下嶺南地。戰爭局勢有了根本性的改觀。
好大喜功的秦始皇南北兩個方向同時發力，“西北斥逐匈奴”，東南“發諸嘗逋亡人、贅婿、賈人略取陸梁（嶺南）地”。由逃犯、入贅的賤民、商販與原討伐軍餘部組建新的嶺南遠征軍團。
這次秦軍換了個少見的開明主帥，新司令官尉任囂和副將趙佗一改以往的虐殺政策，轉為懷柔和輯，對嶺南諸越進行分化瓦解，加之已有後方充分的人力物力保障，軍團迅速擊潰西甌越駱越反抗力量，佔領了原本三年血戰都未能征服的西甌越地區。隨後揮師南下，直搗駱越大本營，攻佔今越南北部地區，第二次嶺南戰爭結束。
取勝後，秦廷在嶺南地設定了桂林、象郡、南海三郡，“以適遣戌”，由逃犯、入贅的賤民、商販等組成的嶺南新遠征軍團既是佔領軍，也是移民屯戍軍。
第二年也就是始皇三十四年（公元前213年），“適治獄吏不直者，築長城及南越地。”（《史記 秦始皇本紀》），又過一年，“益發謫徙邊”。軍團高層也上書秦始皇“求女無夫家者三萬人，以為士卒衣補。秦始皇可其萬五千人”（《史記·淮南衡山列傳》），以安定軍心。
連年的“益謫戍”加深了人民的苦難，國內矛盾日趨尖銳，但由於任趙二人善於扶軍和懷柔諸越，卻對嶺南佔領地的初步穩定起到了一定作用。
嶺南三郡實行軍事管制，三郡不設郡守，以任囂為南海尉。南海尉“視他尉為尊”，是三郡最高軍事行政首長。南海郡下設番禺、龍川、博羅、四會四個縣，其中龍川縣地跨今粵贛閩三省十數個縣市，是秦時的超級大縣，地理位置最為險要，以軍團副將趙佗為龍川令駐防。
嶺南軍團一併修築保證五嶺南北交通的“三關四道”。四條“秦所通越道”與嶺北馳道相連，利用原古道擴建。據考證有四條：一條自江西南安越大庾嶺入廣東南雄，一條自湖南郴州越嶺到廣東連州，一條自湖南道州至廣西賀縣；一條自廣西全州進入靜江。新道所經山嶺要隘修築了橫浦關、陽山關和湟溪關等險關。
秦二世元年七月（公元前209年），長城戍卒陳涉吳廣在泗水郡大澤鄉揭竿而起，燎原之火愈燒愈旺，秦帝國的統治陷入風雨飄搖之中。
二世二年，南海尉任囂“病且（將）死”，急召心腹大將龍川令趙佗交代後事：“聞陳勝等作亂，秦為無道，天下苦之。。。豪傑畔（叛）秦相立。南海僻遠，吾恐盜兵侵地至此，吾欲興兵絕道，自備，待諸侯變，會病甚。且番禺負山險，阻南海，東西數千裡，頗有中國（中原）人相輔，此亦一州之主也，可以立國。郡中長吏無足與言者，故召公告之”（《史記 南越列傳》）。
言畢“即頒佗書，行南海尉事”。任囂死後，趙佗立即傳檄號令橫浦、陽山、湟溪三關：“盜兵且至，急絕道聚兵自守。”並以秦法故意苛責誅殺秦廷下派官吏，換上自己的心腹死黨。
為什麼嶺南軍團的兩位主官都不願在秦帝國危亡之際揮師北上回援母國呢？除了他們是秦廷中少有的身在官僚體系之內卻對秦無道暴政頗有微詞的人外，嶺南的現狀決定了固守待變是唯一可取的選擇。
嶺南三郡仍處軍事管制狀態，雖然任趙二人執行和秦地迥異的“和輯百越”懷柔政策，開始了和嶺南諸越的初步整合。但大戰過去不久，戰爭創傷尚未完全癒合，嶺南廣大區域仍需鎮扶兩用。
如果軍團揮師北上，強悍的西甌越駱越部落鐵定立馬反水，這個從陳涉吳廣起義後閩越東甌越立即“從諸侯滅秦”就可以看出來。屆時在楚地“敵”佔區艱難北上的嶺南迴援軍便會陷入進退無著的絕境，姑且不論軍團的多數士兵是對秦朝廷嚴重不滿的謫戍之人和楚地樓船之士，會否在途中逃跑或者譁變。
另外嶺南三郡大部原本就處於刀耕火種的狀態，經濟條件十分落後，尚未大規模開發，需要中原朝廷不時的人力物力援助。現在大後方變成了烽火連天的前線，如果回援，本末倒置，難以為繼，不久就會自食惡果。所以即便軍團主官換上秦帝國的死忠粉，想回救母國也只能是有心無力。
封鎖“三關四道”後，嶺南軍團在龍川的瀧口西岸築城（ 今廣東龍川縣趙佗城遺址）“以扼楚塞”。至今龍川的佗城鎮仍有不少當年軍團守城士兵的後代，這個人口不足五萬的小鎮，居民姓氏達到179個，顯示當年嶺南軍團人員組成的複雜性。
封關閉隘修築趙佗城除了“扼楚塞”，另有一個重要的目的，那就是截斷嶺南軍團思歸士兵的逃亡路，以安軍心。
劉邦被項羽封為漢王后，部隊剛到漢地首府南鄭，漢軍“諸將及士卒多道亡歸，士卒皆歌思東歸。”（《史記 高祖本紀》）嶺南軍團多楚地樓船兵和全國各地的謫戍之人，思歸逃人同樣不在少數。
漢元年（公元前207年）十月，秦王子嬰投降劉邦，秦帝國滅亡。漢高祖劉邦和項羽開始四年之久的楚漢相爭。趙佗利用自己嶺南最高軍政首長的身份，“即擊並桂林、象郡，自立為南越武王”（《漢書 南越列傳》），定都番禺（今廣州）。原秦嶺南軍團變身南越國防軍。
多年的封關閉隘使嶺南成了當時全國少有的免受戰亂禍害的地區。秦亡後，嶺南軍團加快與百越土著民的整合，中原謫戍之人和楚地樓船兵帶來先進的農具稻種和耕作技術，地質肥沃的珠江三角洲得到初步開發。
南越王趙佗遵從諸越風俗，帶頭穿上越人服裝“魋結箕倨”，對外宣稱自己是“蠻夷大長”；軍團士兵與土著女子通婚媾合，繁衍後代；投桃報李，百越有識之士也開始學習先進的漢文化。越南古代史書《安南志略》讚道：“趙佗王南越，稍以詩禮化其民。”
漢五年（公元前202年）十二月，劉邦在垓下之戰中殺死西楚霸王項羽，結束自秦末以來的連年戰亂。漢高祖吸取“秦禍北構於胡，南掛于越，宿兵無用之地，進而不得退。”的教訓，“為中國勞苦，故釋佗弗誅”（《史記 南越列傳》）。
漢十一年（公元前196年）五月，漢高祖劉邦派遣使節陸賈頒詔冊封趙佗為南越王，並授璽、綬。詔書中盛讚：“會天下誅秦，南海尉它（佗）居南方長治之，甚有文理，中縣（中原）人以故不耗減，粵（越）人相攻擊之俗益止，俱賴其力。今立它（佗）為南粵王。”（《漢書 高帝紀》） 南越王國正式成為漢王朝的藩屬國。
至此，五十萬原秦帝國嶺南軍團涅槃重生，躲過了長城軍團和關中軍團全軍敗沒被屠的厄運。和原本兇悍敵對的嶺南諸越和睦相處深度結合，世世代代繁衍生息。嶺南文化深深烙上中原文化的印記，創下世界征服史上的罕見先例。
過了15年，漢呂后七年（公元前181年），因南越國與西漢諸侯國長沙國間不時發生小規模的邊界衝突，呂后下令“禁南越關市鐵器”，並禁止提供母牛與南越國耕牛配種。趙佗大怒，自號南越武帝，“發兵攻長沙邊邑，敗數縣而去焉”。
這時的南越軍已經有了不少越族人加入。漢軍的反擊因“暑溼，士卒大疫”和不久呂后駕崩作罷。南越國聲威大振，“東西萬餘里。乃乘黃屋左纛，稱制，與中國侔（似）”（《史記 南越列傳》）。
1973年，長沙馬王堆三號漢墓出土了世界上最早的兩幅手繪彩色絹帛軍用地圖，墓主為漢初長沙國相馱侯利蒼的兒子利豨。其中的《地形圖》上漢長沙國的桂陽郡緊緊貼入南越國邊境要地；《駐軍圖》上標記三支漢中央軍和六支長沙國地方軍的邊境駐防情況。顯示西漢和南越關係此時處於劍拔弩張的緊張狀態。
地形圖，又稱“長沙國南部地勢圖”，世界歷史上發現最早的彩色實測軍用地圖。
地形圖，又稱“長沙國南部地勢圖”，世界歷史上發現最早的彩色實測軍用地圖。
漢文帝元年（公元前179年），漢文帝劉恆令人重修河北真定趙佗祖墓，厚賜趙佗親屬，派出趙佗的老朋友陸賈再次出使南越。趙去掉帝號重新向漢稱藩納貢。
漢武帝建元四年（公元前137年），世界歷史上最長壽的帝王趙佗駕崩，享年103歲，其孫文王趙昩（趙胡）繼位。隨著嶺南軍團最後一位老軍人的溘然逝去，秦帝國三大主力軍團的故事畫上句號。
南越明王十二年（公元前113年），南越第三代王趙嬰齊駕崩。趙嬰齊在長安為質期間與邯鄲美女樛氏所生子趙興繼位，漢武帝派遣樛氏在長安時的情夫安國少季出使南越。樛氏母子和漢使節共謀舉國內附漢廷，被西甌越部族首領出身的南越三代老臣國相呂嘉殺死。呂嘉另立明王越族妻子所生長子趙建德為王。漢武帝派出二十多萬大軍，兵分五路進攻南越。
漢武帝元鼎六年（公元前112年）冬 ，漢軍攻陷南越國都番禺，趙建德和呂嘉出海西逃時被漢軍捕殺 ，南越國滅亡，計享國九十三年。司馬遷嘆道：“其後亡國，徵自樛女；呂嘉小忠，令佗無後。”
