公元前112年冬，漢武帝發兵進攻南越國，很快征服了南越國。之後，將其屬地劃分為南海、蒼梧、鬱林、合浦、交趾、九真、日南七個郡。最南端的為日南郡，下屬朱吾縣、比景縣、西卷縣、盧容縣和象林縣，象林縣又是其中最南的縣。象林縣縣治在今越南廣南省會安西南，其縣界南端在今越南芽莊一帶。也就是說，中國古代直接管轄的陸地領土，最南端到了現在的越南芽莊一帶。
交趾、九真、日南三郡，基本都位於現在越南境內。交趾、九真土著基本為駱越，與廣東廣西境內的南越和西越，同屬百越民族，有相近性。另外也有少量中原的移民。而日南郡的象林縣，已經深入佔族區域。佔族和百越民族是不同的兩大民族，文化習俗有不少差別。加上象林縣遠離中原。這就造成中央朝廷對佔族人不能有一直有效的統治。
公元137年（東漢永和二年），象林縣官吏，任職功曹的佔族人區連，率領佔族數千人起兵叛亂，攻打象林縣，殺死縣令。隨後佔領了整個日南郡，自稱“林邑王”，建立林邑國。交趾刺史樊演徵交趾郡、九真郡計程車兵一萬餘人前往征討。但這些士兵害怕象林縣惡劣的環境，不想南征，發生譁變，因此樊演兵敗。訊息傳至洛陽，漢順帝欲發中原荊、揚、兗、豫四州共四萬人兵力前往鎮壓。被大臣李固以象林縣路途遙遠，氣候惡劣，士兵還沒到戰場，可能已經損失大半為由，加以勸止。東漢放棄征討區連，象林縣脫離中國的統治。
一直到隋朝大業元年（605年），隋煬帝以劉方為大將發兵進攻林邑。很快，攻佔林邑國國都，滅了林邑國，刻石記功。隋朝取得了日南郡舊地，將象林縣舊地改稱象浦縣，屬衝州管轄。但是隋朝很快就撤兵回中原。象林縣重新歸於林邑國所有。從此，象林縣再也沒有迴歸中國的統治。