有一首《西安人的歌》這麼唱到：“來跟我唱一首咱西安人的歌，西安人的城牆下是西安人的火車”，很多人奇怪城牆跟火車有什麼關係？這是因為以前坐綠皮車來西安的時候第一個看到的就是城牆，不過現在高鐵通了以後，很多外地遊客來西安坐火車都看不到城牆了。在西安城牆中，有一座城門被稱為“古城第一門”，這就是西安北門，也被稱為安遠門，因為以前坐火車來西安，第一眼看到的就是這座城門。
安遠門是西安城牆的正北門，位於西安城牆中部偏西。它的位置原在唐長安太極宮與東宮交界的宮牆中段，唐末韓建改築新城時被隔在北城牆之外。可能是西安人北門叫得多的，說到安遠門，很多西安人也沒反應過來，原來這是我們大西安城牆的北門呀。
西安的所有城門都有祝福之一，比如南門叫永寧門，東門叫長樂門，而北門的安遠門也是祈福之意了，古時戰爭比較多，安遠門也有安定遠方之意。今天在河南開封，也有一座“安遠門”，它是進出開封城北的唯一通道，可見“安遠門”這個名字有多麼的受歡迎了。
安遠門原為唐長安太極宮與東宮交界的宮牆中段，唐末韓建改築新城時被隔在北城牆之外。明洪武七年至十一年，當時向北擴建西安府城時新建安遠門，後歷清代、民國，沿襲至今。當時，這裡是唐皇城迎賓的主要之門，今天南門永寧門上演的《夢長安-大唐迎賓盛禮》其實演的就是這裡，當時的北門是迎接四海賓客的。
安遠門也曾經歷過戰爭的損毀，上世紀的1911年，辛亥革命爆發，當時安遠門是彈藥庫，起義軍攻城之時，城樓被破，安遠門不幸被焚。後來，安遠門在原址重修，1983年修整城牆時，還恢復了原來安遠門的雄姿。
今天的安遠門盤道是西安的重要交通樞紐地之一，安遠門內外，日夜車流不息，在安遠門的北方還有西安火車經過，不斷髮展的西安，已經成了國際大都市，而古典的安遠門，也融入到了西安這座古城的活力之中。