機器之心報道
機器之心編輯部
仔細一查嚇死人。
在機器學習等領域，是否被頂會接收被認為是一種論文質量評價標準，但並不是唯一的標準。隨著深度學習的廣泛發展，機器學習頂會的投稿數量呈爆炸式增長，在被拒稿的論文中也有很多頗具影響力的研究。
近日，Reddit 上就有一個帖子引起網友熱議：哪些論文是被頂會拒稿，但卻非常有影響力？令人驚訝的是網友列舉出一些家喻戶曉的研究，包括 YOLO、transformer XL，甚至還有 Google 搜尋引擎的網頁排名演算法 PageRank。
發帖人表示機器學習頂會的審稿機制存在問題，讓一些論文難以脫穎而出。這可能是出現這種現象的原因之一。
實際上，很多優秀的研究在一開始並不被看好。就像 2021 年諾貝爾物理學獎獲得者 Parisi 博士在頒獎典禮上提到的，對於他獲得諾貝爾獎的研究，最初論文審稿人給出的評價是：「這篇文章不值得浪費紙張打印出來」。然而，經過時間和實驗的檢驗，一些論文中的觀點被證明是正確的，甚至卓越的。機器學習領域也是如此。
我們來具體看一下在這次討論中，網友列舉出哪些優秀的研究。
YOLO
大名鼎鼎的 YOLO 演算法，作為計算機視覺領域最知名的目標檢測演算法之一，在投稿 NIPS 時也不是一帆風順。NIPS 給出的評價大體為：這是一篇不錯的論文，但還不夠好。之後 YOLO 這篇文章被 CVPR 2016 接收。有了這次教訓，YOLO2 也是第一時間投稿 CVPR。
圖源：https：//pjreddie。com/publications/yolo/
論文地址：https：//arxiv。org/pdf/1506。02640。pdf
Transformer XL
Transformer-XL 為 Zihang Dai、Zhilin Yang 等人在 2019 年提出。這篇論文旨在進一步提升 Transformer 建模長期依賴的能力。核心演算法包括：segment-level 遞迴機制、相對位置編碼機制。Transformer-XL 可以捕獲長期依賴，解決了上下文碎片問題，還提升了模型的預測速度和準確率。
然而Transformer-XL 在投稿 ICLR 2019 時被拒稿，之後作者基於 Transformer-XL 進行改進，提出了 XLNet，被 NeurIPS 2019 接收。而 Transformer-XL 則被 ACL 2019 接收。
論文地址 https：//arxiv。org/abs/1901。02860
Dropout
2012 年，Hinton 在其論文《Improving neural networks by preventing co-adaptation of feature detectors》中提出 Dropout。當一個複雜的前饋神經網路用來訓練小資料集時，會造成過擬合。為了防止過擬合，可以透過阻止特徵檢測器的共同作用來提高神經網路的效能。
這篇論文在 2012 年被 NIPS 拒絕，現在 arXiv 上作為預印本釋出。
論文地址：https：//arxiv。org/pdf/1207。0580。pdf
PageRank
PageRank 是谷歌兩大創始人謝爾蓋布林（Sergey Brin）和拉里佩奇（Lawrence Page）在 1998 年聯合撰寫的論文《The anatomy of a large-scale hypertextual Web search engine》中提出的。PageRank 是 Google 搜尋引擎中使用的網頁排名演算法，它的成功早已經過全球谷歌使用者的考驗。然而，或許是因為提出的想法太超前，這篇論文在 1998 年被 SIGIR 拒稿，後被 WWW 接收。
論文地址：https：//snap。stanford。edu/class/cs224w-readings/Brin98Anatomy。pdf
支援向量機（SVM）
SVM 演算法分幾個階段提出。首先，它建立在早期工作的基礎上，包括 1960 年代和 70 年代 Vladimir Vapnik 和 Alexey Chervonenkis 的研究之上。
1992 年，Bernhard E。 Boser 、 Isabelle Guyon 以及 Vladimir Vapnik 合作寫了一篇論文《A Training Algorithm for Optimal Margin Classifiers》，文中解釋瞭如何獲得這個函式以便它在乾淨的資料上工作。
這篇論文在一個相對面嚮應用、以神經網路為主導的機器學習會議 NIPS 上被拒絕，但在第二年一個更注重理論的會議 COLT 上被接收。
論文地址：https：//dl。acm。org/doi/pdf/10。1145/130385。130401
知識蒸餾
知識蒸餾這一概念是 Hinton 等人在 2014 年提出，論文題目為《 Distilling the Knowledge in a Neural Network 》。知識蒸餾旨在把一個大模型或者多個模型組合學到的知識遷移到另一個輕量級單模型上，方便研究者部署。簡單的說就是用新的小模型去學習大模型的預測結果。
這篇研究被 NIPS 2014 拒絕。
論文地址：https：//arxiv。org/pdf/1503。02531。pdf
SIFT
計算機視覺當中的 SIFT 特徵，在深度學習大火之前影響巨大，但是原作者 David Lowe 承認原稿被 CVPR 和 ICCV 拒了兩次。
SIFT（Scale-Invariant Feature Transform）是一種用於檢測和描述數字影象中的區域性特徵演算法。它定位關鍵點並以量化資訊呈現，可以用來做目標檢測。此特徵可以對抗不同變換而保持不變。
論文地址：https：//www。cs。ubc。ca/~lowe/papers/iccv99。pdf
在今天看來，上述所列舉的這些研究在AI領域地位舉足輕重。但也逃不掉被頂會拒稿的命運。
也許，是機器學習頂會的審稿機制存在一些問題。去年，圖靈獎得主 Yann LeCun 在論文被 NeurIPS 拒稿之後，在推特上發文稱感到「proud」，表達了自己的不滿。
類似的事情還發生在 2012 年，LeCun 曾給當時的 CVPR 大會主席、知名計算機視覺專家朱松純寫信，抱怨自己的論文報告了很好的實驗結果，但是審稿的三個人都認為論文說不清楚到底為什麼有這個結果，於是遭到了拒稿。LeCun 認為這說明 CVPR 等頂會的審稿機制令人失望。
值得一提的是，LeCun 和 Bengio 隨後共同創辦了 ICLR 會議，希望為「深度學習」提供一個專業化的交流平臺。
在機器學習發展放緩的今天，領域內一些研究者提出了新的研究方向。儘管頂會不是評判研究價值的唯一標準，但審稿機制理應不斷最佳化，避免卓越超前的研究思路遭到拒絕。
THE END
轉載請聯絡本公眾號獲得授權
投稿或尋求報道：content@jiqizhixin。com