選自D DALUS
作者：
Jeff Dean
機器之心編譯
編輯：杜偉、陳萍
Jeff Dean 親自撰文，探討 2010 年代的十年時間裡，促進深度學習快速發展的原因有哪些？他還對未來的 AI 發展做出了自己的展望。
自從計算機誕生之初，人類就夢想著能夠創造出會思考的機器。1956 年在達特茅斯學院組織的一個研討會上，約翰 · 麥卡錫提出人工智慧這個概念，一群數學家和科學家聚集在一起尋找如何讓機器使用語言、形成抽象理解和概念、以解決現存的各種問題，當時研討會參與者樂觀地認為，在幾個月的時間裡這些問題能取得真正的進展。
人工智慧是由約翰麥卡錫於 1956 年在達特茅斯學院組織的一個研討會上創立的，一群數學家和科學家聚集在一起尋找如何讓機器使用語言、形成抽象和概念、解決現在保留的各種問題，當時研討會參與者樂觀地認為，幾個月的集中努力將在這些問題上取得真正的進展。
1956 年達特茅斯人工智慧會議的參與者：馬文 · 明斯基、克勞德 · 夏農 、雷 · 所羅門諾夫和其他科學家。攝自：Margaret Minsky
事實證明，預留幾個月的時間安排過於樂觀。在接下來的 50 年裡，建立人工智慧系統的各種方法開始流行，但後來又遭遇過時，包括基於邏輯的系統、基於規則的專家系統和神經網路。
直到 2011 年左右，人工智慧才開始進入發展關鍵階段，取得了巨大的進步，這得益於深度學習中神經網路的復興，這些技術的進步有助於提高計算機看、聽和理解周圍世界的能力，使得人工智慧在科學以及人類探索的其他領域取得巨大進步。這其中有哪些原因呢？
近日，谷歌大牛 Jeff Dean 發表了一篇文章《 A Golden Decade of Deep Learning： Computing Systems & Applications 》，文章探索了深度學習在這黃金十年裡，計算系統以及應用進步的原因都有哪些？本文重點關注三個方面：促成這一進步的計算硬體和軟體系統；過去十年在機器學習領域一些令人興奮的應用示例；如何建立更強大的機器學習系統，以真正實現建立智慧機器的目標。
Jeff Dean 的這篇文章發表在了美國文理學會會刊 D dalus 的 AI 與社會（AI & Society）特刊上。
文章地址：https：//www。amacad。org/sites/default/files/publication/downloads/Daedalus_Sp22_04_Dean。pdf
深度學習的黃金十年
人工智慧硬體和軟體的進步
人工智慧的硬體和軟體：深度學習透過組合不同的線性代數（例如矩陣乘法、向量點積以及類似操作）進行運算，但這種運算方式會受到限制，因此我們可以構建專用計算機或加速器晶片來進行處理，相比於通用 CPU，這種專業化的加速器晶片能帶來新的計算效率和設計選擇。
專為支援此類計算而定製的計算機或加速器晶片。相對於必須執行更廣泛種類的演算法的通用 CPU，這種專業化實現了新的效率和設計選擇。
早在 2000 年代初期，就有少數研究者開始探索使用 GPU 來實現深度學習演算法。之後到了 2004 年，計算機科學家 Kyoung-Su Oh 和 Keechul Jung 展示了使用 GPU 對神經網路演算法近 20 倍的速度提 sheng。2008 年，計算機科學家 Rajat Raina 及其同事演示了在某些非監督學習演算法中，使用 GPU 與使用基於 CPU 的最佳實現相比，GPU 速度提升可達 72。6 倍。
隨著計算硬體的改進，深度學習開始在影象識別、語音識別、語言理解等方面取得顯著進步。深度學習演算法有兩個非常好的特性可以構建專門的硬體：首先，它們對精度的降低非常寬容；其次，深度學習的計算方式，其由密集矩陣或向量上的不同線性代數運算序列組成。
為了使深度學習和計算變得更容易，研究人員開發了開源軟體框架，如今，開源框架幫助大量的研究人員、工程師等推進深度學習研究，並將深度學習應用到更廣泛的領域。
早期的一些框架包括 Torch、Theano、DistBelief 、Caffe 等，還有谷歌在 2015 年開發、開源的 TensorFlow，它是一個允許表達機器學習計算的框架，並結合了 Theano 和 DistBelief 等早期框架的想法。到目前為止，TensorFlow 已被下載超過 5000 萬次，是世界上最受歡迎的開源軟體包之一。
TensorFlow 釋出的一年後，PyTorch 於 2016 年釋出，它使用 Python 可以輕鬆表達各種研究思想而受到研究人員的歡迎。JAX 於 2018 年釋出，這是一個流行的面向 Python 的開源庫，結合了複雜的自動微分和底層 XLA 編譯器，TensorFlow 也使用它來有效地將機器學習計算對映到各種不同型別的硬體上。
TensorFlow 和 PyTorch 等開源機器學習庫和工具的重要性怎麼強調都不為過，它們允許研究人員可以快速嘗試想法。隨著世界各地的研究人員和工程師更輕鬆地在彼此的工作基礎上進行構建，整個領域的進展速度將加快！
研究成果激增
研究不斷取得進步、面向 ML 硬體（GPU、TPU 等）的計算能力不斷增強、開源機器學習工具（Tensor Flow、PyTorch 等）被廣泛採用，這一系列進展使得機器學習及其應用領域的研究成果急劇增加。其中一個強有力的指標是釋出到 arXiv 上關於機器學習領域的論文數量，arXiv 是一個廣受歡迎的論文預印本託管服務，2018 年釋出的論文預印本數量是 2009 年的 32 倍以上（每兩年增長一倍以上）。透過與氣候科學和醫療保健等關鍵領域的專家合作，機器學習研究人員正在幫助解決對社會有益、促進人類進步的重要問題。可以說我們生活在一個激動人心的時代。
科學和工程應用激增
計算能力的變革性增長、機器學習軟硬體的進步以及機器學習研究成果的激增，都使得機器學習應用在科學和工程領域的激增。透過與氣候科學和醫療健康等關鍵領域的合作，機器學習研究人員正在幫助解決對社會有益並促進人類發展的重要問題。這些科學和工程領域包括如下：
神經科學
分子生物學
醫療健康
天氣、環境和氣候挑戰
機器人
可訪問性
個性化學習
計算機輔助的創造性
重要的構建塊
Transformers
計算機系統的 ML
每個細分的詳細內容請參考原文。
機器學習的未來
ML 研究社群正在出現一些有趣的研究方向，如果將它們結合起來可能會更加有趣。
首先，研究稀疏啟用模型，比如稀疏門控專家混合模型（Sparsely-Gated MoE），展示瞭如何構建非常大容量的模型，其中對於任何給定的例項（如 2048 個專家中的兩至三個），只有一部分模型被「啟用」。
其次，研究自動化機器學習（AutoML），其中神經架構搜尋（NAS）或進化架構搜尋（EAS）等技術可以自動學習 ML 模型或元件的高效結構或其他方面以對給定任務的準確率進行最佳化。AutoML 通常涉及執行很多自動化實驗，每個實驗都可能包含巨量計算。
最後，以幾個到幾十個相關任務的適當規模進行多工訓練，或者從針對相關任務的大量資料訓練的模型中遷移學習然後針對新任務在少量資料上進行微調，這些方式已被證明在解決各類問題時都非常有效。
一個非常有趣的研究方向是把以上三個趨勢結合起來，其中在大規模 ML 加速器硬體上執行一個系統。目標是訓練一個可以執行數千乃至數百個任務的單一模型。這種模型可能由很多不同結構的元件組成，例項（example）之間的資料流在逐例項的基礎上是相對動態的。模型可能會使用稀疏門控專家混合和學習路由等技術以生成一個非常大容量的模型，但其中一個任務或例項僅稀疏啟用系統中總元件的一小部分。
下圖 1 描述了一個多工、稀疏啟用的機器學習模型。
每個元件本身可能正在執行一些類 AutoML 的架構搜尋，以使元件的結構適應路由到它的資料型別。新的任務可以利用在其他任務上訓練的元件，只要它有用就行。Jeff Dean 希望透過非常大規模的多工學習、共享元件和學習路由，模型可以迅速地以高準確率來完成新任務，即使每個新任務的新例項相對較少。原因在於模型能夠利用它在完成其他相關任務時已經獲得的專業知識和內部表示。
構建一個能夠處理數百萬任務並學習自動完成新任務的單一機器學習是人工智慧和計算機系統工程領域真正面臨的巨大挑戰。這需要機器學習演算法、負責任的 AI（如公平性和可解釋性）、分散式系統和計算機架構等很多領域的專業知識，從而透過構建一個能夠泛化以在機器學習所有應用領域中獨立解決新任務的系統，來推動人工智慧領域的發展。
負責任的 AI 開發
雖然 AI 有能力在人們日常生活的方方面面提供幫助，但所有研究人員和從業人員應確保以負責任的方式開發相關方法，仔細審查偏見、公平性、隱私問題以及其他關於 AI 工具如何運作並影響他人的社會因素，並努力以適當的方式解決所有這些問題。
制定一套明確的原則來指導負責任的 AI 發展也很重要。2018 年，谷歌釋出了一套 AI 準則，用於指導企業與 AI 相關的工作和使用。這套 AI 準則列出了需要考慮的重要領域，包括機器學習系統中的偏見、安全、公平、問責、透明性和隱私。近年來，其他機構和政府也紛紛效仿這一模式，釋出了自己的 AI 使用準則。Jeff Dean 希望這種趨勢能夠延續下去，直到它不再是一種趨勢，而成為所有機器學習研究和開發中遵循的標準。
Jeff Dean 對未來的展望
2010 年代的確是深度學習研究和取得進展的黃金十年。1956 年達特茅斯人工智慧研討會上提出的一些最困難的問題在這十年取得了長足進步。機器能夠以早期研究人員希望的方式看到、聽到和理解語言。核心領域的成功促使很多科學領域迎來重大進展，不僅智慧手機更加智慧，而且隨著人們繼續建立更復雜、更強大且對日常生活有幫助的深度學習模型，未來有了更多的可能性。得益於強大機器學習系統提供的幫助，人們將在未來變得更有創造力和擁有更強的能力。