奇點臨近,新研究使用資料多樣性再次大幅提升神經網路翻譯效能

大資料文摘專欄作品

作者:Christopher Dossman

編譯:Junefish、Joey、雲舟

嗚啦啦啦啦啦啦啦大家好,拖更的AIScholar Weekly欄目又和大家見面啦!

AI ScholarWeekly是AI領域的學術專欄,致力於為你帶來最新潮、最全面、最深度的AI學術概覽,一網打盡每週AI學術的前沿資訊。

每週更新,做AI科研,每週從這一篇開始就夠啦!

本週關鍵詞:強化學習、說話者識別、人工智慧美食家

本週最佳學術研究

資料多樣化進一步提升神經網路翻譯水平

在這篇論文中,研究人員提出了一個叫“資料多樣化”的概念。這是一種解決神經機器翻譯(NMT)當前挑戰的簡單而有效的方法,可極大地提高翻譯質量。

他們首先在向後(目標 -> 來源)與向前(來源 -> 目標)兩種翻譯任務上訓練了不同的模型。然後他們利用向後模型來翻譯訓練集的目標句子,獲得了更多補充原始訓練資料集的源句。他們還對向前的模型進行了類似的訓練,以使用各種目標句子集來擴充訓練資料集。之後,他們使用增強的資料再次訓練了模型,並得到了最終的翻譯模型。

這一新模型在WMT’14英語至德語的翻譯任務中獲得了有史以來最高的BLEU分數:30。7。它在另外8個翻譯任務中也持續且顯著地提高了翻譯的質量。

奇點臨近,新研究使用資料多樣性再次大幅提升神經網路翻譯效能

神經網路的目的是幫助解決現實生活中的複雜問題。這種資料多樣化策略可幫助該領域的研究人員和工程師獲得更高質量的翻譯結果,因為它提供了一種簡單而非常有效的方法來提高許多標準化翻譯任務中的效能。與此同時,它為獲得更好的BLEU分數犧牲了一定的複雜度,這表明這一模型中存在正則化效果。

https://arxiv。org/abs/1911。01986v1

有興趣進行端到端的RL學習和實驗嗎? 您可能需要DeepRacer

為了應對當前強化學習訓練和實驗中的複雜性,研究人員最近推出了DeepRacer,這是一種用於模擬強化學習的實驗和教育平臺。

這是研究人員首次大規模展示基於模型的無模型強化學習模擬。它集成了最先進的深度強化學習演算法,具有OpenAI Gym介面的多個模擬引擎,並提供按需計算、分散式部署、可促進域隨機化和並行評估。

奇點臨近,新研究使用資料多樣性再次大幅提升神經網路翻譯效能

研究人員使用該平臺演示了1/18比例的汽車如何透過單眼相機使用強化學習來“學會”自動駕駛。許多使用者已經模擬了模型訓練並演示了sim2real 強化學習的導航。

雖然深度學習推動了強化學習在諸多方面的進步,但要實現強大的系統,我們還有很長的路要走。DeepRacer提供了一個平臺,機器學習社群可以利用該平臺將強化學習的研究和教育提升到新的水平。

例如,它有助於最大程度地減少訓練和評估強化學習任務的複雜性和通用性。該平臺也可用於系統性地研究並解決智慧控制系統的構建問題。

研究人員說:“ DeepRacer是在機器人控制代理上成功進行的大規模深度部署強化學習的首次成功實踐,該代理僅使用原始攝像機影象作為觀察結果,並且採用無模型學習方法來執行可靠的路徑規劃。”

程式碼:

https://github。com/awslabs/amazon-sagemaker-examples/tree/master/reinforcement_learning/rl_deepracer_robomaker_coach_gazebo

原文:

https://arxiv。org/abs/1911。01562

從分類情感探測到維度情感檢測

一組韓國研究人員最近提出了一種全新的方法,可以從相對常見的資源中預測維度情感(VAD)分數,前提是這些資源中標註了基本的情感類別。因此,他們現在提出了一個新的框架來讓學習者能夠從帶有類別情感註釋的語句庫中預測對應的VAD分數。他們僅使用分類的情感標籤來訓練模型,才能預測VAD分數,該分數與相應的真實VAD分數呈顯著正相關。

奇點臨近,新研究使用資料多樣性再次大幅提升神經網路翻譯效能

情緒在人類生活中起著至關重要的作用,因為它們透過相互理解和認可增強了人與人之間的交流。因此,更深入地瞭解情緒可以極大地改善人機互動的效果。如今,我們正處於人機互動日益頻繁的時代,機器對人類情感的理解有望為人機互動的進一步發展帶來很多好處。

這一全新模型可以在VAD分數的監督下對於已有模型進行了微調,它的表現可以超過最新的維度情感檢測模型。該框架將透過提供機器註釋的VAD分數或將其用作VAD分數預測模型來幫助研究人員構建人類註釋的句子級VAD情感資料集。

研究人員總結道,“英語以外的大多數語言都不會使用帶有VAD註釋的語料庫,因此我們的模型將有助於使用帶有分類情感標籤的多語料庫來構建多語種資源。此外,我們進一步的工作將集中在開發另一種模型上,該模型可以在不使用VAD註釋的情況下提供更合理的VAD分數。”

原文:

https://arxiv。org/abs/1911。02499

說話者識別系統對抗攻擊的首次研究

為了理解SRS在實戰對抗攻擊下的安全效能弱點,這項新的研究調查了在實際黑盒環境中針對SRS三個任務的對抗攻擊。研究人員提出了一種名為FAKEBOB的對抗性攻擊,並居次製作了對抗性樣本。

奇點臨近,新研究使用資料多樣性再次大幅提升神經網路翻譯效能

他們將對抗樣本化為最最佳化問題,並結合了對抗樣本的置信度和最大失真度,以平衡對抗聲音的強度和不可感知性,最後,他們證明了FAKEBOB在開源系統和商業系統上均達到了接近100%的目標攻擊成功率。

他們進一步證明,在現實世界中進行播放時,FAKEBOB在開源系統和商業系統中同樣成立。此外,他們進行了一項人類研究,結果表明人類很難區分說話者的原始聲音和對抗聲音。

研究人員對FAKEBOB在13種攻擊情形下的所有三個識別任務進行了評估,結果在系統上實現了接近100%的目標攻擊成功率。這項工作還表明,針對語音識別域對抗攻擊的防禦方法中,三種頗有潛力的方法在SRS上對FAKEBOB都無效。

有關SRS對抗攻擊安全隱患的研究結論表明,我們需要更有效的防禦方法以更好地保護SRS免受此類實際對抗攻擊。

原文:

https://arxiv。org/abs/1911。01840

谷歌推出視覺領域的評估基準VTAB

表徵研究的最重要目標之一是在大量資料上,透過單次學習獲得表徵,而無需從頭開始訓練每個任務,這樣可以大大減少資料需求。但是,為了實現這一目標,研究人員需要使用統一的基準來評估現有的和未來的方法。

Google AI近日釋出了視覺領域的基準(VTAB),這是一種用來評估表徵的多樣化的,具有實際性的且具有挑戰性的基準。

奇點臨近,新研究使用資料多樣性再次大幅提升神經網路翻譯效能

VTAB遵循的原則是,在資料有限的情況下,一個更好的表徵對看不見的任務可以達到更優的效能。VTAB還遵循一些其它的準則:對具有創造力的解決方案降低限制,注重實際因素,藉助挑戰性任務進行評估等。

作為一種評估工具,VTAB旨在測量並推動視覺表徵朝著實用和通用的方向發展,使得我們可以透過有限的標記資料,為視覺領域的長尾問題提供深度學習。

該基準有助於使用者更好地理解哪些視覺表徵可以泛化到更多其他新任務上,併為未來的研究提供方向。

Google研究人員希望VTAB可以推動表徵學習,並促使深度學習在沒有大量可用資料的情況下更廣泛地應用。

程式碼:

https://github。com/google-research/task_adaptation

原文:

https://arxiv。org/abs/1910。04867

其他爆款論文

第一個自我學習大規模對話式AI 系統問世:

https://arxiv。org/abs/1911。02557v1

新的分割器識別器可以實現逐塊真偽分類,並接受輸入掩碼的監督:

https://arxiv。org/abs/1911。02274

問題不完整怎麼辦?新的無監督方法讓你完勝最新基準並跑贏完整問題策略:

https://arxiv。org/abs/1910。03262v3

解釋性人工智慧倫理問題的場景與建議:

https://arxiv。org/abs/1911。01917v1

基於BERT的模型教你如何對給定的句子進行情感分類,並勝過最新的VAD迴歸模型:

https://arxiv。org/abs/1911。02499

資料集

史上第一次影象降級挑戰的資料集LCDMoire:

https://arxiv。org/abs/1911。02498

衛星姿態估算挑戰:資料集,競賽設計和結果:

https://arxiv。org/abs/1911。02050

AI大事件

OpenML-Python平臺助你輕鬆從Python內訪問OpenML上的所有資料集,任務和實驗:

https://arxiv。org/abs/1911。02490

人工智慧美食家:識別不同型別的麵包糕點:

https://www。dailymail。co。uk/sciencetech/article-7665303/Forget-facial-recognition-Japanese-bakery-built-bread-recognition-AI。html

像植物一樣生長的機器人:

https://www。sciencedaily。com/releases/2019/11/191107155959。htm

奇點臨近,新研究使用資料多樣性再次大幅提升神經網路翻譯效能

專欄作者介紹

Christopher Dossman是Wonder Technologies的首席資料科學家,在北京生活5年。他是深度學習系統部署方面的專家,在開發新的AI產品方面擁有豐富的經驗。除了卓越的工程經驗,他還教授了1000名學生了解深度學習基礎。

LinkedIn:

https://www。linkedin。com/in/christopherdossman/

志願者介紹

奇點臨近,新研究使用資料多樣性再次大幅提升神經網路翻譯效能

奇點臨近,新研究使用資料多樣性再次大幅提升神經網路翻譯效能

奇點臨近,新研究使用資料多樣性再次大幅提升神經網路翻譯效能

點「在看」的人都變好看了哦!

TAG: httpsarXivorgABSVAD