新智元報道
編輯：David 拉燕 好睏
【新智元導讀】
ICML 2022傑出論文揭曉！復旦、上交、廈大等中國高校上榜，吳恩達、Jeff Dean等獲時間檢驗獎榮譽提名。
｜還在糾結會不會錯過元宇宙和web3浪潮？清華大學科學史系副教授胡翌霖，這次給你講個透！
又一AI頂會開獎了！
剛剛，ICML2022官網公佈了本屆大會的傑出論文和時間檢驗獎。
中國學者收穫頗豐，來自復旦大學、廈門大學、上海交通大學等國內高校參與的多項工作入選傑出論文。
本屆大會的時間檢驗獎。授予一篇關於對支援向量機進行破壞性攻擊的論文。
值得一提的是，Quoc Le、Jeff Dean、吳恩達等大牛的關於「大規模非監督學習構建高階特徵」的論文獲得時間選擇獎榮譽提名。
傑出論文（Outstanding Papers）
Monarch: Expressive Structured Matrices for Efficient and Accurate Training
作者：Tri Dao， Beidi Chen， Nimit Sohoni， Arjun Desai， Michael Poli， Jessica Grogan， Alexander Liu， Aniruddh Rao， Atri Rudra， Christopher Re
發文單位：斯坦福大學、紐約州立大學布法羅分校、密歇根大學
論文連結：https：//arxiv。org/pdf/2204。00595。pdf
摘要：
大型神經網路在許多領域都很出色，但訓練和微調成本很高。一個流行的方法是用結構化的權重矩陣（如稀疏的、低等級的、傅立葉變換的）來代替密集的權重矩陣，以減少計算/記憶體需求。然而這些方法並沒有被廣泛採用。
為了解決這些問題，我們提出了一類矩陣（Monarch），它具有硬體效率（為了更好地利用硬體，它們被引數化為兩個塊對角矩陣的乘積）和表現力（它們可以代表許多常用的變換）。
Solving Stackelberg Prediction Game with Least Squares Loss via Spherically Constrained Least Squares Reformulation
作者：Jiali Wang， Wen Huang， Rujun Jiang， Xudong Li， Alex Wang
發文單位：復旦大學、廈門大學、卡內基梅隆大學
論文連結：https：//arxiv。org/pdf/2206。02991。pdf
摘要：
本文探討了SPG-LS的另一種重新表述。透過一個新的非線性變數變化，將SPG-LS重寫為球形約束最小二乘法（SCLS）問題。
本文應用了兩種著名的方法來解決這個新的重構，即Krylov子空間方法和黎曼尼信任區域方法。這兩種演算法都是無因子化的，因此適合解決大規模的問題。在合成數據集和真實世界資料集上的數值結果表明，配備了SCLS重構的SPG-LS的求解速度比現有技術水平要快幾個數量級。
Adversarially Trained Actor Critic for Offline Reinforcement Learning
作者：Ching-An Cheng， Tengyang Xie， Nan Jiang， Alekh Agarwal
發文單位：微軟研究院、伊利諾伊大學厄巴納-香檳分校、谷歌研究院
論文連結：https：//arxiv。org/pdf/2202。02446。pdf
摘要：
本文提出Adversarially Trained Actor Critic （ATAC），這是一種基於相對悲觀主義概念的離線強化學習（RL）的新型無模型演算法。ATAC被設計成一個雙人的Stackelberg遊戲。一個政策執行者與一個經過對抗性訓練的價值評論者競爭，後者找到資料一致的場景，其中執行者不如資料收集行為政策。
與現有的工作相比，本文的框架既提供了一般函式近似的理論保證，又提供了可擴充套件到複雜環境和大資料集的深度RL實現。在D4RL基準測試中，ATAC在一系列連續控制任務上始終優於最先進的離線RL演算法。
Stable Conformal Prediction Sets
作者：Eugene Ndiaye
發文單位：佐治亞理工大學
論文連結：https：//arxiv。org/pdf/2112。10224。pdf
摘要：
當人們觀察到一連串的變數（ x1， y1 ）， 。。。， （ xn， yn ）時，共形預測是一種方法，它可以透過假設資料的分佈是可交換的，來估計給定x n+1的置信集。但這種集合的計算在一般情況下是不可行的。
本文中將共形預測技術與演算法穩定性邊界相結合，得出了一個可透過單一模型擬合計算的預測集。我們進行了一些數值實驗，說明了當樣本量足夠大時，本文的估計是嚴密的。
Do Differentiable Simulators Give Better Policy Gradients?
作者：Hyung Ju Suh， Max Simchowitz， Kaiqing Zhang， Russ Tedrake
發文單位：麻省理工學院
論文連結：https：//arxiv。org/pdf/2202。00817。pdf
摘要：
可微分模擬器透過用基於一階梯度的估計取代隨機目標的零階梯度估計，為強化學習提供更快的計算時間。然而，目前還不清楚是什麼因素決定了這兩個估計器在涉及物理系統的長視距規劃和控制的複雜景觀中的效能。
我們表明，某些物理系統的特徵，如剛度或不連續性，可能會損害一階估計器的功效，並透過偏差和方差的角度分析這一現象。我們還提出了一個α階梯度估計器，α∈［0，1］，它正確地利用了精確梯度，將一階估計的效率與零階方法的魯棒性結合起來。
Learning inverse folding from millions of predicted structures
作者：Chloe Hsu， Robert Verkuil， Jason Liu， Zeming Lin， Brian Hie， Tom Sercu， Adam Lerer， Alexander Rives
發文單位：加州大學伯克利分校、Facebook AI、紐約大學
論文連結：https：//www。biorxiv。org/content/10。1101/2022。04。10。487779v1。full。pdf
摘要：
本文透過使用AlphaFold2預測1200萬個蛋白質序列的結構，將訓練資料增加了近三個數量級。透過這些額外資料的訓練，一個具有不變的幾何輸入處理層的序列到序列的轉化器在結構保持的骨架上實現了51%的原生序列恢復，對埋藏的殘基實現了72%的恢復，比現有的方法整體提高了近10個百分點。
Learning Mixtures of Linear Dynamical Systems
作者：Yanxi Chen， H。 Vincent Poor
發文單位：普林斯頓大學
論文連結：https：//proceedings。mlr。press/v162/chen22t/chen22t。pdf
摘要：
本文研究了從無標籤的短樣本軌跡中學習多個線性動態系統（LDS）的混合物的問題，每個樣本由一個LDS模型生成。儘管混合模型對時間序列資料具有廣泛的適用性，但現有文獻中基本沒有附帶端到端的效能保證的學習演算法。
我們開發了一個兩階段的元演算法，保證有效地恢復每個真實的LDS模型，其誤差為Oe（ p d/T），其中T為總樣本量。我們用數值實驗驗證了我們的理論研究，證實了所提出的演算法的有效性。
Causal Conceptions of Fairness and their Consequences
作者：Hamed Nilforoshan， Johann Gaebler， Ravi Shroff， Sharad Goel
發文單位：斯坦福大學、紐約大學、哈佛大學
論文連結：https：//arxiv。org/pdf/2207。05302。pdf
摘要：
本文將流行的演算法公平的因果定義歸納為兩大類：（1）那些限制決策對反事實差異的影響的定義；以及（2）那些限制受法律保護的特徵，如種族和性別，對決策的影響的定義。
本文透過分析和經驗表明，這兩個系列的定義（幾乎總是）——在計量理論的意義上——導致強烈的帕累託支配的決策政策，這意味著有一個替代的、不受約束的政策受到每個利益相關者的青睞，其偏好來自一個大的、自然的類別。
事實上，在一個突出的因果公平定義下，我們證明所產生的政策要求以相同的機率錄取所有學生，而不考慮學術資格或團體成員。我們的結果強調了因果公平的常見數學概念的形式限制和潛在的不利後果。
Active fairness auditing
作者：Tom Yan， Chicheng Zhang
發文單位：卡內基梅隆大學、亞利桑那大學
論文連結：https：//arxiv。org/abs/2206。08450
摘要：
各個行業的公司對機器學習（ML）的快速普及帶來了重大的監管挑戰。其中一個挑戰是可擴充套件性：監管機構如何有效地審計這些ML模型，確保它們是公平的？
在本文中，我們啟動了對基於查詢的審計算法的研究，該演算法可以以一種查詢有效的方式估計ML模型的人口平價。我們提出了一個最佳的確定性演算法，以及一個實用的隨機化的、具有可比性保證的Oracle效率演算法。此外，本文在理解隨機化主動公平性估計算法的最佳查詢複雜性方面取得了進展。
Understanding Dataset Difficulty with V-Usable Information
作者：Kawin Ethayarajh， Yejin Choi， Swabha Swayamdipta
發文單位：斯坦福大學、艾倫人工智慧研究所、華盛頓大學
論文連結：https：//arxiv。org/pdf/2110。08420。pdf
摘要：
估算一個數據集的難度通常包括將最先進的模型與人類進行比較；效能差距越大，資料集就越難。然而，這種比較對給定分佈中的每個例項有多難，或者什麼屬性使資料集對一個給定的模型來說是困難的，提供的理解很少。為了解決這些問題，我們將資料集的難度——相對於一個模型的V來說——定義為缺乏V的可用資訊，其中較低的值表示V的資料集更難。
我們進一步引入點式V資訊（PVI）來衡量單個例項的難度——相對於一個給定的分佈。雖然標準的評估指標通常只對同一資料集的不同模型進行比較，但V型資訊和PVI也允許反過來：對於一個給定的模型V，我們可以比較不同的資料集，以及同一資料集的不同例項/片斷。此外，我們的框架允許透過輸入的轉換來實現不同輸入屬性的可解釋性，我們用它來發現廣泛使用的NLP基準中的註釋假象。
G-Mixup: Graph Data Augmentation for Graph Classification
作者：Xiaotian Han， Zhimeng Jiang， Ninghao Liu， Xia Hu
發文單位：德克薩斯農工大學、佐治亞大學、萊斯大學
論文連結：https：//arxiv。org/pdf/2202。07179。pdf
摘要：
Mixup透過在兩個隨機樣本之間插值特徵和標籤，在提高神經網路的泛化和魯棒性方面顯示出優越性。傳統上，Mixup可以在規則的、網格狀的和歐幾里得資料上工作，如影象或表格資料。然而，直接採用Mixup來增強圖的資料是具有挑戰性的，因為不同的圖通常1）有不同數量的節點；2）不容易對齊；3）在非歐氏空間有獨特的型別。
為此，我們提出了G-Mixup，透過插值不同類別的圖的生成器（即graphon）來增強圖的分類。具體來說，我們首先使用同一類別中的圖來估計一個graphon。然後，我們不直接操作圖形，而是在歐幾里得空間中插值不同類別的圖元，以獲得混合圖元，其中合成圖元是透過基於混合圖元的取樣產生的。廣泛的實驗表明，G-Mixup極大地提高了GNN的泛化和穩健性。
The Importance of Non-Markovianity in Maximum State Entropy Exploration
作者：Mirco Mutti， Riccardo De Santi， Marcello Restelli
發文單位：米蘭理工大學、博洛尼亞大學、蘇黎世聯邦理工學院
論文連結：https：//arxiv。org/pdf/2202。03060。pdf
摘要：
在最大狀態熵探索框架中，代理人與無獎勵環境互動，以學習一個政策，使其誘導的預期狀態訪問熵最大化。
在本文中，我們認為非馬爾科夫性對於有限樣本制度下的最大狀態熵探索反而是最重要的。特別是，我們將目標重塑為在一次試驗中誘導狀態訪問的預期熵。我們表明，非馬爾科夫確定性策略的類別對於引入的目標來說是足夠的，而馬爾科夫策略在一般情況下遭受非零遺憾。然而，我們證明尋找最佳非馬爾科夫政策的問題是NP-hard。儘管有這個否定的結果，我們討論了以可操作的方式解決這個問題的途徑，以及非馬爾科夫探索如何在未來的工作中有利於線上強化學習的樣本效率。
Minimum Cost Intervention Design for Causal Effect Identification
作者：Sina Akbari， Jalal Etesami， Negar Kiyavash
發文單位：瑞士洛桑聯邦理工學院（College of Management of Technology， EPFL）
論文連結：https：//arxiv。org/pdf/2205。02232。pdf
摘要：
在這項工作中，我們考慮的問題是以最小的成本設計干預措施的集合，以確定所需的效果。首先，我們證明這個問題是NP-hard的，隨後提出一種演算法，可以找到最優解或對數因子的近似解。這是透過在我們的問題和最小命中集問題之間建立聯絡來實現的。此外，我們提出了幾個多項式時間啟發式演算法來解決這個問題的計算複雜性。儘管這些演算法有可能在次優的解決方案上絆倒，但我們的模擬表明，它們在隨機圖上實現了小的遺憾。
Privacy for Free: How does Dataset Condensation Help Privacy?
作者：Tian Dong， Bo Zhao， Lingjuan Lyu
發文單位：上海交通大學、愛丁堡大學、Sony AI
論文連結：https：//arxiv。org/pdf/2206。00240。pdf
摘要：
為了防止無意中的資料洩露，研究界採用了能夠產生不同隱私資料的資料生成器進行模型訓練。然而，出於對資料隱私的考慮，現有的解決方案要麼存在昂貴的訓練成本，要麼存在較差的泛化效能。因此，我們提出了一個問題：訓練效率和隱私是否可以同時實現。在這項工作中，我們首次發現，原本為提高訓練效率而設計的資料集濃縮（DC）也是一個更好的解決方案，可以取代傳統的資料生成器來生成私有資料，從而免費提供隱私。
為了證明DC的隱私優勢，我們建立了DC和差分隱私之間的聯絡，並在理論上證明了線性特徵提取器（然後擴充套件到非線性特徵提取器），一個樣本的存在對透過DC從n（n m）個原始樣本合成的m個樣本上訓練的網路的引數分佈影響有限（O（m/n））。我們還透過發起基於損失的和最先進的基於似然的成員推理攻擊，實證驗證了DC合成數據的視覺隱私和成員隱私。我們認為這項工作是資料高效和保護隱私的機器學習的一個里程碑。
Bayesian Model Selection, the Marginal Likelihood, and Generalization
作者：Sanae Lotfi， Pavel Izmailov， Gregory Benton， Micah Goldblum， Andrew Wilson
發文單位：紐約大學
論文連結：https：//arxiv。org/pdf/2202。11678。pdf
摘要：
如何在與觀察完全一致的假說之間進行比較？邊際似然（又稱貝葉斯證據）代表了從先驗產生我們觀察結果的機率，它為這個基礎性問題提供了一種獨特的方法，自動編碼了奧卡姆剃刀。儘管已經觀察到邊際似然可以過度擬合，並且對先驗假設很敏感，但它對超引數學習和離散模型比較的侷限性還沒有被徹底研究。
我們首先重溫了邊際似然對於學習約束和假設檢驗的吸引人的特性。然後，我們強調了使用邊際似然作為泛化的代理的概念和實際問題。也就是說，我們展示了邊際似然如何與泛化負相關，對神經結構搜尋有影響，並可能導致超引數學習中的欠擬合和過擬合。我們透過條件邊際似然提供了部分補救措施，我們表明條件邊際似然與泛化更加一致，對大規模的超引數學習，如深度核學習，具有實際價值。
Test of Time Award （時間檢驗獎）
本屆時間檢驗獎授予了十年前ICML的一篇論文，該論文對機器學習領域產生了實質性影響，包括研究和實踐。
作者：Battista Biggio， Blaine Nelson， Pavel Laskov
發文單位：卡利亞里大學、杜賓根大學
論文連結：https：//arxiv。org/pdf/1206。6389。pdf
摘要：
我們研究了針對支援向量機（SVM）的一系列毒化攻擊。這種攻擊注入特別製作的訓練資料，增加SVM的測試誤差。這些攻擊的核心動機是，大多數學習演算法假設其訓練資料來自一個自然或良好的分佈。然而，這一假設在安全敏感的環境中通常並不成立。
正如我們所證明的，一個聰明的對手可以在一定程度上預測SVM的決策函式因惡意輸入而發生的變化，並利用這種能力來構建惡意資料。擬議的攻擊使用梯度上升策略，其中梯度是根據SVM的最優解的屬性計算的。這種方法可以被核化，即使對於非線性核，也能在輸入空間構建攻擊。我們透過實驗證明，我們的梯度上升程式能夠可靠地識別出非凸驗證誤差面的良好區域性最大值，從而顯著增加分類器的測試誤差。
另有兩篇論文獲得時間檢驗獎榮譽提名。其中一篇是Quoc Le、Jeff Dean、吳恩達等大牛的關於「大規模非監督學習構建高階特徵」的論文。
參考資料：
https：//icml。cc/virtual/2022/awards_detail
