機器之心原創
作者：仵冀穎
編輯：Hao Wang
目前推廣應用的機器學習方法或模型主要解決分類問題，即給定一組資料（文字、影象、影片等），判斷資料類別或將同類資料歸類等，訓練過程依賴於已標註類別的訓練資料集。在實驗條件下，這些方法或模型可以透過大規模的訓練集獲得較好的處理效果。然而在應用場景下，能夠得到的資料實際上都沒有進行人工標註處理，對這些資料進行類別標註所耗費的人力成本和時間成本非常巨大。在一些專門的應用領域，例如醫學影象處理，只有專門學科的專業醫生能夠完成對醫學影像影象的資料標註。顯然，在這種情況下必須依賴大規模訓練集才能使用的方法或模型都不再適用。為了減少對已標註資料的依賴，研究人員提出了主動學習（Active Learning）方法。主動學習透過某種策略找到未進行類別標註的樣本資料中最有價值的資料，交由專家進行人工標註後，將標註資料及其類別標籤納入到訓練集中迭代最佳化分類模型，改進模型的處理效果。
根據最有價值樣本資料的獲取方式區分，當前主動學習方法主要包括基於池的
查詢獲取方法
（query-acquiring/pool-based）和
查詢合成方法
（query-synthesizing）兩種。近年來提出的主動學習主要都是查詢獲取方法，即透過設計查詢策略（抽樣規則）來選擇最具有價值資訊的樣本資料。與查詢獲取方法「選擇（select）」樣本的處理方式不同，查詢合成方法「生成（generate）」樣本。查詢合成方法利用生成模型，例如生成式對抗網路（GAN， Generative Adversarial Networks）等，直接生成樣本資料用於模型訓練。
我們從 2019 年機器學習會議中選出三篇關於主動學習方法的文章進行針對性的分析，這三篇文章為：
Learning loss for active learning（CVPR 2019，oral）
Variational Adversarial Active Learning （ICCV 2019，oral）
Bayesian Generative Active Deep Learning （ICML 2019）
其中，前兩篇提出基於池的查詢獲取方法：《Learning loss for active learning》透過新增損失函式設計一種任務不可知的主動學習方法，《Variational Adversarial Active Learning》設計了一種利用 VAE 和對抗網路來學習潛在空間中已標註資料分佈情況的查詢策略。第三篇 ICML 的文章《Bayesian Generative Active Deep Learning》介紹了一種利用對抗性網路的查詢合成方法。
1. Learning Loss for Active Learning（CVPR 2019）
原文地址：https：//arxiv。org/abs/1905。03677？context=cs。CV
主動學習的一個研究熱點為抽樣策略（準則）的設計，即透過改進樣本不確定性度量方式、引入委員會投票模式、採用期望誤差以及考慮多樣性準則等方法，設計主動學習的抽樣策略（準則）。然而，由於不同的機器學習任務不同，使用的資料特徵不同等問題，抽樣策略（準則）一般是針對目標任務進行設計，不具備普適性，例如在某一類機器學習任務中效果好的模型（例如文字分析），直接應用在其它任務中效果很差（例如影象分類）。
來自韓國 KAIST 的兩位學者提出了一種新的主動學習方法：學習損失函式的主動學習模型（Learning Loss for Active Learning）。本文的思路主要來源於深度學習，即不管任務是什麼、任務量有多大以及任務的體系結構有多麼複雜，學習目的就是最小化損失函式而與具體任務無關。本文提出的主動學習方法引入一個「損失預測模組」，透過學習損失預測模組來估計未標註資料的損失值。無論目標任務是什麼，模型都執行同樣的損失函式最佳化，因此損失預測模組是任務不可知的，該方法可以應用於任何使用深度網路的機器學習。
本文貢獻包括：
提出了一種簡單而有效的主動學習方法，該方法具有損失預測模組，可直接應用於深度網路的任何任務。
利用現有的網路體系結構，透過分類、迴歸和混合三個學習任務來評估所提出的方法。
演算法分析
本文提出的學習損失函式的主動學習模型主要由兩部分組成：目標模組和損失預測模組。其中目標模組的函式為：
x 表示輸入樣本資料。損失預測模組的預測函式為：
h 表示從目標模組的多個隱藏層中提取的樣本資料 x 的特徵集。初始化已標註資料集後，透過學習得到初始化目標函式和損失預測函式。在主動學習過程中，利用損失預測模組對未標註池中的所有資料進行評估，得到資料損失對。之後人工標註 K 個損失最大的資料（Top-K），更新已標註資料集，重複迴圈，直到達到滿意的效能。圖 1 給出本文演算法的處理過程。其中圖 1（a）表示利用目標模組基於輸入資料生成目標預測值，利用損失預測模組基於目標模組的隱藏層生成損失預測值。圖 1（b）表示利用損失預測模組評估未標註資料集中的資料，找到 Top-K 預測損失值的資料，完成專家人工標註後將這些資料及類別資訊新增到已標註的訓練集中。
圖1：帶有一個損失預測模組的主動學習新方法。
損失預測模組是本文演算法的核心，其目標是最大限度地降低主動學習過程中針對不確定性的學習成本。損失預測模組的特點為（1）比目標模組小得多（2）與目標模組同時學習，無需增加額外學習過程。損失預測模組的輸入為目標模組的中間層提取的多層特徵對映，這些多重連線的特徵值使得損耗預測模組能夠有效利用層間的有用資訊進行損失預測。
首先，透過一個全域性平均池（global average pooling， GAP）層和一個全連線層（full connected layer，FC），將每個輸入特徵對映簡化為一個固定維度的特徵向量。然後，連線所有特徵並輸入另一個全連線層，產生一個標量值作為預測損失。損失預測模組的結構見圖 2。損失預測模組與目標模組的多個層次相連線，將多級特徵融合並對映到一個標量值作為損失預測。
圖2：損失預測模組的架構
最後，討論損失預測模組的計算方式。損失預測模組的計算公式如下：
第一部分為目標模組的目標註釋值與預測值之間的損失值，第二部分為損失預測模組計算得到的損失值。給定輸入，目標模型輸出目標預測，損失預測模組輸出預測損失。目標預測和目標註釋用於計算目標損失，從而完成目標模型的學習。此外，目標損失還將作為損失預測模組的真值損失，用於計算預測損失。具體計算過程見圖 3。
圖3：學習損失的方法
本文沒有直接使用均方誤差（the mean square error，MSE） 定義損失函式，而是進行樣本資料對的比較。給定大小為 B 的小批次資料集，能夠生成 B/2 個數據對，例如
下標 P 表示一個數據對，B 應該是一個偶數。然後，透過考慮一對損失預測之間的差異來學習損失預測模組：
給定小批次 B，同時學習目標模組和損失預測模組的損失函式為：
實驗結果
為了驗證該方法的任務普適性，本文選擇了三個目標任務進行實驗，包括影象分類（分類任務），目標檢測（分類和迴歸的混合任務），人體姿態估計（典型迴歸問題）。
影象分類
實驗結果見圖 4。
資料庫：本文選擇 CIFAR-10 資料庫，使用其中 50000 張圖片作為訓練集、10000 張圖片作為測試集。由於訓練集資料量非常大，本文在每個主動學習迴圈階段選擇一個隨機子集（大小為 10000），從中選取 K 最不確定樣本。
目標模組：ResNet-18。
損失預測模組：ResNet-18 由 4 個基本塊組成 ，每個模組有兩層。將損失預測模組連線到每個基本塊，利用塊中的 4 個特性來估計損失。
實驗對比演算法：隨機抽樣（random sampling），基於熵的取樣（entropy-based sampling），芯組取樣（core-set sampling）。
圖4：CIFAR-10上的主動學習影象分類結果
圖 4 中每個點均為使用不同的初始標記資料集進行 5 次實驗的平均值。由實驗結果可知，本文提出的演算法在 CIFAR-10 庫中的效果最好。
目標檢測
實驗結果見圖 5。
資料庫：本文選擇 PASCAL VOC 2007+2010 資料庫。由於訓練集資料量不大，實驗不需選擇隨機子集抽取 K 最不確定樣本。
目標模組：Single Shot Multibox Detector （SSD）。
損失預測模組：SSD 從 6 級特徵對映中提取邊界框及其類 。將損失預測模組連線到每個基本塊，利用塊中的 6 個特性來估計損失。
實驗對比演算法：隨機抽樣（random sampling），基於熵的取樣（entropy-based sampling），芯組取樣（core-set sampling）。
圖5：在PASCAL VOC 2007+2012上的主動學習目標檢測結果
圖 5 中每個點均為使用不同的初始標註資料集進行 3 次實驗的平均值。由實驗結果可知，本文提出的演算法在 PASCAL VOC 庫中的效果最好。
人體姿態估計
實驗結果見圖 6。
資料庫：本文選擇 MPII 資料庫。由於訓練集資料量非常大，本文在每個主動學習迴圈階段選擇一個隨機子集（大小為 5000），從中選取 K 最不確定樣本。
目標模組：Stacked Hourglass Networks。
損失預測模組：Stacked Hourglass Networks 的特徵圖為 （H，W，C）=（64，64，256）。本文使用兩個特徵圖，將損失預測模組連線到每個圖中，利用 2 個特性來估計損失。
實驗對比演算法：隨機抽樣（random sampling），基於熵的取樣（entropy-based sampling），芯組取樣（core-set sampling）。
圖6：在MPII上人體姿態估計的主動學習結果
圖 6 中每個點均為使用不同的初始標註資料集進行 3 次實驗的平均值。由實驗結果可知，本文提出的演算法在 MPII 庫中的效果最好。
圖 7 為本文提出的演算法在不同資料庫中損失預測的準確度。對於一對資料點，如果預測結果為真，我們給出 1 分，否則給出 0 分。由圖 7 可知，使用本文的預測函式效果優於 MSE。本文提出的損失預測模組預測的迴歸損失在不同任務中的準確度分別約為 90%、70%、75%。
圖8：損失預測模組的損失預測準確率
總結與分析
本文提出了一種新的主動學習方法，適用於當前各類深度學習網路。本文透過三個主要的視覺識別任務和流行的網路結構驗證了方法的有效性。雖然實驗結果證明了該方法有效，但在該方法在抽樣策略中並沒有考慮資料的多樣性或密度等特徵。此外，在目標檢測和姿態估計等複雜任務中，損失預測準確度相對較低（如圖 8 分析），這些都將是後期的研究重點。
2、Variational Adversarial Active Learning (ICCV 2019，oral)
原文地址：https：//arxiv。org/pdf/1904。00370
本文提出了一種使用變分自動編碼器（VAE）和對抗網路來學習已標註資料在潛在空間中分佈情況的主動學習模型（Variational adversarial active learning，VAAL）。在 VAE 和對抗網路之間進行的極大極小博弈過程中，訓練 VAE 欺騙對抗網路將所有資料都預測為已標註資料；訓練對抗網路區分潛在空間中不同型別資料的分佈情況，從而區分已標註資料和未標註資料。VAAL 的整體結構見圖 1。
圖1：該模型使用VAE演算法學習了標記資料在潛在空間中的分佈，該演算法採用了重建和對抗損失兩種最佳化方法
演算法分析
首先，本文使用 VAE 學習潛在空間中已標註資料和未標註資料的表示，其中編碼器使用高斯先驗函式學習底層分佈的低維空間，解碼器重建資料。VAE 的目標函式為最小化給定樣本邊際似然機率的變分下界：
其中 p 和 q 分別表示編碼器和解碼器，p（z） 為高斯先驗知識。由 VAE 學習的潛在空間表示是已標註資料和未標註資料相關的潛在特徵的混合。
第二步，本文的抽樣策略為訓練一個對抗性網路，以學習如何區分隱藏空間中不同類別資料的編碼特徵。訓練對抗網路，將潛在表示對映為二進位制標籤：如果樣本資料為已標註，則為 1，否則為 0。
在上一步處理中，VAE 將已標註和未標註的資料對映到具有相似機率分佈的同一潛在空間，它愚弄鑑別器將所有輸入均定義為已標註的資料。另一方面，鑑別器則試圖有效地估計該資料屬於未標註資料的機率。關於 VAE 的對抗角色目標函式表述為：
其中 L_bce 為簡單的二元交叉熵成本函式。由上面的分析，VAAL 中 VAE 的完整目標函式如下：
由於參與資料標註的人員專業性水平不同，專家標註（Oracle）的結果並不完全可靠。本文假設存在兩種型別的 Oracle：一種是理想的 Oracle，它總是能夠提供正確的標籤；另一種是有噪聲的 Oracle，它非自願地為某些特定的類提供錯誤的標籤。為了更加真實地評估有噪聲 Oracle 情況下 VAAL 的效果，本文新增目標噪聲，使用與鑑別器預測相關的機率作為一個打分項，收集每批樣本中置信度最低的 B 個樣本傳送給 Oracle。
實驗結果
本文實驗條件為：初始訓練集中已標註和未標註資料的比例為 10%、90%。從未標註資料集中選擇需要由 Oracle 標註的樣本，標註完畢後將這些資料新增到初始訓練集中，並在新的訓練集中重複訓練。
實驗透過準確度和平均 IoU 來評估 VAAL 在影象分類和分割中的效能，當有 Oracle 提供的標籤可用時，分別以訓練集的 10%、15%、20%、25%、30%、35%、40% 的比例進行訓練。除 ImageNet 外，最終結果均為 5 次實驗結果的平均值。ImageNet 中的結果則為使用 10%、15%、20%、25%、30% 的訓練資料 2 次實驗結果的平均值。
影象分類
實驗結果見圖 2。
資料庫：CIFAR10、CIFAR100、Caltech-256、ImageNet。
對比演算法：random sampling、Core-set、Monte-Carlo Dropout、Ensembles using Variation Ratios、Deep Bayesian AL（DBAL）。
在 CIFAR-10 上，VAAL 使用 40% 的樣本資料達到了 80。9% 的平均準確度，而使用整個樣本資料集得到的準確度為 90。16%。在 CIFAR-100 上，VAAL 與 Ensembles w。 VarR 和 Core-set 都獲得較好效果，並且優於所有其他基線。在擁有類別真實影象的 Caltech-256 上，VAAL 始終優於其它演算法，超過 Core-set 1。01%。在大規模資料集 ImageNet 中的實驗結果證明了 VAAL 的可擴充套件性。由圖 2 實驗可知，VAAL 在影象分類實驗中準確度最高，在獲得同樣準確度的情況下 VAAL 所需的樣本數量最少。
影象分割
實驗結果見圖 3。
資料庫：BDD100K、Cityscapes。
對比演算法：random sampling、Core-set、Monte-Carlo Dropout、 Query-By-Committee （QBC）、suggestive annotation （SA）。
圖3：與QBC、Core-set、MC-Dropout和Random Sampling相比，使用Cityscapes和BDD100K的VAAL在分割任務上的效能更好
在已標註資料比率不同的情況下，VAAL 在 Cityscapes 和 BDD100K 兩個資料庫中都能獲得最高的平均 IoU。VAAL 僅使用 40% 的標註資料就可以實現 57。2 和 42。3 的%mIoU。當使用 100% 標註資料的情況下，VAAL 在 Cityscapes 和 BDD100K 兩個資料庫中可以達到 62。95 和 44。95 的%mIoU。
進一步，本文在 BDD100K 庫中進行實驗，以驗證本文方法中所採用的 VAE 和鑑別器的有效性。實驗考慮三種情況：1）取消 VAE；2）給定一個鑑別器，固定 VAE；3）取消鑑別器。實驗結果見圖 4。
圖4：分析VAE和鑑別器效果的控制變數結果。
實驗結果表明，由於鑑別器只用於儲存資料，僅採用鑑別器的模型處理效果最差。VAE 除了能夠學習潛在空間，還能夠利用鑑別器進行最小-最大博弈，從而避免過度擬合。而 VAAL 能夠有效學習 VAE 和鑑別器之間對抗性博弈的不確定性，實驗效果最優。
最後，本文給出了 CIFAR100 庫中初始標註偏移情況（bias）、預期規模（budget）、噪聲 oralce 對 VAAL 的影響，實驗結果見圖 5，實驗證明了 VAAL 對不同引數的魯棒性。
圖5：使用CIFAR100分析VAAL對噪聲標籤、預算大小和有偏初始標籤池的魯棒性。
總結與分析
VAAL 的關鍵是以一種對抗性的方式同時學習 VAE 和對抗性網路，從而找到最有價值的抽樣策略（準則）。本文基於各種影象分類和語義分割基準資料集對 VAAL 進行了廣泛評估，VAAL 在 CIFAR10/100、CALTECH-256、IMAGENET、CITYSCAPE 和 BDD100K 上均獲得了較好的效果。實驗結果表明，本文的對抗性方法在大規模資料集中能夠學習有效的低維潛在空間，並提供計算有效的抽樣策略。
3、Bayesian Generative Active Deep Learning(ICML 2019)
原文地址：https：//arxiv。org/pdf/1904。11643。pdf
本文提出了一種新的貝葉斯生成式主動深度學習模型，該模型的目標是用生成的樣本擴充已標註資料集，而這些生成樣本對訓練過程具有一定的參考價值。本文使用貝葉斯不一致主動學習（Bayesian active learning by disagreement，BALD）從未標註資料集中抽樣，樣本進行專家標註後使用對抗性模型 VAE-ACGAN（（variational autoencoder，VAE）-（auxiliary-classifier generative adversarial networks，ACGAN））處理，生成與輸入樣本具有相似資訊的新人工樣本。將新樣本新增到已標註資料集中，供模型迭代訓練使用。
本文的研究主要受到最近提出的一種生成性對抗性主動學習方法（Generative adversarial active learning，GAAL）（Zhu and Bento， 2017 （https：//arxiv。org/abs/1702。07956v5）） 啟發，不同於傳統的根據抽樣策略選擇資訊量最大樣本的主動學習方法，GAAL 依靠一個最佳化問題生成新樣本（這種最佳化平衡了樣本資訊性和影象生成質量）。本文提出的貝葉斯生成式主動深度學習模型利用傳統的基於池的主動學習方法選擇樣本，之後利用生成性對抗模型生成樣本。傳統的基於池方法、GAAL 和本文模型的對比圖示見圖 1。
圖1：（基於池）的主動學習的對比
演算法分析
與 GAAL 不同，本文方法首先利用基於池的方法（BALD）選擇出資訊量最大的樣本，具體公式為：
其中 a（x ；M） 為抽樣策略函式，使用夏農熵表徵預測值和分佈情況。樣本 x 被標記為 y 後進入樣本庫用於後續訓練。具體抽樣函式使用 Monte Carlo （MC） dropout 方法：
f 表示在 t 次迭代時從後驗估計中取樣的網路函式。
在建立生成模型主動生成樣本資料的過程中，本文沒有像 GAAL 一樣直接應用 GAN，而是借鑑了資料增加（data augmentation）的理念，採用了貝葉斯資料增加（Bayesian Data Augmentation，BDA）模型。BDA 模型包括一個生成器（用於從潛在空間中生成新的訓練樣本）、鑑別器（區分真實和虛假樣本）和分類器（確定樣本類別）。首先，給定一個潛在變數 u 和類別標籤 y，用函式 g 表示生成函式，將 （u，y） 對映為點 x=g（u，y），之後已標註的資料 x 以（x，y）格式加入到訓練集中。本文對 BDA 進行改進，在樣本生成階段不使用潛在變數 u 和類別標籤 y，而是使用樣本 x 和類別標籤 y，即樣本 x 直接推送到 VAE 中：
VAE 的訓練過程透過最小化重建損失實現。此外，本文證明了從資訊量最大的樣本中生成的樣本同樣具有資訊量。
本文的主要貢獻是透過結合 BALD 和 BDA，有效生成對訓練過程有參考意義的新的標記樣本。本文模型的結構見圖 2。
圖2：本文所提出模型的網路架構
由圖 2 可知，本文提出的模型由四部分組成：分類器、編碼器、解碼器/生成器、鑑別器。其中分類器可使用主流的各種深度卷積神經網路分類器，這使得該模型具有很好的靈活性，可以有效利用各種優秀分類器。生成器部分本文使用的是 ACGAN 和 VAE-GAN。將 VAE 的重建誤差引入 GAN 的損失函式中構成 VAE-ACGAN 的損失函式，實現對 GAN 訓練過程中的不現實性和模式崩潰進行懲罰。VAE-ACGAN 的損失函式為：
其中 VAE 損失表示為重建損失 Lrec 和正則化先驗 Lprior 的組合：
ACGAN 損失函式則為：
實驗結果
本文根據 Top-1 精度測量的分類效能評估貝葉斯生成式主動深層學習模型的效果。
實驗對比的方法包括：貝葉斯生成式主動深層學習模型（AL w。 VAEACGAN）、使用 BDA 的主動學習模型（AL w。 ACGAN）、未使用資料增加處理的 BALD（AL without DA）、未使用主動學習方法的 BDA（BDA）以及隨機生成樣本的方法。
實驗資料庫：MNIST、CIFAR-10、CIFAR-100、SVHN。
實驗中使用的分類器：ResNet18、ResNet18pa。
圖3：訓練和分類效能
圖 3 給出了在採集初始訓練集迭代次數、樣本百分比不同的情況下各個模型的實驗結果。圖 3 中曲線的每個點表示一次採集迭代的結果，其中每個新點表示訓練集的增長百分比。使用完整訓練集和 10 倍資料擴充建模的 BDA 的實驗結果作為所有其他方法的上限（BDA（full training））。本文提出的模型（AL w。 VAEACGAN）效果優於使用 BDA 的主動學習模型（AL w。 ACGAN）。這說明儘管 AL w。 ACGAN 使用樣本資訊訓練，但生成的樣本可能不具有資訊性，因此是無效樣本。儘管如此，AL w。 ACGAN 生成的樣本分類效能仍然優於未使用資料增加處理的主動學習方法（AL without DA）。
此外，圖 3 的實驗還表明，本文提出的模型在僅依賴部分訓練集資料的情況下，能夠獲得與依賴 10 倍訓練集大小資料量的資料增強方法相當的分類效能。這表明，本文模型僅需要消耗較少的人力和計算資源來標記資料集和訓練模型。
進一步，本文在不同隨機初始化的情況下完成三次實驗，給出最終的分類結果見表 1。表 1 的資料表明，本文提出的模型效果優於其他方法。
表1：經過3次執行，迭代150次後在MNIST、CIFAR-10和CIFAR-100上分類準確率的平均標準差
圖 4 給出在不同資料庫中使用本文提出的模型生成的影象。本文模型的主要目標是改進訓練過程以獲得更好的分類效果，然而由圖 4 結果可知，模型的生成資料具有非常高的影象質量。
圖4：本文提出的AL w。 VAE-ACGAN方法生成的各類影象。
總結與分析
本文是受 （Zhu and Bento， 2017 ） 啟發提出的查詢合成類（生成樣本）主動學習模型，由於 （Zhu and Bento， 2017 ） 文章中僅探討了二進位制分類問題，本文未與其進行實驗對比。本文提出的方法是模型不可知的（model-agnostic），因此它可以與目前提出的幾種主動學習方法相結合。現有模型的樣本生成方式是：以從未標註資料集中選擇出的具有較高資訊量的樣本為基礎來生成樣本，後續研究將著重考慮如何使用複雜的採集函式直接從未標註資料集中生成樣本，而不再需要樣本選擇的步驟。此外，模型的計算效能還需進一步提升。
作者介紹：仵冀穎，工學博士，畢業於北京交通大學，曾分別於香港中文大學和香港科技大學擔任助理研究員和研究助理，現從事電子政務領域資訊化新技術研究工作。主要研究方向為模式識別、計算機視覺，愛好科研，希望能保持學習、不斷進步。
本文為機器之心原創，轉載請聯絡本公眾號獲得授權。
————————————————————————