雷鋒網(wǎng) AI 科技評(píng)論按：隨著研究者們對(duì)樣本利用效率的要求日益提高，小樣本學(xué)習(xí)逐漸成為了 AI 領(lǐng)域以及相關(guān)頂會(huì)最熱門(mén)的話題之一。色列特拉維夫大學(xué)的在讀博士研究生 Eli Schwarts 參加完 CVPR 2019 后，針對(duì)今年 CVPR 2019 的熱點(diǎn)之一——小樣本學(xué)習(xí)整理出了一份論文清單，供大家從 CVPR 的維度一覽小樣本學(xué)習(xí)在目前的研究進(jìn)展。雷鋒網(wǎng)

背景

最近，小樣本物體識(shí)別成為了一個(gè)熱門(mén)的研究課題（CVPR 2018 收錄了 4 篇關(guān)于小樣本學(xué)習(xí)的論文，而到了 CVPR 2019，這一數(shù)量激增到了近 20 篇）。通常情況下，在訓(xùn)練時(shí)你有許多可以使用的各類(lèi)樣本；然后，在測(cè)試時(shí)，你會(huì)面對(duì)新的類(lèi)別（通常為 5 類(lèi)），其中每個(gè)類(lèi)別僅有極少量的樣本（通常每類(lèi)只有 1 個(gè)或 5 個(gè)樣本，稱(chēng)為「支持集」），以及來(lái)自相同類(lèi)別的查詢圖像。

接下來(lái)，本文將把小樣本方法劃分為 5 個(gè)不同的類(lèi)別（盡管這些類(lèi)別并沒(méi)有明確的界定，許多方法同時(shí)屬于不止一個(gè)類(lèi)別）。

「Older」指的是基于度量學(xué)習(xí)的方法，其目標(biāo)是學(xué)習(xí)一個(gè)從圖像到嵌入空間的映射，在該空間中，同一類(lèi)圖像彼此間的距離較近，而不同類(lèi)的圖像距離則較遠(yuǎn)。我們希望這種性質(zhì)適用于那些沒(méi)有見(jiàn)過(guò)的類(lèi)。

在這之后，就到元學(xué)習(xí)方法了。這類(lèi)模型建立在當(dāng)前所面對(duì)的任務(wù)的基礎(chǔ)上，因此使用不同的分類(lèi)器作為支持集的函數(shù)。其思路是尋找模型的超參數(shù)和參數(shù)，這樣一來(lái)在不對(duì)使用的小樣本過(guò)擬合的條件下可以很容易地適應(yīng)新的任務(wù)。

與此同時(shí)，數(shù)據(jù)增強(qiáng)方法也十分流行。其思想是學(xué)習(xí)數(shù)據(jù)增強(qiáng)的方式，從而可以通過(guò)少量可用的樣本生成更多的樣本。

最后，基于語(yǔ)義的方法正在逐漸興起。這類(lèi)方法受到了零樣本學(xué)習(xí)（zero-shot learning）的啟發(fā)，其中分類(lèi)任務(wù)的完成僅僅基于類(lèi)別的名稱(chēng)、文本描述或?qū)傩?。?dāng)視覺(jué)信息稀缺時(shí)，這些額外的語(yǔ)義信息也可能很有用。

本文涉及到的論文

度量學(xué)習(xí)方法

論文：Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning，Li et. Al

• 論文地址：https://arxiv.org/abs/1903.12290?source=post_page

論文：Few-Shot Learning with Localization in Realistic Settings，Wertheimer et. Al

• 論文地址：https://arxiv.org/abs/1904.08502?source=post_page

論文：Dense Classification and Implanting for Few-Shot Learning，Lifchitz et. Al

• 論文地址：https://arxiv.org/abs/1903.05050?source=post_page

論文：Variational Prototyping-Encoder: One-Shot Learning with Prototypical Images，Kim et. Al

論文地址：https://arxiv.org/abs/1904.08482?source=post_page

元學(xué)習(xí)方法

論文：Edge-Labeling Graph Neural Network for Few-shot Learning，Kim et. al

• 論文地址：https://arxiv.org/abs/1905.01436?source=post_page

論文：Task Agnostic Meta-Learning for Few-Shot Learning，Jamal et. al

• 論文地址：https://arxiv.org/abs/1805.07722?source=post_page

論文：Meta-Transfer Learning for Few-Shot Learning，Sun et. al

論文地址：http://arxiv.org/abs/1812.02391?source=post_page

論文：Generating Classification Weights with GNN Denoising Autoencoders for Few-Shot Learning，Gidaris et. al

• 論文地址：http://arxiv.org/abs/1905.01102?source=post_page

論文：Finding Task-Relevant Features for Few-Shot Learning by Category Traversal，Li et. al

• 論文地址：https://arxiv.org/abs/1905.11116?source=post_page

數(shù)據(jù)增強(qiáng)方法

論文：LaSO: Label-Set Operations networks for multi-label few-shot learning，Alfassy et. al

• 論文地址：https://arxiv.org/abs/1902.09811?source=post_page

論文：Few-shot Learning via Saliency-guided Hallucination of Samples，Zhang et. al

• 論文地址：https://arxiv.org/abs/1904.03472?source=post_page

論文：Spot and Learn: A Maximum-Entropy Patch Sampler for Few-Shot Image Classification，Chu et. Al

• 論文地址：http://openaccess.thecvf.com/content_CVPR_2019/papers/Chu_Spot_and_Learn_A_Maximum-Entropy_Patch_Sampler_for_Few-Shot_Image_CVPR_2019_paper.pdf?source=post_page

論文：Image Deformation Meta-Networks for One-Shot Learning，Chen et. al

• 論文地址：https://arxiv.org/abs/1905.11641?source=post_page

基于語(yǔ)義的方法

論文：Baby steps towards few-shot learning with multiple semantics，Schwartz et. al

• 論文地址：https://arxiv.org/abs/1906.01905?source=post_page

論文：Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders，Schonfeld et. al

• 論文地址：https://arxiv.org/abs/1812.01784?source=post_page

論文：TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning，Wang et. al

• 論文地址：https://arxiv.org/abs/1904.05967?source=post_page

論文：Large-Scale Few-Shot Learning: Knowledge Transfer With Class Hierarchy，Li et. al

• 論文地址：http://openaccess.thecvf.com/content_CVPR_2019/papers/Li_Large-Scale_Few-Shot_Learning_Knowledge_Transfer_With_Class_Hierarchy_CVPR_2019_paper.pdf?source=post_page

物體識(shí)別之外（其它任務(wù)中的小樣本學(xué)習(xí)）

論文：RepMet: Representative-based metric learning for classification and few-shot object detection，Karlinsky et. al

• 論文地址：https://arxiv.org/abs/1806.04728?source=post_page

論文：CANet: Class-Agnostic Segmentation Networks with Iterative Refinement and Attentive Few-Shot Learning，Zhang et. al

• 論文地址：https://arxiv.org/abs/1903.02351?source=post_page

度量學(xué)習(xí)方法

Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning, Li et. al

 

在本文中，作者稍微走起了點(diǎn)懷舊風(fēng)，采用了詞袋（bag-of-words）模型時(shí)代使用的局部描述子，但是特征則是使用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取到的，而整個(gè)學(xué)習(xí)框架都是端到端的。它的實(shí)驗(yàn)結(jié)果略微低于對(duì)比基準(zhǔn)。

Few-Shot Learning with Localization in Realistic Settings, Wertheimer et. Al

 

本文聲稱(chēng)，標(biāo)準(zhǔn)的小樣本學(xué)習(xí)對(duì)比基準(zhǔn)測(cè)試是不符合現(xiàn)實(shí)情況的，因?yàn)樗鼈兪褂玫牟煌?lèi)別的數(shù)據(jù)是被人為設(shè)定成平衡的，而且測(cè)試時(shí)使用的是 5 類(lèi)樣本，因此本文作者建議使用一個(gè)新的數(shù)據(jù)集/對(duì)比基準(zhǔn)。同時(shí)，讓模型同時(shí)學(xué)習(xí)進(jìn)行定位和分類(lèi)；這樣做顯而易見(jiàn)的缺點(diǎn)是需要用到帶有邊界框標(biāo)注的數(shù)據(jù)集。分類(lèi)器是建立在原型網(wǎng)絡(luò)之上的，但使用的特征向量是由聚合的前景和背景表征連接而成的。

Dense Classification and Implanting for Few-Shot Learning, Lifchitz et. al

在本文中，分類(lèi)任務(wù)是密集地執(zhí)行的，即所有的空間位置都需要被正確地分類(lèi)，而不是在最后進(jìn)行全局平均池化處理。此外，在測(cè)試期間，本文作者并不是在最后一層才進(jìn)行調(diào)優(yōu)，而是通過(guò)添加神經(jīng)元擴(kuò)大每一層并對(duì)它們進(jìn)行調(diào)優(yōu)（只有額外添加的權(quán)重會(huì)被訓(xùn)練，舊的權(quán)重會(huì)被凍結(jié)）。

Variational Prototyping-Encoder: One-Shot Learning with Prototypical Images, Kim et. al.

 

這是一個(gè)單樣本分類(lèi)技術(shù)的更具體的應(yīng)用，針對(duì)的是標(biāo)志或路標(biāo)分類(lèi)問(wèn)題。在本例中，作者將標(biāo)準(zhǔn)圖形化的圖像（與現(xiàn)實(shí)中的真實(shí)標(biāo)志/路標(biāo)相對(duì)應(yīng)）作為原型。他們通過(guò)學(xué)習(xí)一個(gè)將真實(shí)標(biāo)志/路標(biāo)圖像映射到原型圖像上的元任務(wù)學(xué)習(xí)來(lái)學(xué)習(xí)一種良好的表征。

元學(xué)習(xí)方法

Edge-Labeling Graph Neural Network for Few-shot Learning, Kim et. al

圖神經(jīng)網(wǎng)絡(luò)已經(jīng)被用于小樣本學(xué)習(xí)領(lǐng)域。其基本思想是，每個(gè)圖像都可以作為圖中的一個(gè)節(jié)點(diǎn)來(lái)表示，而且信息（節(jié)點(diǎn)表征）可以根據(jù)它們之間的相似度在它們之間傳播。通常而言，分類(lèi)任務(wù)是根據(jù)節(jié)點(diǎn)表征之間的距離隱式地完成的。在這里，作者建議在每條邊上加上顯式的特征來(lái)描述節(jié)點(diǎn)之間的相似度。

Task Agnostic Meta-Learning for Few-Shot Learning, Jamal et. Al

在這項(xiàng)工作中，為了避免元學(xué)習(xí)模型對(duì)訓(xùn)練任務(wù)過(guò)擬合，作者在輸出預(yù)測(cè)時(shí)加入了一個(gè)正則化項(xiàng)。正則化要么會(huì)使預(yù)測(cè)具有更高的熵（即預(yù)測(cè)的概率不會(huì)看起來(lái)像一個(gè)獨(dú)熱矢量），要么使模型在不同任務(wù)之間的差異更?。丛诓煌蝿?wù)上表現(xiàn)相同）。顯然，對(duì)于小樣本學(xué)習(xí)來(lái)說(shuō)，有一個(gè)強(qiáng)大的正則化機(jī)制是十分重要的，但我并不能直觀地理解為什么我們需要的是文中體到的特定的正則項(xiàng)。本文作者在 MAML 的基礎(chǔ)上測(cè)試了該方法，得到了更優(yōu)的性能。不妨看看將其應(yīng)用于其它方法上是否也會(huì)對(duì)性能提升有所幫助！

Meta-Transfer Learning for Few-Shot Learning, Sun et. Al

 

該方法有兩個(gè)主要的組成部分：（1）對(duì)一個(gè)預(yù)訓(xùn)練的模型調(diào)優(yōu)，其中權(quán)值是凍結(jié)的，在每一層中只學(xué)習(xí)放縮和偏置（Scaling and Shifting）；（2）困難任務(wù)挖掘。如果我沒(méi)弄錯(cuò)的話，MAML 對(duì)批量歸一化層進(jìn)行了調(diào)優(yōu)，這難道不是具有和「學(xué)習(xí)放縮和偏置」相同的效果嗎？似乎將困難批量挖掘（根據(jù)之前的任務(wù)中具有較低的準(zhǔn)確率的類(lèi)組成的任務(wù)）應(yīng)用到 MAML 上也是有所幫助的。

Generating Classification Weights with GNN Denoising Autoencoders for Few-Shot Learning, Gidaris et. Al

 

在本文中，作者再次建立模型預(yù)測(cè)分類(lèi)器對(duì)于未見(jiàn)過(guò)的類(lèi)的權(quán)重。此外，所有分類(lèi)器的權(quán)重都會(huì)被傳遞給一個(gè)通過(guò)一個(gè)圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的去噪自編碼器（基類(lèi)和任務(wù)中的新類(lèi)別），從而做到：（1）讓分類(lèi)器能夠適應(yīng)當(dāng)前任務(wù)的類(lèi)別（2）將基類(lèi)分類(lèi)器的知識(shí)傳播給新類(lèi)分類(lèi)器。使用去躁自編碼器有助于修正預(yù)測(cè)得到的分類(lèi)器，因?yàn)檫@些分類(lèi)器僅僅只基于少量的示例預(yù)測(cè)得到，有明顯的噪聲。

Finding Task-Relevant Features for Few-Shot Learning by Category Traversal, Li et. al

 

給定一個(gè)特征提取器，該模型大體上可以預(yù)測(cè)一個(gè)特征向量上的注意力映射?！窩oncentrator」會(huì)分別查看每個(gè)類(lèi)（或圖像），而「Projector」則會(huì)融合來(lái)自任務(wù)中所有類(lèi)的信息來(lái)生成注意力映射。「Concentrator」和「Projector」都是通過(guò)一個(gè)小型的卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)實(shí)現(xiàn)的。我非常喜歡這種簡(jiǎn)單的模塊，當(dāng)在幾個(gè)一致的基于度量的方法上使用該模塊時(shí)，它們總是可以提升性能。

數(shù)據(jù)增強(qiáng)方法

LaSO: Label-Set Operations networks for multi-label few-shot learning, Alfassy et. al

 

本文的研究課題是多標(biāo)簽小樣本分類(lèi)問(wèn)題。在本文中，作者訓(xùn)練模型在嵌入空間中對(duì)多標(biāo)簽樣本的標(biāo)簽集執(zhí)行集合運(yùn)算（求并集、差集、交集）。例如，通過(guò)對(duì)狗和貓的圖像求并集，可以得到同時(shí)包含狗和貓的圖像的表征。之后，作者使用這些操作來(lái)增強(qiáng)數(shù)據(jù)并提高分類(lèi)性能。

Few-shot Learning via Saliency-guided Hallucination of Samples, Zhang et. Al

本文采用（在沒(méi)有交集的類(lèi)上）預(yù)訓(xùn)練的顯著性模型分割前景和背景。作者訓(xùn)練了兩個(gè)特征提取器，一個(gè)用于提取前景特征、另一個(gè)用于提取背景特征，還有第三個(gè)模型用來(lái)將前兩種特征進(jìn)行組合。顯然，其缺點(diǎn)是你需要一個(gè)預(yù)訓(xùn)練好的顯著性模型。我認(rèn)為這是一個(gè)很棒的增強(qiáng)數(shù)據(jù)的方式，但是我不確定增強(qiáng)背景數(shù)據(jù)對(duì)于正確的分類(lèi)有多重要（不像目標(biāo)檢測(cè)任務(wù)），如果你已經(jīng)能夠分割出前景，那么僅僅使用前景進(jìn)行分類(lèi)不是更好嗎？

Spot and Learn: A Maximum-Entropy Patch Sampler for Few-Shot Image Classification, Chu et. Al

 

在本文中，作者計(jì)算了每一個(gè)圖塊（patch）的表征（而不是僅僅學(xué)習(xí)整幅圖像的表征），然后通過(guò)使用了最優(yōu)圖塊軌跡的 RNN（即決定下一步應(yīng)該使用哪一個(gè)圖塊）來(lái)聚合這種表征，該軌跡是通過(guò)一個(gè)強(qiáng)化學(xué)習(xí)模型預(yù)測(cè)得到的。與簡(jiǎn)單的注意力模型相比，我認(rèn)為該模型由于其具有數(shù)據(jù)增強(qiáng)方法（對(duì)于同一張圖像使用不同的軌跡），要更好一些。然而，基準(zhǔn)對(duì)比測(cè)試的結(jié)果只能說(shuō)馬馬虎虎。我想知道僅僅使用一個(gè)隨機(jī)的軌跡進(jìn)行增強(qiáng)是否也會(huì)起到相同的作用。

Image Deformation Meta-Networks for One-Shot Learning, Chen et. Al

 

這是一種非常酷的數(shù)據(jù)增強(qiáng)方法。該方法類(lèi)似于「mixup」（https://arxiv.org/pdf/1710.09412v1.pdf），但是這里的圖像被根據(jù)一個(gè)網(wǎng)格進(jìn)行了劃分，并且為每個(gè)單元使用了不同的預(yù)測(cè)出的「mixup」系數(shù)。模型訓(xùn)練是端到端的，同時(shí)進(jìn)行分類(lèi)器的學(xué)習(xí)和對(duì)「mixup」的優(yōu)化（指更好的分類(lèi)效果）。本文作者將提出的模型與「mixup」進(jìn)行了對(duì)比，但是我們想知道：如果系數(shù)是預(yù)測(cè)得出的而非隨機(jī)的，「mixup」對(duì)整幅圖像的效果如何，即不同的「混合」方式對(duì)于每個(gè)單元的影響如何。

基于語(yǔ)義的方法

Baby steps towards few-shot learning with multiple semantics, Schwartz et. Al

 

本文作者在 CVPR 的「語(yǔ)言與視覺(jué) Workshop」 上展示了自己的工作。作者基于 AM3 模型[Xing et. al, 2019]構(gòu)建了自己的模型，并將其泛化，從而利用多種語(yǔ)義。同時(shí)，作者還使用了關(guān)于類(lèi)別的短文本描述（這些描述是 ImageNet 的一部分，但是至今仍未被用于小樣本學(xué)習(xí)）來(lái)提升性能。從可視化原型開(kāi)始，他們便采用一系列語(yǔ)義嵌入迭代地更新這些可視化原型。通過(guò)這樣做，該論文提出的方法實(shí)現(xiàn)了目前在 miniImageNet 上最佳的性能。

Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders, Schonfeld et. Al

 

本文作者訓(xùn)練了兩個(gè)變分自編碼器（VAE），一個(gè)用于視覺(jué)特征，另一個(gè)則用于語(yǔ)義特征。其目的是能夠根據(jù)潛在的視覺(jué)特征重建語(yǔ)義特征，反之亦然。作者表明，使得兩個(gè)潛在空間具有相同的分布也很有幫助。

TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning, Wang et. Al

在這項(xiàng)工作中，標(biāo)簽嵌入（GloVe）被用來(lái)預(yù)測(cè)數(shù)據(jù)特征提取模型的權(quán)重。他們提出了一種很好的方法來(lái)分解權(quán)重，從而只需要預(yù)測(cè)一個(gè)較低維的權(quán)重向量。此外，通過(guò)「嵌入損失」迫使語(yǔ)義嵌入和視覺(jué)嵌入對(duì)齊。這篇論文的有趣之處在于，它結(jié)合了兩種方法：元學(xué)習(xí)（基于任務(wù)來(lái)預(yù)測(cè)模型），以及利用語(yǔ)義信息（標(biāo)簽）。然而，對(duì)于小樣本學(xué)習(xí)任務(wù)而言，似乎本文提出的模型稍微弱于現(xiàn)有的最佳方法。

Large-Scale Few-Shot Learning: Knowledge Transfer With Class Hierarchy, Li et. Al

作者聲稱(chēng)現(xiàn)有的方法在大規(guī)模小樣本學(xué)習(xí)任務(wù)往往會(huì)失敗，例如在 ImageNet 而不是在像 miniImageNet 種的 64 個(gè)基類(lèi)這樣的小型數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并且其結(jié)果也并沒(méi)有優(yōu)于簡(jiǎn)單的對(duì)比基線。在本文中，作者也使用了語(yǔ)義標(biāo)簽。他們使用標(biāo)簽嵌入來(lái)無(wú)監(jiān)督地構(gòu)建了一個(gè)類(lèi)別的層次結(jié)構(gòu)，這是一種非常有趣的方法，學(xué)習(xí)以這種層次化的方式進(jìn)行分類(lèi)可能有助于模型捕獲那些在未見(jiàn)過(guò)的類(lèi)上表現(xiàn)更好的特征。然而需要警醒的是，將未見(jiàn)過(guò)的類(lèi)標(biāo)簽用于構(gòu)建類(lèi)別的層次結(jié)構(gòu)是不是有作弊之虞？

物體識(shí)別之外（其它任務(wù)中的小樣本學(xué)習(xí)）

RepMet: Representative-based metric learning for classification and few-shot object detection, Karlinsky et. al

該博文的作者也參與了這篇論文的工作。在本文中，作者率先研究了小樣本目標(biāo)檢測(cè)。他們的解決方案是將一種基于度量的方法（如原型網(wǎng)絡(luò)）擴(kuò)展到目標(biāo)檢測(cè)任務(wù)上。他們使用了一種現(xiàn)成的檢測(cè)器架構(gòu)（FPN-DCN），并使用一種基于度量的分類(lèi)器替換了線性分類(lèi)器頭，在該方法中，對(duì)檢測(cè)出的每個(gè)區(qū)域的分類(lèi)是基于特征向量到學(xué)到的類(lèi)別的表征的距離而得出的。論文作者建議為小樣本檢測(cè)問(wèn)題使用一種新的對(duì)比基準(zhǔn)，并且展示了該論文提出的方法相對(duì)于對(duì)比方法的提升。

CANet: Class-Agnostic Segmentation Networks with Iterative Refinement and Attentive Few-Shot Learning, Zhang et. Al

 

本文將度量學(xué)習(xí)擴(kuò)展到了稠密場(chǎng)景下的小樣本分割任務(wù)中。將查詢圖像中的所有局部特征與支持集中物體的所有局部特征進(jìn)行對(duì)比的計(jì)算開(kāi)銷(xiāo)是非常大的。因此，本文作者選擇將查詢圖像中的局部特征與支持集圖像的全局表征進(jìn)行對(duì)比。

Via https://towardsdatascience.com/few-shot-learning-in-cvpr19-6c6892fc8c5   雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。