0
圖像語義分割是在圖像中識別問題對象及其類別的問題（如人和汽車）。它與目標(biāo)檢測不同之處在于，輸出是表示每個對象的形狀的掩碼，而不僅僅是一個邊界框。
而它與語義分割的不同之處在于，研究目標(biāo)不僅僅是使用標(biāo)簽（或背景）對每個像素進(jìn)行分類，而且還要區(qū)分同一類別的各個實例。因此，標(biāo)簽空間是沒有大小限制的（例如，假設(shè)有兩個人和一輛車，可能會標(biāo)記“人-1”，“人-2”和“車-1”）。
這個問題在諸如無人駕車、機器人、照片編輯等領(lǐng)域有許多實際應(yīng)用。雷鋒網(wǎng)了解到，谷歌研究院近日與UCLA合作，提出了一種新的語義實例分割方法：首先計算兩個像素屬于同一對象的可能性，然后將相似的像素分組在一起。其中，相似性度量是基于深度，完全卷積的嵌入模型，而分組方法是基于選擇所有與一組“種籽點”足夠相似的點，這個選擇模型是一個深度的、完全卷積的評分模型。
據(jù)雷鋒網(wǎng)了解，這個問題的常見解決方法是：首先使用一些機制來預(yù)測對象的邊界框（例如，通過運行類別對象檢測器，或者通過使用類別不可知框方法，如EdgeBoxes），然后在每個提出的框中運行分割和分類。最近還出現(xiàn)了一種“無盒”方法，即嘗試直接預(yù)測每個對象的掩碼。然而，這種方法要求整個對象實例符合在進(jìn)行預(yù)測的單元的接收域中。 這對于許多細(xì)長結(jié)構(gòu)的，可能跨越圖像的像素來說是有些困難的。
谷歌及UCLA則采取了一種不同的方法，通過計算兩個像素屬于同一個對象實例的可能性，并使用這種可能性將相似像素分組在一起來實現(xiàn)實例分割。研究者明確了“正確”段是什么，即整個對象的空間范圍。這避免了模棱兩可的情況諸如是否將對象（例如，人的襯衫和褲子）的部分視為單獨的片段，這種片段對無監(jiān)督方法的評估是一種困擾。
團(tuán)隊建議使用深度嵌入模型來學(xué)習(xí)相似性度量。 這類似于其他方法，例如FaceNet ，其學(xué)習(xí)了兩個邊界框?qū)儆谕粋€實例（人）的可能性，除了學(xué)習(xí)如何預(yù)測像素的相似性，同時要考慮到它們原本的上下文。
谷歌及UCLA團(tuán)隊使用計算（在嵌入空間中）到一組K“種籽點”的距離; 這可以用張量乘法實現(xiàn)。要找到這些種籽點，需要學(xué)習(xí)一個單獨的模型，預(yù)測一個像素做為好種籽的可能性; 我們稱之為每個像素的“種籽”得分。這類似于先前方法中使用的“中心”分?jǐn)?shù)，除了不需要識別對象中心; 相反，種籽分?jǐn)?shù)是在這種情況下相對于其他像素的“典型性”的度量。在實踐中只需要取得前100名種籽，就可以獲得對圖像中幾乎所有對象的良好覆蓋。
谷歌及UCLA團(tuán)隊從預(yù)先訓(xùn)練語義分割的模型開始，然后通過添加兩種不同類型的輸出“端”來修改它來執(zhí)行實例分割。 第一個輸出端產(chǎn)生每個像素的嵌入矢量。理想情況下，類似的向量更可能屬于同一對象實例。 在第二個端，該模型預(yù)測了以每個像素為中心的掩碼的類別標(biāo)簽，以及可以使該像素創(chuàng)造掩碼的良好的“種籽”的置信度分?jǐn)?shù)。該團(tuán)隊勾畫了圖1中的整體模型，并給出了下面的細(xì)節(jié)。
圖1：給定一個圖像，使用該模型預(yù)測每個像素（網(wǎng)絡(luò)的頂端）的嵌入矢量以及每個像素如果被選為種籽（網(wǎng)絡(luò)的底端）將產(chǎn)生的掩模的類別分?jǐn)?shù)。從類別分?jǐn)?shù)得出種籽分?jǐn)?shù)，并使用它們來選擇圖像中的哪個種籽點進(jìn)行抽樣。每個種籽點基于嵌入向量生成掩碼; 然后將每個掩碼與類別標(biāo)簽和置信度得分相關(guān)聯(lián)。在這個圖中，粉紅色對應(yīng)于“牛”類別，藍(lán)色對應(yīng)于“背景”類別。
首先學(xué)習(xí)一個嵌入空間，使相對來說同一個對象實例的像素更相近，并且對應(yīng)于不同對象（包括背景）的像素很遠(yuǎn)。網(wǎng)絡(luò)的嵌入端將卷積特征提取器的特征圖作為輸入。 它輸出一個[h, w, d]張量（如下圖所示），其中h是圖像高度，w是圖像寬度，d是嵌入空間維度（該實驗中使用64維嵌入）。
給定嵌入向量，則可以計算像素p和q之間的相似度如下：
可以看到，對于在嵌入空間中接近的像素對，有σ（p, q）= 2/（1 + e0） = 1，對于在嵌入空間中的像素對，有σ（p, q） = 2/（1 + e∞） = 0。
通過最小化以下的損失來訓(xùn)練網(wǎng)絡(luò)：
其中S是選定的像素集合，yp是像素p的實例標(biāo)簽，ωpq是p和q之間相似性的損失的權(quán)重。權(quán)重ωpq被設(shè)置為與實例p和q所屬的大小成反比的值，所以損失不會偏向更大的示例。 通過歸一化權(quán)重，使Σp,q ωpq = 1。
在訓(xùn)練中，可以通過對圖像中的每個對象實例隨機抽取K個點來選擇像素集S。 對于每對點，計算目標(biāo)標(biāo)簽，如果它們來自相同的實例，則為1，否則為0，如圖2所示。然后將|S|2集合點的橫斷面損失最小化。 整體程序與度量學(xué)習(xí)中[27]中使用的N對損失密切相關(guān)。
圖2：通過對每個實例中的K個像素的嵌入向量進(jìn)行采樣來計算嵌入損耗，得到總共的NK嵌入向量，其中N是圖像中的實例數(shù)。然后計算每一對嵌入矢量σ（ep; eq）之間的相似度，如公式1。屬于同一個實例的一對嵌入向量的度量的返回相似度為1，屬于不同實例的一對嵌入向量，相似度則為0。因此，可以根據(jù)嵌入矢量是否屬于同一個實例，將地面實數(shù)值設(shè)置為0和1，為嵌入矢量之間的相似性增加了交叉熵?fù)p失
圖3說明了少量示例圖像的嵌入學(xué)習(xí)。 隨機地將64d向量投影到RGB空間，然后可以看到生成的假彩色圖像?？梢钥吹?，根據(jù)需要，相同類的實例（例如，兩個人或兩個摩托車）被映射到嵌入空間的不同部分。
一旦有了一個嵌入空間，并因此有一個成對的相似性度量，可以以下列方式創(chuàng)建一組掩碼。選擇“種籽”像素p，然后通過找到與p有相似度并且大于閾值τ的所有其他像素q來“種植”種籽：m(p, τ) = {q: σ (p,q)≥ τ}。理想中，掩碼中的所有像素屬于與種子p相同的對象。通過改變τ，可以檢測不同大小的對象。 在試驗中使用τ∈{0.25, 0.5, 0.75} .（還使用圖像的多種尺寸表示作為輸入）
有效的實現(xiàn)方法如下。 首先，計算一個大小為[h, w, d]的張量A（其中h是圖像的高度，w是寬度，d是嵌入維數(shù)），表示每個像素的嵌入矢量。 接下來，計算張量B[k, d]，表示K個種籽點的嵌入向量。可以計算A中每個向量到B中每個向量的距離，使用 A2+ B2-2A⊙B。然后，可以通過對該距離矩陣進(jìn)行閾值來選擇與每個種籽足夠相似的所有像素。
圖4：可視化每個像素的相似度和每個圖像中隨機選擇的種籽像素。隨機選擇的種籽像素由圖像中的紅色標(biāo)記顯示。每個像素和種籽像素之間的相似度是基于公式 1并顯示在每張圖片中。 可以對相似度值進(jìn)行閾值生成二進(jìn)制掩碼。像素越亮，相似度越高
圖5：采樣種籽像素的可視化。該團(tuán)隊的方法將利用考察的距離度量和掩碼分類分?jǐn)?shù)來采樣高質(zhì)量的種籽像素，
因此具有高回調(diào)和精度的實例段
但是仍然需要一種選擇種籽的機制。 谷歌團(tuán)隊建議學(xué)習(xí)一個“種籽”熱圖Sp，它可以展示，從p生長的掩模將是一個好掩碼（一個與一些地面真值掩碼重疊多于IoU閾值）的可能性。 下面將討論如何計算種籽分?jǐn)?shù)。
一旦有了種籽熱圖，則可以根據(jù)其模式（峰值）挑選種籽點。 不過，谷歌及UCLA團(tuán)隊希望被選擇的種籽點具有空間多樣性，以確保對正確的掩碼集有較高的覆蓋。
因此，還需要計算每個點和所有先前選擇的點之間的距離（在嵌入空間中），并選擇一個遠(yuǎn)離已經(jīng)選擇的點的點（類似于由Kmeans ++初始化使用的啟發(fā)式[1]）。 更準(zhǔn)確地說，在算法的步驟t中，被選擇種籽點如下：
其中
選擇具有高種籽分?jǐn)?shù)的種籽像素可以保證高精度，并且選擇多樣的種籽點還可以保證高召回。 請注意，采樣的策略與非最大抑制算法不同。在NMS中，在x-y圖像坐標(biāo)空間附近的點被抑制，而在該算法中鼓勵嵌入空間的多樣性。
一旦選擇了一個種籽，將選擇最合適的閾值τ，然后可以將它轉(zhuǎn)換成掩碼，mt = m（pt, τ），如上所述。 最后，將一個置信區(qū)間st和一個類標(biāo)簽ct附加到掩碼。 為此，谷歌及UCLA團(tuán)隊利用語義分割模型將預(yù)測的類標(biāo)簽與每個像素相關(guān)聯(lián)。
網(wǎng)絡(luò)的掩碼分類端從卷積特征提取器輸入一個特征圖，并輸出一個[h, w, C+1]張量，如圖1所示。其中C是類別的數(shù)量，標(biāo)簽0表示背景。與語義分割相反，像素本身被分類，在這里，如果被選擇為種籽，將對每個像素生成的掩碼進(jìn)行分類。 例如，假設(shè)像素落在一個實例為馬中。語義分割將在該像素上產(chǎn)生“馬”類別的高分。 然而，如果給定像素不是一個好的生成馬掩碼的種籽點，則該方法可能會反過來預(yù)測背景。下面圖6展示出了掩碼分類熱圖。 可以看到，物體內(nèi)的大部分像素都是良好的種籽，但邊界附近的像素（例如，牛的腿部）并不是那么好。
圖6：掩碼分類評分的可視化。每個被選作種籽點的像素處的顏色標(biāo)識可以識別掩碼的標(biāo)簽。更有可能生成背景掩碼的像素為白色。較深的顏色對應(yīng)于將產(chǎn)生質(zhì)量差的前景掩碼的像素。較亮的顏色對應(yīng)于產(chǎn)生高質(zhì)量掩碼的像素
訓(xùn)練模型來模擬下面這種行為。 對于每個圖像，為每個對象實例選擇K = 10個隨機點，并在每個圖像周圍增加一個掩碼。對于給定的相似性閾值τ，令m（p, τ）為從像素p生成的掩碼。 如果提出的掩碼與一個地面真相掩模重疊超過一些固定的IoU閾值，則認(rèn)為這是一個“好的”提案; 然后，從地面真值掩碼中復(fù)制標(biāo)簽并將其分配給像素p。如果生成的掩碼與任何地面真相掩模沒有充分重疊，則認(rèn)為這是一個“壞”提案，并將背景標(biāo)簽分配給像素p。然后，將分配的標(biāo)簽轉(zhuǎn)換為單熱形式，并每個對象實例的每個K個選擇點使用softmax交叉熵?fù)p失訓(xùn)練。 分類模型是完全卷積的，但只需要評估NK點的損失，其中N是實例的數(shù)量。 因此，最后整體損失函數(shù)有如下：
其中Cpc是從種籽像素p生成的掩碼屬于類c的概率。
為了處理不同大小的對象，為每個值的τ訓(xùn)練使用不同的類別分類模型; 在該實驗中，谷歌及UCLA團(tuán)隊使用τ= {0.25,0.5,0.75,0.9}。 具體來說，令Cτpc表示當(dāng)使用相似度閾值τ時，像素p是實例類別c的良好種子的概率。
像素p的“隨機性”定義如下：
（請注意，max是基于對象類別上計算的，而不是在背景類別上計算）。因此可以得出，種籽張量是從分類張量計算出來的。
為了理解為什么這是合理的，假設(shè)像素p處的背景分?jǐn)?shù)非常高，如0.95。 然后將最大值與Cpc的和對約束進(jìn)行比較，這意味著這不是生成掩碼的有效像素。 但是如果最大值是0.6，這意味著這是一個很好的種子像素，因為它將成長為概率為0.6的前景類的一個實例。
一旦根據(jù)Sp選擇了最好的種籽，則可以找到相應(yīng)的最佳閾值 ，并通過計算標(biāo)記c。
相應(yīng)的置信度分?jǐn)?shù)為
谷歌及UCLA團(tuán)隊對COCO的語義分割進(jìn)行預(yù)先訓(xùn)練，這是標(biāo)準(zhǔn)的與PASCAL VOC進(jìn)行競爭的方法，然后“切斷”最后一層。Deeplab v2模型是完全卷積的，它在大小為[2h, 2w, 3]的圖運行輸出一個[h/4, w/4, 2048]的尺寸特征圖，它的輸入是嵌入模型和分類/種子模型。
可以通過定義損失來共同訓(xùn)練兩個產(chǎn)出的“端”，并將其反饋到共享的“體”
其中Le是嵌入損失，Lcl是分類損失，λ是平衡系數(shù)。在該實驗中，最初將λ設(shè)置為0，給嵌入模型時間學(xué)習(xí)正確的嵌入。 一旦有一個合理的相似性度量，就可以開始學(xué)習(xí)掩碼分類損失了。然后逐漸將λ增加到最大值0.2（這是根據(jù)驗證集的經(jīng)驗選擇）。 這兩個損失都被反向傳播到同一個特征提取器中。然而，由于對Pascal VOC進(jìn)行訓(xùn)練，而Pascal VOC是一個小數(shù)據(jù)集，所以將共享特征的學(xué)習(xí)速度設(shè)置為小于兩個輸出端的學(xué)習(xí)速度，所以原始特征（在COCO上學(xué)習(xí)）并沒有太大變化。
為了處理多個尺度的對象，可以計算4個尺度（0.25, 0.5, 1.0, 2.0）的圖像金字塔，然后通過特征提取器運行。然后再將這些特征圖重新縮放到相同的大小，并進(jìn)行平均。最后，如上所述，將結(jié)果饋送到兩個不同的端。
實驗結(jié)果
該團(tuán)隊使用PASCAL VOC 2012培訓(xùn)課程進(jìn)行了培訓(xùn)，并對PASCAL VOC 2012驗證集進(jìn)行了評估。
在訓(xùn)練模型之后，根據(jù)所有測試數(shù)據(jù)計算每個類別的精確回憶曲線。這需要一個真實和虛假的定義。該團(tuán)隊遵循標(biāo)準(zhǔn)實驗，并且一個預(yù)測的掩碼需要與IoU有交集并且在一個閾值β（例如50％）之上才是真正的正，除非已經(jīng)檢測到真實掩碼，在這種情況下，檢測是虛假的正。
提供三個IoU{0.5, 0.6, 0.7}閾值的結(jié)果，這與之前的工作類似。然后，計算PR曲線下的面積，稱為“平均精度”或APτ分?jǐn)?shù) [9].。最后，平均這個類別以獲得平均精度或分?jǐn)?shù)。
還可以將該方法的質(zhì)量評估為“不可知類別”區(qū)域提案生成器。在這種情況下，主要有兩種衡量質(zhì)量的方法。第一個是繪制召回（在固定的IoU）與建議數(shù)量。第二個是為固定數(shù)量的提案繪制召回率與IoU閾值，該曲線下方的區(qū)域稱為“平均召回”或AR 。
訓(xùn)練期間使用以下數(shù)據(jù)增強組件：
隨機旋轉(zhuǎn)：將以在[-10, 10]范圍內(nèi)以任意角度旋轉(zhuǎn)訓(xùn)練圖像。
隨機調(diào)整大小：在訓(xùn)練階段按照任意比例調(diào)整輸入圖像的大小，取值范圍為[0.7, 1.5]。
隨機裁剪：在訓(xùn)練階段隨機裁剪圖像。在每一步，隨機裁剪100個窗口。隨機地將一幅圖像加權(quán)到具有更多對象實例的裁剪窗口。
隨機翻轉(zhuǎn)：隨機水平地翻轉(zhuǎn)訓(xùn)練圖像。
谷歌及UCLA團(tuán)隊首先嘗試了不同的α值（當(dāng)選擇下一個種籽時，它會隨著種籽的多樣性而變化）以找到最佳的種籽采樣策略。表2展示出不同α值的結(jié)果。該團(tuán)隊還嘗試了從2到256的各種大小的嵌入，64是最好的（在驗證集中）。進(jìn)一步分析表3中不同數(shù)量的掩碼提案（采樣種籽點數(shù)）的模型的性能。只有當(dāng)提出10個地區(qū)時，該模型達(dá)到了59.7的mAPτ性能。在表3中，還顯示不同數(shù)量的掩碼提案的類別不可知平均召回。
圖7顯示了一些定性結(jié)果，表1顯示了定量結(jié)果。在性能方面，該實驗結(jié)果在0.5 IoU閾值排名第四，在0.6 IoU閾值排名第二，在0.7 IoU閾值排名第三。所以谷歌團(tuán)隊的方法即使不是最先進(jìn)的技術(shù)但也是很有競爭力的。
關(guān)于個別類別的表現(xiàn)，可以看到在大型物品（如火車，狗和摩托車）上表現(xiàn)非常出色，但是在自行車類別方面做得很差。 （有些例子見圖6）其他方法也是如此。
谷歌及UCLA團(tuán)隊提出了一種新的語義實例分割問題的方法，并在PASCAL VOC數(shù)據(jù)集上獲得了有希望的初步結(jié)果。將來，該團(tuán)隊想評估在COCO和Cityscapes上的方法。同時該團(tuán)隊還想設(shè)計一種以可微的方式進(jìn)行區(qū)域增長的方法，以便能夠進(jìn)行端到端的培訓(xùn)。
圖7：實例分割結(jié)果示例
表1：在PASCAL VOC 2012驗證集上，每個類別實例級分割比較使用度量超過20類別，分別為0.5,0.6和0.7 IoU。所有數(shù)字均為百分比
表2：采樣種籽點的最佳性能參數(shù)為0.3。該表比較了不同α值的mAPτ性能
表3：用給定的數(shù)量的采樣種籽點分析模型的性能
via arxiv，雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
