雷鋒網(wǎng) AI 科技評論按：對于機(jī)器學(xué)習(xí)而言，區(qū)分異常數(shù)據(jù)或有顯著差異數(shù)據(jù)至關(guān)重要。谷歌在 NeurIPS 2019 論文中提出并發(fā)布了針對基因組序列 OOD 檢測的現(xiàn)實(shí)基準(zhǔn)數(shù)據(jù)集，進(jìn)而提出一種基于似然比的解決方案，可顯著提高 OOD 檢測的準(zhǔn)確性。AI 科技評論將谷歌對該方法的官方解讀編譯如下。

深度學(xué)習(xí)科學(xué)家要成功部署機(jī)器學(xué)習(xí)系統(tǒng)，需要系統(tǒng)能夠區(qū)分出異常數(shù)據(jù)或與訓(xùn)練中使用的數(shù)據(jù)有顯著差異的數(shù)據(jù)。

由于深度神經(jīng)網(wǎng)絡(luò)分類器可能會將以高置信度將分布外（ODD）的輸入分類到分布內(nèi)的類別中，因此區(qū)分異常數(shù)據(jù)或有顯著差異數(shù)據(jù)是十分重要的。當(dāng)我們利用這些預(yù)測為現(xiàn)實(shí)決策提供依據(jù)時(shí)，異常數(shù)據(jù)檢測將尤為重要。

例如，將機(jī)器學(xué)習(xí)模型應(yīng)用于基于基因組序列的細(xì)菌檢測，就是一項(xiàng)具有挑戰(zhàn)性的現(xiàn)實(shí)應(yīng)用。細(xì)菌檢測對于敗血癥等傳染病的診斷和治療，以及食源性病原體的鑒定都非常關(guān)鍵。

近些年來，隨著新細(xì)菌種類不斷被發(fā)現(xiàn)，雖然基于已知分類訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器通過交叉驗(yàn)證達(dá)到了很高的測量準(zhǔn)確性，但部署模型仍具有高的挑戰(zhàn)性，因?yàn)楝F(xiàn)實(shí)數(shù)據(jù)在不斷進(jìn)化發(fā)展，并且將不可避免地包含以往訓(xùn)練數(shù)據(jù)中從未出現(xiàn)過的基因組（OOD 輸入）。  

圖1   近些年來，隨著新的細(xì)菌種類逐漸地被發(fā)現(xiàn)。將已知的分類數(shù)據(jù)輸入基于已知分類數(shù)據(jù)訓(xùn)練的分類器能夠達(dá)到很高的準(zhǔn)確性，這是因?yàn)檩斎氲姆诸悢?shù)據(jù)是已知的，但它可能將已知分類數(shù)據(jù)中混合了未知分類數(shù)據(jù)（如：ODD 數(shù)據(jù)）的輸入進(jìn)行錯(cuò)誤的分類，并且具有很高的置信度。

在 NeurIPS 2019 發(fā)表的論文《分布外檢測的似然比》（Likelihood Ratios for Out-of-Distribution Detection）中，谷歌受到上述新細(xì)菌種類檢測這類現(xiàn)實(shí)問題的啟發(fā)，提出并發(fā)布了針對基因組序列 OOD 檢測的現(xiàn)實(shí)基準(zhǔn)數(shù)據(jù)集。

• 論文地址：https://arxiv.org/abs/1906.02845

• 實(shí)現(xiàn)代碼 GitHub 地址：https://github.com/google-research/google-research/tree/master/genomics_ood

他們利用基于基因組序列的生成模型測試了 OOD 檢測的現(xiàn)有方法，發(fā)現(xiàn)似然值——即輸入來自使用分布不均數(shù)據(jù)進(jìn)行估算的分布數(shù)據(jù)的模型概率——通常是錯(cuò)誤的。在最近的圖像深度生成模型研究工作中，他們也觀察到了這種現(xiàn)象，并通過統(tǒng)計(jì)背景影響來解釋這種現(xiàn)象，進(jìn)而提出一種基于似然比的解決方案，可以顯著地提高 OOD 檢測的準(zhǔn)確性。

一、為什么密度模型無法應(yīng)用于 OOD 檢測？

為了模擬實(shí)際問題并系統(tǒng)地評估不同的方法，他們建立了一個(gè)新的細(xì)菌數(shù)據(jù)集，使用的數(shù)據(jù)來自美國國家生物技術(shù)信息中心（NCBI ）對外開放的原核生物目錄基因組序列數(shù)據(jù)。

為了模擬測序數(shù)據(jù)，他們將基因組片段化為當(dāng)前測序技術(shù)通常使用的 250 個(gè)短序列長度的堿基對。然后，其將分布內(nèi)和分布外的數(shù)據(jù)按發(fā)現(xiàn)日期進(jìn)行分離，以便截止時(shí)間之前被發(fā)現(xiàn)的細(xì)菌種類被定義在分布內(nèi)，在之后發(fā)現(xiàn)的被定義為分布外（OOD） 。

然后，他們基于分布內(nèi)的基因組序列訓(xùn)練深度生成模型，通過繪制似然值曲線，檢驗(yàn)?zāi)Ｐ捅鎰e輸入的分布內(nèi)和分布外數(shù)據(jù)的能力。 OOD 序列似然值的直方圖與分布內(nèi)序列似然值高度重合，則表明生成模型無法區(qū)分在兩個(gè)種類之間進(jìn)行的 OOD 檢測結(jié)果。

在圖像深度生成模型的早期研究中（相關(guān)閱讀參考：https://arxiv.org/abs/1810.09136）也得到了類似的結(jié)論。例如，利用 Fashion-MNIST 數(shù)據(jù)集（由衣服和鞋類的圖像組成）訓(xùn)練 PixelCNN ++ 模型，比來自 MNIST 數(shù)據(jù)集（包括數(shù)字0-9的圖像）的 OOD 圖像分配了更高的似然值。

圖2   左：分布內(nèi)和分布外（OOD）基因組序列的似然值直方圖。 似然值未能分辨出分布內(nèi)和OOD基因組序列。 右：Fashion-MNIST 數(shù)據(jù)集訓(xùn)練模型、MNIST 數(shù)據(jù)集估計(jì)的似然值直方圖。 模型在OOD（MNIST）圖像上比在分布內(nèi)圖像分配了更高的似然值。

在研究這種失敗模型時(shí)，他們觀察到背景統(tǒng)計(jì)可能影響了似然值的計(jì)算。為了更直觀地理解該現(xiàn)象，假設(shè)輸入由兩個(gè)部分組成：（1）以背景統(tǒng)計(jì)為特征的背景成分，（2）以指定于分布內(nèi)數(shù)據(jù)專用的模式為特征的語義成分。

例如，可以將 MNIST 圖像建模為背景加語義。當(dāng)人類解讀圖像時(shí)，可以輕松地忽略背景信息而主要關(guān)注語義信息，例如下圖中的“ /”標(biāo)記。但是當(dāng)為圖像中的所有像素計(jì)算似然值時(shí)，計(jì)算結(jié)果中同時(shí)包括了語義像素和背景像素。雖然他們只需使用語義的似然值進(jìn)行決策，但原始的似然值結(jié)果中可能大多數(shù)都是背景成分。

圖3   左上：Fashion-MNIST 的示例圖像。 左下：MNIST 的示例圖像。 右：MNIST 圖像中的背景和語義成分。

二、OOD 檢測的似然比

他們提出了一種去除背景影響并專注于語義成分的似然比方法。

首先，受遺傳突變的啟發(fā)，他們利用擾動輸入方法訓(xùn)練背景模型，并通過隨機(jī)選擇輸入值的位置，將其替換為另一個(gè)具有相等概率的值。為了成像，他們從從256個(gè)可能的像素值中隨機(jī)選擇輸入值；針對DNA 序列，他們從四個(gè)可能的核苷酸（A，T，C或G）中選出輸入值。此過程中，適量的擾動會破壞數(shù)據(jù)的語義結(jié)構(gòu)，導(dǎo)致只能捕獲到背景。

接著，他們計(jì)算完整模型與背景模型之間的似然比，去掉了背景成分，這樣就只保留了語義的似然值。似然比是背景對比得分，即它抓住了語義與背景對比的意義。

為了定性評估似然值與似然比之間的差異，他們繪制了在 Fashion-MNIST 數(shù)據(jù)集和 MNIST 數(shù)據(jù)集中每個(gè)像素的似然值和似然比值，創(chuàng)建了與圖像相同的尺寸的熱圖。

這使他們可以分別直觀地看到哪些像素對于這兩項(xiàng)值的貢獻(xiàn)最大。從對數(shù)似然熱圖中可以看到，對于似然值而言，背景像素比語義像素的貢獻(xiàn)更多。

事后看來這并不足為奇，這是由于背景像素主要由一連串零組成，因此很容易被模型學(xué)習(xí)。 

MNIST 和 Fashion-MNIST 熱圖之間的比較則說明了為什么 MNIST 返回更高的似然值——僅僅是因?yàn)樗烁嗟谋尘跋袼兀∠喾?，似然比的結(jié)果更多地集中在語義像素上。

                       

圖4   左：Fashion-MNIST 和 MNIST 數(shù)據(jù)集的對數(shù)似然熱圖。 右：Fashion-MNIST 和 MNIST 數(shù)據(jù)集的似然比熱圖，具有更高值的像素會具有更淺的陰影。 似然值主要由“背景”像素決定，而似然比則集中在“語義”像素上，因此更適合用于 OOD 檢測。

這種似然比方法修正了背景影響。他們基于 Fashion-MNIST 訓(xùn)練 PixelCNN ++ 模型，然后在 MNIST 圖像數(shù)據(jù)集進(jìn)行 OOD 檢測，實(shí)驗(yàn)結(jié)果得到了顯著改善，AUROC 評分從 0.089 提高至 0.994 。 

當(dāng)他們將似然比方法應(yīng)用于基因組基準(zhǔn)數(shù)據(jù)集這一極具挑戰(zhàn)的問題時(shí)，對比其它 12 種基線方法，該方法表現(xiàn)出了最佳性能。

不過他們也表示，盡管該似然比方法在基因組數(shù)據(jù)集上達(dá)到了最先進(jìn)的性能，但離將模型部署到實(shí)際應(yīng)用中的高準(zhǔn)確性要求仍存在一定距離。 他們鼓勵(lì)研究人員努力去解決這一重要問題，并改善當(dāng)前的最新技術(shù)。雷鋒網(wǎng)雷鋒網(wǎng)

via https://ai.googleblog.com/2019/12/improving-out-of-distribution-detection.html

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。