0
| 本文作者： 劉海濤 | 2020-08-13 22:54 | 專題：CCF-GAIR 2020 全球人工智能與機器人峰會 |
編者按：2020年8月7日，全球人工智能和機器人峰會（CCF-GAIR 2020）正式開幕。CCF-GAIR 2020 峰會由中國計算機學(xué)會（CCF）主辦，香港中文大學(xué)（深圳）、雷鋒網(wǎng)聯(lián)合承辦，鵬城實驗室、深圳市人工智能與機器人研究院協(xié)辦。從2016年的學(xué)產(chǎn)結(jié)合，2017年的產(chǎn)業(yè)落地，2018年的垂直細分，2019年的人工智能40周年，峰會一直致力于打造國內(nèi)人工智能和機器人領(lǐng)域規(guī)模最大、規(guī)格最高、跨界最廣的學(xué)術(shù)、工業(yè)和投資平臺。
在8月9日的醫(yī)療科技專場上，騰訊天衍實驗室主任、美國醫(yī)學(xué)和生物工程學(xué)會的會士（AIMBE Fellow）、IEEE醫(yī)學(xué)影像雜志副編鄭冶楓博士，分享了小樣本學(xué)習和域自適應(yīng)技術(shù)在醫(yī)學(xué)影像AI問題中的最新研究思路及應(yīng)用進展。
鄭冶楓指出，從本質(zhì)上來看，影像診斷是一個計算機視覺問題，理想情況下將計算機視覺成熟技術(shù)搬過來就可以，但影像診斷往往還存在很多獨特的行業(yè)性問題。
第一，數(shù)據(jù)量少（缺乏訓(xùn)練數(shù)據(jù)），對AI算法團隊來說是一個難題。因為缺乏數(shù)據(jù)樣本，數(shù)據(jù)來源和標注問題都很大，醫(yī)學(xué)影像需要專業(yè)醫(yī)生標注，而培養(yǎng)一個專業(yè)醫(yī)生需要十年以上的時間。
第二，算法跨中心泛化能力差。開發(fā)一個疾病/場景，與一家醫(yī)院做深度捆綁、利用數(shù)據(jù)進行交叉驗證后，能得到比較理想的結(jié)果。但如果把這個算法部署到另外一家醫(yī)院，準確率會相差很大。
第三，準確度要求高，醫(yī)療是一個嚴謹?shù)膱鼍?，所有的診斷建議都可能對病人健康產(chǎn)生直接影響。
在第一個問題上，鄭冶楓博士提出，遷移學(xué)習是一個很好的方式，可以將某個任務(wù)（源域）上訓(xùn)練好的模型遷移到另一個任務(wù)（目標域）。而為了獲取更多的醫(yī)學(xué)數(shù)據(jù)、積少成多，鄭冶楓博士團隊提出了Med3D：共享編碼器的多任務(wù)分割網(wǎng)絡(luò)，在大量異質(zhì)的公開數(shù)據(jù)集上預(yù)訓(xùn)練，然后遷移到其它任務(wù)，并且進行了開源輸出。
當然，除了Med3D，鄭冶楓博士團隊還提出了基于魔方變換的自監(jiān)督學(xué)習，在預(yù)訓(xùn)練階段不需要人工標定，從而減少大量的時間成本。
另外一方面，為了解決域偏移的問題，他們還提出了新型無監(jiān)督域自適應(yīng)(UDA)的方法，來緩和域偏移所導(dǎo)致的性能下降。該方法僅僅需要源域的數(shù)據(jù)、標注以及目標域的部分圖像，無需目標域的標注，即可實現(xiàn)兩個領(lǐng)域的自適應(yīng)。在演講中，他以VideoGAN: 視頻風格轉(zhuǎn)換以及OP-Net: 基于單張圖像的風格轉(zhuǎn)換的兩個案例進行了說明。
鄭冶楓：首先介紹一下天衍實驗室的情況。天衍實驗室成立于2018年9月份，當年的930變革讓騰訊開始全面擁抱互聯(lián)網(wǎng)，其中天衍實驗室是專注醫(yī)學(xué)AI的團隊，專注支持騰訊醫(yī)療線業(yè)務(wù)。
作為一個實驗室，我們過去兩年已經(jīng)申請170多項AI技術(shù)專利，今年上半年也發(fā)表30多篇文章，并獲得五項醫(yī)療方面競賽冠軍。
實驗室依托騰訊這樣一個平臺，覆蓋業(yè)務(wù)比較廣，例如投身醫(yī)療“抗疫”這件事，在to C、to B、to G場景都有所覆蓋，to C其中主要就是依托騰訊健康小程序入口，快速上線疫情專區(qū)、疫情知識問答等；在to B場景，也上線了新冠肺炎CT輔助診斷算法；to G場景則是配合政府部門做疾病發(fā)展預(yù)測，為政策決策提供支持。
騰訊上半年公布的財報里面，也專門總結(jié)了騰訊在抗疫期間做的工作，
其中紅色的就是和實驗室密切相關(guān)的，例如在15億抗疫基金里面撥出一部分資金，購買6臺車載CT掃描儀進行捐贈，同車搭載的還有我們的新冠肺炎CT輔助診斷算法。
天衍實驗室還跟鐘南山院士團隊合作，建立聯(lián)合實驗室，目前這個實驗室還在持續(xù)運作，研發(fā)新冠治療和抗疫等類型工作。騰訊健康碼小程序提供AI問診、隨訪等服務(wù)，疫情期間有60多億的調(diào)用。
回到醫(yī)療領(lǐng)域，騰訊作為科技部新一代人工智能項目的重要參與者，在醫(yī)療影像的產(chǎn)品就是騰訊覓影，目前騰訊覓影已經(jīng)研發(fā)肺炎篩查、宮頸癌篩查、新冠肺炎CT輔助診斷等多種工具。
過去兩年我們做了很多落地的工作，也遇到了很多問題，并且開發(fā)了一些技術(shù)解決這些問題。本質(zhì)上講，影像診斷是一個計算機視覺問題，理想情況下應(yīng)該把計算機視覺成熟技術(shù)搬過來就可以。
但影像診斷有很多獨特的問題：
第一個挑戰(zhàn)，數(shù)據(jù)量少。數(shù)據(jù)整個AI研發(fā)過程中最大的難題，其他領(lǐng)域通過爬蟲、眾包的方式可以獲取大量已經(jīng)標注的數(shù)據(jù)。這在醫(yī)療領(lǐng)域就非常困難，首先像核磁、CT等特定部位數(shù)據(jù)量和來源非常少，而且這些數(shù)據(jù)中往往還存在大量噪音。此外數(shù)據(jù)標注過程也比較困難，醫(yī)療數(shù)據(jù)的標注往往需要十年以上行業(yè)經(jīng)驗的醫(yī)生才能完成。
第二個挑戰(zhàn)，算法跨中心泛化能力差。AI產(chǎn)品在研發(fā)中，通常都是和一家科研能力強的醫(yī)院做深度捆綁，利用醫(yī)院里面所有數(shù)據(jù)進行交叉驗證，在這家醫(yī)院可能得到比較好的結(jié)果，甚至達到95%的準確率。
但這家醫(yī)院研究出來的算法，一旦泛化到其他醫(yī)院，就會出現(xiàn)模型準確度急劇下降，如果把兩家醫(yī)院的數(shù)據(jù)做比對就可以發(fā)現(xiàn)相差非常大，里面可能是因為設(shè)備的差異，不同設(shè)備使用不同的掃描參數(shù)，甚至疾病也存在差異，有些醫(yī)院重癥病人較多，有些醫(yī)院輕癥病人較多。
第三個挑戰(zhàn)，準確度要求高。醫(yī)療是一個嚴謹?shù)膱鼍?，所有診斷建議可能會對病人健康產(chǎn)生直接的影響。
我今天會分享前面兩個問題的解決途徑，第一個就是采用小樣學(xué)習技術(shù)解決缺乏訓(xùn)練樣本問題；第二個是采用域自適應(yīng)的方法提高算法的泛化能力。
首先分享幾個我們最近做的工作，第一個是Med3D：構(gòu)造3D醫(yī)學(xué)影像的ImageNet。
目前，小樣本學(xué)習比較成熟的技術(shù)就是遷移學(xué)習。遷移學(xué)習就是將某個任務(wù)上訓(xùn)練好的模型遷移到另一個任務(wù)，小樣本遷移學(xué)習則是源域已經(jīng)有大量訓(xùn)練樣本，而目標域只有少量樣本的情況。
以這個圖像為例，假設(shè)要開發(fā)一個老虎識別圖像算法，但因為老虎是珍稀動物，我們接觸老虎的概率很低，所以訓(xùn)練集里面就缺少老虎不同角度的圖片。
但跟老虎很像的一個動物是橘貓，橘貓在各個場景下都可以得到海量的圖片，所以就可以在橘貓的訓(xùn)練集上進行訓(xùn)練，之后通過微調(diào)就可以滿足識別老虎，這就是典型的遷移學(xué)習案例。
遷移學(xué)習在醫(yī)學(xué)影像上也有很好的應(yīng)用場景，例如CT、MR等影像都是三維圖像，而lmageNet預(yù)訓(xùn)練的模型都是二維圖像，根本無法識別三維圖像。
而如果把三維圖形都轉(zhuǎn)化為二維圖像識別，就會丟失很多信息，這在醫(yī)療是不允許的。所以只能通過某種方法構(gòu)造或預(yù)訓(xùn)練另一種直接識別三維圖像的模型。
但實際二維影像數(shù)據(jù)也不多，我們只能聚少成多，一點點把二維影像數(shù)據(jù)積累起來，把小樣本聚集起來成為大樣本。
在這個過程中，醫(yī)療影像領(lǐng)域就有一個特別好的助推，就是每年大量的競賽，每次競賽都會公開數(shù)據(jù)集。數(shù)據(jù)集里面還都是經(jīng)過醫(yī)生投票，得到金標準的數(shù)據(jù)，甚至有的網(wǎng)站集合了所有公開競賽的數(shù)據(jù)，現(xiàn)在就有200多個競賽數(shù)據(jù)集，還在一直增長。
因為實驗室更關(guān)注三維圖像的處理，所以會把這些數(shù)據(jù)集里所有三維圖像數(shù)據(jù)拿出來進行分割、標注、分類。
對于分割，現(xiàn)在最好的方法就是全卷積神經(jīng)網(wǎng)絡(luò)，主要包括兩部分，一個是編碼器，即圖像做卷積下載壓縮到一個低維空間，然后套一個解碼器，做卷積上采樣恢復(fù)成原來的分辨率，輸出分割結(jié)果，這是現(xiàn)在幾乎所有人都在用的一個分割技術(shù)。
我們數(shù)據(jù)的來源非常不一樣，有CT、有核磁共振，而且分割的器官也不一樣，解碼器無法共享，但編碼器是可以共享的，可以把編碼器拿出來在其他任務(wù)上進行學(xué)習，跟隨機初始化比起來有很大的提升。
做完這個以后，我們覺得這是一個非?；A(chǔ)的工作，很多醫(yī)療影像研究人員都可以從中受益，所以我們決定開源，當然前期肯定經(jīng)過了騰訊的評估，這是騰訊在醫(yī)療AI領(lǐng)域的首次開源輸出。
剛才介紹的是我們做的第一個小樣本學(xué)習的工作，畢竟這個工作還是需要做分割標注，這個工作量很大，于是我們接下來進行了自監(jiān)督學(xué)習，只需要拿原始圖像進來，通過構(gòu)建自監(jiān)督學(xué)習任務(wù)，這樣就可以拿到這個任務(wù)本身需要的標注，通過圖像本身訓(xùn)練，不需要額外的人工標注。
基于魔方變換的自監(jiān)督學(xué)習是我們?nèi)ツ臧l(fā)布的一個技術(shù)，首先給核磁的一個腦部圖像的三維醫(yī)學(xué)影像切一個魔方，八個魔方塊（二階魔方2×2×2）隨機打亂，因為打亂方法很多，于是我們做了一個限制。我們還
可以將每個魔方塊做旋轉(zhuǎn)以及把一部分圖像蓋住做掩碼，通過這些變換以后，希望可以恢復(fù)原來的魔方塊。首先把每個魔方塊接上一個編碼器（卷積下載&卷積壓縮），八個魔方共享編碼器，我們因此得到特征向量，做三個分類：知道用哪個方式打亂的；每個魔方是否做了旋轉(zhuǎn)；魔方塊是否做了摳圖或者其他變換，對魔方塊進行訓(xùn)練，訓(xùn)練完了以后，編碼器就可以拓展、遷移到其他任務(wù)上面。
這里面有兩個問題，一個問題就是我們只訓(xùn)練了編碼器，對于分類任務(wù)來說編碼器足夠了，但是分割任務(wù)還需要解碼器。于是我們需要對解碼器也進行了訓(xùn)練，我們會選取一個魔方片做旋轉(zhuǎn)，今年我們即將發(fā)布魔方變換2.0。
這個工作我們不再是進行分類任務(wù)，而是做圖像復(fù)原任務(wù)，每次選一個魔方片做旋轉(zhuǎn)，把打亂的圖像輸入網(wǎng)絡(luò)，目標是恢復(fù)原來的圖像。是類似分割的任務(wù)，這樣既可以訓(xùn)練編碼器，也可以訓(xùn)練解碼器。
訓(xùn)練完了之后我們可以把其遷移到分割任務(wù)上，做一鍵分割，我們用的魔方是高階魔方，每個魔方片大概7層左右，如果完成打亂的話幾乎不可能恢復(fù)原來的圖像，所以我們隨機選擇做四次魔方片的旋轉(zhuǎn)。
如果數(shù)據(jù)量比較少只有10%數(shù)據(jù)的話，上面第一行就是隨機開始訓(xùn)練，分割出來之后大概只有58%左右準確率，用魔方變換2.0的話，分割率可以達到73.0%，有了巨大的提升。隨著訓(xùn)練樣本越來越多，分割的準確率可以達到82.9%，在這種情況下，我們還是有1個多百分點的提升。
介紹域自適應(yīng)案例1：VideoGAN:視頻風格轉(zhuǎn)換
剛才提到了如何用小樣本學(xué)習、緩解樣本缺乏的問題，后面分享兩篇論文講解怎么去做自適應(yīng)提高算法跨醫(yī)院的泛化能力，下面介紹一下如何提升域自適案例。
第一個是我們做視頻風格遷移（轉(zhuǎn)換）的案例，我們做過很多結(jié)直腸內(nèi)鏡項目，通過內(nèi)鏡可以看里面有沒有息肉，有的話就分割出來。從這張圖片來看，左邊的呈黃色，右邊的偏白色，如果用一個數(shù)據(jù)量訓(xùn)練的話，圖像出來的效果會很差。
為了解決域偏移問題，我們提出新型無監(jiān)督域自適應(yīng)的方法，來緩和偏移所導(dǎo)致的性能下降。
做輸入端做圖像分割的話，就是所謂的圖像風格遷移，現(xiàn)在用的比較多的是CycleGAN，遷移到另外一個域的話，希望跟另外一個域的圖像看起來一致，這個概念出來以后在娛樂場景下有很多應(yīng)用，比如這是一張河邊建筑物的照片，希望把這個照片遷移之后看到很?？岬臇|西，比如把男生變成女生。
但是這種方法并不能馬上應(yīng)用于醫(yī)療。2018年我們發(fā)表了一篇論文，指出了這里面有一個致命的問題，遷移的時候會改變底層的組織結(jié)構(gòu)，這是醫(yī)療當中所不允許的，所以我們要進行限制，保證遷移內(nèi)容不變。
我們在剛剛的視頻（結(jié)直腸數(shù)據(jù)集）里面用了配對的方法，每次輸入網(wǎng)絡(luò)的是兩張圖像，先做特征提取，中間有信息交換，最后會通過CycleGAN解碼出來，我們發(fā)現(xiàn)兩張圖像配對以后可以保證整個視頻遷移過去以后，視頻是連續(xù)的，不會跳變，非常神奇地可以解決結(jié)構(gòu)扭曲的問題。
這是一個結(jié)直腸內(nèi)鏡數(shù)據(jù)集，第一行是原始圖像，最后一行是把原始圖像遷移之后的風格，可以看到黃色的圖像遷移成了白色的圖像，風格遷移以后圖像色調(diào)發(fā)生了很多的改變，但是我們這里可以看到圖像內(nèi)容本身、包括息肉完全沒有發(fā)生改變。
從這個結(jié)直腸息肉分割結(jié)果來看，加了圖像風格遷移之后有四個多百分點的提升。
介紹域自適應(yīng)案例2：OP-Net:基于單張圖像的風格轉(zhuǎn)換
假如只有一張圖像怎么做遷移呢？我們基于CycleGAN加了一個輔助任務(wù)，比如把陰天的圖像遷移到晴天，對這些圖像塊進行遷移，這些圖像來自相同或不同的目標域，如果我們可以區(qū)別彼此關(guān)系和域特征的話，從一個域切到另外一個域，可判斷是哪個分類。這就是通過輔助任務(wù)做的四分類，即比較兩個圖像塊，判斷它是C1、C2還是D1、D2。這個技術(shù)比較通用，所以很多醫(yī)療場景里面都在使用，在自動駕駛上也得到了應(yīng)用。
我們把單張圖像里面的每個部分進行分割，在分割之后把圖像塊進行遷移，因為這些圖像來自不同域，沒有關(guān)聯(lián)關(guān)系。所以從一個域切到另外一個域，首先需要判斷分類。
這個技術(shù)比較通用，所以很多醫(yī)療場景里面都在使用，而且在自動駕駛上也得到了應(yīng)用。
深度學(xué)習在醫(yī)學(xué)影像分析上有巨大的應(yīng)該空間，同時在落地上也面臨很多挑戰(zhàn)，比如缺乏大量標定好的訓(xùn)練樣本，而且AI算法跨中心泛化能力也比較差。
小樣本學(xué)習可以緩解缺乏訓(xùn)練樣本的問題，比如通過Med3D，在大量異質(zhì)的公開數(shù)據(jù)集上預(yù)訓(xùn)練，然后遷移到其他任務(wù)上?；谀Х降淖员O(jiān)督學(xué)習，在預(yù)訓(xùn)練階段不需要人工標定。
域自適應(yīng)提高算法的跨中心泛化能力，能保證醫(yī)療場景下的域自適應(yīng)（圖像風格遷移）不改變?nèi)梭w組織結(jié)構(gòu)。
雷鋒網(wǎng)：2020年以來，天衍實驗室相繼開發(fā)了新冠肺炎AI預(yù)測，區(qū)域傳染病預(yù)測等多種技術(shù)。下半年，在醫(yī)療大數(shù)據(jù)、醫(yī)療自然語言理解、醫(yī)療影像方面都有哪些最新的研發(fā)規(guī)劃？
鄭冶楓：實驗室上半年主要的精力都在抗疫工作上，發(fā)聲不多的原因在于實驗室會把下半年乃至明年上半年的主要精力都集中在認證上面。醫(yī)學(xué)影像領(lǐng)域，目前整個行業(yè)都集中精力在認證環(huán)節(jié)，這會直接影響后續(xù)所有產(chǎn)品的預(yù)研計劃。
在現(xiàn)階段，我們也有一些肝臟、心臟的預(yù)研項目。但是需要先確保之前的產(chǎn)品商業(yè)化，把模式跑通，后續(xù)其他產(chǎn)品的預(yù)研工作才能順利開展，否則所有產(chǎn)品都卡在認證環(huán)節(jié)，后續(xù)還在投入大量的精力預(yù)研，風險就會成倍增加。
雷鋒網(wǎng)：天衍實驗室在醫(yī)療AI方面的學(xué)術(shù)進展比較突出，今年MICCAI上更是接收了多達14篇的論文。這14篇論文的關(guān)注重點也在于醫(yī)療數(shù)據(jù)標注、以及小數(shù)據(jù)集上的模型性能。在您看來，這兩方面是否是醫(yī)療AI最急需解決的問題？為什么？這些學(xué)術(shù)成果如何更好地實現(xiàn)應(yīng)用？
鄭冶楓：在醫(yī)療AI領(lǐng)域，無論是落地價值，還是科學(xué)探索，小樣本學(xué)習都有著重要的意義。因為醫(yī)療影像和其他視覺場景最大的區(qū)別就是數(shù)據(jù)較少，而深度學(xué)習本身的特征就是數(shù)據(jù)驅(qū)動。
從應(yīng)用角度，小樣本學(xué)習只是我們過去的一種儲備技術(shù)，但這次新冠肺炎輔助診斷算法開發(fā)就得到了應(yīng)用。在疫情初期只有幾百例數(shù)據(jù)的情況下，實驗室通過魔方自監(jiān)督學(xué)習，直接提升了10%的模型準確率，在過去，要達到同樣的效果，可能需要上萬例數(shù)據(jù)。
雷鋒網(wǎng)：GAIR大會上，周志華教授提出，過去AI都是的驅(qū)動都是數(shù)據(jù)+算法+算力，未來在這幾點外可能還需要加入先驗知識，您認為醫(yī)療AI是否也是同樣的情況？
鄭冶楓：這個觀點我也深有同感，我在加入天衍實驗室之前，就已經(jīng)做了十幾年的醫(yī)療影像分析。那時候還不是深度學(xué)習，主要都是基于機器學(xué)習算法，識別的效果也很不準確。所以，很多自動分割工作都需要在算法基礎(chǔ)上結(jié)合知識經(jīng)驗才能完成，例如心臟分割、冠脈分割，就需要結(jié)合很多先驗知識。
但深度學(xué)習出現(xiàn)以后，就發(fā)現(xiàn)只要數(shù)據(jù)足夠多，算法效果就會變得很好，似乎一瞬間知識經(jīng)驗變得不重要。但其實深度學(xué)習也不是完美的，在數(shù)量較少的情況下就沒有傳統(tǒng)機器學(xué)習識別效果好。
所以現(xiàn)在我也在思考，深度學(xué)習時代怎樣把知識經(jīng)驗融入醫(yī)療AI，但很困難。問題在于，先驗知識不是通用的，醫(yī)療行業(yè)的不用領(lǐng)域就有不同的研究方式，還存在不同形狀和分類的限制，每種先驗知識加入網(wǎng)絡(luò)都沒有通用的方法，每種場景都需要定制化，這嚴重阻礙了知識與深度學(xué)習的進一步結(jié)合。
但也不代表完全不可能，例如這次新冠肺炎癥狀分類，在分類識別過程中就需要強迫神經(jīng)網(wǎng)絡(luò)關(guān)注肺炎區(qū)域，否則模型經(jīng)常就會關(guān)注到心臟、骨頭等其他非必要的區(qū)域，這種“強迫方法”就是基于先驗知識。
所以，周志華老師的觀點是非常正確的。
另外，深度學(xué)習還有一個原生問題會阻礙先驗知識的加入，這個問題就是“不靈活”，可能我們還在思考如何添加先驗經(jīng)驗、尋找巧妙方法，但其他人就已經(jīng)利用堆數(shù)據(jù)的方式解決了同樣的問題，這會讓一部分的研究人員非常有挫敗感。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
