0
雷鋒網(wǎng)消息，近日，第四屆圖像計算與數(shù)字醫(yī)學國際研討會（ISICDM 2020）在中國遼寧省沈陽市召開。
研討會圍繞圖像計算和數(shù)字醫(yī)學中的一些重要的理論、算法與應用問題進行學術討論，旨在促進電子信息（包括計算機、自動化與生物醫(yī)學工程）、數(shù)學和醫(yī)學等領域學者的交流與合作。
本次研討會由國際數(shù)字醫(yī)學會主辦，東北大學和中國醫(yī)科大學聯(lián)合承辦。
在12月5日下午舉行的“智能輔助診療論壇”專場，北京和睦家醫(yī)院陸菁菁教授向與會者分享了題為《醫(yī)學影像人工智能研發(fā)之管窺：醫(yī)生的角色》的精彩專題報告。
關注公眾號《醫(yī)健AI掘金志》，聊天框回復“報告”，獲取陸菁菁教授全文演講PPT。
作為AI技術的前沿觀察者與參與者，陸菁菁教授畢業(yè)于北京協(xié)和醫(yī)學院，后進入北京協(xié)和醫(yī)院放射科工作，歷經(jīng)住院醫(yī)、住院總、主治醫(yī)、副主任醫(yī)，現(xiàn)為主任醫(yī)師、碩士生導師，2010年5月至2011年5月為哈佛醫(yī)學院麻省總醫(yī)院訪問學者。目前，陸菁菁教授擔任北京和睦家醫(yī)院放射科主任。
陸菁菁：感謝大會的邀請，我今天分享的題目是《醫(yī)學影像人工智能研發(fā)之管窺：醫(yī)生的角色》。
現(xiàn)在醫(yī)學影像AI的研發(fā)方興未艾，許多產(chǎn)品逐步被打磨以進入臨床。同時，一些新的臨床問題被提出，亟待進一步研究。
醫(yī)生在醫(yī)療AI產(chǎn)品研發(fā)中的角色非常多樣，可以做最基礎的的數(shù)據(jù)標注，也可以做臨床架構的建議，醫(yī)生還可以是使用者、建設者，甚至是執(zhí)行者，同時也可以做PI（principal investigator，主要研究者）。
那么，醫(yī)生對于目前AI的產(chǎn)品研究有什么樣的評價？作為醫(yī)生，怎樣才能參與到AI的研究中，如何實現(xiàn)雙贏的長期合作關系？醫(yī)生如何看待醫(yī)學影像的未來？
首先，我想分享一下對于近5、6年AI研發(fā)的進展，醫(yī)生秉持著什么樣的態(tài)度。我覺得醫(yī)生是有一種微妙的情感變化的。其次，對于醫(yī)生扮演的角色，我會通過本人以及團隊參與的所有AI項目，分享其中的一些體悟。
最后，我想給大家提出一些建議，理工研發(fā)人員和醫(yī)生合作時，怎么樣才能成為醫(yī)生的好朋友，讓醫(yī)生成為對項目更有建設性的人。
從這張圖，可以很清楚地看到醫(yī)生態(tài)度的轉變。
從2016年開始，以AlphaGo為代表的深度學習技術，在一部分領域產(chǎn)生了摧枯拉朽的改變。從機器遠不及人，到逐漸完全打敗人類的成就來看，一些技術狂人認為深度學習將很快取代放射科醫(yī)生的工作。
對于此種言論，醫(yī)生小小不屑的同時，也很好奇正在發(fā)生什么。
2018年，由國家神經(jīng)系統(tǒng)疾病臨床醫(yī)學研究中心宣布舉行了全球首場神經(jīng)影像人工智能人機大賽舉行。
人類這邊，由25名全球神經(jīng)影像領域頂尖專家、學者和優(yōu)秀臨床醫(yī)生組成，在兩輪比賽中，BioMind分別以87%、83%的準確率，戰(zhàn)勝醫(yī)生戰(zhàn)隊66%、63%的準確率，人類完敗。
聽到這個消息時，我真的感到了一絲恐慌，懷疑醫(yī)生是否真的不如神經(jīng)網(wǎng)絡。因為我記不住那么多文獻知識，也沒有看過神經(jīng)網(wǎng)絡訓練那么多的醫(yī)學圖像，也許神經(jīng)網(wǎng)絡真的可以取代我的工作。
在我詳細了解了比賽以及評分規(guī)則后，發(fā)現(xiàn)比賽規(guī)則既不成熟，也不透明，更像是一個商業(yè)廣告的炒作。
在過去的兩年里，我們發(fā)現(xiàn)人工智能確實能做不少事情，比如對骨齡的測試、小結節(jié)的診斷，對血腫大小的判斷，還有對糖尿病視網(wǎng)膜病變篩查以及前列腺的分割都可以做得很好。
但是，AI往往在單任務上表現(xiàn)得非常出色，但能做的多任務范疇的工作非常有限，而且有時候會犯一些很低級的錯誤。因為人具有抽象和直觀的兩種判斷，看到一個圖像感覺不對勁，就會通過仔細研判、結合病史，給出一個有經(jīng)驗的、綜合推理后的分析。
這就是經(jīng)驗良好的醫(yī)生和缺乏經(jīng)驗的醫(yī)生可能存在的一些區(qū)別。我認為，人類智能和機器智能目前仍然存在一定的鴻溝。
到現(xiàn)在2020年了，醫(yī)生發(fā)現(xiàn)自己能從AI技術中受益良多，比如利用影像組學可以發(fā)表很多文章，將AI軟件應用在臨床當中，例如肺小結節(jié)的檢測、前列腺的勾畫，可以幫助我們減少很多的工作量。
我們對于AI秉持著擁抱的態(tài)度。在去年的RSNA上，大家一致的觀點就是，掌握AI的醫(yī)生比不掌握AI的醫(yī)生更加厲害，這是我們醫(yī)生態(tài)度上的轉變。
我和我的團隊參與了很多合作項目，從基礎的數(shù)據(jù)標注、審核，到解剖病灶的勾畫。十幾年前，我在麻省總醫(yī)院參加神經(jīng)影像項目，進行CT圖像上的腦血腫勾畫，這個項目是想證明血腫擴大速度快的人預后較差。
我的工作就是沒日沒夜的勾畫邊界。當時我就認為，這個項目可以通過AI對血腫密度高低的邊界加以區(qū)別?，F(xiàn)在，已經(jīng)誕生了這樣的軟件。
此外，我們參與的其他合作還包括對肺葉、肺段的解剖。
第二個，數(shù)字人薄層圖像，比如2019年重慶的數(shù)字人項目。解剖學的老師就希望，建立一個真正的人體斷層及其CT圖像的關聯(lián)，我們要幫助他畫出這個結構，在CT圖上也畫起來，然后做成一個網(wǎng)頁，作為教學網(wǎng)站或者是科研的基礎。這個事情說起來很有價值，但是做的工作還是相當瑣碎。
另外，我們還有一些參與臨床實驗的工作。比如，病人在接受靶向藥或者免疫治療三個月以后，醫(yī)生需要觀察病人身上的腫瘤變化，包括多范圍腫瘤的大小以及淋巴結的變化。
做這些項目時，CRA公司需要招募具有相應資質(zhì)的醫(yī)生。比如看婦科腫瘤的醫(yī)生就只招收婦科腫瘤專業(yè)的，而且還要能證明在這個領域具有相當?shù)脑煸劊l(fā)表過相應文章或者在學組擔任委員。而醫(yī)生的具體的工作就是找腫瘤、畫大小，然后象征性地得到一定的勞務費。
稍微高級別的醫(yī)工合作，包含了3D打印、盆腔核磁結構的自動識別，相對基礎的減影圖像比較等等，這也是我們醫(yī)生可以完成的。另外，還有像田捷教授他們所做的影像組學和影像基因組學。
而最高層級合作，就是研究者PI（算法PI和臨床PI）的合作。
我就以參加的這些項目，跟大家講四個故事。
第一個故事：3D打印
現(xiàn)在CT的圖像能掃得特別薄，再加上3D打印技術的出現(xiàn)，這使得打印一個顱骨成為一件理論上很容易的事情。
此前，協(xié)和醫(yī)學院解剖學系的主任找到我想做一個3D打印的顱骨模型，給每個學生課余時間進行學習和熟悉。在以前，這樣的模型是很難獲取的。
當然，我們并不想靠非法手段獲取數(shù)據(jù)。解剖學系主任對自己進行了一次CT掃描，圖像處理專家拿到之后進行分割。因為骨骼的密度和周圍組織相差很大，所以分割起來比較容易。但是顱底有很多的血管孔、神經(jīng)走向，需要人來一點點摳細節(jié)。
這個想法很有創(chuàng)意，產(chǎn)品也有一定實用價值，我們很容易的申請了這個專利。
實際上，這個腦殼里面的腦子的三維模型不是從CT圖像得出來的，而是同一個人的核磁圖像，通過腦分割的方法做了個STL的文件，同時合成起來。
之后，我們就開始做脊柱的3D打印模型，繼續(xù)申請專利。我覺得合作的這個項目非常簡單，且容易上手、有趣。
第二個故事：基于深度學習的盆腔結構語義分割。
這是我們源于臨床的問題。在協(xié)和的時候，我們每天會簽100多份CT和核磁的報告，各個專業(yè)（頭部、胸部、盆腔、骨關節(jié)）的都有。
上面這一張是經(jīng)過雙側股骨頭層面的盆腔磁共振圖像，里面有膀胱及周圍各種骨骼和肌肉。如果不是經(jīng)?？醇∪?、關節(jié)的醫(yī)生，常常會對這些結構搞不清楚，比如哪些是縫匠肌，哪塊是內(nèi)收肌，還是長收肌、短收?。煌未蠹?、臀中肌、臀小肌區(qū)別還好記，其他肌肉時間一長就糊涂了。
正常的人體解剖都是一樣的，死記硬背就好了。機器學習或者深度學習應該在這些方面發(fā)揮相應的作用。
提出這個想法后，我和我的學生一起去勾畫結構，這很費時。因為，一個病人有20層圖像，每層圖像上有五六十個結構。
如果是手動將結構分割出來，每一套圖像就要花費一星期的時間。當時，我們的邏輯是數(shù)據(jù)越多越好，訓練出來的神經(jīng)網(wǎng)絡性能就會更好。
最后，我們完成了16個病例，分成了訓練集、驗證集和測試集，再進行網(wǎng)絡訓練。
訓練采用的是注意力金字塔網(wǎng)絡，就是數(shù)據(jù)增廣，然后進行卷積、上采樣，之后又引入注意力機制。
得到的結果還是令人滿意的，對比原來的圖像，一個是ground truth，一個是對照的FCN的網(wǎng)絡，我們所做的APNet網(wǎng)絡得到的結構分割，包括臀大肌、臀小肌、股中間肌和內(nèi)收肌，都比FCN網(wǎng)絡要好得多。
在定量的mIoU的參數(shù)上，加入三重的注意力機制的分割會達到最好的效果。我們還比較了手動分割ground truth和機器分割出來的差異。
最后，負責算法的老師投遞了大會摘要，并且得到了發(fā)表。在2018年第二屆ISICDM大會上進行了匯報，并且將數(shù)據(jù)集貢獻給第三屆大會作為比賽用數(shù)據(jù)，我們也因此結識了更多的合作伙伴。
但是對我們醫(yī)生來說，這個研究由于沒有后續(xù)的算法創(chuàng)新，我們在此基礎上做的臨床應用的文章比較難發(fā)表，這是我們覺得有點兒遺憾的方面。
第三個故事：與中科院計算所周少華博士的合作。
在拍胸片時，我們會在圖像上看到肋骨和肩胛骨，尤其是肋骨，如果重疊在肺紋理上，將會對病灶進行干擾，影響對病灶的觀察。我們希望在胸片上去掉肋骨，但一般是沒有雙能量的胸片，如果有雙能胸片，通過能量減影將其減掉。
因此，我們用了一個比較巧妙的方法，用非配對的CT結構的prior，算出骨骼的影子，在低分辨率上先做減影，進行上采樣以后，在高分辨率上又進行減影，達到一個非常好的效果。
如圖所示，上面一行是胸片圖像，第二行和第三行是U-Net的結果，最下面是我們算法的結果:
從傳統(tǒng)的圖像上，可以看見肺紋理和肋骨是重疊在一起的，經(jīng)過去骨以后，我們只看到了肺紋理。
在鈣化的顯示上，我們算法的鈣化顯示就相對清晰，而且骨頭抑制的也非常好，但是其他算法的效果就差強人意。
另外，我們還拿結核病灶進行了演示。當胸片有骨頭擋著的時候，結核灶是什么樣的？經(jīng)過一些不好的減影之后，結核灶顯示不太清楚，但是在我們的算法上，骨頭被抑制下去，結核灶顯示更清楚。
醫(yī)生的工作就是比較不同的算法，比較低分辨率和高分辨率圖像，去骨的圖像和不去骨的圖像，以及不同算法效果下呈現(xiàn)的圖像。
當時，我們找了有兩年工作經(jīng)驗的研究生和十二年工作經(jīng)驗的進修生，分別對這些圖像進行了判別。雖然看起來只有99幅圖和300幅圖像，但是通過不同的組合產(chǎn)生了無數(shù)的圖像，每個片子大概要花4~5秒，讓這些醫(yī)生進行打分。
文章的結果最后發(fā)表在IEEE Transactions on Medical Imaging雜志上。
另外一個案例是去偽影的算法。
算法團隊請我們比較圖像并進行評價，用的是Excel表，雙盲的設計非常好，對偽影去得好壞與否進行打分。
在打分時我們發(fā)現(xiàn)一些問題：有的算法雖然將偽影去得好，但是把重要的結構也去掉了，比如想看小關節(jié)或者想看脊柱里的脊髓，雖然偽影去得很漂亮，但是其中一些重要結構也看不清楚了，但是在我們反饋意見的時候，沒有很多人注意到我們的想法和需求。
這是未來醫(yī)工合作還需要進一步提高的地方。如果雙方能夠更好、更深入的交流，并且將醫(yī)生的建議放在方法設計的過程中，相信會對文章將來的高度有所幫助，更貼近臨床的需求。
最后一個故事，是與平安北美研究院呂樂博士進行的長期合作。
我們和呂樂博士的團隊每周都會花3個小時，在云端會議上討論目前合作進程中存在的一些問題。比如我會分享放射科醫(yī)生如何看圖像，為什么放射科醫(yī)生覺得，AI不能像醫(yī)生一樣進行疾病的診斷。
這是因為，疾病當中有很多同病異影。
不同的病種都可以表現(xiàn)成磨玻璃結節(jié)，比如COVID-19可以是磨玻璃的病灶，心衰或者肺梗塞時同樣是磨玻璃病灶，所以光看圖像是不夠的。醫(yī)生要學習很多基礎性的東西，包括解剖、生理、藥理、病理等等知識架構，這樣才會指導將來的診斷、經(jīng)驗分析以及總結歸納，然后運用于臨床。
將來，人工智能的開發(fā)更需要人類的邏輯對其進行指導。呂樂博士的團隊也認識到，在神經(jīng)網(wǎng)絡的構建時，簡單加入一些醫(yī)生的邏輯，有時候會達到非常好的效果。
比如對一個圖像的鑒別，在Deep Lesion數(shù)據(jù)集里有很多期的圖像混在一起，要挖掘里面的病灶是很困難的。而比如肝癌的特征表現(xiàn)，從動脈期、門脈期到延遲期，是個動脈期會快速增強、門脈期快速廓清的，自有其規(guī)律在其中。
如果完全混在一起，深度神經(jīng)網(wǎng)絡就很難發(fā)現(xiàn)問題所在。
所以在訓練模型的前期，最好能對圖像進行分類，例如哪些是動脈期、哪些是門脈期、哪些是延遲期？
我們醫(yī)生提出的一個非常簡單的參考經(jīng)驗就是：看主動脈、門靜脈和腎盂里面對比劑的分布，以區(qū)分是什么時相。
因此，在醫(yī)生的提示簡單總結一個邏輯，對不同時相的圖像進行分類之后，課題的進展非常好。醫(yī)工合作中，那種共同成長的感覺非常不錯。
今年的RSNA2020上，一個叫唐有寶的同學獲得了informatics category的最佳論文獎。在他提出的算法里，在病灶的周圍點個小點，算法就能夠自動測量病灶的最大徑和最短徑。
他為什么會得到最佳論文獎？
這是因為，搞研發(fā)、藥物研究的人都特別認可這件事情。針對藥物是否有用的時候，醫(yī)生經(jīng)常要做大量、枯燥的測量工作，需要一層層翻圖像、一層層測量，以判斷腫瘤對藥物是否有反應。有了這個算法，我們就可以節(jié)省大量的人力。這也是他能拿到最佳論文的原因。
另外，我給大家介紹一個很好的研究——Self-supervised Learning（自監(jiān)督的學習）。
之前談到盆腔的時候，我花費了大概好幾個星期，才勾畫了十幾例的圖像，訓練網(wǎng)絡讓它知道肌肉長在什么部位。
但是，自監(jiān)督學習的方法，用一張或者是非常少的圖像，就能定位到這個人的肌肉部位。
從理論上來講，人的頭、鼻子這些特征，機器很容易學出來。如果這個點放在左側鎖骨的中間，那么下一個人可以同樣點到鎖骨的中間，一些內(nèi)在的、很簡單的邏輯存在其中。
在這個算法里還做了一些驗證，比如在不同的圖像里。在X光里面做，只用到一張標記的圖像就達到了更好的效果。
這是一個效果圖，有template，然后是ground truth。
這是模板，其中有ground truth，預測也在相同部位。自監(jiān)督學習做到了用非常小的樣本做出解剖學定位的效果。
我覺得，自監(jiān)督學習跟人的學習邏輯有點類似。人不用學很多的東西，這是因為人腦有一個內(nèi)在、全局的觀念。 
利用Deep Lesion做一些病灶匹配的測試。第一次檢查、第一次隨診時，AI同樣可以定位到相同的位置，這也很有幫助。
從醫(yī)生的角度而言，在對比老片的時候，我們需要知道病灶原來的位置，現(xiàn)在要找到新的病灶并且進行上下匹配，隨后進行測量。如果人工智能可以做到，對我們的幫助是非常大的。
分數(shù)比較高的就匹配得比較好，相反就是不太好的。比如在最左下角的三幅圖像上，在左邊的腮腺旁邊綠圈就是ground truth，但是算法預測卻匹配到主動脈弓上了，就得出0.64的分數(shù)。
在這篇論文中，呂樂博士團隊提出的算法既可以找到病灶，也可以匹配病灶。此外，還能測量病灶，我覺得很有幫助。
我們見證了這篇文章的發(fā)表，也獲得了MICCAI、CVPR、RNSA等頂會的摘要，收獲非常大。
在與呂樂博士團隊的合作過程中，我們還有很多反饋建議的機會。他們的服務器部署到我們醫(yī)院后，我們也會補充進更多的數(shù)據(jù)集，把我們的使用感受或者研究建議及時地進行交流。
最后，我對今天的分享進行一下總結。
醫(yī)生的角色是多樣性的，可以是使用者和建設者，也可以是監(jiān)督者和引領者。醫(yī)生能做的具體幫助也非常多，從基礎工作開始，醫(yī)生可以提供數(shù)據(jù)、對數(shù)據(jù)解剖標注，對圖像進行真?zhèn)闻袆e，還可以幫助改文章，協(xié)助回答醫(yī)學審稿專家的問題，對算法的開發(fā)提出建議，共同把握研究的方向，提出臨床問題，將來也可能是臨床驗證的主要實施者。
作為一個很好的伙伴，醫(yī)生要了解研究的框架和思路，跟隨研究的進度，能學習、有知識和更新，可以對研究產(chǎn)生指導，從到達到研究成果的雙贏。這是我們放射科醫(yī)生希望參與的事情。
相反，醫(yī)生不希望僅僅只是成為工程人員獲得數(shù)據(jù)的來源，或者是從事重復性的工作，不了解研究的全貌，我們的想法無法反饋，或者沒有可持續(xù)合作的長期打算。這些是我們放射科醫(yī)生不喜歡的。
最后，如何選擇研究的合作伙伴。理工的PI會選擇醫(yī)生，我們醫(yī)生做PI在選擇對方時也是這樣的，要有一些能夠匹配研究的知識和能力背景，對共同的研究方向有真正的興趣。
而且，我們希望理工團隊能夠專注在這個領域。有的PI會有很多的AI項目，如果他的精力不能專注，就很難在一個方向上保證投入的時間和精力。
當然在選擇partner時，相互尊重、談得來，也都是非常重要的。
用李純明老師的話來結尾：“‘理工醫(yī)交叉融合，產(chǎn)學研協(xié)同創(chuàng)新’永遠是醫(yī)療AI領域發(fā)展的生命線，只要我們圍繞這一根基不斷縱深，它所釋放出來的能量密度是無窮無盡的?！?span style="color: #FFFFFF;">雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
專題
本專題其他文章
