近日，2022年醫(yī)學(xué)人工智能大會（CMAI 2022）暨第二屆“中國醫(yī)學(xué)學(xué)術(shù)期刊發(fā)展”高端論壇召開。

本次高峰論壇邀請了多位頂尖醫(yī)院的放射科主任及人工智能技術(shù)的權(quán)威專家，共同探討人工智能技術(shù)在醫(yī)學(xué)影像中的臨床應(yīng)用與科研進(jìn)展，分享研究心得。雷峰網(wǎng)《醫(yī)健AI掘金志》作為本次大會的支持單位，全程參與嘉賓的演講內(nèi)容與深度報道。

南京航空航天大學(xué)計算機(jī)學(xué)院副院長張道強(qiáng)教授作為本次大會的嘉賓，發(fā)表了主題演講。（獲取完整版演講PPT，請關(guān)注微信公眾號《醫(yī)健AI掘金志》，后臺回復(fù)“張道強(qiáng)”。）

2010至2012年，張道強(qiáng)曾在醫(yī)學(xué)影像AI領(lǐng)軍人物、上海科技大學(xué)生物醫(yī)學(xué)工程學(xué)院創(chuàng)始院長沈定剛教授的UNC IDEA Lab團(tuán)隊中從事腦圖像分類研究。2012年回國后，張道強(qiáng)一直專注于腦影像的智能分析。沈定剛教授曾表示，張道強(qiáng)是青年學(xué)者中研究醫(yī)學(xué)影像AI最TOP的那一批人。

會后，雷峰網(wǎng)與張道強(qiáng)教授進(jìn)行了一次對話。他表示，相比安防等行業(yè)，深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)領(lǐng)域內(nèi)的應(yīng)用稍顯滯后。回國兩三年后，他開始將深度學(xué)習(xí)應(yīng)用在腦疾病的醫(yī)學(xué)影像研究中。

談及腦疾病研究中面臨的問題，張道強(qiáng)表示，腦疾病非常復(fù)雜、精細(xì)且種類繁多，不同的腦疾病如阿爾茲海默癥（AD）與抑郁癥等疾病之間也有相似之處，有些病人同時患多種腦疾病，常常難以分辨。

另一方面，用深度學(xué)習(xí)技術(shù)研究腦疾病，對高質(zhì)量樣本的需求量非常大，但腦疾病領(lǐng)域非常缺少高質(zhì)量、有標(biāo)記的樣本。據(jù)張道強(qiáng)介紹，以AD為例，目前國際上最大的數(shù)據(jù)庫ANDI也僅僅收錄了一千例左右的樣本。

為了解決樣本量稀少的問題，張道強(qiáng)與多家醫(yī)院合作，收集了大量不同站點的影像數(shù)據(jù)，通過遷移學(xué)習(xí)、對比學(xué)習(xí)等技術(shù)進(jìn)行處理，克服數(shù)據(jù)偏差。

“2012年我回國后就非常注重與醫(yī)院之間的合作，第一時間找到了南京本地的南京腦科醫(yī)院精神科進(jìn)行合作，近年來又陸續(xù)與南京鼓樓醫(yī)院、山東大學(xué)齊魯醫(yī)院、清華長庚醫(yī)院、301醫(yī)院等多家醫(yī)院達(dá)成合作。”

張道強(qiáng)介紹，除影像數(shù)據(jù)分享外，其團(tuán)隊還按照醫(yī)院需求提供算法解決臨床問題、與醫(yī)院共同培養(yǎng)學(xué)生、共同研究新技術(shù)在醫(yī)學(xué)影像上的應(yīng)用，進(jìn)行了諸多合作。

沈定剛教授回國入職聯(lián)影智能與上?？萍即髮W(xué)后，張道強(qiáng)與聯(lián)影智能和上?？萍即髮W(xué)也有共同的研究相關(guān)課題、申報研究成果等。

除樣本問題外，腦影像特征的提取也是研究中的難題之一。三維的腦影像體量十分龐大，往往難以從中提取出有效特征。

為此，張道強(qiáng)提出多模態(tài)技術(shù)，對腦影像進(jìn)行預(yù)處理，將影像中的一百多個腦區(qū)進(jìn)行標(biāo)記、配準(zhǔn)，分割灰質(zhì)、白質(zhì)及腦脊液。

考慮到在AD研究中腦脊液對灰質(zhì)的影響更大，他以一百多個腦區(qū)中的灰質(zhì)體積作為有效特征，從結(jié)構(gòu)影像的幾百萬個特征中篩選出一百余個。

而針對功能影像PET(正電子發(fā)射型計算機(jī)斷層顯像)，則是以每個腦區(qū)中的平均灰度值為有效特征進(jìn)行篩選。

據(jù)此，張道強(qiáng)構(gòu)建起不同的核矩陣，在核矩陣的層次上通過多核的融合實現(xiàn)多模態(tài)的分類。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，張道強(qiáng)也逐漸將圖論、圖神經(jīng)網(wǎng)絡(luò)等前沿技術(shù)應(yīng)用到腦影像的研究之中。

2018年7月南航成立人工智能學(xué)院，與計算機(jī)科學(xué)與技術(shù)學(xué)院合署辦公，學(xué)院現(xiàn)有計算機(jī)科學(xué)與技術(shù)、軟件工程、網(wǎng)絡(luò)空間安全3個一級學(xué)科博士點，院內(nèi)師資一百二十余人。

張道強(qiáng)介紹，“在人工智能領(lǐng)域，南航在國內(nèi)還是比較有影響的?！?/p>

張道強(qiáng)的博士生導(dǎo)師，中國人工智能學(xué)會機(jī)器學(xué)習(xí)委員會主任陳松燦也在南航計算機(jī)學(xué)院任教，同時陳松燦還擔(dān)任著江蘇省人工智能學(xué)會常務(wù)副理事長。

經(jīng)過十余年的發(fā)展，目前學(xué)院內(nèi)進(jìn)行醫(yī)學(xué)AI研究的團(tuán)隊已有十余人，包含腦疾病、骨科、超聲、磁共振、病理圖像等多個領(lǐng)域。

南航計算機(jī)學(xué)院的學(xué)生近年來也在國際會議上嶄露頭角。2019年10月，博士后邵偉在MICCAI大會上展示了他在聯(lián)合基因影像數(shù)據(jù)進(jìn)行預(yù)后預(yù)測上的研究工作，并獲得大會青年科學(xué)家獎。邵偉也是當(dāng)年五位獲獎?wù)咧形ㄒ粐鴥?nèi)的青年科學(xué)家。

在今年的MICCAI大會上，張道強(qiáng)課題組的博士生左英立同樣斬獲了青年科學(xué)家獎。

醫(yī)學(xué)影像領(lǐng)域的華人學(xué)者在國際學(xué)術(shù)界的身影越來越活躍，2020年以來，張道強(qiáng)當(dāng)選IAPR Fellow、

李純明、李樂、蔣田仔等多位學(xué)者陸續(xù)當(dāng)選IEEE Fellow。

張道強(qiáng)對此也深有感觸：“我十幾年前第一次參加MICCAI的時候，華人面孔還非常少，占比只有四分之一左右?！?/p>

而最近幾年這一領(lǐng)域的華人學(xué)者明顯增多，今年的MICCAI會議上有多位華人學(xué)者獲得青年科學(xué)家獎，“這些事實都表明我國醫(yī)學(xué)AI的研究已經(jīng)接近世界前沿水平了，甚至某些方向已經(jīng)超越西方國家?！?/p>

張道強(qiáng)表示，醫(yī)學(xué)AI在國內(nèi)的發(fā)展有更多的機(jī)會，“相比歐美國家，我們能夠獲取更多高質(zhì)量的數(shù)據(jù)，加之政策支持，以及大體量的研究者不斷加入這一領(lǐng)域，我相信醫(yī)療AI在未來會發(fā)展得更好?！?/p>

以下是張道強(qiáng)教授的演講原文，雷峰網(wǎng)(公眾號：雷峰網(wǎng))《醫(yī)健AI掘金志》進(jìn)行了不改變原意的整理。

我是南京航空航天大學(xué)的張道強(qiáng)，今天我給大家分享的題目是《腦影像智能計算以及若干應(yīng)用的研究進(jìn)展》。

首先我們來看為什么要研究大腦？我們知道大腦是人體最復(fù)雜也是最重要的一個器官，如果我們把大腦比作一個可以計算的機(jī)器，大腦是我們已知的客觀世界里最復(fù)雜的一個機(jī)器。

正因為如此，包括美國、歐盟以及中國在內(nèi)的諸多國家對腦科學(xué)計劃都非常關(guān)注，中國的腦科學(xué)計劃也已經(jīng)正式開始實施。計劃的主要構(gòu)造都是大家熟知的，了解腦、模擬腦（即類腦智能）、保護(hù)腦（即腦疾病的防治）等方面。

腦影像是研究腦科學(xué)一個非常重要的工具，根據(jù)維基百科的定義，腦影像包括各種各樣直接或間接對大腦的結(jié)構(gòu)和功能進(jìn)行探測的各種技術(shù)的總稱。

從這個定義我們也可以看出來，腦影像分為兩大類，一類是結(jié)構(gòu)的腦影像，在醫(yī)院做檢查時的X光、CT以及核磁共振等都屬于結(jié)構(gòu)的影像。

另外一類是功能影像，比如功能磁共振、PET等等。

這是磁共振以及其成像的顯示。

這是PET以及它的成像顯示。

我們其中一個應(yīng)用就是圍繞腦疾病的診斷，重點研究阿爾茨海默病，也就是俗稱的老年癡呆癥。

老年癡呆癥簡稱AD，是最常見的一種腦疾病。到目前為止，這一疾病還沒有有效的治療手段，隨著疾病的發(fā)展，最終會導(dǎo)致人的死亡。

65歲以上的中老年人群體患病風(fēng)險比較高，現(xiàn)在世界上有4000多萬、接近5000萬的AD患者。

據(jù)世界衛(wèi)生組織的預(yù)計，到2050年，也是本世紀(jì)中葉，全球每85個人中可能會有一人患AD。

左下角是一個非常形象的示意圖，我們把一棵樹的樹葉比喻成神經(jīng)元。

大家知道我們的神經(jīng)元細(xì)胞和其他細(xì)胞不一樣，從人出生以后它的數(shù)量就不會再增加了，到了青年階段以后數(shù)量就會不停地減少。

中間的樹代表的是MCI，即輕度認(rèn)知障礙，右邊的樹代表的就是AD。在這個階段，神經(jīng)元細(xì)胞就像圖中的樹葉一樣，已經(jīng)死亡了一大半，所以會對認(rèn)知功能產(chǎn)生很大的影響。

這是患AD疾病的一些名人，包括政治精英、文豪以及科技界獲得諾獎科學(xué)家等很多權(quán)威人物。

第一張圖給出了正常人的半腦和AD患者的半腦的示意，左邊是正常的半腦。

我們對比來看的話， AD首先是導(dǎo)致大腦有非常明顯的萎縮。我們再進(jìn)一步觀察和語言、記憶相關(guān)的一些腦區(qū)，會發(fā)現(xiàn)AD使大腦變得非常平滑。

正常人的大腦有很多腦溝、腦回，將表面拉伸后面積是非常大的，因為我們大腦要容納大約1000億個神經(jīng)元，每個神經(jīng)元平均要和大約1000個神經(jīng)元細(xì)胞要產(chǎn)生連接，所有的神經(jīng)元和神經(jīng)元之間的連接都要容納在大腦之中。

第二張是微觀圖，顯示了我們現(xiàn)在比較公認(rèn)的兩個和AD相關(guān)的特征，一個是神經(jīng)纖維的纏繞，另一個是淀粉樣的沉淀，都能夠通過生化檢測發(fā)現(xiàn)。

這是一位畫家早期的自畫像，以及患AD后每一年給自己畫的自畫像。

可以看出來，在這位畫家患AD之后，隨著疾病的進(jìn)展，越到后期疾病對他的大腦的空間認(rèn)知能力影響越大大，晚期時已經(jīng)基本沒有完整的空間認(rèn)知感。

另外我們還可以用眼動儀來揭示正常人和AD患者看同一張圖片時大腦的不同理解模式。

圖中不同的圓圈是人在看這張圖片時視覺焦點的位置、大小以及停留的時間。

這張圖是正常人的模式，首先關(guān)注圖片中感興趣的目標(biāo)，比如建筑物、沙灘上人等等，所以在這些地方停留的時間較長。

這張圖是AD患者的模式，他沒有去關(guān)注沙灘上的人、建筑等目標(biāo)，反而有很多時間集中在大海這些沒有太多意義的位置。

這條曲線給出了各種不同的生物標(biāo)志物對AD的診斷能力，橫坐標(biāo)是從正常到臨床前期，再到輕度認(rèn)知障礙和最后的癡呆的時間變化，縱坐標(biāo)表示不同的生物標(biāo)志物對AD的檢測能力。

從這張圖我們可以看出來，一些影像相關(guān)的生物標(biāo)志物，包括PET、fMRI等都有很高的早期診斷能力。

與之相對比，圖中最下面的一條曲線是我們臨床上用的一個打分函數(shù)，如MMSE和ADAS-Cog，但這種方式一般需要在患者出現(xiàn)非常明顯的癥狀之后，到晚期癡呆的階段量表上才會出現(xiàn)較大差異。

到了癡呆的階段，已經(jīng)沒有有效的治療手段能讓患者恢復(fù)到MCI或正常狀態(tài)。所以我們一定要在MCI或更早期對這一疾病進(jìn)行早診斷、早治療。

在MCI階段仍有一些手段能夠?qū)Υ竽X進(jìn)行干預(yù)，延緩從MCI到AD的轉(zhuǎn)變，提高病人生活的質(zhì)量。

從曲線圖來看，基于影像特別是多模態(tài)的腦影像技術(shù)對AD進(jìn)行診斷是非常重要的，這方面也有很多的工作，時間關(guān)系我們在今天的報告里面主要向大家匯報一大類：基于腦影像構(gòu)建腦網(wǎng)絡(luò)，再對腦網(wǎng)絡(luò)進(jìn)行挖掘、分析和分類，從而實現(xiàn)診斷的技術(shù)。

現(xiàn)在有一個新的提法叫做“腦連接組學(xué)”，Brain Connectomics，主要關(guān)注大腦的不同區(qū)域和區(qū)域之間的連接。

我們認(rèn)為，包括疾病的患病機(jī)制在內(nèi)的大量信息，不僅僅取決于不同的腦區(qū)，更多的是取決于腦區(qū)之間的連接。

連接類型包括三類。

一類是結(jié)構(gòu)連接，比如說如果我們有DTI影像就可以很方便地構(gòu)建一個結(jié)構(gòu)連接網(wǎng)絡(luò)；更多的情況下可能是功能連接，比如我們拿到的一些磁共振數(shù)據(jù)，可以從上面構(gòu)建功能的連接；還有一類叫做有效連接。

我們主要關(guān)注結(jié)構(gòu)和功能的連接。

這是一張簡易的圖片，我們從腦影像出發(fā)，首先要建網(wǎng)，把腦網(wǎng)絡(luò)構(gòu)建起來。然后從腦網(wǎng)絡(luò)中提取特征，做特征抽取、特征選擇，最后利用分類器，將選擇好的特征進(jìn)行分類。

我們現(xiàn)在有一些非常高級的技術(shù)，比如現(xiàn)在非?；鸬膱D神經(jīng)網(wǎng)絡(luò)就可以直接對腦網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。

這是比較早期大概10多年前，通過腦網(wǎng)絡(luò)做個體分類的工作。

早期的工作主要還是基于我們圖論相關(guān)一些研究，在2011年這篇論文中，首先把影像構(gòu)建成一個網(wǎng)絡(luò)圖譜，然后提取每個圖譜的頂點局部聚類系數(shù)，將其作為一個特征。提取完所有的特征后將其拉成一個向量，用支持向量機(jī)（SVM）進(jìn)行分類。

在2014年左右，我們就提出使用機(jī)器學(xué)習(xí)中一個非常重要的概念graph kernel ，圖核，大家可以理解成是度量兩個網(wǎng)絡(luò)之間的拓?fù)湎嗨菩?，基于此我們也得到了不錯的效果。

但是在2014年工作中，我們是把機(jī)器學(xué)習(xí)中現(xiàn)成的圖核拿過來使用，但這個圖核有一個缺點：缺少特異性。

左邊圖片中的兩個圖形上有標(biāo)簽做出的標(biāo)注，如果去掉標(biāo)簽將圖形反轉(zhuǎn)，兩個圖是同構(gòu)的。但是在腦網(wǎng)絡(luò)中的節(jié)點則具有唯一性，這是腦網(wǎng)絡(luò)非常重要的一個特性。

我們考慮到節(jié)點唯一性這一特點后，在2018年研究工作中又構(gòu)造了一個新型的圖核，可以根據(jù)腦網(wǎng)絡(luò)進(jìn)行定制。

這個圖核在MCI和正常人的分類，以及MCI早期轉(zhuǎn)變和不轉(zhuǎn)變的分類中也取得了不錯的效果。

在如何構(gòu)建腦網(wǎng)絡(luò)方面，我們把每個腦區(qū)的時間序列相加，得到每個腦區(qū)的平均時間序列，然后對不同腦區(qū)之間的平均時間系列做一個k型相關(guān)，以這一相關(guān)系數(shù)作為兩個網(wǎng)絡(luò)連接連接矩陣的對應(yīng)位置的值。

但這種方式也有一個非常明顯的缺點，無法反應(yīng)兩兩之間的交互關(guān)系，不能刻畫二階或更高階以上關(guān)系。

我們還需要新的工具。在2016年的工作中，我們引進(jìn)了超圖的概念。

彩色的部分就是一個超圖。超圖和簡單圖形的頂點是相同的，相比左邊的簡單圖形，超圖最主要的區(qū)別在于其邊緣部分變成了超邊，每條超邊可以有兩個以上的頂點相互連接。

超圖以每條超邊對應(yīng)的幾個頂點的鄰接矩陣來表示，當(dāng)超邊恰好只包含兩個頂點時，對應(yīng)的數(shù)值是0，如果超邊包含的頂點數(shù)量大于2，對應(yīng)的數(shù)值是1。

這是一個用超圖來實現(xiàn)基于超網(wǎng)絡(luò)的腦疾病診斷的框架。首先從影像構(gòu)建一個超網(wǎng)絡(luò)，再從超網(wǎng)絡(luò)中提取特征，最后利用特征進(jìn)行分類。

我們在MCI數(shù)據(jù)上做了驗證。這里的CN-CC是一個經(jīng)典的簡單圖，體現(xiàn)其具體系數(shù)。HN-HCC是構(gòu)建超圖后，將簡單圖的局部聚類系數(shù)推廣到超圖中。

這三種不同的提取形式，都取得了非常大的進(jìn)步。另外，我們將這三種特征融合起來，才能得到高達(dá)百分之九十幾的精度，大大超過了傳統(tǒng)的簡單圖的特征。

此外，超邊也可以作為一種新型的網(wǎng)絡(luò)度量來表達(dá)正常網(wǎng)絡(luò)與MCI網(wǎng)絡(luò)之間的差異。

在2018年的工作，我們直接從加權(quán)的網(wǎng)絡(luò)中進(jìn)行特征挖掘，提出了一種有序的模式。什么是有序模式呢？

大家看中間的圖，每條邊都有權(quán)重，按照傳統(tǒng)的方式或前面提到的一些復(fù)合方法，都是要找一個閾值，比如小于0.5的邊緣就拋棄，這種方式損失了大量的信息。

另外找一個合適的閾值其實也是非常難的，我們就直接對加權(quán)的網(wǎng)絡(luò)進(jìn)行挖掘。

我們提出的方法叫有序模式，考察任意兩條相鄰的邊，如果它滿足邊緣的權(quán)重的有序關(guān)系，就將這兩條邊做為有序模式。

我們從正常人的網(wǎng)絡(luò)和患病的病人的腦網(wǎng)絡(luò)中提取一個頻繁的有序模式，另外我們?yōu)榱藢崿F(xiàn)判別，還將正常人和患病的人腦網(wǎng)絡(luò)中相似的頻繁模式篩除掉，只留下判別性的頻繁有序模式，將其作為特征進(jìn)行分類。

我們在兒童多動癥患者的腦網(wǎng)絡(luò)上進(jìn)行了驗證，基于有序模式在加權(quán)網(wǎng)絡(luò)上進(jìn)行挖掘，不論是ACC還是AUC都得到了比傳統(tǒng)方法更好的效果。

另外像超邊一樣，如果得到有序模式，可以作為一種新型的一個網(wǎng)絡(luò)生物標(biāo)記來判別患病的人和正常人之間腦網(wǎng)絡(luò)的差異性。

在此基礎(chǔ)之上，我們把有序模式的概念和圖核結(jié)合起來，提出一種新的基于有序模式的圖核，進(jìn)一步提升了性能。下面就是展示有序模式如何構(gòu)建圖核。

另外我們還借鑒了計算機(jī)網(wǎng)絡(luò)中Hub的節(jié)點。在局域網(wǎng)中Hub節(jié)點如果被攻擊了，整個的局域網(wǎng)可能就會陷入癱瘓。

在我們的大腦網(wǎng)絡(luò)里面，海馬體等位置都屬于比較重要的腦區(qū)，我們通過算法找出重要的節(jié)點，在此基礎(chǔ)上做進(jìn)一步的網(wǎng)絡(luò)分類。

當(dāng)同時有結(jié)構(gòu)網(wǎng)絡(luò)和功能網(wǎng)絡(luò)時，還可以將其進(jìn)行融合，得到更好的分類效果。

另外，我們還可以研究網(wǎng)絡(luò)，特別是功能網(wǎng)絡(luò)的動態(tài)關(guān)系。

這里我們采用了時間滑動窗構(gòu)建不同的網(wǎng)絡(luò)，每隔一個時間窗口構(gòu)建一個網(wǎng)絡(luò)，研究它的持續(xù)和動態(tài)關(guān)系。

在今年的最新工作中，我們還研究了通過挖掘一致性的連接組的特征進(jìn)行多中心、跨中心的分類。

在動態(tài)網(wǎng)絡(luò)表示方面，我們在今年TMI上面也有最新的工作分享，時間關(guān)系這個地方就不再做進(jìn)一步的介紹。

除了腦疾病診斷之外，在腦影像智能計算或分析中，大家也比較關(guān)注將影像腦影像作為內(nèi)表型，挖掘和基因之間的關(guān)聯(lián)，也就是借助影像找出和AD易感相關(guān)的基因。

反過來通過基因也可以幫助找到AD相關(guān)的腦區(qū)或是子網(wǎng)絡(luò)，以及表型上的信息，現(xiàn)在可以聯(lián)合起來進(jìn)行多模態(tài)的包括基因和影像的診斷。

影像遺傳的基因信息主要是以單核苷酸多態(tài)性為主，簡稱SNP，是非常高維的數(shù)據(jù)。

因此對建模提出了非常高的要求，因為建模時輸入輸出的基因影像都是高維的。

我們在2018年的一篇基于統(tǒng)計學(xué)習(xí)的影像遺傳學(xué)方法的中文綜述中，將現(xiàn)有的影像基因關(guān)聯(lián)方法歸納為4類，第一類是多基因單腦區(qū)，第二類是單基因多腦區(qū)，第三個是多基因多腦區(qū)，第四個是多基因多腦區(qū)之間的動態(tài)關(guān)聯(lián)。

針對前面講的4類，我們分別開發(fā)了一些方法，時間關(guān)系不再做進(jìn)一步的介紹，大家如果感興趣的話可以關(guān)注我們的論文進(jìn)一步了解。

非常有意思的是，不只能做基因和影像、腦區(qū)之間的關(guān)聯(lián)，還可以將影像變成腦網(wǎng)絡(luò)之后，找出基因和腦網(wǎng)絡(luò)之間的關(guān)聯(lián)。

今年我們在自然通訊上有一個最新的工作，利用多模態(tài)的網(wǎng)絡(luò)和基因做了一個用于精神分裂癥的多基因風(fēng)險相關(guān)的研究。

最后一個應(yīng)用主要是關(guān)注腦解碼，和疾病沒有關(guān)系，主要是關(guān)注正常人的認(rèn)知方面。

大家看右上角這個圖，被試者在看到不同的物體時，腦子里會有不同的響應(yīng)。

如果我們用fMRI將被試者做認(rèn)知的過程記錄下來，比如說看到鞋子和貓的照片時，用fMRI記錄下過程，我們就知道這一段fMRI對應(yīng)的是鞋子，另外一段對應(yīng)的是貓。

從機(jī)器學(xué)的角度來講，我們收集了很多fMRI的樣本，對應(yīng)的標(biāo)簽就是圖像的類別。我們可以構(gòu)建一個分裂器，當(dāng)分裂器訓(xùn)練好以后，被試再看到新的圖片時，掃描被試的大腦并將fMRI傳入分裂器中，分裂器就會預(yù)測出被試者看到的圖像，從而實現(xiàn)解碼。

這是對分類的解碼。還可以有比分類更加復(fù)雜的解碼，比如將看到的圖像進(jìn)行重建。

解碼的過程中有一個關(guān)鍵的挑戰(zhàn)：不同的被試之間差異非常大。

比如說左上角和左下角的兩張圖，同樣是看到一張人臉，第一個被試的相應(yīng)模式在第二象限， 第二個被試在第三象限。對建筑、動物等圖像也可能有類似的結(jié)果。

這時我們就要進(jìn)行Hyperalignment，通過一些配準(zhǔn)使其進(jìn)入同一空間，使不同的人對同樣的物體的響應(yīng)在相似位置。

關(guān)于Hyperalignment有一個經(jīng)典的描述，和機(jī)器學(xué)習(xí)的典型相關(guān)性分析CCA非常類似。

在2017年我們做了一個工作，就是推廣了Hyperalignment技術(shù)。

原始的Hyperalignment在fMRI空間中，我們的方法先將其推從fMRI空間推廣到高維空間，通過滲透神經(jīng)網(wǎng)絡(luò)將其映射到高維空間中，在高維空間中做Hyperalignment ，我們稱之為Deep Hyperalignment，也得到了較好的效果，具體細(xì)節(jié)我們不說了。

我們在公開的open fMRI的數(shù)據(jù)集對多種任務(wù)做了驗證，我們的Deep Hyperalignment的方法也得到了較好的結(jié)果。

圍繞Hyperalignment，我們最近幾年有些相關(guān)的工作。

比如在2020年我們采取了一種共享的空間遷移學(xué)習(xí)技術(shù)，對多站點的fMRI數(shù)進(jìn)行分析，還開發(fā)了一個叫做easy fMRI的工具箱，對fMRI進(jìn)行特征提取、可視化等處理，歡迎大家來試用這個工具，我們也把它開源了。

除分類的解碼之外，有些學(xué)者已經(jīng)開始研究重建的解碼。

就像我們左圖所示，當(dāng)被試者看到物體時對大腦進(jìn)行掃描，將被試者看到的物體進(jìn)行重建。

比如說右圖所示的阿拉伯?dāng)?shù)字6和9，對被試者的大腦進(jìn)行掃描，將fMRI對應(yīng)起來。通過深度神經(jīng)網(wǎng)絡(luò)來做學(xué)習(xí)映射。

我們在今年的TCDS上的工作，就結(jié)合LSTM等技術(shù)實現(xiàn)了較好的重建效果，通過算法自動預(yù)測被試者看到的東西。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。