8月13日，在CCF - GAIR峰會(huì)第二天的智能駕駛專場，清華大學(xué)教授孫富春帶來了國家自然科學(xué)基金委員會(huì)重大研究計(jì)劃視聽覺信息委員會(huì)的八年計(jì)劃。

孫富春表示，這個(gè)項(xiàng)目經(jīng)過8年的論證到2008年才在國家自然基金委成立，這是視聽覺認(rèn)知計(jì)算的重大立項(xiàng)。從2008年到2017年總共也是8年，他們的目的是研究人類視聽覺的認(rèn)知機(jī)理，發(fā)展新的高效計(jì)算模型，提高計(jì)算機(jī)對(duì)與人視聽覺感知相關(guān)的圖象、語音和文本信息的理解能力和處理效率，是圍繞認(rèn)知過程的表達(dá)與計(jì)算的基本科學(xué)問題。

什么是人類視聽覺的認(rèn)知機(jī)理？

 感知基本特征的提取、表達(dá)和整合

 感知數(shù)據(jù)的機(jī)器學(xué)習(xí)與理解

 關(guān)于跨模態(tài)學(xué)習(xí)的信息協(xié)同與計(jì)算

他們的主要工作就是研究人對(duì)視聽覺的感知，這些信息在腦區(qū)是怎么編碼的？腦區(qū)是怎么合作的進(jìn)行信息的融合？并且把這些變成可計(jì)算的模型，這樣的話我們就可以把聽覺信息和視覺信息進(jìn)行編碼，通過可計(jì)算的模型進(jìn)行處理來對(duì)環(huán)境進(jìn)行感知和理解，并且把這種理解和人的理解進(jìn)行比較，最終把這種技術(shù)用在無人駕駛方面。

在演講中展示了他們從2008年開始8年在視聽覺感知中的重要成果，并且從2009年開始至今總共舉辦了7次無人車的挑戰(zhàn)賽，在過程中:

發(fā)表更多的關(guān)于認(rèn)知科學(xué)方面的成果。

把自然語言理解和腦機(jī)接口把它集成到車的平臺(tái)上，許多成果現(xiàn)在還停留在實(shí)驗(yàn)室。

通過無人車平臺(tái)取得的重大進(jìn)展，進(jìn)一步促進(jìn)創(chuàng)新，引領(lǐng)無人車產(chǎn)業(yè)的發(fā)展。

未來的愿景

1、認(rèn)知機(jī)理研究成果，如何形成可計(jì)算的模型，這個(gè)我們探索了很多的方法，還需要進(jìn)一步地完善。

2、在環(huán)境感知的拓?fù)浣Y(jié)構(gòu)信息如何在認(rèn)知過程中表達(dá)與理解。

3、探索新興的多模態(tài)傳感器，如把聲音視頻信息集成在一起。

4、研究人機(jī)智能混合問題，這個(gè)也是剛剛國家提到的人工智能2.0版本，我們要研究人機(jī)混合的智能系統(tǒng)。

  希望能通過無人車挑戰(zhàn)賽個(gè)平臺(tái)發(fā)表更多的關(guān)于認(rèn)知科學(xué)方面的成果。

以下為演講實(shí)錄：

尊敬的各位來賓，女士們先生們，大家上午好！如果有一天你坐在駕駛車?yán)锩?，看到駕駛室里沒有駕駛員，或者是這個(gè)駕駛員沒有把握方向盤，你千萬不要震驚，因?yàn)槲覀円呀?jīng)進(jìn)入了一個(gè)無人駕駛的時(shí)代。你可能難以想象，從長沙到武漢，2800多公里的路段里面，有雨天也有晴天，人工干預(yù)僅僅占整個(gè)路段的0.75%，從北京到天津150公里的路段里面，沒有人工干預(yù)，實(shí)現(xiàn)全程的自主駕駛。可能你更難以想象的是，在2.08米障礙的路段里面自主車穿越只有11厘米的絨線，自主車的效率是人工的5倍。

我們今天給大家?guī)нM(jìn)由國家自然科學(xué)基金委員會(huì)重大研究計(jì)劃視聽覺信息委員會(huì)的八年里面走過的一個(gè)一個(gè)故事。

視聽覺信息的認(rèn)知計(jì)算我把它比喻成8年抗戰(zhàn)5年的解放戰(zhàn)爭和抗美援朝。這個(gè)項(xiàng)目經(jīng)過8年的論證到2008年才在國家自然基金委成立，視聽覺認(rèn)知計(jì)算的重大立項(xiàng)。走到今天我們要感謝鄭南寧、李德毅、陳琳、孫家廣等院士。

視聽覺信息首先是看到，這張圖大家可以看到，這張圖是在1997年發(fā)表的一篇文章里講到的，大家看到，上帝對(duì)人特別青睞。從我們的眼睛到微曲的皮層。這個(gè)環(huán)節(jié)是連接了感知部分和信息處理部分，大家想想這么長的一個(gè)感知和處理部分，我們的觸覺和其它感覺聽覺都沒有這么長的感知和處理路段，所以大家看到的眼睛是我們心靈的窗戶。我們?nèi)祟惈@取外界的80%的信息是來自視覺，我們皮層的60%都是跟視覺相關(guān)的。

聽覺也是非常重要的部分，自然圖象經(jīng)過系數(shù)編碼以后的稀函數(shù)，近年的研究我們更加發(fā)現(xiàn)了觸覺與視覺同構(gòu)，這就使我們想到瞎子的眼睛特別好，未來我們可以通過人工攝像機(jī)把視覺編碼變成觸覺編碼，讓瞎子感受到外部的世界，這兩年已經(jīng)有人工視網(wǎng)膜的出現(xiàn)，渴望打通另一條通道。這兩年我們也發(fā)現(xiàn)，就是這個(gè)語音，語音在稀疏編碼下的去燥特性特別好。語音是否也具有像觸覺一樣的底層結(jié)構(gòu)呢？這是我們要研究的問題。本計(jì)劃中的視聽覺信息是指與人視聽覺感知相關(guān)的圖象語音和文本。

我們平時(shí)日常生活里的視聽覺信息非常多，我們有各種各樣的手段，我們叫信息器，手機(jī)、攝像機(jī)、網(wǎng)絡(luò)的攝像機(jī)、衛(wèi)星遙感等等等等。大家應(yīng)該可以想到，我們現(xiàn)在的人生活在一個(gè)三元世界里面，哪三元世界呢？就是一個(gè)網(wǎng)絡(luò)世界，物理世界，和它們共享的知識(shí)世界。網(wǎng)絡(luò)產(chǎn)生之前，我們生活在一個(gè)二元世界里面，三元世界的人是怎么工作的？我一個(gè)學(xué)生說你把這兩個(gè)英文給我翻譯一下，我說你明天給我，他馬上就給我了，他放到谷歌里一翻譯檢查一下。過去我們很難想說機(jī)器人有全局智能，它的智能是局部的，今天在網(wǎng)絡(luò)世界里，機(jī)器人完全可以得到全局智能。

講一個(gè)最簡單的例子，自主車完全可以到一個(gè)陌生的環(huán)境里，比如從機(jī)場來到我們的會(huì)場，它只要簡單地在網(wǎng)上找到一條路徑，搜狗地圖它可以規(guī)劃路徑，通過攝像機(jī)的形態(tài)識(shí)別可以找到我們的會(huì)場，進(jìn)入到會(huì)場中間來，這就是網(wǎng)絡(luò)給我們帶來的。大家看到，網(wǎng)絡(luò)這里面有大量的，我們叫海量的視聽覺的感知數(shù)據(jù)。我們?nèi)绾斡行У乜焖俚匕l(fā)現(xiàn)這些技術(shù)，把它變成可用的知識(shí)，這是無人駕駛里非常重要的方法。

大家看到，在語音監(jiān)控和聽覺監(jiān)控里面，首先我們來看一下視頻的監(jiān)控，比如北京，現(xiàn)在有一百多萬的攝像頭，它的信息量是多大呢？一個(gè)小時(shí)的信息量相當(dāng)于中央電視臺(tái)所有的節(jié)目的總和，這么大量的信息是很難得到基本的及時(shí)的處理。另外在語音監(jiān)控方面，我們舉一個(gè)簡單的數(shù)字，比如境外法輪功入鏡電話每天達(dá)到50萬個(gè)，日通話量四億分鐘，我們?cè)趺从行幚磉@些信息，也是非常難的。

我們?cè)賮肀容^一下機(jī)器人和人，我們都很清楚，對(duì)于結(jié)構(gòu)化的信息，比如像報(bào)表，考試學(xué)生的信息登記，諸如此類的。機(jī)器的能力遠(yuǎn)遠(yuǎn)地大于人，但是對(duì)于非結(jié)構(gòu)化的信息，比如說聽覺信息，汽車行駛過程里的視覺信息人遠(yuǎn)遠(yuǎn)高于機(jī)器，我們可以快速在人群里找到我熟悉的朋友。有人駕駛汽車可以在任意非常復(fù)雜的環(huán)境里進(jìn)行駕駛。所以盡管機(jī)器的計(jì)算速度提升比較快，但計(jì)算機(jī)的認(rèn)知能力非常落后，它的認(rèn)知能力甚至不及一個(gè)三歲小孩。

我們來比較一下人機(jī)器處理方式上并行是人墻，感知方面的話，人特別擅長跨模態(tài)的信息，大家知道貓的視覺皮層和聽覺皮層是重合的，但是人恰恰是分開的。視覺觸覺聽覺，這些是怎么合作的？人為什么具有這么強(qiáng)大的能力，整體性方面和選擇性方面也是人強(qiáng)。人在人群里能看到媽媽，如果是雙胞胎的媽媽小孩認(rèn)出來了，機(jī)器認(rèn)錯(cuò)了。而且小孩知道他說的意思是什么，這是機(jī)器難以做到的。

我們視聽覺認(rèn)知的指導(dǎo)思想就是要研究人對(duì)視聽覺的感知，這些信息在腦區(qū)是怎么編碼的？腦區(qū)是怎么合作的進(jìn)行信息的融合？并且把這些變成可計(jì)算的模型，這樣的話我們就可以把聽覺信息和視覺信息進(jìn)行編碼，通過可計(jì)算的模型進(jìn)行處理來對(duì)環(huán)境進(jìn)行感知和理解，并且把這種理解和人的理解進(jìn)行比較，最終把這種技術(shù)用在無人駕駛方面。

介紹一下我們的重大計(jì)劃是2008年到2017年總共也是8年，我們的目的是研究人類視聽覺的認(rèn)知機(jī)理，發(fā)展新的高效計(jì)算模型，提高計(jì)算機(jī)對(duì)與人視聽覺感知相關(guān)的圖象、語音和文本信息的理解能力和處理效率，為國家的安全和國民經(jīng)濟(jì)作出重要貢獻(xiàn)。所以我們圍繞這個(gè)需求，我們的目標(biāo)是圍繞認(rèn)知過程的表達(dá)與計(jì)算的基本科學(xué)問題。

    一、感知基本特征的提取、表達(dá)和整合，主要我們要探索人力視聽覺信息基本特征的提取、表達(dá)與整合機(jī)理，為建立相關(guān)高效計(jì)算模型奠基基礎(chǔ)。

    二、感知數(shù)據(jù)的機(jī)器學(xué)習(xí)與理解，主要圍繞圖象、語音和語言數(shù)據(jù)的非結(jié)構(gòu)化和半結(jié)構(gòu)化特點(diǎn)使計(jì)算機(jī)難以實(shí)現(xiàn)從數(shù)據(jù)層到語義層的轉(zhuǎn)化，建立新的機(jī)器學(xué)習(xí)方法是實(shí)現(xiàn)這種轉(zhuǎn)化的有效途徑。

    三、關(guān)于跨模態(tài)學(xué)習(xí)的信息協(xié)同與計(jì)算。視覺信息和聽覺信息它是一個(gè)動(dòng)態(tài)序列，它可以表示成什么？運(yùn)動(dòng)流形的形式，比如說這個(gè)是流形式視覺信息，這是聽覺信息。視聽覺融合首先要找到這兩個(gè)信息流形的公共部分，然后稱為相融信息，然后才能對(duì)相融信息進(jìn)行處理。

多模融合大家來看一看，兩個(gè)傳感信息的基函數(shù)是一樣的。圖象和聲音的函數(shù)基是不一樣的，這里要引出主稀疏的概念，如果兩個(gè)函數(shù)相差比較小，我們可以找到它的公共部分，這個(gè)是基于組稀疏編碼的這樣一個(gè)原理。所以我們的預(yù)期成果是圍繞三個(gè)核心的科學(xué)問題來開展前沿基礎(chǔ)的研究。主要我們?cè)谝暵犛X信息認(rèn)知問題的基本理論上經(jīng)過了八年努力取得了很多進(jìn)展，三個(gè)關(guān)鍵技術(shù)都取得了突破，比如在視聽覺信息的協(xié)同計(jì)算、自然語言的理解與視聽覺認(rèn)知相關(guān)的腦機(jī)接口。我們還創(chuàng)建了兩個(gè)國際性的比賽，一個(gè)是無人車的未來挑戰(zhàn)性，一個(gè)是腦機(jī)接口的比賽。

下面來看看我們?nèi)〉玫某煽?，我們有三個(gè)國家自然科學(xué)獎(jiǎng)等。

（PPT）

    駕駛腦是我們這些年研究的突出成果，它的主要成果是模擬我們?nèi)诉M(jìn)行駕駛的經(jīng)驗(yàn)。一個(gè)叫下行，我們?nèi)嗽谶@樣一個(gè)環(huán)境里面怎么樣來決策，通過我們?nèi)说拈L期經(jīng)驗(yàn)來學(xué)習(xí)人的認(rèn)知能力。這里面就是我們?cè)趯W(xué)習(xí)人的視聽覺信息能力的時(shí)候我們要去掉人在駕駛過程的一些情緒的影響，比如人在駕駛過程里面可能有一些受到情緒的影響，這些在我們的認(rèn)知過程里是要去掉的。

    我們繼續(xù)看看，這是我們?nèi)说哪X，它有長期記憶，有性格，人的性格決定了他開車的保守或者說有的人是比較張揚(yáng)的。我們有長期意義區(qū)，就是人在長期駕駛過程里形成的經(jīng)驗(yàn)和技巧。動(dòng)機(jī)就是完成出行任務(wù)從起點(diǎn)到終點(diǎn)的一次性路徑規(guī)劃。短期記憶：表示駕駛員的選擇性注意，僅僅關(guān)注剛剛過去的以及當(dāng)前的周邊駕駛態(tài)勢。情緒：拒絕人腦中的情緒部分進(jìn)入駕駛腦，永遠(yuǎn)不會(huì)因情緒而分散注意力，機(jī)器人始終專注。大家過去也看到，說一個(gè)駕駛員經(jīng)過一個(gè)街道的時(shí)候發(fā)現(xiàn)街道的大樓上有一個(gè)非常表現(xiàn)的姑娘的照片，結(jié)果撞車了，現(xiàn)在的機(jī)器人無人車是可以杜絕這種現(xiàn)象。再一個(gè)是學(xué)習(xí)和思維，比如SLAM的基礎(chǔ)上，通過記憶匹配，完成二次規(guī)劃，來決定下一時(shí)刻的行為。這就是駕駛腦的概念。

我們把這個(gè)概念從上行和下行得到下面一個(gè)圖式，我們的眼睛、耳朵可以感知外面的環(huán)境。我們的人根據(jù)感知的環(huán)境信息，比如說在哪里，這旁邊有沒有障礙和目標(biāo)，通過長期記憶區(qū)來決策這種情況下我應(yīng)該如何駕駛，這叫行動(dòng)。然后把行動(dòng)的信息和感知信息之間進(jìn)行比對(duì)，我是不是達(dá)到了我行為的效果，就形成這樣一個(gè)閉環(huán)，從動(dòng)態(tài)感知到態(tài)勢分析、自主決策到精確的控制和在線的行動(dòng)。這樣的話我們就把駕駛腦形成了這樣一個(gè)圖，前面部分我們叫感知部分，叫感知域。規(guī)劃部分叫認(rèn)知域，這個(gè)部分我們叫行動(dòng)域。

這樣的話，比如說我們的駕駛車上有第一個(gè)是GPS、雷達(dá)和光學(xué)系統(tǒng)，一般來講我們?cè)诒荣惱锩鍳PS是不用的，然后形成長期和短期記憶，然后把這些感知信息進(jìn)行融合，形成駕駛的態(tài)勢圖。這里面有一個(gè)很重要的概念就是路權(quán)，就是形成過程中車本身占有的空間，在這個(gè)基礎(chǔ)上形成自主決策。比如速度應(yīng)該有多少變化，轉(zhuǎn)角應(yīng)該多大的變化，形成決策記憶池。通過控制模塊控制無人車，這個(gè)從感知到?jīng)Q策到控制，形成這么一個(gè)閉環(huán)。這是通過英偉達(dá)的DrivePX的自動(dòng)駕駛系統(tǒng)。

（PPT）   

這是最后形成的輪式機(jī)器人，向經(jīng)驗(yàn)駕駛員學(xué)習(xí)開車的過程，左邊顯示的是過去駕駛的經(jīng)歷，這邊一邊是人駕駛的經(jīng)驗(yàn)過程，大家看到最右邊這塊是我們的無人駕駛汽車，通過感知，通過態(tài)勢數(shù)的形成，實(shí)現(xiàn)駕駛態(tài)勢的感知。然后通過認(rèn)真提取，然后形成記憶。這個(gè)是當(dāng)前的認(rèn)知，人在駕駛過程里面當(dāng)前的認(rèn)知，包括山路、視覺綜合形成的駕駛態(tài)勢圖，跟經(jīng)驗(yàn)態(tài)勢進(jìn)行匹配，這種環(huán)境里我完成這么一個(gè)任務(wù)應(yīng)該怎么駕駛，我找我的經(jīng)驗(yàn)庫里面，我過去做過這個(gè)事，這個(gè)情況下應(yīng)該這么做可能效果最好，找到匹配，找到以后就把這個(gè)經(jīng)驗(yàn)用來學(xué)習(xí)，用來認(rèn)識(shí)，然后操縱方向盤。

這個(gè)過程可以通過深度學(xué)習(xí)來實(shí)現(xiàn)，比如說我們就做過，我們通過第二次模型來推理，在這個(gè)環(huán)境下面向這樣一些障礙，我應(yīng)該怎么去做，駕駛的速度變化量多少，角度變化量多少，形成一個(gè)模型，這個(gè)模型也可以通過深度學(xué)習(xí)表達(dá)出來。

我們專家組還有一項(xiàng)非常重要的工作就是車輛的檢測問題，這個(gè)問題就是過去從1998年以來沒有一篇文章介紹車輛的檢測方法是完全脫離訓(xùn)練樣本的，我們這里提出了一種方法。這個(gè)方法是在二維和三維空間之間進(jìn)行三重推理然后進(jìn)行交互印證，這個(gè)框架完全脫離訓(xùn)練樣本，充分李永樂三維語義場景和圖象信息。  

在過去八年里面，我們?cè)谝暵犛X信息的認(rèn)知和機(jī)理方面也做了很多工作，比如在神經(jīng)科學(xué)領(lǐng)域的Neuron而2012和IEEE CVPR2010里就有一項(xiàng)工作。這項(xiàng)工作在美國CVPR里面，這個(gè)方法的效率大大提高。這個(gè)工作是關(guān)于多觸覺的視覺分割，采用具有不同時(shí)間結(jié)構(gòu)的噪音刺激落研究大腦的時(shí)間分割過程，發(fā)現(xiàn)兩個(gè)優(yōu)化的時(shí)間尺度。 

大家都知道，國際上有一個(gè)國際腦成像大會(huì)，這個(gè)大會(huì)一般人很難在這里做大會(huì)報(bào)告，這個(gè)報(bào)告是由組委會(huì)的學(xué)術(shù)委員會(huì)選舉產(chǎn)生的，我們國家20多年來沒有一個(gè)去，在18屆會(huì)議上我們的陳霖院士作為第一個(gè)做了大會(huì)主題報(bào)告。

在多通道的腦機(jī)接口方面我們有一篇很好的工作，在連續(xù)兩年里面，這篇文章被列為這個(gè)雜志引用最多的文章。

（PPT）

這是一篇關(guān)于非侵入式腦機(jī)接口的高效率字符輸入，把字符輸入速度整整提高一倍，這篇文章發(fā)表在美國自然科學(xué)的刊物里面，這是這個(gè)領(lǐng)域目前最好的工作。我們還把腦機(jī)接口放在無人駕駛方面，通過腦控來控制無人車的運(yùn)動(dòng)。另外我們通過腦機(jī)接口實(shí)現(xiàn)自動(dòng)泊車。 這是我們從2008年以來一直堅(jiān)持下來的腦機(jī)接口的比賽，現(xiàn)在在非浸入式腦機(jī)接口方面我們處于世界領(lǐng)先地位。

這里有些展示我跟大家做一個(gè)匯報(bào)。這個(gè)圖就是2011年的7月份從長沙到武漢，總共286公里，歷時(shí)3小時(shí)22分鐘，這個(gè)路段有下雨，有超車，整個(gè)的人工干預(yù)只有2140米。這個(gè)工作是2014年11月25日完成了北京到天津長距離高速公路自主駕駛實(shí)驗(yàn)，歷時(shí)1小時(shí)30分鐘。

（視頻）

最后用兩分鐘的時(shí)間介紹一下我們無人車的挑戰(zhàn)賽，我從2009年開始到去年總共舉辦了7次比賽，第一次是西安的長灞生態(tài)區(qū)，當(dāng)時(shí)2.6公里的路段。2010年也是在西安由長安大學(xué)舉辦的，也是2.6公里的路段，主要測試曲線行駛等。2011年在鄂爾多斯，加到了10公里，后面我有一個(gè)表列出了這幾次比賽的基本情況。2013年開始在常熟，2014年到2015年都是在江蘇的常熟。我們把七次比賽列在這個(gè)表里面，七年來參賽隊(duì)數(shù)人數(shù)越來越多，最多的是22個(gè)隊(duì)，比賽場景是越來越復(fù)雜，從2.6公里到6.7公里到10公里到13.5公里。從比賽的結(jié)果來看，人工干預(yù)最后基本上沒有了，而且速度是越來越快，包括剛才我演示的從長沙到武漢，從北京到天津都是無人干預(yù)下來完成的，所以我們的比賽是從局限的封閉道路越來越走向真實(shí)的道路環(huán)境里面。

最后總結(jié)一下，8年當(dāng)中取得了很多成績，還有些工作我們覺得今后也是非常重要的。第一個(gè)是認(rèn)知機(jī)理研究成果，如何形成可計(jì)算的模型，這個(gè)我們探索了很多的方法，還需要進(jìn)一步地完善。第二個(gè)是在環(huán)境感知的拓?fù)浣Y(jié)構(gòu)信息如何在認(rèn)知過程中表達(dá)與理解。另外探索新興的多模態(tài)傳感器。比如把聲音視頻信息集成在一塊。另外就是人機(jī)智能混合問題，這個(gè)也是剛剛國家提到的人工智能2.0版本，我們要研究人機(jī)混合的智能系統(tǒng)。

最后我們的想法就是我們要借助這個(gè)平臺(tái)發(fā)表更多的關(guān)于認(rèn)知科學(xué)方面的成果。第二個(gè)把自然語言理解和腦機(jī)接口把它集成到車的平臺(tái)上，許多成果現(xiàn)在還停留在實(shí)驗(yàn)室。第三就是我們的要求是通過無人車平臺(tái)取得的重大進(jìn)展，進(jìn)一步促進(jìn)創(chuàng)新，引領(lǐng)無人車產(chǎn)業(yè)的發(fā)展。

最后我用這首詩結(jié)束我今天跟大家的分享：《賀全球人工智能與機(jī)器人峰會(huì)》，人機(jī)仿造勝奴仆，親我勞耕續(xù)史書。（PPT）

謝謝大家！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。