如何讓機(jī)器人的大腦“模仿”得更像人類的大腦？科學(xué)家們給出的答案是研究人腦結(jié)構(gòu)的分子層面，嘗試深入地了解人腦細(xì)胞的情況，進(jìn)而將“拼圖”完成，還原大腦。那么，什么是神經(jīng)認(rèn)知學(xué)，神經(jīng)認(rèn)知在機(jī)器人領(lǐng)域都有哪些應(yīng)用？

本期雷鋒網(wǎng)硬創(chuàng)公開課邀請到TIANBOT資深機(jī)器人研究工程師田博，為我們做主題為《神經(jīng)認(rèn)知學(xué)在機(jī)器人中的發(fā)展和應(yīng)用》的分享。

內(nèi)容介紹

• 本期公開課包含但不限于以下內(nèi)容：

• 神經(jīng)認(rèn)知在機(jī)器人領(lǐng)域應(yīng)用簡介

• BBD與神經(jīng)區(qū)域連接猜想

• RatSLAM，ehSLAM與空間認(rèn)知細(xì)胞

• HMax與視覺皮層

• Neuromorphic與神經(jīng)元連接

嘉賓介紹

田博，TIANBOT資深機(jī)器人研究工程師，清華大學(xué)企業(yè)家協(xié)會（TEEC）青創(chuàng)會員。溫州市機(jī)器人與智能制造特聘專家，580計劃創(chuàng)業(yè)人才。知乎機(jī)器人話題優(yōu)秀回答者。于 2007 年開始從事機(jī)器人研發(fā)工作，工作范圍涵蓋機(jī)械設(shè)計、控制、算法等，在校期間獲得 RoboCup 人形組第四名。參與過研發(fā)小型和大型的人形機(jī)器人，輪式機(jī)器人的環(huán)境感知算法。發(fā)表多篇機(jī)器人（IROS）和人工智能頂級國際會議（AAAI）文章，開發(fā)移動機(jī)器人超過十種，包括足式與輪式?；貒筮M(jìn)行移動服務(wù)式機(jī)器人創(chuàng)業(yè)，受邀在人工智能大會、機(jī)器人核心器件計算法等大小會議上發(fā)表演講，創(chuàng)業(yè)項(xiàng)目獲得南京創(chuàng)贏未來金獎，創(chuàng)辦南京天之博特機(jī)器人科技有限公司，志在培養(yǎng)機(jī)器人技術(shù)與開發(fā)人才。參加央視財經(jīng)頻道的創(chuàng)業(yè)英雄匯。

公開課完整視頻（共96分鐘）：

以下為嘉賓分享內(nèi)容實(shí)錄精編。關(guān)注雷鋒網(wǎng)旗下微信公眾號，回復(fù)「PPT」可獲取嘉賓完整PPT。

我從07年開始做機(jī)器人研究，并且有幸在2011年加入唐華錦博士在新加坡科技局信息所創(chuàng)建的計算神經(jīng)組，從屬于李海洲博士的人類語言科技部門與機(jī)器人技術(shù)項(xiàng)目部門。我于2011年5月至2015年1月在組內(nèi)從事神經(jīng)認(rèn)知機(jī)器人的研發(fā)，也是這個組發(fā)展最好的時期。本次講座的主要內(nèi)容都來自我在組內(nèi)三年半時間的研究經(jīng)歷，涉及到整個組的工作，而這個組由唐華錦領(lǐng)導(dǎo)，所以在這里介紹下他本人。

唐華錦教授于浙江大學(xué)、上海交通大學(xué)完成本科和碩士學(xué)習(xí)，于新加坡國立大學(xué)計算機(jī)工程系留學(xué)獲得博士學(xué)位。 其后在意法半導(dǎo)體公司擔(dān)任研發(fā)工程師，并于澳大利亞昆士蘭大學(xué)腦科學(xué)研究所從事博士后研究，2008-2014年在新加坡科技研究局資訊通信研究院任認(rèn)知計算和機(jī)器人認(rèn)知實(shí)驗(yàn)室主任。2014 至今，擔(dān)任四川大學(xué)計算機(jī)學(xué)院類腦計算研究中心主任。入選國家青年、四川省。

唐華錦教授擔(dān)任多個國際一流學(xué)術(shù)期刊包括IEEE Transactions on Neural Networks and Learning Systems, IEEE Transactions on Cognitive and Developmental Systems 和 Frontiers in Neuromorphic Engineering 的Associate Editor，F(xiàn)rontiers in Robotics and AI 編委，并擔(dān)任多個國際會議主席或程序委員會主席，IEEE計算智能學(xué)會教育分委會主席、IEEE認(rèn)知與發(fā)育系統(tǒng)技術(shù)委員會副主席等。

唐華錦當(dāng)時是計算神經(jīng)組的主任，于2014年在四川大學(xué)正式任教授，他離開以后我也就在15年回國創(chuàng)業(yè)了?，F(xiàn)在我主要從事ROS的職業(yè)培訓(xùn)，并進(jìn)行移動式服務(wù)機(jī)器人的開發(fā)。另外我也在知乎上經(jīng)?；卮痍P(guān)于機(jī)器人的話題，ID為【賈子楓】，歡迎大家關(guān)注！

機(jī)器人技術(shù)發(fā)展趨勢 

這是基于我個人對機(jī)器人發(fā)展的理解對機(jī)器人的劃分。最早是工業(yè)機(jī)器人，研究內(nèi)容是規(guī)劃和控制，從1960s就開始了。

后來的軍用機(jī)器人包括火星機(jī)器人、救災(zāi)機(jī)器人、水下機(jī)器人、空中機(jī)器人、地面機(jī)器人，研究的主要是機(jī)器人的移動性能，包括本田的ASIMO和波士頓動力的機(jī)器人，雖然本田的目標(biāo)是讓ASIMO成為服務(wù)機(jī)器人，但是研究的主要是機(jī)器人的移動性能。

軍用機(jī)器人的下一步我們希望做服務(wù)機(jī)器人，這幾年隨著機(jī)器人的發(fā)展，大家對服務(wù)機(jī)器人的概念也越來越熟悉。讓工業(yè)機(jī)器人變成移動機(jī)器人，我們需要增加它的移動性能，但是一個會動的機(jī)器人，我們往往用遙控的方式，如果想要它自己動是非常困難的，所以具備適用性和空間認(rèn)知是服務(wù)機(jī)器人的共性基礎(chǔ)技術(shù)，包括語音對話。

再往后，我們希望機(jī)器人能夠發(fā)展成家庭機(jī)器人或是個人機(jī)器人，這時候機(jī)器人需要足夠的理解能力和足夠的安全性。

我們認(rèn)為目前機(jī)器人的發(fā)展處在軍用機(jī)器人向服務(wù)機(jī)器人跨越的階段，現(xiàn)在所有技術(shù)都處在這個節(jié)點(diǎn)，也就是移動技術(shù)和語音交互方面。

為什么機(jī)器人要應(yīng)用神經(jīng)認(rèn)知的方法？

傳統(tǒng)的方法是用世界的模型加上機(jī)器人模型，也就是說在這兩個模型里面我們需要知道所有的細(xì)節(jié)，然后得到一個非常工程的解決方案，比如早期的工業(yè)機(jī)器人上，我們知道它的關(guān)節(jié)、鏈接長短，我們用運(yùn)用機(jī)器學(xué)算它的路徑，得出一系列的解。但是，現(xiàn)在我們發(fā)現(xiàn)，這種解決方案只適合汽車工業(yè)，3C領(lǐng)域比如做分揀是不適用的，因?yàn)槲覀兠媾R的環(huán)境是千變?nèi)f化的，也就是說我們沒辦法用單一的世界模型去描述機(jī)器人所處的環(huán)境，所以我們要拋棄世界模型的方案。

這是我們設(shè)想的未來機(jī)器人結(jié)構(gòu)，首先從大腦得出一個模型，然后得出一個記憶模型。為什么是記憶模型？因?yàn)榇竽X有很多功能， 從神經(jīng)認(rèn)知學(xué)的角度講，人類之所以能成長為萬靈之長，主要是因?yàn)槿祟惔竽X的新皮層足夠大并且急劇擴(kuò)張，而新皮層主要任務(wù)就是存儲， 相當(dāng)于我們記憶經(jīng)過編碼后存儲在新皮層，而骨皮層和中皮層從最早的嚙齒類動物到現(xiàn)在靈長類動物并沒有發(fā)生特別大的變化，我們認(rèn)為人類之所以產(chǎn)生智能，可能最主要的原因就是記憶的量變到質(zhì)變。所以，我們希望將這個模型應(yīng)用在機(jī)器人上，也就是把大腦放進(jìn)去，工程師不需要為機(jī)器人做世界模型的建立，而是機(jī)器人自己去建立世界模型，這種機(jī)器人我們稱之為NEural COgnitive Robot，即神經(jīng)認(rèn)知機(jī)器人。

當(dāng)然，我們也在思考光一個大腦能否產(chǎn)生智能，目前普遍的說法是不行，所以光放入大腦是不行的，還需要很多傳感器一起產(chǎn)生作用，因?yàn)樵谶@個大閉環(huán)中，需要先獲取外部的信息，經(jīng)過大腦神經(jīng)網(wǎng)絡(luò)處理，最后到執(zhí)行機(jī)構(gòu)，然后再回到感知系統(tǒng)獲取信息，是一個不斷判斷、反饋到抉擇的過程，也就是產(chǎn)生智能的過程。 

神經(jīng)認(rèn)知（計算神經(jīng)）的研究內(nèi)容

我本身是做機(jī)器人的，但為什么當(dāng)初會愿意加入這個神經(jīng)認(rèn)知組呢？我們感覺機(jī)器人發(fā)展到現(xiàn)階段，算法是不足以支持我們對機(jī)器人的想象空間的，即使不斷堆砌工程師，機(jī)器人能達(dá)到的智能水平也只是一個有限值，而神經(jīng)認(rèn)知學(xué)的方法有可能從根本上改變現(xiàn)下機(jī)器人智能低下的狀況。 

神經(jīng)認(rèn)知學(xué)的整個體系有兩個大的分類：微觀的神經(jīng)電路和宏觀的人工智能。

對于微觀的神經(jīng)電路研究，大家是想研究模擬神經(jīng)比較基本的規(guī)則，包括我們研究Synapse（突觸）是怎樣激發(fā)的，我們希望把一個神經(jīng)元的模型做好，然后慢慢堆砌，當(dāng)數(shù)量級達(dá)到一定程度的時候，也許系統(tǒng)就產(chǎn)生智能了，當(dāng)然這也只是一種猜測。另外，人類的神經(jīng)元實(shí)在太多了，所以我們會根據(jù)認(rèn)知心理學(xué)做分類，包括Memory Coding（記憶編碼）、Associative Memory（記憶關(guān)聯(lián)）、Synaptic Learning（突觸學(xué)習(xí)）、Neural Coding（神經(jīng)編碼）、Episodic Memory（片段記憶）。

從宏觀的角度來說，我們希望在機(jī)器人上體現(xiàn)出智能，也就是說我們在研究機(jī)器人的時候不是特別在意內(nèi)部怎樣實(shí)現(xiàn)的，或者說當(dāng)整個系統(tǒng)應(yīng)用在機(jī)器人上的時候，我不關(guān)心你在生理級別與生物系統(tǒng)的類似性，我們只關(guān)心機(jī)器人體現(xiàn)出應(yīng)有的智能。對于機(jī)器人的智能，我們 強(qiáng)調(diào)對環(huán)境的適應(yīng)性，也就是對不同環(huán)境是否能夠適應(yīng)。

神經(jīng)認(rèn)知學(xué)及其在機(jī)器人學(xué)科中的發(fā)展簡介

在這里介紹幾位神經(jīng)認(rèn)知學(xué)或是機(jī)器人學(xué)研究領(lǐng)域比較有代表性的人物，也是代表著神經(jīng)認(rèn)知學(xué)在機(jī)器人應(yīng)用上的發(fā)展。Edward Tolman是早期的心理學(xué)家，研究了很多認(rèn)知相關(guān)的內(nèi)容，所以他算一個認(rèn)知心理學(xué)方面的專家，非常有名，主要是提出了空間認(rèn)知地圖的概念，不過已經(jīng)過世了；Gerald Edelman 應(yīng)該在2014年剛剛過世，我在神經(jīng)認(rèn)知組的時候參考了很多他的研究，他也是BBD（Brain-based Device）的提出者；做視覺的同學(xué)應(yīng)該對Tomaso Poggio 比較熟悉，他是Hmax的創(chuàng)始人；Michael Milford 是做RatSLAM 的，也是我最為熟悉的。

這幾個人的工作好像沒什么關(guān)系，又是地圖，又是BBD，又是視覺的，在這里也就不每個點(diǎn)都詳細(xì)講了，我就按照我們組為什么要去研究這個東西、我們是怎么想的這個思路來講下。

一系列的神經(jīng)認(rèn)知機(jī)器人——NECO

我們當(dāng)時做機(jī)器人，想法很簡單，因?yàn)樯窠?jīng)認(rèn)知學(xué)試驗(yàn)剛開始大家都用老鼠，各種各樣的迷宮里，給它們一些食物，研究它們的行為，所以我們就在想是否可以用機(jī)器人替代這只老鼠，把神經(jīng)認(rèn)知模型放進(jìn)機(jī)器人里面。這也是為什么唐華錦教授當(dāng)初要讓做機(jī)器人的人加入他們神經(jīng)認(rèn)知組，而且他們其實(shí)主要偏向于計算神經(jīng)學(xué)。我們?nèi)チ酥螅铋_始就找對照模型，就是前面提到的心理學(xué)家Edward Tolman 在1940s年做的一個實(shí)驗(yàn)，讓一個老鼠在一個十字型迷宮里（上圖圖左），我們是放了一個機(jī)器人進(jìn)去（上圖圖中和圖右），機(jī)器人可以看見墻上我們給出的landmark（地標(biāo)），從而對環(huán)境做出判斷，最終它的任務(wù)是找到奶酪。

這些也是我們做過的實(shí)驗(yàn)，機(jī)器人在實(shí)際環(huán)境中的應(yīng)用，看機(jī)器人是否能適應(yīng)各種不同的環(huán)境。

最初的認(rèn)知機(jī)器人概念——類腦芯片的架構(gòu)

這是我們對第一個十字迷宮做的類腦芯片的架構(gòu)，首先要對空間有簡單的感知，但這個空間只是一個十字型，所以我們只需要對幾個選擇有一個選擇性，相當(dāng)于機(jī)器人在空間的認(rèn)知只有四個點(diǎn)，只有四個方向，所以只有四個選擇。另外，我們需要機(jī)器人認(rèn)識一些物體，因?yàn)橛玫氖且曈X方案，所以我們需要了解在記憶中是如何表達(dá)的，而不是傳統(tǒng)的比如我看下顏色做二制化，然后與顏色模板進(jìn)行匹配得出一個結(jié)果，我們是用整體圖像做輸入，給它一個記憶表達(dá)，然后會有神經(jīng)連接的強(qiáng)化，促使輸出。機(jī)器人最后得到的系統(tǒng)輸出值，其實(shí)是在整個系統(tǒng)四個神經(jīng)元里面選擇一個神經(jīng)元，這個神經(jīng)元的輸出就代表一個方向，會命令機(jī)器人轉(zhuǎn)到某一方向。

這個架構(gòu)是用神經(jīng)認(rèn)知的模型，部分架構(gòu)用的是機(jī)器人工程化的方法，這個方法也是貫穿了我們那幾年的研究，我們認(rèn)為神經(jīng)認(rèn)知學(xué)難以解決的部分，就會用機(jī)器人工程化的方法去替代。當(dāng)然，當(dāng)神經(jīng)認(rèn)知模型比較成熟了以后，這部分也是可以替換的。

雷鋒網(wǎng)按：接下來內(nèi)容涉及到大量理論知識，嘉賓講解了BBD、HMAX 、空間認(rèn)知地圖以及RatSLAM 的理念，文字難以描述，雷鋒網(wǎng)直接附上PPT，感興趣的讀者可以觀看上面的視頻，此部分內(nèi)容可在33min開始觀看。

未來的工作

Behavior learning（行為學(xué)習(xí)）：這是我們一直想實(shí)現(xiàn)的機(jī)器人功能，就是說我來教，它來學(xué)。能將學(xué)到的東西做舉一反三。

Active and lifelong learning（主動和終生學(xué)習(xí)）：像教小孩兒一樣教機(jī)器人。讓機(jī)器人從沒有任何知識表達(dá)的存儲就開始學(xué)習(xí)，以現(xiàn)在機(jī)器人的技術(shù)來說，是沒辦法實(shí)現(xiàn)的，所以未來需要借助于神經(jīng)認(rèn)知學(xué)。

Neuromorphic（神經(jīng)形態(tài)學(xué)）：人類大腦內(nèi)所有的神經(jīng)元最后都是將我們所看到的信息轉(zhuǎn)化為電信號，整個神經(jīng)系統(tǒng)是一個大的電路，Neuromorphic 的工作就是模擬神經(jīng)元的連接，前面一個神經(jīng)元的信號傳過來，如何激發(fā)后面的神經(jīng)元，形成一個大型的并行電路，再把每個部分的Neuromorphic 的芯片連接到執(zhí)行機(jī)構(gòu)上，形成一個與大腦神經(jīng)架構(gòu)類似的電路，這個時候我們可以做或者說只能做端到端的學(xué)習(xí)，現(xiàn)在深度學(xué)習(xí)非常喜歡講端到端的學(xué)習(xí)，而人本身就是一個端到端學(xué)習(xí)的案例，我們自己的神經(jīng)系統(tǒng)放上神經(jīng)認(rèn)知學(xué)，換上Neuromorphic 的芯片，這是一個很順暢的邏輯，也是我們未來的工作，現(xiàn)在還是覺得比較遠(yuǎn)。

Q&A 環(huán)節(jié)

雷鋒網(wǎng)讀者：目前在研究中遇到最大的難點(diǎn)是什么？

田博：因?yàn)槲冶旧硎亲鰴C(jī)器人的，做神經(jīng)認(rèn)知研究后關(guān)于神經(jīng)學(xué)的概念剛開始理解起來會比較吃力，因?yàn)槭强鐚W(xué)科、強(qiáng)交叉，可以說在第一年我大量閱讀Science、Nature 的文章，與我本身工作背景差異非常大，所以是非常吃力的。如果你是學(xué)工科的，想從事神經(jīng)學(xué)的研究，這個坎兒是一定要過去的。CMU的機(jī)器人所和匹茲堡大學(xué)神經(jīng)所有一個聯(lián)合培養(yǎng)的人才項(xiàng)目，世界上最知名的研究機(jī)器人的學(xué)校也意識到傳統(tǒng)的方法無法解決我們想解決的機(jī)器人問題。所以最主要還是客服跨學(xué)科的問題，跨過這個坎兒，后來就越來越順了。

另外，就是神經(jīng)的模型這塊，因?yàn)槲覀兊玫降纳窠?jīng)模型是神經(jīng)學(xué)家從動物上經(jīng)過表述過來的，這時候我們需要將計算模型翻譯成程序，再把程序放在機(jī)器人里面，這個工作量相當(dāng)大，從理論到實(shí)踐，中間要做假設(shè)和測試，相對來說是比較累的。

雷鋒網(wǎng)讀者：目前在應(yīng)用上有哪些走在前面的企業(yè)和產(chǎn)品？

田博：基本上還是大企業(yè)，IBM有一個類腦芯片TrueNorth，還有一個叫DVS的攝像頭，這些攝像頭我覺得最有可能最先應(yīng)用的與Neuromorphic 相關(guān)的產(chǎn)品，對于機(jī)器人來說，我是覺得還有點(diǎn)難，當(dāng)時研究的東西直接應(yīng)用是非常困難，但是主導(dǎo)思想是非常關(guān)鍵的，會讓我們在產(chǎn)品開發(fā)時，架構(gòu)是合理的，但直接應(yīng)用是非常難的。

雷鋒網(wǎng)讀者：神經(jīng)認(rèn)知學(xué)與意念控制是同一概念嗎？

田博：不是，這個我非?？隙?。就我自己的理解，意念控制大多偏向于EEG，主要就是獲取腦電信號，包括康復(fù)機(jī)器人就是獲取運(yùn)動信號，然后讓機(jī)器人帶動你的肌肉運(yùn)動，這個和神經(jīng)認(rèn)知有著根本性的區(qū)別，我們做神經(jīng)認(rèn)知是希望模擬神經(jīng)活動的原理，而EEG希望撲捉神經(jīng)的一些現(xiàn)象從而進(jìn)行應(yīng)用，所以簡單來說，神經(jīng)認(rèn)知是一個更加根本性的問題，和意念控制還不太一樣。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。