0
| 本文作者： 楊曉凡 | 2020-02-20 13:45 |
雷鋒網(wǎng) AI 科技評論按：我們經(jīng)常一同提起 Geoffrey Hinton、Yann LeCun、Yoshua Bengio 這被合稱為「深度學(xué)習(xí)三駕馬車」的三個(gè)名字，但卻并不常見到他們?nèi)齻€(gè)人在同一個(gè)場合出現(xiàn)——甚至在 ICLR 之前，三個(gè)人全都不怎么參與學(xué)術(shù)會(huì)議。如今深度學(xué)習(xí)無可辯駁地在學(xué)術(shù)研究和實(shí)際應(yīng)用中都成為了最炙手可熱的技術(shù)，三人也獲得了 2018 年圖靈獎(jiǎng)，AAAI 2020 設(shè)置了「圖靈獎(jiǎng)得主特殊活動(dòng)」，邀請三人參與演講、圓桌，可以看作對三人的遲來的致敬。
Geoffrey Hinton 介紹最新的、終于做對了的膠囊網(wǎng)絡(luò)的演講實(shí)錄見 這里。
圓桌環(huán)節(jié)的主持人是機(jī)器人專家、MIT 教授 Leslie Kaelbling，她也是人工智能領(lǐng)域頗負(fù)盛名的《機(jī)器學(xué)習(xí)研究雜志》（JMLR）的創(chuàng)始人兼主編。雷鋒網(wǎng) AI 科技評論把圓桌環(huán)節(jié)內(nèi)容整理如下，略有改動(dòng)。
Kaelbling：幾位在剛才的演講中都帶來了精彩的見解，觀眾們也已經(jīng)提出了一些很有價(jià)值的問題。我對這些問題做了一些篩選和和分類，一類是技術(shù)性問題，另一類是更寬泛的關(guān)于研究和想法的問題。我們先從技術(shù)性問題開始吧。
第一個(gè)技術(shù)問題，作為計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)概念的神經(jīng)網(wǎng)絡(luò)，和作為生物計(jì)算、人類大腦計(jì)算的模擬的神經(jīng)網(wǎng)絡(luò)，在你們看來有哪些聯(lián)系？完全還原生物計(jì)算有多重要？
Hinton：生物大腦能給我們啟發(fā)、能提供建議。具體來說，它告訴我們用很多數(shù)據(jù)來調(diào)整權(quán)重，就可以讓一個(gè)系統(tǒng)能夠執(zhí)行復(fù)雜的計(jì)算，而不需要明確的編程。這個(gè)思路其實(shí)不太尋常，如果你沒有見過這樣的例子，你會(huì)很難相信這是可行的。
LeCun：確實(shí)有明確的啟發(fā)作用，卷積網(wǎng)絡(luò)之類的東西也是受到了神經(jīng)科學(xué)中的經(jīng)典研究的啟發(fā)。很多我們現(xiàn)在使用的技巧都可以在神經(jīng)科學(xué)的計(jì)算中找到對應(yīng)的東西，分割正交化（divisive normalization）都已經(jīng)成了一個(gè)標(biāo)準(zhǔn)的工具了，還有神經(jīng)網(wǎng)絡(luò)、整流器（rectification）。這幾年也有很多不同地方的研究者都發(fā)現(xiàn)可以用聯(lián)合存儲器之類的結(jié)構(gòu)增強(qiáng)神經(jīng)網(wǎng)絡(luò)的表現(xiàn)，然后我們回過頭來看看大腦，其實(shí)和海馬體很類似。雖然不是精確對應(yīng)的，但幾乎可以肯定有功能上相同的地方。有一個(gè)說濫了的故事和 AI 這里很相似，就是人類學(xué)會(huì)飛行的故事，我們從鳥的飛行獲得了啟發(fā)，但我們造的飛機(jī)可以不扇動(dòng)翅膀、可以沒有羽毛；這兒也是一樣的。不過說到底，我覺得包括我們在內(nèi)的很多研究者在這個(gè)領(lǐng)域內(nèi)做研究最主要還是因?yàn)槲覀兿肓私馊祟惖闹腔邸?/p>
Bengio：他們說的我都同意，我再做一點(diǎn)補(bǔ)充。我做研究的動(dòng)力是，我相信只需要幾條簡單的原理就可以在很大程度上解釋大腦中的活動(dòng)，我把這個(gè)叫做「驚喜的假說」。大腦中當(dāng)然是存在各種奇妙的東西的，但我相信只要掌握幾條簡單的原理就可以解決這些復(fù)雜的、通用的任務(wù)。在機(jī)器學(xué)習(xí)、AI領(lǐng)域做研究，就可以檢驗(yàn)這些原理，可以給別的研究人員提供更好的大腦運(yùn)行方式的解釋。所以可以說，在發(fā)掘這些簡單原理的過程中，機(jī)器學(xué)習(xí)領(lǐng)域和神經(jīng)科學(xué)領(lǐng)域會(huì)共同受益，在制造出更智慧的機(jī)器的同時(shí)，也能更好地理解大腦是如何運(yùn)行的、智慧是什么。
Kaelbling：有好幾個(gè)觀眾都認(rèn)為，你們每個(gè)人都提及了表征和推理的某些方面，而這些方面是做經(jīng)典的 AI 的人很歡迎、愿意使用的，比如可合成性、學(xué)習(xí)隱含表征、稀疏性因子等等，但你們提到經(jīng)典 AI 的時(shí)候又好像不是特別喜歡符號化 AI 的那一套。所以我和你們幾個(gè)人到底能不能做朋友呢？（觀眾笑）（譯注：Leslie Kaelbling 在機(jī)器人和經(jīng)典 AI 方面有較多研究成果）
Hinton：我和 Leslie 可認(rèn)識了很久了。上次我給 AAAI 投稿的時(shí)候，得到了這么多年以來最低的一次評價(jià)，而且用詞很不客氣，他說「Hinton 已經(jīng)研究這個(gè)想法 7 年了，根本沒有人感興趣，該試試別的了」。（觀眾笑）其實(shí)我當(dāng)時(shí)的那個(gè)想法就是想用向量表示詞的含義。從這個(gè)打擊中恢復(fù)心情花了一點(diǎn)時(shí)間，然后現(xiàn)在看起來我們好像其實(shí)做對了。如今我們處于的位置是，我們可以忘掉以前的事情了，現(xiàn)在看看我們能不能在由很多參數(shù)組成的系統(tǒng)里面做梯度下降，以及能不能推廣這個(gè)思路。其實(shí)我們發(fā)現(xiàn)的最重要的事情就是它，它確實(shí)有效，這很奇妙。我們現(xiàn)在要探索能不能用這個(gè)方法做推理。
Kaelbling：我補(bǔ)充幾句，雖然 AAAI 曾經(jīng)，甚至可能不止一次地對你很不客氣，這肯定是不對的。我們不應(yīng)該做這種推定，然后用不好的態(tài)度對待研究者。
Hinton：完全同意，我只是解釋了一下為什么這里存在一些惡意。
LeCun：我的觀點(diǎn)和 Hinton 很像。在我的 PPT 里講計(jì)算機(jī)視覺的那一頁，我也說到要用向量表示符號、用連續(xù)函數(shù)表示邏輯。之所以這樣做，是因?yàn)槲覀兿胱屚评砗蛯W(xué)習(xí)兼容。目前唯一成功的學(xué)習(xí)方法是基于梯度的學(xué)習(xí)方法，所以我們需要推理和基于梯度的學(xué)習(xí)兼容。我們需要讓它變得可微，雖然我還不是很確定具體要如何做，但我知道的是，這種想法對于對邏輯感興趣的、按原來的方式做邏輯的人來說是討人厭的，甚至是震驚的，因?yàn)檫@意味著需要放棄目前的研究路線中很多已有的東西。就像在 NLP 領(lǐng)域，幾年前 Transformer 等一批模型出現(xiàn)之后，很多語言學(xué)信息就一下子變得不怎么有用了。
Bengio：他倆差不多已經(jīng)把我想說的說完了。也像我在我的演講里說的一樣，我覺得我們應(yīng)該向前看，考慮如何找到最好的方式，能在發(fā)揮深度學(xué)習(xí)的長處的同時(shí)，也能解決推理、語言理解等等在經(jīng)典方法里通常會(huì)用符號來解決的問題——這些問題我相信是可以用更現(xiàn)代的方式解決的。我覺得注意力機(jī)制可能可以起到很關(guān)鍵的作用，我也經(jīng)常跟別人說我的這個(gè)觀點(diǎn)。
Kaelbling：你們真的覺得除了基于梯度的學(xué)習(xí)之外就沒有什么別的、好的替代方法嗎？（觀眾笑）
LeCun：人們成功設(shè)計(jì)出來的所有學(xué)習(xí)方法都是基于某種優(yōu)化問題的……
Kaelbling：（打斷）隨機(jī)森林也是嗎？
LeCun：它也算是某種優(yōu)化，它是貪婪優(yōu)化的。然后還有邊緣化、貝葉斯等等各種方法，有的可能值得單獨(dú)討論，但是某種程度上，所有學(xué)習(xí)方法都是基于某種優(yōu)化問題的。如果還有什么其他不一樣的方法的話，那我很樂意知道 —— 這實(shí)際上也帶來了一個(gè)問題，人類的大腦有沒有優(yōu)化某個(gè)目標(biāo)函數(shù)呢？
除此之外，如果你想要優(yōu)化某個(gè)函數(shù)，那你要用什么工具來優(yōu)化它呢？它是零階&無梯度的，還是一階的&有梯度的，還是更高階的，我們還能用梯度，但也還需要?jiǎng)e的工具。對零階問題做優(yōu)化的效率要比一階問題低太多了，所以如果能找得到梯度，那就用梯度吧。實(shí)際上在強(qiáng)化學(xué)習(xí)中還有這樣的做法：因?yàn)槟繕?biāo)函數(shù)是不可微的，所以就引入了一個(gè)評價(jià)者（critic），它的目標(biāo)就是用可微的函數(shù)逼近目標(biāo)函數(shù)，讓它仿佛變得可微。所以，梯度下降就是行得通啊。
Kaelbling：雖然你回答的和我問的不一樣，不過我明白你的意思了（觀眾笑）。
另一個(gè)問題，這個(gè)專場一開始我們就聊了卷積、膠囊，以及認(rèn)為 Transformer 很有用，似乎可以說我們整個(gè)領(lǐng)域的人都在設(shè)計(jì)各種的機(jī)制，給模型增加各種結(jié)構(gòu)偏倚等等。你們覺得這樣的東西可能要找到多少個(gè)，才足夠設(shè)計(jì)出人類級別的智慧？6種？60種？
Bengio：數(shù)字越小越好，但我們現(xiàn)在也不知道。
LeCun：對，如果只需要6種、10種結(jié)構(gòu)，那當(dāng)然很好了，但我們還不知道是不是真的這樣。讓我們覺得有希望的是，人類大腦皮層是有明顯的統(tǒng)一秩序的，但所有的大腦神經(jīng)元中只有一小部分是屬于大腦皮層的，其它大多數(shù)的看起來似乎沒那么均一、規(guī)律。
Kaelbling：下面看幾個(gè)關(guān)于方法論呀、別的方面的問題吧。聽眾里有很多學(xué)生，所以有很多和學(xué)生相關(guān)的問題。很多學(xué)生問了這樣的問題：現(xiàn)在有很多學(xué)術(shù)研究是在大企業(yè)里面做的，這些大企業(yè)有大量的資源，那么當(dāng)谷歌、Facebook這樣的企業(yè)手握大量的、學(xué)生只有眼饞的份的資源的時(shí)候，大學(xué)扮演的角色是什么樣的呢？
Hinton：我來回答這個(gè)吧。我仍然認(rèn)為，那些真正原創(chuàng)的想法，都來自于很好的大學(xué)院系里、得到了好的建議的研究生們，這樣他們就不會(huì)把歷史上已有的東西重新做一遍，而是真正花好幾年時(shí)間考慮做點(diǎn)新的東西出來。大公司里當(dāng)然也是有可能做到的，但這樣的事情大多數(shù)還是在大學(xué)里發(fā)生的。我覺得這是大學(xué)真正的優(yōu)勢。（觀眾鼓掌）
Bengio：我補(bǔ)充一下。AI 領(lǐng)域里有很多非常難的問題，是可以考慮在「玩具問題」（譯注：專門設(shè)計(jì)的、非常簡單的環(huán)境和問題）里放大了仔細(xì)研究的。我覺得我們放棄「研究玩具問題」放棄得太早了，尤其是機(jī)器學(xué)習(xí)這里，大家都在關(guān)注需要在 2000 個(gè) CPU、GPU 上跑兩個(gè)星期的那種非常難的測試，但其實(shí)對于很多有意思的問題，你可以做分析，以及用正常規(guī)模的資源做實(shí)驗(yàn)。我也得承認(rèn)，沒有這些資源有時(shí)候會(huì)覺得很沮喪，但使用這么多資源、能源也會(huì)帶來一些環(huán)境問題。
LeCun：所以我建議我們建立一個(gè)新的會(huì)議，The International Conference On Deep Learning On Toy Problems，「玩具問題深度學(xué)習(xí)國際會(huì)議」。（全場笑，三個(gè)人相視而笑）
Hinton：這讓我想起來一個(gè)我很多年以前提過的建議，我當(dāng)時(shí)提議辦一個(gè)叫「MNIPS」的會(huì)議，所有論文的算法都必須用 MNIST 做實(shí)驗(yàn)。（一本正經(jīng)地。全場笑）
Kaelbling：真棒！我繼續(xù)問和學(xué)生有關(guān)的問題。學(xué)生們很想知道他們應(yīng)該讀什么書、學(xué)習(xí)什么內(nèi)容。其實(shí)你們?nèi)欢继岬搅烁怕式r(shí)代之前出現(xiàn)的一些概念，但你們覺得學(xué)生應(yīng)該讀什么學(xué)什么呢？
Bengio：能確定的是，他們不要都讀、都學(xué)一樣的東西。
Kaelbling：這個(gè)挺重要的，這個(gè)領(lǐng)域不能只有一種聲音。
Hinton：我以前的一位導(dǎo)師的建議是「讀書會(huì)弄昏腦袋」（Reading rods the mind）。所以他說，不要讀文獻(xiàn)，要自己想辦法解決問題；在你有主意了以后，再去讀文獻(xiàn)。（觀眾鼓掌）
LeCun：我記得 Feinman 也給過類似的建議。
Kaelbling：那些大的 AI 公司做研究活動(dòng)的時(shí)候，他們會(huì)找你們預(yù)約嗎？（觀眾逐漸開始笑）
（Hinton 盯著在 FB 的 LeCun 看，想讓他回答；LeCun 反過來指著在谷歌的 Hinton，意思是不應(yīng)該你來回答么；這時(shí)候?yàn)槲④涀鲱檰柕?Bengio 先主動(dòng)開口了）
Bengio：對，能幫助化石能源產(chǎn)業(yè)的研究是有預(yù)約的
LeCun：實(shí)際上谷歌和 FB 的 AI 研究機(jī)構(gòu)都在逐步削減碳排放，到了今年底 FB 的就可以實(shí)現(xiàn)零排放，不過谷歌我就不清楚了。
Hinton：我覺得 LeCun 他們應(yīng)該多做識別假新聞的研究，個(gè)人觀點(diǎn)
Bengio：我覺得有很強(qiáng) AI 能力的企業(yè)不要通過研究軍事應(yīng)用來賺錢就很好
Hinton：這一點(diǎn)我們?nèi)齻€(gè)人都同意。因?yàn)楣雀枳约河X得不對，所以取消了一個(gè)國防部的好幾十億美元的項(xiàng)目，這給我留下了深刻印象，讓我覺得原來谷歌其實(shí)也沒有那么壞（全場笑）。
LeCun：FB 完全不接這種單子，我們從來就沒這個(gè)問題。
Kaelbling：下面我們聊點(diǎn)正常的話題。你們的想法都是從哪里來的？如何決定要研究哪個(gè)想法？
Bengio：每天早上我一睜眼，我就有想法了。
Kaelbling：那你怎么選擇要研究哪個(gè)？全都研究？
Bengio：系統(tǒng)一（System 1）（譯注：Bengio在演講中提到 System 1和 System 2，前者是直覺系統(tǒng)，主要負(fù)責(zé)快速、無意識、非語言的認(rèn)知；后者是邏輯分析系統(tǒng)，是有意識、帶邏輯規(guī)劃、有語言表達(dá)能力的）。講真，就是靠直覺，然后你就不停做實(shí)驗(yàn)、不停地失敗，有時(shí)候就會(huì)做出來一些成果。你要跟著自己的直覺走，做科研不就是這樣的嘛。
LeCun：我當(dāng)然也很依賴直覺，不過我覺得你要能夠分析真正的、重要的問題的癥結(jié)。然后你就會(huì)有想法，在做成功實(shí)驗(yàn)以后在你看來就更是更是自然而然的，起碼對你自己是這樣，世界上別的人可能還要過20年才會(huì)覺得這事一目了然；這個(gè)過程就是這樣。所以我在 1980 年代就有了多層神經(jīng)網(wǎng)絡(luò)的想法，在我看來這是自然而然的；然后我想到了卷積神經(jīng)網(wǎng)絡(luò)，我覺得也是自然而然的。然后過了很長時(shí)間它們才開始變得流行。
現(xiàn)在我覺得用自監(jiān)督學(xué)習(xí)解決預(yù)測中的不確定性是自然而然的事情，這些是我們需要解決的重要問題。用各種方法繼續(xù)改進(jìn)已有的實(shí)際系統(tǒng)的表現(xiàn)當(dāng)然是有用的，但我自己對有長期影響的事情更有興趣。
Kaelbling：又有一個(gè)和前面的話題相關(guān)的問題，神經(jīng)網(wǎng)絡(luò)曾經(jīng)有段時(shí)間非常不受歡迎，只有很勇敢的人才繼續(xù)研究…
Bengio：（打斷）是「頑固」，只有頑固的人才繼續(xù)研究
Kaelbling：「頑固」，這個(gè)詞很好。假設(shè)我正在研究某個(gè)特別冷門的課題，我應(yīng)該怎么發(fā)展，別人給我寫了特別不客氣的評語、沒有人喜歡我的研究怎么辦？
Hinton：我覺得首先要知道的是，大多數(shù)特別冷門的想法之所以特別冷門是因?yàn)樗鼈冃Ч⒉缓茫ㄈ珗鲂ΓＤ敲催@兒有一個(gè)很巧妙的區(qū)別。所以，我也不知道。
Bengio：你要找一些證據(jù)來支持你的想法，它不能完全是直覺。依靠證據(jù)做出判斷，和完全依靠直覺，是有明顯的區(qū)別的。但你也需要有信心才能不斷前進(jìn)。也許你第一次做實(shí)驗(yàn)的時(shí)候失敗了，但是你做了一些變化以后就成功了。
Hinton：我覺得如果你真的對某個(gè)想法特別有信心，你就永遠(yuǎn)都不應(yīng)該放棄它。所以其實(shí)我到今天都在思考如何讓玻爾茲曼機(jī)發(fā)揮效果。（全場笑）我相信這么一個(gè)邏輯：如果你的直覺是對的，你就應(yīng)該去研究它；如果你的直覺是錯(cuò)的，那你做什么其實(shí)都影響不大。（全場笑）
Kaelbling：我自己有一個(gè)問題，Jeff 剛才說研究生應(yīng)該花很多時(shí)間考慮很難的問題。但我自己的感覺是，當(dāng)前領(lǐng)域內(nèi)發(fā)表論文的周期特別短，內(nèi)容也比較短視。我很擔(dān)心這對整個(gè)領(lǐng)域會(huì)造成什么樣的影響。我不知道你們是不是也有一樣的感覺？
Bengio：我覺得很不樂觀。當(dāng)前這一代正在成長的計(jì)算機(jī)科學(xué)、機(jī)器學(xué)習(xí)的研究人員們，他們的視野似乎非常局限于短期的回報(bào)，做研究的目標(biāo)就是為了趕上下一個(gè)會(huì)議的投稿截稿時(shí)間。我自己的學(xué)生都有的會(huì)來我辦公室問我：接下來的四個(gè)星期里我能做些什么，因?yàn)榈侥莻€(gè)時(shí)候就截稿了。我覺得這對整個(gè)領(lǐng)域是很糟糕的事情，我們需要做一些結(jié)構(gòu)性的改變，鼓勵(lì)研究者可以冒更大的風(fēng)險(xiǎn)、研究覆蓋更長的時(shí)間周期的問題。
LeCun：我覺得這里有一個(gè)連續(xù)譜，研究如何在測試?yán)锬玫礁叩姆謹(jǐn)?shù)，最終肯定也是有好處的，這沒什么問題。實(shí)際上隨著這個(gè)領(lǐng)域發(fā)展，它也越來越偏向?qū)嶋H應(yīng)用，因?yàn)橛性絹碓蕉嗟娜藢@些實(shí)際應(yīng)用感興趣——這正是他們加入這個(gè)領(lǐng)域的原因。我覺得真正的問題是，在計(jì)算機(jī)視覺會(huì)議、NLP會(huì)議之類的更偏重應(yīng)用的會(huì)議里，研究那些長時(shí)間周期的問題的人的絕對數(shù)量和他們的影響力到底如何。我覺得我們需要留一些空間給不那么關(guān)注刷分的會(huì)議，比如剛才隨口說的那個(gè)「玩具問題深度學(xué)習(xí)國際會(huì)議」。
即便這樣，大家也可能還是會(huì)保持一個(gè)很高的發(fā)文速度，因?yàn)楫?dāng)前的系統(tǒng)下為了找工作之類的需要他們有很多的論文。不過，這樣可以讓他們同時(shí)也能夠研究那些長期的、復(fù)雜的、有野心的問題。
Bengio：如今發(fā)表論文的壓力要比我念研究生的時(shí)候大多了，現(xiàn)在的學(xué)生需要在讀博期間完成的論文數(shù)量簡直太可怕了
LeCun：我們要是想申請自己的博士生恐怕都申請不上（觀眾笑）
Kaelbling：論文內(nèi)容完整性的要求也不一樣了
Bengio：對。實(shí)際上這里還有一個(gè)副作用，大家覺得論文中會(huì)議是有那么點(diǎn)重要的一件事，但經(jīng)常發(fā)生的是，他們的論文被會(huì)議接收以后，他們又轉(zhuǎn)而研究別的課題了。
Hinton：我給這個(gè)過程打過一個(gè)比方。每個(gè)人只花很短的時(shí)間研究問題，做出一點(diǎn)點(diǎn)成果然后就發(fā)一篇論文，就像是拿來一本很難的數(shù)獨(dú)填空書，把整本書翻了個(gè)遍以后，把每個(gè)數(shù)獨(dú)題目里最簡單的幾個(gè)空都填上了，給別的人攪了個(gè)亂七八糟。（全場笑）
觀眾提問時(shí)間
觀眾1：研究AI就是研究科學(xué)嗎？用是或否回答
Hinton：（復(fù)述問題給其它觀眾）答案「是」。
Bengio：人工智能領(lǐng)域有很多種不同的事情可以做，有一些更偏向于工程，有一些更偏向于理解；偏向于理解的這些更像是「科學(xué)」。
LeCun：也有「工程科學(xué)」，其中的一部分是創(chuàng)造，你會(huì)設(shè)計(jì)一種方法；然后另一部分是科學(xué)，你會(huì)分析它為什么有效、為什么無效，等等。方法的創(chuàng)造領(lǐng)先于能解釋它的理論，這其實(shí)在科學(xué)技術(shù)的歷史中經(jīng)常出現(xiàn)，一個(gè)典型的例子是蒸汽機(jī)，人們花了一百多年時(shí)間才弄明白其中的熱力學(xué)原理以及熱機(jī)的理論限制?，F(xiàn)在我們就仿佛是創(chuàng)造出了蒸汽機(jī)了，然后問題就是不知道我們的「熱力學(xué)原理」在哪里、有沒有像熱力學(xué)能解釋蒸汽機(jī)那樣的原理來解釋智慧，這也正是我自己研究的那個(gè)很大的科學(xué)問題。
觀眾2：人類有通用的智慧，而且可以創(chuàng)造出數(shù)學(xué)這樣的抽象的東西，我們可以寫出解析方程，比如 F=ma，或者 e=mc^2，這其中的計(jì)算非常簡單，就和二乘三等于六一樣簡單，做這樣的計(jì)算可能就只需要幾個(gè)晶體管，可能是幾瓦、幾毫瓦的能源消耗。相比之下深度學(xué)習(xí)雖然總體來說很厲害，但是需要成千上萬瓦的能源消耗。所以有沒有可能，通過某種神經(jīng)架構(gòu)，我們最終可以不需要這么高的計(jì)算能力、這么復(fù)雜、這么高容量。
Bengio：但是產(chǎn)生了 F=ma 的人類大腦里有數(shù)量龐大的神經(jīng)元、有很高的計(jì)算能力。如果我們想要機(jī)器也有這樣的能力，即便最終產(chǎn)生的結(jié)果可能是一個(gè)非常簡單的方程，它的背后也先要有很多的計(jì)算、經(jīng)驗(yàn)和學(xué)習(xí)。
觀眾3：看起來你們的想法似乎在很多時(shí)間上出奇地一致，比如需要的先驗(yàn)的本質(zhì)、自監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的價(jià)值等等。我有點(diǎn)好奇，除了這些觀點(diǎn)一致的點(diǎn)之外，對于這些方法應(yīng)該怎么實(shí)現(xiàn)、哪些元素是重要的，你們有沒有什么意見不同的地方？
Bengio：Leslie已經(jīng)嘗試過這個(gè)問題了，但是沒能讓我們吵起來。
Hinton：我可以講一個(gè)分歧。Yoshua 的電子信箱地址結(jié)尾是「quebec」（[email protected]），我覺得這之后還應(yīng)該再寫一個(gè)國家碼，但他覺得不需要（觀眾笑）。（譯注：Hinton 認(rèn)為魁北克既然現(xiàn)在還是加拿大的一部分，就應(yīng)該是 mila.quebec.ca）
Kaelbling：這個(gè)環(huán)節(jié)結(jié)束了，謝謝三位嘉賓！
（三位離席，全場鼓掌）
三個(gè)人嚴(yán)肅認(rèn)真、信念堅(jiān)定，但同時(shí)又幽默平和、笑對過往的風(fēng)格再一次展示了他們的大家風(fēng)范；可能也正是有這樣的態(tài)度，他們才能走過之前的寒冬，迎來新時(shí)代的春風(fēng)和深度學(xué)習(xí)的全面綻放。
再次向三位致敬，祝好。
雷鋒網(wǎng) AI 科技評論整理。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
