0
| 本文作者： 我在思考中 | 2021-08-30 14:37 |
作者 | 青暮
東京大學編寫的考試人工智能程序“東大”得到了好于80%考生的成績，這說明日本高等教育的入學考試跟機器的智力一樣膚淺。
索菲亞機器人算不上人工智能，只是一個完成度很高的塑料制品，并不比東京大學的“東大”更聰明。
如果有一家公司宣稱實現(xiàn)了人類智能，那不是騙子，就是傻子。
上述言論每一句都毫不留情，透著耿直的味道。他的推特，也早就成了AI圈吃瓜群眾的快樂源泉。
無論是批判人工智能無腦炒作，還是吐槽AI社區(qū)不夠開放是歷史倒退，亦或時不時發(fā)個思維小游戲逗樂自己，響應推特朋友圈上的AI joke，要么就給自己實驗室的工作打打廣告......只要逛逛他的推特，你就能看到一個立體的他。
作為一名知名學者，如此頻繁而直言不諱地評論公共事件，自然不是為了立人設(shè)，他只是發(fā)自內(nèi)心。不懼網(wǎng)絡(luò)罵戰(zhàn)的他，亦曾經(jīng)被偏激的網(wǎng)友群體氣的宣布推出推特。但不出數(shù)周，我們又再次刷到他的推文更新。
而在這本300頁的新書中，你會發(fā)現(xiàn)，推特上的Yann LeCun，也只是他的人格投影。
Yann LeCun
《浪潮之巔》作者吳軍如此評價他的性格：好學、廣博、特立獨行、執(zhí)著，這些個人特質(zhì)在他的自傳《科學之路》中展露無遺。
通過這本書，我們才感受到，在成為“AI網(wǎng)紅”之前，Yann LeCun默默地為深度學習堅持數(shù)十年所付出的艱辛。
“盡管深度學習近幾年一直是關(guān)注焦點，但熟悉深度學習歷史的人其實還是少數(shù)。”北京大學信息科學技術(shù)學院教授、智源研究院院長黃鐵軍說道。”讀完這本書后就會明白，深度學習的輝煌不是一夜造就的，任何一項技術(shù)在落地前，都需要經(jīng)歷漫長的積累過程。”
回首歷史：難以撼動的偏見之墻
在學界普遍不看好神經(jīng)網(wǎng)絡(luò)的時候，Yann LeCun聯(lián)合Geoffery Hinton、Yoshua Bengio，試圖讓人們認識到它的無限潛力。
但在這過程中，發(fā)論文首先就成為了一大阻力。包括ICML、CVPR、ICCV、NIPS（現(xiàn)名NeurIPS）等如今的AI頂級會議，當時均不歡迎深度學習論文。
幸好有CIFAR（加拿大高等研究院）對他們的支持，深度學習才開始在小小的講習班討論中逐步擴大它的影響力。Yann LeCun因此也對該研究院不吝溢美之詞，“CIFAR這個名字名副其實，就是'see far'的意思?！?/span>
在深度學習前后端（數(shù)據(jù)和算力）尚未成熟的年代里，人們自然更加傾向于SVM等傳統(tǒng)機器學習方法。但Yann LeCun不止一次抱怨，人們拒絕深度學習的理由，實在令人無法接受。“他們說這項技術(shù)太復雜了，除了Yann LeCun沒人能讓他發(fā)揮作用。這簡直就是胡說八道?！?/span>LeCun還回憶道，Hinton亦曾經(jīng)一度十分沮喪，感嘆道“今天是我40歲生日，我的職業(yè)生涯到頭了，什么也做不成了?！?/span>
后來，為了讓人們相信深度學習的應用潛力，Hinton甚至用了一些“小聰明”。他將三名博士生分別送到了當時語音識別技術(shù)最領(lǐng)先的三家企業(yè)——微軟、谷歌、IBM，并讓他們在原有語音識別系統(tǒng)的中央模塊中使用深度學習。自然，系統(tǒng)的性能得到了極大提升。一年半后，這三家公司都部署了新的基于深度學習的語音識別系統(tǒng)。
在Yann LeCun的直白敘述中，我們感受更多的是他和合作伙伴對深度學習的堅持，而不是深度學習的科學創(chuàng)新。比如，對于CNN和反向傳播算法的發(fā)明過程，Yann LeCun完全沒有含糊其辭。
Geoffery Hinton開發(fā)的反向傳播算法，是基于他的導師Dave Rumelhart的工作。他在Rumelhart開發(fā)的無法運行的程序雛形上做了改進，成功實現(xiàn)了反向傳播算法。
Yann LeCun向Hinton的合作者Terry Sejnowski介紹他的HLM方法時，Hinton也早就實現(xiàn)了反向傳播算法，并已經(jīng)開始著手應用研究。Sejnowski不久后告訴Hinton：“法國有個孩子在進行跟我們同樣的研究?！?/span>
Geoffrey Hinton（左）和Yann LeCun（右）
CNN的原型最初也是由日本科學家福島邦彥發(fā)明的，他根據(jù)貓的視覺系統(tǒng)方面的研究開發(fā)了一種視覺算法，其原理是：用一層簡單細胞檢測鋪滿圖像的小接收區(qū)域的簡潔模式，而下一層利用復雜細胞處理收集到的激活信息。
這其實和CNN的工作原理非常相似，但當時他的算法無法調(diào)整所有層級的參數(shù)。直到反向傳播算法的出現(xiàn)，這個問題才得以解決。
所以我們可以簡單得出，他們并不是發(fā)明深度學習的第一人嗎？但這種說法意義并不大，“人工智能目前為止只是一門技術(shù)和工程學科，算不上科學。”黃鐵軍說道，“技術(shù)的進步是一步一步累進的，由于參與進來的學者會很多，因此每個人的貢獻相對而言比較難以評估。比如飛機是法國人還是美國人發(fā)明的，歷史上其實有過爭論。”
而科學是從0到1的飛躍過程，其發(fā)現(xiàn)者的貢獻就比較容易判斷。比如物理學的牛頓定律和相對論，其誕生基本就是一夜之間的事情。
Yann LeCun還提到了不少學者做出了接近反向傳播算法的成果，但這些工作都被用于其他領(lǐng)域，比如控制或微分方程數(shù)值解等，卻從沒想過用到神經(jīng)網(wǎng)絡(luò)上。
“這三位學者對深度學習的貢獻在于，他們堅持了下來，打通了深度學習的所有技術(shù)鏈路，并對深度學習做了大量的增量改進，同時在合適的時間點，讓這一套技術(shù)發(fā)揮了很顯著的作用。從這個角度來看，他們獲得2018年圖靈獎，實至名歸?！秉S鐵軍表示。
Yoshua Bengio（左）、Geoffrey Hinton（中）、Yann LeCun（右）因?qū)ι疃葘W習的概念和工程突破方面的貢獻獲得2018年圖靈獎。
CIFAR的助推最終取得了效果，三位學者亦不顧各種阻撓，長年在NIPS上舉辦研討會。后來，深度學習文獻也得到了AI會議的承認。
在2011年，因GPU的算力極大提升，以及前期互聯(lián)網(wǎng)時代的數(shù)據(jù)積累，深度學習的革命開始啟動。
深度學習之道：從量變到質(zhì)變
人工智能作為一項工程技術(shù)，并不意味著比其他科學領(lǐng)域要低一階?！捌鋵嵑芏嘀卮罂萍歼M展，在從0~1的過程中，并不是在科學理論指導完成的，而是各種嘗試探索的一個結(jié)果?！?/span>
掀起本輪人工智能浪潮的深度神經(jīng)網(wǎng)絡(luò)只是少見的成功個案，不過黃鐵軍認為，這就是技術(shù)探索的常態(tài)。
Yann LeCun 也曾說道，“在科學技術(shù)發(fā)展史上，工程創(chuàng)新往往首先出現(xiàn)，比如望遠鏡、蒸汽機、數(shù)字通信；而解釋其功能和局限性的理論往往出現(xiàn)得較晚，比如折射定律、熱力學和信息理論。”
在很多應用上，深度學習都達到了以前未能實現(xiàn)的效果，比如圖像識別、機器翻譯等等，人們也得以在探索智能本質(zhì)的道路上更進一步。
深度學習一直被人詬病依賴大數(shù)據(jù)，但黃鐵軍不同意這個說法：“深度學習的脆弱性，根本原因還是數(shù)據(jù)不夠多?！?/span>從生物進化百萬年時間尺度來看，人類經(jīng)歷了大量的“環(huán)境數(shù)據(jù)”訓練，并通過繁殖和遺傳讓這個訓練過程得以持續(xù)進行，最后才有了現(xiàn)代的智能人類大腦。人出生時，已經(jīng)具備適應地球環(huán)境的先驗神經(jīng)結(jié)構(gòu)，這正是數(shù)百萬年的數(shù)據(jù)沉淀。
“環(huán)境才是智能的真正來源，不同環(huán)境孕育不同智能。人們往往把今天人工智能系統(tǒng)的成功歸結(jié)為三個要素：大數(shù)據(jù)+大算力+強算法，數(shù)據(jù)就是環(huán)境的一種表現(xiàn)形式，是根本要素，另外兩個要素主要影響效率。”
“所謂小數(shù)據(jù)方法，是以大數(shù)據(jù)‘預訓練’為前提的?！?/span>預訓練模型是這兩年人工智能的重點突破，目前還有很大的應用潛力。”只要有數(shù)據(jù)的地方，預訓練模型就可以發(fā)揮作用。這條路線在未來幾年都不會遇到瓶頸，并且也會持續(xù)帶來新的發(fā)現(xiàn)?！?/span>
Yann LeCun也在書中強調(diào)了一點，人類的信息處理能力并沒有跟上信息時代數(shù)據(jù)增長的速度，深度學習將會是人類很好的輔助幫手。
而且，人們或許過于相信人類智能相對于機器的優(yōu)越性了。不同算法擁有不同的先驗，擅長任務(wù)也不同。人和機器也一樣，即便在感知方面，人也不一定比機器強。
盡管人很擅長識別人臉，但黃鐵軍告訴我們，“ 人的人臉識別能力上限一般來說是1000個人臉左右，大約在數(shù)百到兩千之間，再增加就會覺得容易撞臉。”而如今，一個人臉識別系統(tǒng)可以準確識別幾百萬人乃至數(shù)千萬人?！斑@就好比計算機擅長邏輯推理，人類擅長類比和模擬，基本原因是其基礎(chǔ)結(jié)構(gòu)不同?！?/span>
另一方面，人們經(jīng)常將大腦和AI的能耗對比作為評判AI不足的依據(jù)，比如為了實現(xiàn)和人腦一樣的能力，計算機的能量消耗將是人腦的100萬倍。然而，這背后也要考慮到，人類經(jīng)過了進化過程的長期訓練，才得以獲得如今的能力。在解決和先驗不適應的任務(wù)時，耗費的計算量就會更大。而對于我們需要什么樣的先驗這個問題上，我們或許不能局限于人類本身，畢竟現(xiàn)實世界還存在那么多“反人類”的枯燥工作。
電影《黑客帝國》劇照
在算法層面上，Yann LeCun也相信量變會帶來質(zhì)變。果蠅擁有25萬個神經(jīng)元、1000萬個突觸，人類擁有860億個神經(jīng)元、150萬億個突觸，而相應地，這兩個物種的智力差異也是巨大的。Yann LeCun認為，通過修改由簡單的單元構(gòu)成的網(wǎng)絡(luò)中的連接，就能產(chǎn)生智能行為。
什么是智能？
Yann LeCun堅信，人腦就是可以計算的機器，可以通過電子機器或計算機進行再現(xiàn)，而機器學習將完成這個使命。
他將學習或者智能定義為：學習就是逐步減少系統(tǒng)誤差的過程，機器學習就是機器進行嘗試、犯錯以及自我調(diào)整等操作。
但黃鐵軍認為，這個定義還是比較片面，“機器的定義過于寬泛，沒有深入到主體?！币虼?，他將智能定義為：智能是系統(tǒng)通過獲取和加工信息而獲得的能力。智能系統(tǒng)的重要特征是能夠從無序到有序（熵減）、從簡單到復雜演化（進化）。
這個定義強調(diào)了主體的存在，也就是說，智能要先回答“我是什么樣的”，再回答“我怎么學”。而Yann LeCun對此強調(diào)不足，“只是在機器學習的范圍內(nèi)定義?！?/span>
在關(guān)于大數(shù)據(jù)和先驗的討論中，兩位學者都非常注重前者，以及量變到質(zhì)變的哲學規(guī)律。但同時，對于智能的理論邊界，他們似乎有著不同的認識，黃鐵軍在這里重新審視了”先驗“的意義。
Yann LeCun將目光聚焦于算法，認為只要集中精力深耕機器學習，就可以實現(xiàn)通用人工智能。黃鐵軍則表示，智能是一個多層次的結(jié)構(gòu)，不僅僅要關(guān)注算法，還要關(guān)注底層硬件基礎(chǔ)，這才是我們要關(guān)注的“主體”和“先驗”。
電影《攻殼機動隊》劇照
圖靈機能模擬世界嗎？
世界模型
認識論學家卡爾·波普爾提出，要以預測的能力而不是解釋現(xiàn)有觀察的能力來定義理論的質(zhì)量。
Yann LeCun對此也深以為然，因為解釋現(xiàn)有觀察的理論只是提供了一個理解框架，如果不能用于預測，終究只是偽科學。
因此，基于預測的自監(jiān)督學習范式，成為了Yann LeCun近幾年一直追求的目標。自監(jiān)督的基本范式其實就是，基于現(xiàn)有的數(shù)據(jù)在時間和空間上進行劃分，并進行輸入和輸出的關(guān)聯(lián)。
在時間上，我們可以根據(jù)過去、現(xiàn)在來預測未來，比如視頻幀預測；根據(jù)現(xiàn)在來預測過去，比如追尋事件因果；根據(jù)當前時刻數(shù)據(jù)，根據(jù)部分數(shù)據(jù)預測另一部分數(shù)據(jù)，比如圖像補全。
這種學習方式和人類觀察世界的方式非常相似，并且無需花費大量成本進行數(shù)據(jù)標注。
而強調(diào)自監(jiān)督學習只是表面，Yann LeCun更多地是基于對這種觀察方式的理解。他認為人類通過觀察世界在大腦中建立了世界模型，從而能夠更好地執(zhí)行預測。
世界模型在深度學習中的體現(xiàn)，或許存在于預訓練模型的表征空間中，只是這個表征空間仍然非常復雜，難以提取出可理解的語義。
在世界模型的概念基礎(chǔ)上，Yann LeCun提出了完整的智能框架：一個感知模塊，一個世界模型，一個評判體系。
感知模塊從外部世界獲取數(shù)據(jù)，并根據(jù)任務(wù)類型，通過評判體系，將注意力集中到外部世界的重要部分，來構(gòu)建內(nèi)部的世界表征，也就是世界模型。而世界模型的最終目的，還是為了更好地完成任務(wù)。在獲取外部世界數(shù)據(jù)時，智能體也需要規(guī)劃自己的探索路徑，使得這個過程更加有效率。反過來，世界模型的存在，也使得智能體的探索不至于盲目。
可以說，在這個框架內(nèi)，世界模型是核心，智能的形成是世界模型不斷和外部世界交互迭代的過程。世界模型既是訓練得到的，也可以作為先驗去限制智能體的搜索空間。“無模型強化學習算法沒有世界模型，因此必須嘗試所有的做法。”
Yann LeCun甚至認為，如果世界模型可以完整表征外部世界，就可以脫離外部世界，獨立地在表征空間中進行腦內(nèi)模擬，“比如，我們可以只靠世界模型來訓練自動駕駛算法?！?/span>
但黃鐵軍則認為，這個世界模型不可能是完整的，其中必然存在無法被表征的外部世界現(xiàn)象。
圖靈可計算性
底層硬件往往決定了算法的絕對潛力，比如人們期待量子計算的變革性力量，就在于它相對于經(jīng)典計算機的絕對優(yōu)勢。
“腦科學至少可分為神經(jīng)科學和認知科學兩個層次，人工智能也至少應該分為功能和結(jié)構(gòu)兩個層次?！睂Ρ萗ann LeCun提出的智能框架，其缺少對基礎(chǔ)結(jié)構(gòu)層次的關(guān)注。也就是說，他提出的智能概念，不僅應該包含自監(jiān)督學習和認知智能，還應該包括實現(xiàn)載體，而他可能已經(jīng)假設(shè)是圖靈計算機。
“我們不能只重視學習方法，而不重視執(zhí)行學習的結(jié)構(gòu)，兩者結(jié)合才是完整的智能系統(tǒng)?！焙芏嗳藳]有考慮到的層面，就在于圖靈計算機的極限。“人們現(xiàn)在有把計算的概念過度泛化的傾向，忘記了圖靈當初定義可計算性的時候提出的基本概念。”圖靈機可以解決無數(shù)個問題，但無窮大實際上也存在級別差異。
在集合論中，存在關(guān)于無窮大的分類。自然數(shù)的數(shù)量是無窮多個，但它是可數(shù)的，數(shù)量記為阿列夫零；實數(shù)數(shù)量也是無窮大的，但不可數(shù)，記為阿列夫一。
其中可數(shù)的意思是，對于自然數(shù)集合，我們可以按照順序依次列出它們，并在無窮的迭代中窮盡它們，這是數(shù)學歸納法可信的基礎(chǔ)。但對于實數(shù)集合，我們做不到這一點，所以實數(shù)集合是不可數(shù)的。
現(xiàn)代計算機都基于圖靈機概念，而圖靈機只能處理可計算數(shù)，不能處理不可計算數(shù)?？捎嬎銛?shù)和不可計算數(shù)構(gòu)成了所有實數(shù)，而其對應數(shù)量亦分別等于阿列夫零和阿列夫一。阿列夫零相對于阿列夫一的大小，是無窮小。所以，可計算數(shù)與不可計算數(shù)的數(shù)量相比，是無窮小。基于這個對比，不難體會到圖靈計算機的局限性。
這些不可計算數(shù)，可能對應于一些非線性的混沌現(xiàn)象，“有些混沌現(xiàn)象用圖靈計算機是無法真正模擬出來的。而這可能正是涌現(xiàn)等智能現(xiàn)象的基礎(chǔ)?！?/span>黃鐵軍強調(diào)。
另外，人腦神經(jīng)元在做信號處理的時候，也不是簡單的有和無兩個狀態(tài)，而是存在非線性的變換過程。“所以，以晶體管為基礎(chǔ)的，或以開關(guān)電路理論為基礎(chǔ)的圖靈計算系統(tǒng)所構(gòu)建的機器智能，和人類的智能系統(tǒng)之間，是有絕對邊界的。”
而在超越圖靈可計算性的機器上實現(xiàn)的機器學習，或許也能帶來完全不同的智能表現(xiàn)。
畢竟，圖靈機原本就源于人類智能的抽象，要突破這個抽象，我們還要更加深入挖掘人腦工作的基本原理。
哲學問題
歸根結(jié)底，兩位學者的觀點并不存在絕對的沖突，只是關(guān)注的層面不同。智能的定義，無論在機器還是人類的層面，在當前的技術(shù)發(fā)展階段，則依然是個尚未解決的哲學問題。
且讓我們深入《科學之路》這本書，去體會深度學習歷史進程的每個細節(jié)，在大腦的世界模型中去和Yann LeCun面對面辯論。或許，對于“智能是什么”這個問題，你也能得出自己的初步答案。
“在這本書中，Yann LeCun站在自己的角度，將深度學習發(fā)展歷史的來龍去脈梳理得非常清晰和系統(tǒng)?！秉S鐵軍說道。
“他還很努力地用非常通俗的語言來講述深度學習的基本原理，對于非專業(yè)或者剛接觸人工智能的同學們來說，是非常合適的入門書籍?！?/span>
贈書福利
AI科技評論本次聯(lián)合中信出版社為大家?guī)?strong>5本人工智能先驅(qū)、圖靈獎得主Yann LeCun教授的自傳《科學之路》正版新書。
在本文（僅限AI科技評論微信公眾號端）留言區(qū)留言，歡迎大家暢所欲言，談一談你對本書的看法和期待。在綜合留言質(zhì)量（留言是敷衍還是走心）和留言點贊最高（注：點贊最高的前5不意味著一定會中獎）的讀者中選出5位讀者獲得贈書。獲得贈書的讀者請聯(lián)系 AI 科技評論客服（aitechreview）。
留言內(nèi)容會有篩選，例如“選我上去”、“這書寫的很棒（僅僅幾個字）”等內(nèi)容將不會被篩選，亦不會中獎。
留言送書活動時間為2021年8月29日 - 2021年9月02日（23:00），活動推送時間內(nèi)僅允許贈書福利中獎一次。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
