0
| 本文作者： 楊曉凡 | 2020-01-18 10:18 |
雷鋒網(wǎng) AI 科技評(píng)論按：2019 年底、2020 年初，許多機(jī)器學(xué)習(xí)界活躍的教授、研究員們投身參與了一場(chǎng)的突如其來(lái)的討論：深度學(xué)習(xí)是什么？
在過(guò)去十年洶涌而來(lái)的深度學(xué)習(xí)浪潮中，大家對(duì)深度學(xué)習(xí)在應(yīng)用中體現(xiàn)出的各種特點(diǎn)已經(jīng)非常熟悉了，但畢竟深度學(xué)習(xí)的理論仍未建立完善。更重要的是，大家已經(jīng)意識(shí)到了深度學(xué)習(xí)的種種限制，那么想要破除限制、實(shí)現(xiàn)更高級(jí)的智慧時(shí)，就免不了需要思考，是「繼續(xù)改進(jìn)深度學(xué)習(xí)就可以達(dá)到目標(biāo)」，還是「我們需要在深度學(xué)習(xí)之外另起爐灶」，這里也就引出了那個(gè)看似簡(jiǎn)單，但大家尚未達(dá)成共識(shí)的問(wèn)題「深度學(xué)習(xí)是什么？」
不少學(xué)者最近都參與了這個(gè)討論，雷鋒網(wǎng) AI 科技評(píng)論帶大家回顧一下各方觀點(diǎn)。
Keras作者、谷歌大腦高級(jí)研究員 Fran?ois Chollet 最先給出了自己的觀點(diǎn)：
什么是深度學(xué)習(xí)？在 2019 年這個(gè)時(shí)間點(diǎn)，大家經(jīng)常用到的那種深度學(xué)習(xí)定義大概是這樣的：「它由一連串可微分的參數(shù)化的層組成，而且是用反向傳播算法端到端地訓(xùn)練的」。不過(guò)這個(gè)說(shuō)法在我看來(lái)太過(guò)狹隘了，它最多是「我們現(xiàn)在做的深度學(xué)習(xí)」的描述，而不是對(duì)深度學(xué)習(xí)本身的定義。
比如說(shuō)，如果你有一個(gè)卷積網(wǎng)絡(luò)模型，然后你用 ADMM 訓(xùn)練它的權(quán)重，它就不是深度學(xué)習(xí)了嗎？一個(gè)自己學(xué)習(xí)特征的 HMAX 模型就不是深度學(xué)習(xí)了嗎？甚至于，用貪婪算法逐層訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)就不是深度學(xué)習(xí)了嗎？要我說(shuō)的話，它們都是深度學(xué)習(xí)。
深度學(xué)習(xí)應(yīng)該指的是一種表征學(xué)習(xí)方法，其中的模型是由一連串的模塊組成的（一般都會(huì)堆成一個(gè)多層的或者金字塔形的模型，這也就是「深度」的由來(lái)），而其中的每一個(gè)模塊分別拿出來(lái)訓(xùn)練之后都可以作為獨(dú)立的特征提取器。我在我自己的書(shū)里也就是這么定義的。
通過(guò)這樣的定義，我們也就能明確深度學(xué)習(xí)不是下面這樣的模型：
不學(xué)習(xí)表征的模型，比如 SIFT 之類(lèi)的人工特征工程，符號(hào) AI，等等
淺層學(xué)習(xí)，只有一層特征提取器的模型
深度學(xué)習(xí)的定義里不需要指定固定的某種學(xué)習(xí)機(jī)制（比如反向傳播），也不需要指定固定的使用方式（比如監(jiān)督學(xué)習(xí)還是強(qiáng)化學(xué)習(xí)），而且也不是一定要做聯(lián)合的端到端學(xué)習(xí)（和貪婪學(xué)習(xí)相反）。這才是深度學(xué)習(xí)「是什么」的本質(zhì)屬性、根本結(jié)構(gòu)。這之外的描述僅僅是「我們是如何做深度學(xué)習(xí)的」。
清晰的定義也就劃分出了明確的邊界，有的東西是深度學(xué)習(xí)，有的東西不是。2019 年隨處可見(jiàn)的這種深度神經(jīng)網(wǎng)絡(luò)自然是深度學(xué)習(xí)，而用演化策略 ES、ADMM、虛擬梯度之類(lèi)的反向傳播替代方案訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)當(dāng)然也是深度學(xué)習(xí)。
基因編程就不是深度學(xué)習(xí)，快速排序不是深度學(xué)習(xí)，SVM 也不是。單獨(dú)一個(gè)全連接層不是深度學(xué)習(xí)，但很多個(gè)全連接層堆在一起就是；K-means 算法不是深度學(xué)習(xí)，但把許多個(gè) K-means 特征提取器堆疊起來(lái)就是。甚至我自己在 2011 到 2012 年間，收集視頻數(shù)據(jù)的位置的成對(duì)的共同信息矩陣，然后把矩陣分解堆疊在上面，也是深度學(xué)習(xí)。
一般的人類(lèi)軟件工程師用語(yǔ)言寫(xiě)出的程序不是深度學(xué)習(xí)，給這些程序加上參數(shù)、能自動(dòng)學(xué)習(xí)幾個(gè)常量，也仍然不是深度學(xué)習(xí)。一定要用成串連起來(lái)的特征提取器做表征學(xué)習(xí)，這才是深度學(xué)習(xí)。它的本質(zhì)在于通過(guò)深度層次化的特征來(lái)描述輸入數(shù)據(jù)，而這些特征都是從數(shù)據(jù)里學(xué)習(xí)到的。
根據(jù)定義也能看出來(lái)，深度學(xué)習(xí)是一種逐步完善的、一點(diǎn)點(diǎn)優(yōu)化的從數(shù)據(jù)中提取表征的方法。以深度學(xué)習(xí)現(xiàn)在的形式來(lái)看，它至少是 C1 連續(xù)的（甚至到無(wú)限階都是連續(xù)的）。這一條可能不那么關(guān)鍵，但「逐步優(yōu)化」的這一條也是深度學(xué)習(xí)的固有屬性。
所以深度學(xué)習(xí)和以往的符號(hào)運(yùn)算 AI、常規(guī)編程都完全不同，它的基礎(chǔ)結(jié)構(gòu)就是離散的、以數(shù)據(jù)流為核心的，而且通常也不需要任何中間層的數(shù)據(jù)表征。
想用深度學(xué)習(xí)做符號(hào)運(yùn)算也不是不可能，但需要引入很多額外的步驟?？稍捰终f(shuō)回來(lái)，深度學(xué)習(xí)模型也就只能囊括所有程序中的很小很小的一部分而已，沒(méi)必要做什么都要用深度學(xué)習(xí)。
還可以再拓展一個(gè)問(wèn)題：大腦是「深度學(xué)習(xí)」嗎？我認(rèn)可的只有這一種答案：大腦是一個(gè)復(fù)雜得難以想象的東西，它把許許多多結(jié)構(gòu)不同的東西包括在內(nèi)，而我們對(duì)大腦的了解還太少；大腦是不是深度學(xué)習(xí)，我們還給不出確定的答案。我有一個(gè)直覺(jué)是，大腦總體來(lái)說(shuō)不是深度學(xué)習(xí)，不過(guò)其中的某一些子模塊可以用深度學(xué)習(xí)來(lái)描述，或者是部分符合深度學(xué)習(xí)的，比如視覺(jué)皮層就有深度層次化的特征表征，即便這些表征不都是學(xué)習(xí)得到的；視覺(jué)皮層也是深度學(xué)習(xí)的研究中重要的靈感來(lái)源。
我可以再補(bǔ)充一句，如果用樹(shù)形結(jié)構(gòu)來(lái)比喻的話，我們對(duì)現(xiàn)代的深度學(xué)習(xí)的理解和使用，主要還停留在早些時(shí)候發(fā)展的「現(xiàn)代機(jī)器學(xué)習(xí)」的這一枝上，和神經(jīng)科學(xué)之間沒(méi)多大關(guān)系。神經(jīng)科學(xué)帶來(lái)的影響主要在于高層次的新觀念啟發(fā)，而不是直接的模仿借鑒。
在另一條故事線上，深度學(xué)習(xí)三駕馬車(chē)之一的 Yoshua Bengio 和「一直以來(lái)的深度學(xué)習(xí)黑粉」 Gary Marcus 的年度拌嘴留下了一個(gè)經(jīng)典問(wèn)題：「深度學(xué)習(xí)是否已經(jīng)足夠了？」（"Is DL enough?"）這也再次引出了「深度學(xué)習(xí)到底是什么」的討論。2011 年圖靈獎(jiǎng)得主、貝葉斯網(wǎng)絡(luò)之父 Judea Pearl 就表示「因?yàn)樯疃葘W(xué)習(xí)沒(méi)有清晰的定義，所以我沒(méi)辦法回答深度學(xué)習(xí)是不是已經(jīng)足夠了」。
有一種據(jù)說(shuō)來(lái)自 Yann LeCun 的定義是這樣的：深度學(xué)習(xí)是一種方法論，是把多個(gè)參數(shù)化的模塊組合成圖（可以是動(dòng)態(tài)圖），構(gòu)成模型，然后用基于梯度的方法優(yōu)化它。LeCun 本人表示，如果這么定義深度學(xué)習(xí)的話，那深度學(xué)習(xí)還遠(yuǎn)遠(yuǎn)不足以解決目前已經(jīng)遇到的問(wèn)題，因?yàn)檫@個(gè)定義下的模型架構(gòu)、優(yōu)化目標(biāo)、優(yōu)化方法都有了具體的限制。
討論中也有人提出，如果直接給出深度學(xué)習(xí)的定義有爭(zhēng)議，不如我們列一列都有什么東西不是深度學(xué)習(xí)？LeCun 給出的答案是：邏輯回歸、核方法、樸素貝葉斯、樹(shù)&森林、K-means、K-NN 都不是深度學(xué)習(xí)，因?yàn)樗鼈兌疾粚W(xué)習(xí)數(shù)據(jù)表征；此外，通過(guò) 0 階方法（非梯度）優(yōu)化的高度不可微分模型也不是深度學(xué)習(xí)，即便它們可以學(xué)習(xí)數(shù)據(jù)表征。
一兩天的討論之后，學(xué)者之間沒(méi)能立刻形成廣泛一致的共識(shí)。Judea Pearl 覺(jué)得有點(diǎn)失望，他自己做了這樣一個(gè)總結(jié)：
雖然我沒(méi)能看到什么好的定義，但是在「深度學(xué)習(xí)是什么」的討論里我的感受是，做深度學(xué)習(xí)的人們似乎都非常相信深度學(xué)習(xí)還有無(wú)限大的潛力，他們沉醉在這些程序、技巧、術(shù)語(yǔ)里無(wú)法自拔。我想起了我高中時(shí)候?qū)W代數(shù)學(xué)到第二周、第三周時(shí)候的樣子，我們也相信這些方法有無(wú)限的問(wèn)題解決能力。但老師告訴我們，如果兩個(gè)方程里有三個(gè)未知數(shù)，那你就解不出這個(gè)方程；聽(tīng)到這句話的時(shí)候我們不免會(huì)有一些失望，也感受到了自己的無(wú)知，但同時(shí)，這也讓我們避免在無(wú)解的方程上浪費(fèi)太多時(shí)間。只不過(guò)，朋友們，現(xiàn)在大家已經(jīng)都不是高中生了。
LeCun 在下面和他繼續(xù)討論了起來(lái)：
所以你這是不接受我的定義了？我的定義是，深度學(xué)習(xí)是一種方法論，是把多個(gè)參數(shù)化的模塊組合成圖（可以是動(dòng)態(tài)圖），構(gòu)成模型，設(shè)置一個(gè)目標(biāo)函數(shù)，然后用某種基于梯度的方法優(yōu)化它。如果要夠「深」，那么這個(gè)圖就需要在從輸入到輸出的流程上有許多個(gè)非線性階段；這種深度也能讓模型學(xué)到內(nèi)部的表征。我的這個(gè)定義也沒(méi)有指定具體的學(xué)習(xí)范式（有監(jiān)督、無(wú)監(jiān)督、強(qiáng)化學(xué)習(xí)），甚至連結(jié)構(gòu)、目標(biāo)也都不是定死的。
Judea Pearl 沒(méi)有繼續(xù)參與這個(gè)討論，不過(guò)，對(duì)比 Fran?ois Chollet 和 Yann LeCun 給出的答案，不難看出他們的大部分意見(jiàn)是一致的，只不過(guò) LeCun 認(rèn)為基于梯度的優(yōu)化方法也是深度學(xué)習(xí)的一部分，而 Chollet 認(rèn)為不用基于梯度的方法也可以 —— Chollet 定義下的深度學(xué)習(xí)就要更寬一些。
那么回到前面那個(gè)問(wèn)題，即便認(rèn)可 Chollet 的更寬一些的深度學(xué)習(xí)的定義，那么深度學(xué)習(xí)就夠了嗎？按照他的態(tài)度來(lái)說(shuō)，也不夠；我們有那么多種各式各樣的方法，不需要死守深度學(xué)習(xí)不放。即便只是今天的已經(jīng)能用深度學(xué)習(xí)的問(wèn)題，也不是時(shí)時(shí)刻刻都需要用一個(gè)基于深度學(xué)習(xí)的解決方案。
不過(guò)站在今天的深度學(xué)習(xí)的視角來(lái)看，一些經(jīng)典方法看起來(lái)也變得有趣了。深度學(xué)習(xí)研究員、Fast.ai 創(chuàng)始人 Jeremy Howard 也參與了深度學(xué)習(xí)邊界的討論，他說(shuō)邏輯回歸現(xiàn)在看起來(lái)就像深度學(xué)習(xí)，它是一個(gè)一層深度的、參數(shù)化的函數(shù)模塊，可以在數(shù)據(jù)樣本上用基于梯度的方法訓(xùn)練。甚至，以他自己的感受來(lái)說(shuō)，把 SVM 看作用 Hinge Loss 損失函數(shù)和 L1 正則化的神經(jīng)網(wǎng)絡(luò)要好學(xué)、好教得多。
LeCun 也表示贊同：「一個(gè) SVM 就是一個(gè)兩層的神經(jīng)網(wǎng)絡(luò)，其中，第一層的每一個(gè)神經(jīng)元都會(huì)通過(guò)核函數(shù)把輸入和某個(gè)訓(xùn)練樣本做對(duì)比（所以其實(shí)第一層是一種無(wú)監(jiān)督學(xué)習(xí)的平凡形式：記憶），然后第二層會(huì)計(jì)算這些輸出的（經(jīng)過(guò)訓(xùn)練后的）線性組合?！?/strong>
很多參與討論的網(wǎng)友都表示被這一條見(jiàn)解震驚了，其中有個(gè)人就說(shuō)「有一次工作面試的時(shí)候他們讓我實(shí)現(xiàn) SVM 然后用梯度下降訓(xùn)練它，我心想臥槽這不就是個(gè) Hinge Loss 的神經(jīng)網(wǎng)絡(luò)嗎。本來(lái)這也不算多大的事，但是突然意識(shí)到以后覺(jué)得真的很神奇?！?/p>
也有網(wǎng)友接著追問(wèn)：「可以不只有兩層吧？你可以用很多層學(xué)習(xí)一個(gè)核函數(shù)，然后用最后一層計(jì)算核方法的預(yù)測(cè)規(guī)則。只要你施加一些規(guī)則，保證這個(gè)核是 Mercer 核，網(wǎng)絡(luò)中起到核的作用的層的數(shù)量就可以不受限制」。LeCun 回答：「核函數(shù)可以任意復(fù)雜。但如果核函數(shù)是學(xué)習(xí)得到的，那這就已經(jīng)是深度學(xué)習(xí)了…… 其實(shí)這就是我們訓(xùn)練 Siamese 網(wǎng)絡(luò)，也就是度量學(xué)習(xí)（metric learning）的時(shí)候做的事情。這就像是訓(xùn)練一個(gè)相似度的核。最后只要你愿意的話，也可以在上面再增加一個(gè)線性層。」
文章結(jié)尾我想引用李飛飛高徒、特斯拉 AI 負(fù)責(zé)人 Andrej Karpathy 的一條推特作為結(jié)尾。
今天已經(jīng)有網(wǎng)友會(huì)在 Reddit 上提問(wèn)「想要用神經(jīng)網(wǎng)絡(luò)之外的方法做分類(lèi)任務(wù)，理論上有可能嗎？」但其實(shí)也就大概八年前你更容易看到的問(wèn)題是「想要用神經(jīng)網(wǎng)絡(luò)方法做分目標(biāo)識(shí)別，理論上有可能嗎？」這幾年的變化可真有意思。
我們樂(lè)于看到深度學(xué)習(xí)繼續(xù)發(fā)展，理論更加完善、應(yīng)用更加豐富、資源利用更加高效，但同時(shí)也希望更多研究人員和開(kāi)發(fā)者可以意識(shí)到，深度學(xué)習(xí)并不是那個(gè)唯一的、最終的解決方案。我們期待在 2020 年、在這個(gè)新十年里看到更高級(jí)的、補(bǔ)充深度學(xué)習(xí)的不足的新方法。
雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
