0
| 本文作者： 我在思考中 | 2021-12-06 15:20 |
編輯 | 青暮
2021 年 10 月 13 日，來自麻省理工學院、加州大學伯克利分校、伊利諾伊大學香檳分校、華盛頓大學、帝國理工學院的六名頂級人工智能科學家、計算機視覺科學家在 ICCV 2021 大會期間進行了題為「A discussion about deep learning vs classical methods and their roles in computer vision」的學術(shù)討論。
參與討論的嘉賓包括 Aude Oliva（MIT-IBM Watson 人工智能實驗室）、Svetlana Lazebnik（伊利諾伊大學香檳分校）、Jitendra Malik（加州大學伯克利分校）、Andrew Davison（帝國理工大學）、Richard Szeliski（華盛頓大學）、Alexei Efros（加州大學伯克利分校）。
Richard Szeliski 首先拋磚引玉，發(fā)表了題為「Deep vs Classical Methods」的簡短演講。Richard 提到，在設(shè)置人工智能專業(yè)課程時，一個廣為討論的話題是：我們是否應(yīng)該講授深度學習之前的傳統(tǒng)方法？還是直接通過深度學習解決所有的問題？
為此，Richard 在過去的四年中持續(xù)更新他的計算機視覺教科書（https://szeliski.org/Book）。相較于早先的版本，該書加入了信號處理、優(yōu)化技術(shù)等章節(jié)，這些知識經(jīng)常被用于計算機視覺的各個領(lǐng)域。在「Deep Learning」和「Recognition」兩個章節(jié)中，Richard 分別介紹了深度學習的基本原理（傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)），以及一些更加復(fù)雜的技術(shù)（例如，分割、目標檢測、視覺和語言）。
實際上，在華盛頓大學「計算機視覺」的課程安排中，老師們會首先介紹經(jīng)典的信號處理算法，接著介紹神經(jīng)網(wǎng)絡(luò)和深度學習。在此基礎(chǔ)上，老師們會進而講解一些經(jīng)典的技術(shù)和應(yīng)用（例如，3D 計算攝影、神經(jīng)渲染等）。
密歇根大學的計算機視覺課程 EECS 442 將期中的很大一部分內(nèi)容設(shè)置為深度學習相關(guān)的內(nèi)容，但在此之前也會介紹經(jīng)典的信號處理、特征提取技術(shù)。最后，教師會講解 3D 視覺和經(jīng)典計算機視覺的內(nèi)容。此外，這門課的任課教師 Justin Johnson 還專門針對神經(jīng)網(wǎng)絡(luò)開設(shè)了一門課程，更為詳細地介紹了循環(huán)神經(jīng)網(wǎng)絡(luò)、Transformer 等內(nèi)容。
盡管深度學習已經(jīng)成為了計算機視覺領(lǐng)域的主流方法，但是僅僅依靠深度學習技術(shù)是否能解決所有的計算機視覺問題呢？在論文「What Do Single-view 3D Reconstruction Networks Learn?」中，在基于 ShapeNet 進行 3D 重建時，網(wǎng)絡(luò)只是在識別對象的類別，然后細化形狀，并沒有很好地利用圖像的底層信息。
以視覺定位任務(wù)為例，一些基于深度學習的方法只是記住了圖片出現(xiàn)的場景，在定位時進行猜測。如果查詢并沒有沿著路徑，則回歸的結(jié)果可能始終會被引導到出發(fā)點。該過程中并沒有任何的 3D 推理，沒有利用 3D 幾何結(jié)構(gòu)。
另一方面，利用語義信息完成 3D 重建等任務(wù)也是一條很好的思路。論文「Joint 3D Scene Reconstruction and Class Segmentation」發(fā)表于 2013 年，那時是深度學習興起的早期階段。通過識別建筑和樹的部位，該方法可以更好地進行 3D 重建，這說明有時引入語義信息是十分有效的。
在單目深度估計任務(wù)中，我們往往在 KITTI 數(shù)據(jù)集或一些駕駛場景中進行訓練和測試。大多數(shù)的神經(jīng)網(wǎng)絡(luò)模型只是識別物體在圖像中的位置，然后為其賦予一個相應(yīng)的深度。如果我們將一個網(wǎng)絡(luò)沒見過的物體（例如，冰箱或狗）放在路的中間，神經(jīng)網(wǎng)絡(luò)可能會完全忽略掉該物體。在駕駛場景下使用這種神經(jīng)網(wǎng)絡(luò)模型的安全性值得商榷。
當我們可以用一個很大的數(shù)據(jù)集訓練時，神經(jīng)網(wǎng)絡(luò)往往可以表現(xiàn)出很好的性能。然而，如果我們在某個數(shù)據(jù)集上訓練網(wǎng)絡(luò)，該網(wǎng)絡(luò)在不被重新訓練的情況下會在另外的數(shù)據(jù)集上表現(xiàn)出怎樣的性能？
經(jīng)典方法（例如，光流法）和用于提取特征的神經(jīng)網(wǎng)絡(luò)技術(shù)可以很好地結(jié)合起來。因此，許多深度學習技術(shù)使傳統(tǒng)方法獲得了新生。論文「PWC-Net」的作者使用前饋神經(jīng)網(wǎng)絡(luò)代替了經(jīng)典的能量最小化方法，該模型運行速度更快，也更可靠。此外，在論文「Fast Image Processing with Fully-Convolutional Networks」中，作者使用全卷積網(wǎng)絡(luò)代替一系列經(jīng)典的計算攝影技術(shù)，加速了其運算過程。
在論文「Animating Picture with Eulerian Motion Fields」中，Richard 等人通過提取神經(jīng)網(wǎng)絡(luò)特征，接著將這些特征解碼為彩色像素來合成圖像。
在 Richard 看來，從事 CV 研究的學生和工程師不僅僅要會使用深度學習方法，也要學習其它類型的 CV 技術(shù)。如果我們可以從數(shù)學上對幾何、光學、物理等性質(zhì)建模，就要大膽地使用這些方法，它們的性能和泛化能力更強。尤其是當我們擁有的數(shù)據(jù)十分有限時，使用基于學習的方法就要特別小心。有時，神經(jīng)網(wǎng)絡(luò)及其特征提取過程相較于傳統(tǒng)方法更快。
Richard Szeliski 是華盛頓大學的兼職教授、美國國家工程院院士、ACM Fellow和 IEEE Fellow。Szeliski 在計算機視覺、基于圖像的建模、基于圖像的渲染和計算攝影的貝葉斯方法領(lǐng)域進行了開創(chuàng)性的研究，這些領(lǐng)域處于計算機視覺和計算機圖形的交叉點。
Szeliski 1988 年獲得卡內(nèi)基梅隆大學計算機科學博士學位。他于 2015 年加入 Facebook，擔任計算攝影小組的創(chuàng)始董事，并于 2020 年退休。在加入 Facebook 之前，他在微軟研究院以及其他幾個工業(yè)研究實驗室工作了二十年 。
他在計算機視覺、計算機圖形學、神經(jīng)網(wǎng)絡(luò)和數(shù)值分析方面發(fā)表了 180 多篇研究論文，并撰寫了《計算機視覺：算法與應(yīng)用》和《低級視覺不確定性的貝葉斯建?！?。他是 CVPR'2013 和 ICCV'2003 的程序主席，曾擔任 IEEE Transactions on Pattern Analysis and Machine Intelligence 和 International Journal of Computer Vision 編委的副主編，以及Foundations and Trends in Computer Graphics and Vision的創(chuàng)始編輯。
計算機視覺是「數(shù)學」、「科學」、「工程」的結(jié)合。許多論文將這些元素融合在了一起。
David Marr 最重要的觀點是將視覺作為一種科學來思考。上世紀 70 年代末期，他指出我們應(yīng)該從三個層次理解計算機視覺任務(wù)：（1）計算理論：底層的物理約束（2）算法（3）硬件上的算法實現(xiàn)。實際上，早在上世紀 50、60 年代，1973 年的諾貝爾生理和醫(yī)學獎得主、生物學家廷伯根就做了一系列工作，有助于我們在如今思考基于學習的計算機視覺和傳統(tǒng)方法之間的關(guān)系。
簡而言之，廷伯根最為著名的貢獻是圍繞動物展現(xiàn)出特定行為的方式和原因提出了四個基本問題：（1）行為的動因和機理（2）行為隨年齡、經(jīng)驗、環(huán)境的發(fā)展（3）進化對行為的影響（4）行為對生存的作用。
試想一下，人類視覺系統(tǒng)如何感受到「深度」？
從機理層面上來說，神經(jīng)網(wǎng)絡(luò)中存在視網(wǎng)膜、感光神經(jīng)元等組件，它們會產(chǎn)生多層計算。我們看到的兩幅（雙目）圖的差別讓我們可以感受到「深度」。
從行為發(fā)展（發(fā)育）的角度來說，嬰兒初生之時，其感官系統(tǒng)并不能很好地工作，隨著時間的遷移，孩子會學會一些技能，學會觀察物體的運動。那么，在現(xiàn)實世界中，我們應(yīng)該如何訓練這樣的神經(jīng)網(wǎng)絡(luò)？
以上兩個問題與行為的方式（How）有關(guān)，但是我們還需要回答關(guān)于「Why」的問題，探究人類為什么會發(fā)展出這樣的行為。從生物進化的角度來說，發(fā)展出雙目系統(tǒng)的捕食者可以捕獲只有一側(cè)有眼睛的獵物。從功能的角度來說，這些行為對物種的生存是有益的。
從計算機視覺的角度來看，我們需要思考如何構(gòu)建某種神經(jīng)架構(gòu)來捕獲這些信息，還需要考慮究竟是使用監(jiān)督學習、無監(jiān)督學習，還是自監(jiān)督學習來完成該任務(wù)。上述這些問題是互補的。
在 Jitendra 看來，我們可以通過訓練一個大型的神經(jīng)網(wǎng)絡(luò)來獲得工程應(yīng)用所需要的能力。但是其背后的原理需要通過光學和自然世界中的統(tǒng)計結(jié)果來解釋。這有助于我們應(yīng)對計算機視覺領(lǐng)域發(fā)生的巨大變化。如今，我們正處于從監(jiān)督學習范式轉(zhuǎn)向自監(jiān)督學習、弱監(jiān)督學習等范式的過程中。
此外，我們正處于大數(shù)據(jù)的「陷阱」中。未來，監(jiān)督信號將從「人工」走向「自然」，我們使用的「大數(shù)據(jù)」在更多情況下將轉(zhuǎn)變?yōu)椤感?shù)據(jù)」。因此，少樣本學習是十分重要的，而這就要求我們設(shè)計更多新的網(wǎng)絡(luò)架構(gòu)。
溫故而知新，了解智能學科的發(fā)展歷史有助于我們成為更好的研究者！
Jitendra Malik 1986 年 1 月加入加州大學伯克利分校，他目前是電氣工程和計算機科學系的 Arthur J. Chick 教授。他還是生物工程系、認知科學和視覺科學組的教員。2002-2004年任計算機科學系主任，2004-2006年和2016-2017年任EECS系主任。2018 年和 2019 年，他在 Menlo Park 擔任 Facebook AI Research 的研究總監(jiān)和站點負責人。
Malik 教授的研究小組致力于計算機視覺、人類視覺計算建模、計算機圖形學和生物圖像分析等許多不同的主題。
他于 1980 年獲得 IIT Kanpur 電氣工程最佳畢業(yè)生金獎，并于 1989 年獲得總統(tǒng)青年研究員獎。他的論文獲得了無數(shù)最佳論文獎，其中包括五項時間檢驗獎 - 因在 CVPR 發(fā)表的論文而獲得的 Longuet-Higgins 獎（兩次）和在ICCV發(fā)表的論文而獲得的 Helmholtz 獎（3次）。他獲得了 2013 年 IEEE PAMI-TC 計算機視覺杰出研究員獎，2014 年 K.S.國際模式識別協(xié)會傅獎、2016年ACM-AAAI艾倫紐厄爾獎、2018年IJCAI人工智能卓越研究獎、2019年IEEE計算機學會計算機先鋒獎。他是 IEEE Fellow和 ACM Fellow 。他是美國國家工程院院士和美國國家科學院院士，美國藝術(shù)與科學院院士。
Q1：這十年來，從經(jīng)典方法到深度學習方法的轉(zhuǎn)變是如何發(fā)生的？請問 Svetlana，在你的研究過程中，這一過程是自頂向下的，還是自底向上的？也就是說，導師們發(fā)現(xiàn)了深度學習的強大，并將其介紹給了學生們；還是學生們將這一技術(shù)推薦給了導師？
Svetlana：我的經(jīng)歷也許與許多研究者相似。我記得「Alexnet」是深度學習時代到來的重要里程碑，它在 ImageNet 競賽中一舉奪冠，并在 ECCV 2012 上發(fā)表了研究論文。Alexei 當時還和 Yann LeCun 等人就此事進行了爭論，Alexei 對神經(jīng)網(wǎng)絡(luò)持懷疑態(tài)度，他認為用這些網(wǎng)絡(luò)進行分類任務(wù)并不具有說服力，使用神經(jīng)網(wǎng)絡(luò)完成檢測任務(wù)才可以說服他。就我個人而言，一開始我也懷疑自己是否能夠參與這類研究，因為這些方法就好像魔法，其中有太多的奧秘。我不知道這些結(jié)果是否可以復(fù)現(xiàn)，是否會被研究社區(qū)所接受。
令人高興的是，這些年過去了，我的懷疑被證明是錯誤的。人們發(fā)明了 Caffe 等好用的程序包，2013、2014 年前后，學生們開始研究此類方法，那時你甚至只需為自己的特定數(shù)據(jù)集訓練一個 Alexnet 或者使用現(xiàn)成的特征就可以發(fā)表研究論文。而如今，研究走進了深水區(qū)，競爭越來越激烈，我又變得悲觀了起來。
Svetlana Lazebnik 在2006 年獲得伊利諾伊大學計算機科學博士學位。2007 年至 2011 年在北卡羅來納大學教堂山分校擔任助理教授后，她返回伊利諾伊大學任教，目前擔任計算機科學系正教授。她獲得的獎項包括 NSF CAREER 獎（2008 年）、微軟研究院研究獎（2009 年）、斯隆研究獎（2013 年），并當選 IEEE Fellow（2021 年）。她于2006年發(fā)表在 CVPR 的關(guān)于空間金字塔匹配的論文獲得了 2016 年 Longuet-Higgins 獎，該論文對計算機視覺有重大影響。她曾擔任 ECCV 2012 和 ICCV 2019 的程序主席，目前擔任國際計算機視覺雜志的主編。她的主要研究主題包括場景理解、大規(guī)模照片集的建模、圖像和文本的聯(lián)合表示以及視覺識別問題的深度學習技術(shù)。
Q2：Lana 提到了當年 Alexei 和 Yann 爭論的軼事，請問 Alexei 現(xiàn)在回過頭怎么看待當時的爭論？
Alexei：
2011 年前后，我曾去紐約大學呆了幾個月，在 Yann LeCun 那里試圖理解神經(jīng)網(wǎng)絡(luò)。那時，我認為人們還沒有準備好步入深度學習時代，神經(jīng)網(wǎng)絡(luò)在 ImageNet 上的效果并不能說服我，我認為分類任務(wù)比檢測任務(wù)簡單得多。然而，大概一年之后，RCNN 橫空出世，他們證明了深度學習在檢測任務(wù)上也是可行的。
我是一個非常保守的研究者，不會輕易投身于所謂的研究潮流（例如，圖模型、VAE 等）中。盡管我和 Jitendra 等人做了很多與深度學習的誕生相關(guān)的關(guān)鍵工作，但是我那時沒有立刻開展深度學習研究。我一直在等待深度學習成為一種工具，我所擅長的是解決視覺問題，而非研究網(wǎng)絡(luò)架構(gòu)。
后來，我和同事們聽說神經(jīng)網(wǎng)絡(luò)受益于 ImageNet 預(yù)訓練，在 Pascal 數(shù)據(jù)集上有很好的效果。然而，Pascal 數(shù)據(jù)集中的數(shù)據(jù)分布與 ImageNet 是截然不同的。因此，我猜想預(yù)訓練所帶來的性能提升可能并不是由于 ImageNet 的標簽，而是由于像素中的信息。
那時，我對 Jitendra 說 1 年之內(nèi)會出現(xiàn)一些無需 ImageNet 的標簽來預(yù)訓練 RCNN 的工作，這實際上也是自監(jiān)督學習的動機之一。在 ICCV 2015 上，大量有關(guān)自監(jiān)督學習的文章涌現(xiàn)了出來。如今，自監(jiān)督學習成為了重要的預(yù)訓練方式。
Alyosha Efros（Alexei Efros）是加州大學伯克利分校的教授。他于 2003 年從加州大學伯克利分校獲得博士學位，并在牛津、CMU 和 INRIA/Paris 度過了一段時間，然后于 2013 年回到伯克利。Alyosha 是數(shù)據(jù)、像素、最近鄰和簡單有效的事物的忠實粉絲，而對復(fù)雜（尤其是概率）模型、語義標簽和語言持懷疑態(tài)度。
Q3：Andrew Davison 是 SLAM 領(lǐng)域的專家。請問深度學習對你們研究小組的工作有何影響？
Andrew：
我很早就聽說過深度學習相關(guān)的研究，但那時這與我的研究興趣相去甚遠。直到 2016 年，我才在論文中加入了深度學習的相關(guān)技術(shù)，用它來解決一些之前難以解決的問題，向 3D 地圖加入一些語義信息。在深度學習出現(xiàn)之前，我們可能會通過隨機森林等方法來完成該任務(wù)。在當時，深度學習這類新的技術(shù)取得了巨大成功，人們開始常識使用該技術(shù)進行深度估計等任務(wù)。相較于傳統(tǒng)方法，深度學習技術(shù)有時更快也更準確。
因此，我們開始研究如何在 SLAM 領(lǐng)域使用深度學習技術(shù)代替手動設(shè)計的先驗，在這個方向發(fā)表了一系列文章。具體而言，我們通過深度學習進行深度預(yù)測和多視圖優(yōu)化等工作。然而，大約 2018 年之后，人們發(fā)現(xiàn)深度學習技術(shù)存在一些系統(tǒng)性誤差，網(wǎng)絡(luò)預(yù)測出的深度和方向可能是錯誤的，我們需要通過多視圖的方式來解決這些問題。在我看來，通過深度學習提取的像素級特征向量比手動設(shè)計的特征要更加強大，但有時我們也需要回到更傳統(tǒng)的幾何學、概率化的多視圖優(yōu)化研究上來。
Andrew Davison 是倫敦帝國理工學院機器人視覺教授兼戴森機器人實驗室主任。他的長期研究重點是 SLAM（同步定位和映射）及其向通用“空間 AI”的演變：計算機視覺算法，使機器人和其他人工設(shè)備能夠映射、定位并最終理解周圍的 3D 空間并與之交互。他與他的研究小組和合作者一直在開發(fā)具有突破性意義的系統(tǒng)，包括 MonoSLAM、KinectFusion、SLAM++ 和 CodeSLAM，最近的獎項包括 ECCV 2016 最佳論文和 CVPR 2018 最佳論文榮譽提名獎。他還積極參與將這項技術(shù)轉(zhuǎn)化為實際應(yīng)用，特別是通過他與戴森合作設(shè)計了戴森 360 Eye 機器人吸塵器內(nèi)部的視覺映射系統(tǒng)。他當選了2017年英國皇家工程院院士。
Q4：Oliva 是人類感知和認知神經(jīng)科學領(lǐng)域的專家，就你們的領(lǐng)域而言，深度學習對你們的研究帶來了哪些變化？有何前景？
Oliva：在認知神經(jīng)科學領(lǐng)域，我們對此持樂觀態(tài)度，積極擁抱這種改變。事實上，早在 2011 年我很幸運地將實驗室的研究領(lǐng)域從神經(jīng)科學拓展到了計算機科學。那時，我們開始討論 Alexnet。
從神經(jīng)科學家的角度出發(fā)，我們認為神經(jīng)網(wǎng)絡(luò)是復(fù)雜的黑盒。我們開發(fā)了一系列方法來研究大腦黑盒的功能。當我們看到一些關(guān)于人工神經(jīng)網(wǎng)絡(luò)的論文時，一些神經(jīng)科學家認為人工意義上的大腦為我們帶來了一個新的研究領(lǐng)域。他們使用神經(jīng)科學的方法來研究深度學習模型。
我的研究小組試圖為對深度學習模型中的每一層進行評估，提供一些可解釋性，并在神經(jīng)科學的啟發(fā)下設(shè)計一些深度學習模型。此外，我有一些從事計算神經(jīng)科學的同事開始比較各種物種和人造神經(jīng)網(wǎng)絡(luò)，我認為深度學習極大促進了計算神經(jīng)科學的發(fā)展。
Aude Oliva博士 是 MIT-IBM Watson AI Lab 的 MIT 主任，也是 MIT Quest Corporate 和 MIT Schwarzman 計算學院的主任，領(lǐng)導與行業(yè)的合作，將自然和人工智能研究轉(zhuǎn)化為更廣闊世界的工具。她還是計算機科學和人工智能實驗室的高級研究科學家，她負責領(lǐng)導計算感知和認知小組。她的研究是跨學科的，涵蓋人類感知和認知、計算機視覺和認知神經(jīng)科學，并專注于所有三個領(lǐng)域交叉的研究問題。
Q5：在機器機器學習、計算機視覺、自然語言處理等任務(wù)中，有一些不易察覺的研究領(lǐng)域正在悄然萌芽?！笌缀紊疃葘W習」就是其中一個研究方向，相較于傳統(tǒng)的 CNN，幾何深度學習引入了一些其它類型拓撲的歸納偏置，為編碼先驗知識提供了新的方式。幾何深度學習有助于傳統(tǒng)方法在深度學習時代煥發(fā)新生。另一方面，「具身人工智能」（行為主義人工智能）也是具有廣闊前景的研究方向。請問在深度學習領(lǐng)域中，未來有哪些具有潛力的研究方向？
Jitendra：
我曾經(jīng)與同事們針對圖神經(jīng)網(wǎng)絡(luò)開展過一些研究。我認為，這一領(lǐng)域的研究將會與如今的 Transformer 結(jié)合起來，這是因為 Transformer 可以更將靈活地通過位置編碼等方式構(gòu)建各種約束。我認為，人們對此類架構(gòu)的研究正在進行中，我們還沒有看到其最終的形態(tài)。CNN 和 Transformer 在近年來掀起了兩波研究浪潮，今后還會有更多新的思路會引入其它的歸納偏置。在我看來，引入合適的歸納偏置對于解決少樣本學習問題十分重要。
就我個人而言，我對具身人工智能的研究充滿熱情，我認為深度學習與其是相輔相成的。如前文所述，計算機視覺領(lǐng)域的問題可以被劃分為多個層次，我們不應(yīng)混淆它們。深度學習的強大之處在于，我們可以將一些可微的參數(shù)化的功能模塊連接起來，使用 SGD 等方法進行梯度下降訓練。神奇之處在于，這些過參數(shù)化的模型確實奏效，它們往往不會被困在局部最小值，可以在許多任務(wù)上取得成功。深度學習的成功與你是否使用監(jiān)督學習、自監(jiān)督學習、強化學習無關(guān)。
我認為，具身人工智能是人工智能的另一個層次，它將視覺和動作結(jié)合了起來。典型的應(yīng)用場景包括機器人、AR 等，人們需要投入更多的資金和數(shù)據(jù)，來實現(xiàn)這個 1950 年代就產(chǎn)生的夢想。
Q6：以前，計算機視覺工程師們需要花費大量時間設(shè)計針對特定領(lǐng)域、特定物體的算子、時空度量。但現(xiàn)在，「特征工程」在有些研究者眼中或許已經(jīng)稍顯落伍了。現(xiàn)在流行的對比學習等方法用到了一些特征增強手段?；蛟S，未來特征增強也會落伍，如何看待這種變化？
Svetlana：
我對此持開放態(tài)度。從長遠的角度來看，研究社區(qū)需要保持繁忙。15 年前，大家都在設(shè)計手工的算子，現(xiàn)在大家都在做手工的神經(jīng)網(wǎng)絡(luò)設(shè)計、數(shù)據(jù)增強，也許在下一個 5 到 10 年，大家都會投身到手工設(shè)計元學習技術(shù)。我認為這都是可以接受的，重點在于要保持大的研究愿景。
實際上，和計算機視覺一樣，神經(jīng)網(wǎng)絡(luò)也有著悠久的歷史，Alexnet 等模型的誕生也有其歷史淵源。神經(jīng)網(wǎng)絡(luò)只是我們可以利用的工具之一，我們要做的是維持合適的概念框架，讓各種工具發(fā)揮作用。
Alexei：
除了 ICCV 之外，計算機視覺領(lǐng)域還有一個頂級會議叫做 CVPR（computer vision and pattern recognition）。我認為這個名字起的非常好，因為我們的研究一方面涉及計算機視覺、另一方面也涉及模式識別。在我看來，這兩個部分分別對應(yīng)是否需要使用數(shù)據(jù)。
我曾經(jīng)去牛津大學做過博士后研究，VGG 組確實是做幾何計算機視覺的好地方，但是計算機視覺和模式識別并不應(yīng)該嚴格地被二分開來。我們需要意識到的是，數(shù)據(jù)是非常重要的，但數(shù)據(jù)也并不是全部，我們要將 CV 和 PR 結(jié)合起來。
Q7：相對而言，深度學習對 SLAM 研究社區(qū)的影響似乎還沒有那么大。實際上，目標跟蹤和各種濾波器也可以被用于 SLAM 領(lǐng)域。如何看待 SLAM 領(lǐng)域中各種工具的變化呢？
Andrew：
我認為這些工具仍然在發(fā)展中。但是顯然，深度學習在 SLAM 領(lǐng)域中并沒有完勝傳統(tǒng)方法。我個人喜歡從整體應(yīng)用的角度來思考 SLAM 問題，它是具身 AI 或?qū)崟r感知、三維場景理解的一部分。在擁有足夠的數(shù)據(jù)、網(wǎng)絡(luò)規(guī)模足夠大的情況下，人們也許會通過端到端的學習識別地圖，建立模型。具體的實現(xiàn)細節(jié)（基于學習技術(shù)或人工設(shè)計）都只是一些計算的模式，相較于此，我更加關(guān)注整體過程的可行性。我更加關(guān)注如何將這些技術(shù)融入到整體的計算框架中，解決有趣的問題。
Richard：
正如 Lana 所說，神經(jīng)網(wǎng)絡(luò)的歷史可以追溯到上世紀 50 年代。但是神經(jīng)網(wǎng)絡(luò)技術(shù)直到 2012 年才在大量真實任務(wù)上具備可觀的性能。傳統(tǒng)的計算機視覺課程中并沒有深度學習的部分，那時我們會教學生如何設(shè)計線性、非線性濾波器。而深度學習方法可以通過多層網(wǎng)絡(luò)學習出濾波器的權(quán)重。
我們可以從分析和經(jīng)驗兩個方面來看待視覺識別任務(wù)。「經(jīng)驗」指的是神經(jīng)網(wǎng)絡(luò)可以記住數(shù)據(jù)，構(gòu)建一個在數(shù)據(jù)中完成內(nèi)插的系統(tǒng)。然而，這種系統(tǒng)并不一定具有很好的外推能力。如果你可以通過經(jīng)典的數(shù)學、集合、光學方法建模，我認為你需要積極嘗試這些方法，而不應(yīng)該假設(shè)神經(jīng)網(wǎng)絡(luò)可以解決任何問題。
Jitendra：
我們不妨考慮一下經(jīng)濟學領(lǐng)域。人類是經(jīng)濟學中復(fù)雜的實體。我們往往會通過機器學習等基于數(shù)據(jù)的技術(shù)來解決經(jīng)濟學中的預(yù)測問題。但是當我們想要理解預(yù)測結(jié)果時，我們會使用一些簡化的模型進行分析。
我認為，對于未來的深度學習研究而言，對模型的理解是十分必要的。機器學習理論似乎并不能勝任這項工作（例如，雙下降現(xiàn)象）。神經(jīng)網(wǎng)絡(luò)似乎在學習過程中會記住數(shù)據(jù)，形成經(jīng)驗?，F(xiàn)在許多論文所做的工作是針對以往的工作進行數(shù)據(jù)增強、調(diào)整訓練參數(shù)，而取得的 1-2 個百分比的性能提升可能是由于完全無關(guān)的因素，而不是由于論文所提出的核心思想。
如今深度學習模型正變得越來越大，這樣一來，只有谷歌、Facebook、亞馬遜、微軟這樣的單位可以從事下一代研究，這對研究社區(qū)來說并不是一個好的現(xiàn)象。我希望研究社區(qū)可以出現(xiàn)一些創(chuàng)新的思路，我們或許可以從歷史中尋找一些靈感。
Q8：現(xiàn)在的深度學習模型參數(shù)量越來越大（例如，GPT-3），訓練成本越來越高，我們是否有必要回過頭研究那些曾經(jīng)看似復(fù)雜的傳統(tǒng)方法？如何看待記憶引擎？
Oliva：
十年前，我們進行了大量的記憶實驗，讓人們在數(shù)小時內(nèi)看上千張圖片，然后測試他們的記憶。令人驚訝的是，他們可以記住 90% 的圖像。我們可以構(gòu)建一種復(fù)雜的系統(tǒng)來研究人類的大腦，構(gòu)建起認知科學到計算機科學的橋梁，通過實驗的方法來研究這些模型。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
