0
也許我們應(yīng)該要求每篇論文都要在摘要里面用一兩句話說明他們提出的方法有哪些局限和不足。這樣，很多的科學(xué)成果誤讀和狂熱都可以在一開始就避免。
推特網(wǎng)友 Sebastian Risi，2019-10-28
雷鋒網(wǎng) AI 科技評論按：紐約大學(xué)心理學(xué)教授 Gary Marcus 曾是 Uber 人工智能實驗室的負(fù)責(zé)人，如今他是 Robust.AI 的創(chuàng)始人和 CEO，近期他還出版了一本書《Rebooting AI》。但 Gary Marcus 并不是對深度學(xué)習(xí)的學(xué)術(shù)和應(yīng)用成果津津樂道的技術(shù)人物，相反地，他經(jīng)常對深度學(xué)習(xí)領(lǐng)域「潑冷水」，2018 年時他就曾在 arXiv 上公開文章，指出深度學(xué)習(xí)存在十個問題。
近期 Gary Marcus 又發(fā)表了一篇文章，更針對性地指出 AI 相關(guān)的信息傳播也有很大的問題，不僅媒體經(jīng)?？浯髨蟮?，許多研究結(jié)構(gòu)和學(xué)者也對 AI 的能力夸下?？凇ary Marcus 認(rèn)為這是危險的，結(jié)合很多具體例子對這種風(fēng)氣進行了批評。雷鋒網(wǎng) AI 科技評論全文翻譯如下。
媒體從來都會以滿腔的熱情報道 AI 或者納米或者量子之類的科學(xué)領(lǐng)域的新進展，哪怕只有指甲蓋大的成果也經(jīng)常被說成是重大突破，然后不久之后就能改變整個世界云云。我們必須承認(rèn)，有時候科學(xué)成果的意義確實被低估了，比如晶體管剛剛發(fā)明的時候并沒有引發(fā)什么熱潮，也沒幾個人在互聯(lián)網(wǎng)剛剛出現(xiàn)的時候就預(yù)期到了它在幾十年后迸發(fā)出的巨大潛力。
可是，隨著每個晶體管、互聯(lián)網(wǎng)這種級別的新成果出現(xiàn)，同時還會有成千上萬被過度報道的小成果，這些想法或者產(chǎn)品設(shè)計可能從來都不會變成實物，又或者聲稱實現(xiàn)了室溫核聚變之類的壯舉但再也沒有人能重現(xiàn)，最終只能靜靜地躺在文獻庫或者圖書館里，當(dāng)初設(shè)想的美好愿景全都成了過眼云煙。
之所以會出現(xiàn)這樣的狀況，是因為普通大眾太喜歡聽技術(shù)革命的故事了，小的技術(shù)進步要寫得仿佛很大才能引起他們的興趣。而研究人員們也經(jīng)常成為媒體的共犯，因為他們也需要公眾的關(guān)注度，這對他們的科研資金申請能產(chǎn)生切實的影響。可以說，當(dāng)前這種科研成果經(jīng)常被吹噓炒作、然后就被悄悄遺忘的風(fēng)氣，不管是媒體還是相當(dāng)一部分研究者都已經(jīng)習(xí)以為常，乃至覺得「應(yīng)當(dāng)如此」。
過去的幾周里剛好有那么幾個好多知名媒體都在報道的大新聞，但可惜這幾個報道都很有誤導(dǎo)性
一
11 月 24 號，《經(jīng)濟學(xué)人》雜志發(fā)表了對 OpenAI 的 GPT-2 文本生成系統(tǒng)的采訪，而且故意說 GPT-2 給出的這些回答是「未經(jīng)編輯的」，而實際上，每個回答都是從 GPT-2 生成的 5 個候選回答中由人類挑選的，挑選標(biāo)準(zhǔn)是要語意連貫而且幽默。這篇報道讓大眾以為能與人類自然交流的對話 AI 其實近在眼前了，但其實這只是一場表演。
知名 AI 專家 Erik Bryjngjolffson 轉(zhuǎn)推了這篇采訪，評價說這個采訪「令人印象深刻」，以及「這些回答要比很多人類的回答還要通順有趣」。從技術(shù)角度來說，這種通順程度一方面來自于 GPT-2 訓(xùn)練時搜集使用了海量的人類撰寫的句子，另一方面也是人類記者們精心挑選出了通順有趣的句子。所以作為圈內(nèi)人的 Erik 本意是挖苦他們戲演得太假，在外行眼里卻成了對這個系統(tǒng)、對這篇采訪的高度贊揚，反倒對誤解的傳播推波助瀾。后來 Erik 又發(fā)了一條推特澄清他的本意，但閱讀量只有原來那條的 1/75 而已——這倒并不奇怪，吹捧巨大成果就是比嚴(yán)肅的澄清辟謠容易傳播多了。
二
OpenAI 設(shè)計了一組神經(jīng)網(wǎng)絡(luò)，可以讓機械臂學(xué)會玩一個專門定制的魔方。對外宣傳的時候，OpenAI 在技術(shù)博客里用了一個有迷惑性的視頻，讓人誤以為這個系統(tǒng)已經(jīng)能從認(rèn)識層面上理解魔方，但實際上它并沒有真的學(xué)會如何解魔方。（實際上，僅僅針對求解魔方這個問題，1992 年的時候就有人提出了基于符號計算的解魔方算法，它不需要經(jīng)過學(xué)習(xí)）
在這個視頻里還有幾件事沒有體現(xiàn)出來，不僅這個定制的魔方是帶有藍(lán)牙傳感器的，而且，在最好的情況下，隨機打亂的魔方中也只有 20% 被成功還原了。在媒體報道里，這些細(xì)節(jié)都被忽略了，比如華盛頓郵報的報道是這樣的「OpenAI 的研究人員說他們并沒有明確地給機器編程教會它解魔方」，仿佛暗示解魔方是它自己學(xué)會的；后來華盛頓郵報發(fā)出了一則更正「更正為：OpenAI 的研究重點是讓機械臂控制魔方的轉(zhuǎn)動，而不是魔方的解法」。但是，正如前一個故事，會讀這則更正啟事的人，和閱讀了原來的故事然后被誤導(dǎo)的人相比，數(shù)量可謂不值一提。
三
還有兩篇宣稱用神經(jīng)網(wǎng)絡(luò)解決物理問題的論文也被過度報道了，甚至包括麻省理工科技評論（MITTR）這樣的著名學(xué)術(shù)媒體，兩篇論文僅僅是解決了復(fù)雜問題的經(jīng)過高度簡化后的某幾個狀況而已，但卻被報道得仿佛完全解決了本來那個復(fù)雜問題一樣。比如，有的報道寫道「神經(jīng)網(wǎng)絡(luò)解決三體問題可以比傳統(tǒng)方法快 1 億倍」，但首先，神經(jīng)網(wǎng)絡(luò)做的不是解決，而是近似計算，它僅僅近似計算了高度簡化過后僅剩 2 個自由度的狀況（簡化前有 10 個自由度），而且這些天體的質(zhì)量還要相同。（詳細(xì)論文解讀見這里）
MITTR 的文章廣為傳播之后，我和 Ernest Davis 也撰寫了一篇詳細(xì)的批評文章，不過，這篇文章的轉(zhuǎn)發(fā)數(shù)量，大概也就只有 MITTR 文章的 1/75 這個數(shù)量級而已。
不幸的是，AI 科研成果過度炒作的風(fēng)氣并不僅僅出現(xiàn)在媒體中。自從 AI 這個概念出現(xiàn)的幾十年以來，即便是 AI 學(xué)術(shù)研究的領(lǐng)軍人物里也有給它煽風(fēng)點火的。從一開始就是這樣，1960 年代，AI 研究的幾位奠基人就覺得可以集中精力研究，一個夏天搞定計算機視覺，以及十幾年時間搞定通用人工智能。但如今，僅僅是計算機視覺都還沒完全解決，通用人工智能更連門都沒有摸到。
這種過度樂觀的情緒在近幾年也是一樣，我們來看看這幾位著名 AI 學(xué)者的例子：
衛(wèi)報在 2015 年采訪了「深度學(xué)習(xí)教父」Geoff Hinton，他們的采訪文章標(biāo)題是「谷歌距離開發(fā)出類人智慧又近了一步」。在衛(wèi)報的采訪中，Hinton 表示他加入谷歌后開發(fā)的新技術(shù)可以「幫助攻克人工智能中的兩大核心挑戰(zhàn)：掌握自然的、對話級別的語言能力，以及做出邏輯推理」，而且「馬上就能開發(fā)出有邏輯能力、自然語言對話能力、甚至能和人開玩笑的算法」。如今，四年過去了，我們還沒見到什么能在沒有外人干預(yù)下就能和人進行自然語言對話的機器，而且也沒見到什么能理解、推理物理世界現(xiàn)象的系統(tǒng)。
差不多一年之后，Hinton 表示放射科醫(yī)生就像「已經(jīng)踩在了懸崖邊上但是還沒探頭往下看的郊狼」，他想表達(dá)的意思是「如果你現(xiàn)在的工作是放射科醫(yī)生的話，你的工作岌岌可?！?；他還補充道「我們現(xiàn)在應(yīng)該停止培養(yǎng)更多的放射科醫(yī)生了。很明顯，在 5 年內(nèi)深度學(xué)習(xí)就會比放射科醫(yī)生做得更好」。在 2017 年紐約客的采訪中，Hinton 又表達(dá)了一次這個觀點。也就是這個時間前后，上百個深度學(xué)習(xí)醫(yī)學(xué)影像分析創(chuàng)業(yè)公司出現(xiàn)了，但目前還沒有放射科醫(yī)生真的被取代，而且目前大家最樂觀的猜測也就是深度學(xué)習(xí)可以成為醫(yī)生的幫手，而不是在短期內(nèi)就取代他們。Hinton 當(dāng)時的話嚇壞了不少醫(yī)院的放射科，然后帶來了負(fù)面影響：世界上許多地方的醫(yī)院放射科現(xiàn)在是缺少醫(yī)生的。
2016 年 11 月，在哈佛商業(yè)評論上，另一位深度學(xué)習(xí)知名人物吳恩達(dá)在文章中寫下「如果一個普通人做某項任務(wù)的過程中，只需要思考不超過一秒鐘時間就可以想通，那么這項任務(wù)很有可能可以用 AI 技術(shù)自動化，現(xiàn)在或者就在不遠(yuǎn)的將來。」更具體的表述是，某項任務(wù)能否通過 AI 技術(shù)實現(xiàn)自動化，基本上取決于這項任務(wù)的本質(zhì)、能采集到的數(shù)據(jù)，以及這兩者之間的關(guān)系。
對于棋類游戲這樣的封閉結(jié)局問題，我們可以很方便地通過模擬采集到大量數(shù)據(jù)，吳恩達(dá)的理論就被證明是正確的；但是在對話理解這種開放結(jié)局的場景中，我們沒法進行完整的模擬，吳恩達(dá)的理論目前都是無效的。如果企業(yè)領(lǐng)袖和政策制訂者們能更明白當(dāng)前的技術(shù)能解決哪些問題、不能解決哪些問題肯定是一件好事，但吳恩達(dá)的文字在其中增加了許多模糊之處。
2015 年 5 月，連線雜志根據(jù)對當(dāng)時擔(dān)任 Facebook 人工智能研究院負(fù)責(zé)人的 Yann LeCun 的采訪發(fā)表了一篇報道，表示「深度學(xué)習(xí)很快就會給我們帶來非常聰明的機器人」。無需多言，非常聰明的機器人到現(xiàn)在也還沒看到。正如機器人技術(shù)專家 Pieter Abbeel 近期在演講中說的，從實驗室中的機器人技術(shù)演示，到機器人走入真實世界、做出智慧行為，其中還有很長的路要走。
另一方面，學(xué)術(shù)成果被誤讀的學(xué)者們通常都會保持沉默，說他們是默許了也可以。OpenAI 的首席科學(xué)家 llya Sutskever 就發(fā)推特表示《經(jīng)濟學(xué)人》對 GPT-2 的采訪挺好的。當(dāng)后來確認(rèn)了采訪里 GPT-2 的回答都是人工挑選出來的之后，我問了 Sutskever 是否還認(rèn)同當(dāng)時自己做出的評價，但 Sutskever 沒有回答。
再往前數(shù)一個月，OpenAI CTO Greg Brockman 自己就做了不少手工挑選的工作。他發(fā)推特說「我們把一篇 GPT-2 生成的短文投稿到了《經(jīng)濟學(xué)人》的青年作者文章欄目。其中一位評審者，并不知道這篇短文是 AI 寫出來的，給出了這樣的評價：文章用詞考究，提出的觀點都有證據(jù)支撐，不過思路的原創(chuàng)性并不高。」但 Brockman 沒有說的是，還有幾位評審者對這篇短文的評價要低很多，比如來自評審者 2 的「文章沒有很快體現(xiàn)出論點，論點也并不新穎，太模糊，太激烈，有很多修辭問題」，評審者 6 也給出了非常低的評價「這篇短文并沒有給問題做出完整的解答，也沒有帶來新的觀點；它的論述水平不高，文章的用詞、結(jié)構(gòu)也很一般。除此之外，我覺得文章體現(xiàn)出作者對當(dāng)前的氣候策略以及 IPCC 撰寫的科學(xué)文獻都沒有很好的理解」。對于讀者來說，只要他們沒有去查這個完整故事、只是讀了 Brockman 的推特的話，是完全意識不到存在這樣低的評價的。（其實，機器學(xué)習(xí)領(lǐng)域內(nèi)的許多研究人員一直都覺得 OpenAI 一開始表示 GPT-2「太危險了所以不可以公開發(fā)布」的行為本身就是小題大做、言過其實）
學(xué)術(shù)研究人員們還有一個習(xí)慣也給「真正的 AI 近在眼前」的論調(diào)添油加醋，比如 DeepMind 就經(jīng)常在論文里用專門的篇幅描寫他們的成果未來的潛力，但是又很少提及潛在的限制是什么——如果是作為嚴(yán)謹(jǐn)?shù)目茖W(xué)成果進行討論，只說優(yōu)點不談缺點應(yīng)該算不上正確的下結(jié)論的方式。另一方面，他們還會對論文中的實驗場景設(shè)定做類比和引申，表明他們正在研究非常難的問題、正在攻克非常宏大的挑戰(zhàn)，暗指他們目前使用的技術(shù)還可以解決更多的困難和挑戰(zhàn)。但是我們需要知道，即便是比較復(fù)雜的游戲，也還和現(xiàn)實世界不是一回事。DeepMind 撰寫的圍棋 AI AlphaGo 和星際 2 AI AlphaStar 的論文都是這樣，對潛在的限制幾乎沒有討論。
好在并不是機器學(xué)習(xí)領(lǐng)域的所有學(xué)者都對自己的成果吹個沒完，就在這一年中我先后聽了 Pieter Abbeel 和 Yoshua Bengio 的演講，都既精彩又克制，在介紹深度學(xué)習(xí)（以及深度強化學(xué)習(xí)）的優(yōu)秀表現(xiàn)的同事，也坦誠指出了我們面前還有多少挑戰(zhàn)、我們離終點還有多遠(yuǎn)。（具體來說，Abbeel 著重指出實驗室的機器人技術(shù)成果和能在現(xiàn)實世界中工作的機器人之間還有很遠(yuǎn)的距離，Bengio 則強調(diào)了在現(xiàn)有的 AI 模型中加入因果推理能力的必要性）。我多希望他們這樣的態(tài)度能成為機器學(xué)習(xí)領(lǐng)域的正常狀態(tài)。當(dāng)這不是常態(tài)的時候，政策制訂者和普通大眾很容易覺得迷惑，因為報道中的偏倚總是傾向于夸大成果而不是掩蓋它，所以普通大眾害怕的那個 AI 形象其實不僅現(xiàn)在不存在，可見的未來中也不會出現(xiàn)。
那么，這對做 AI 應(yīng)用的、AI 商品化的人有什么損害呢？畢竟，如果鼓吹之下有更多的公眾關(guān)注、更多的資金投入、更多的人員加入，也許我們實現(xiàn)通用人工智能的速度也能更快，似乎也不是什么壞事？
在我看來這是普通人遇到的一場悲劇，許多人看中了同一片領(lǐng)域里有機會，然后一擁而上、竭澤而漁，最后誰都落不到好下場。具體到 AI 這里，如果公眾、政府、投資機構(gòu)都發(fā)現(xiàn) AI 其實只是畫餅、AI 的長處短處其實和現(xiàn)實需求沒有相符之處，那么一個新的 AI 寒冬可能就會到來。（1974 年開始的那個 AI 寒冬就是早期的狂熱吹捧變成失望之后的后果）
我們現(xiàn)在從事后來看的話，有很多當(dāng)時的熱門事件其實都預(yù)兆了悲劇的結(jié)果：
聊天機器人：Facebook 在 2015 年公布了一個名為 M 的聊天機器人系統(tǒng)，聲稱它可以給個人助理的能力范圍帶來革命性的升級。當(dāng)時還沒有成熟的 AI 技術(shù)可以實現(xiàn)他們設(shè)計的功能，但他們認(rèn)為這是一個憑數(shù)據(jù)就能解決的問題，人類只需要回答最開始的幾個問題，然后深度學(xué)習(xí)就會把后續(xù)的都搞定。等時間到了 2018 年，這個項目被取消了。
總體來說，2015 年的時候大家都對聊天機器人有充足的熱情，然后如今領(lǐng)域內(nèi)已經(jīng)形成了共識，以目前的 AI 技術(shù)只能處理一部分有內(nèi)容限制的對話，即便這樣也無法保證完全可靠。當(dāng)時做出承諾很容易，但是要做到就太難了。
醫(yī)療診斷：IBM Watson 也承諾了很多做不到的事情，以至于醫(yī)療機構(gòu) MD Andersen 癌癥中心由于對結(jié)果不滿所以終止了和 IBM Watson 的合作。現(xiàn)在看來，IBM 說要用 Watson 做醫(yī)療診斷肯定有吹噓的成分?？赡芤灿泻芏嗳似诖?DeepMind 進入醫(yī)療診斷市場，因為 DeepMind 也和很多醫(yī)療機構(gòu)有合作，可以獲取很多數(shù)據(jù)，而且也有大量的計算和智力資源。但現(xiàn)實是，DeepMind 也一直都沒有拿出什么有說服力的成果（DeepMind 的醫(yī)療業(yè)務(wù)也已經(jīng)轉(zhuǎn)給了谷歌）。即便只是在簡單的、主要關(guān)注感知、額外帶有一點點自然語言理解即可的醫(yī)學(xué)圖像分析任務(wù)中，把實驗室成果搬到真正的醫(yī)院里原來也相當(dāng)困難。
假新聞檢測器：2018 年 4 月，F(xiàn)acebook 創(chuàng)始人&CEO Mark Zuckerberg 告訴美國國會，在未來的 5 到 10 年里 AI 可以開始幫助檢測假新聞，但在今年（2019年）5 月，F(xiàn)acebook CTO Mike Schroepfer 表示無法承諾在短期內(nèi)做出可見的成果
無人駕駛汽車：按照 Elon Musk 的承諾，2020 年的時候我們就會有完全自主駕駛的汽車了，但目前整個自動駕駛研究領(lǐng)域的共識是，完全的自動駕駛要比大多數(shù)人預(yù)計的難得多，如果想要在高度限定的路況之外實現(xiàn)完全的自動駕駛，我們還需要很多年的時間
如今，政府、大企業(yè)、風(fēng)投都在 AI 相關(guān)領(lǐng)域做了許多投資，這其中的一大部分是直接針對深度學(xué)習(xí)的；而如果這些投入的資金發(fā)現(xiàn)深度學(xué)習(xí)的能力原來這么有限、原來當(dāng)初的愿景這也實現(xiàn)不了那也實現(xiàn)不了，那么整個領(lǐng)域都會受到影響。如果完全的自動駕駛、對話機器人只是樂觀地比原來預(yù)期的時間遲一兩年，那可能并不是什么大問題。但這些技術(shù)、以及其它向大眾承諾了的 AI 技術(shù)推遲的越久，我們面臨一個新的 AI 寒冬的風(fēng)險就越大。
綜上所述，有關(guān) AI 的信息和報道出現(xiàn)不準(zhǔn)確是常事。雖然也存在一些準(zhǔn)確的報道，但即便是知名的新聞媒體也時不時會對學(xué)術(shù)結(jié)果做出錯誤的解讀；企業(yè)出于自身宣傳需要，常常在其中推波助瀾；學(xué)術(shù)研究人員們，即便是知名的學(xué)者，也常常默許了對自己成果的錯誤解讀，不做任何公開澄清。
有一部分信息是準(zhǔn)確的：有些學(xué)者對于方法的不足非常坦誠，有些報道對成果的理解非常準(zhǔn)確。但總體來說，整個風(fēng)氣仍然偏向于把任何的小成果不斷放大，樂于宣稱有各種革命性的改進。
這一切的后果可能會對這個領(lǐng)域產(chǎn)生反作用，過度激活的公眾熱情帶來了當(dāng)前的 AI 熱潮，然后在公眾變得失望之后帶來下一個 AI 寒冬。
在 Rebooting AI 中，Ernie Davis 和我一同提出了六條建議，每一條都希望可以幫助讀者、記者們核對自己看到的信息是否客觀、全面，以及讓研究者們更慎重地評價自己的成果。
把所有的修辭、比喻都去掉，這個 AI 系統(tǒng)究竟是執(zhí)行什么樣的任務(wù)的？（一個「閱讀系統(tǒng)」所做的是和人一樣的「閱讀」嗎？）
結(jié)果的泛化能力怎么樣？（一個可以在美國鳳凰城工作的自動駕駛系統(tǒng)，在印度孟買也能工作嗎？一個能解魔方的機械臂，能用來開汽水嗎？這都需要多少訓(xùn)練？）
有沒有可以供感興趣的讀者自己實驗的 demo？
如果宣稱 AI 比人類的表現(xiàn)要好，那么是比怎么樣的人表現(xiàn)更好？要好多少？（只拿很少的薪水的眾包標(biāo)注員真的能準(zhǔn)確體現(xiàn)人類的能力嗎？）
假設(shè)我們認(rèn)可某個 AI 在某項具體任務(wù)上比人類的表現(xiàn)更好，那么這距離我們造出真正的 AI 又還有多遠(yuǎn)？
系統(tǒng)的魯棒性如何？能不能不經(jīng)過重新訓(xùn)練就在別的數(shù)據(jù)集上也發(fā)揮出這樣的表現(xiàn)？（AlphaGo 在 19x19 的正方形圍棋盤上表現(xiàn)不錯，但如果換成長方形棋盤，就需要重新訓(xùn)練這個系統(tǒng)。遷移能力的缺失一目了然）
最后，如果每篇學(xué)術(shù)論文/技術(shù)報告以及媒體報道的最后都能加上幾句冷靜有建設(shè)性的、針對缺點的自我評價的話，能明顯幫助避免大家對 AI 繼續(xù)抱有不切實際的期待。
via thegradient.pub/an-epidemic-of-ai-misinformation/，雷鋒網(wǎng) AI 科技評論編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
