0
| 本文作者： 我在思考中 | 2021-12-14 17:40 |
編輯 | 青暮
今年12月9日，第六屆全球人工智能與機器人大會（GAIR 2021）在深圳正式啟幕，140余位產(chǎn)學領袖、30位Fellow聚首，從AI技術、產(chǎn)品、行業(yè)、人文、組織等維度切入，以理性分析與感性洞察為軸，共同攀登人工智能與數(shù)字化的浪潮之巔。
大會次日，IEEE/IAPR Fellow，京東集團副總裁，京東探索研究院副院長梅濤在GAIR大會上做了《從感知智能到認知智能的視覺計算》的報告，他指出視覺計算的感知研究雖然已經(jīng)相對成熟，某些人工智能（AI）任務已經(jīng)能夠通過圖靈測試，例如在內(nèi)容合成與圖像識別，但在視頻分析領域，視頻數(shù)據(jù)內(nèi)容多樣化以及視頻語義的不清晰等原因?qū)е略擃I域還存在大量挑戰(zhàn)性問題。
同時，在認知領域，視覺計算已經(jīng)有一些進展，例如Visual Genome、VCR等數(shù)據(jù)集已經(jīng)布局結構知識建模；而在推理層面，國內(nèi)學者已經(jīng)嘗試通過聯(lián)合解譯和認知推理深入理解場景或事件。
以下是演講全文，AI科技評論做了不改變原意的整理：
今天的演講題目是《從感知智能到認知智能的視覺計算》。在開始之前，先用兩個圖靈測試的例子大致說明AI的進展。
首先計算機視覺不僅在識別領域，在內(nèi)容合成領域已經(jīng)達到通過圖靈測試的標準。正如上圖所示，人類已經(jīng)很難在一組圖片中將兩張機器合成的圖片挑選出來。
另外一個圖靈測試的例子是“看圖說話”：給定一張圖片，描述圖片的內(nèi)容。下面兩句話分別由人（第一句）和機器（第二句）生成。很顯然，如果不仔細看圖片，可能會潛意識的認為機器比人寫的詳細。
1.a dog is lifted among the flowers
2. a dog wearing a hat sitting within a bunch of yellow flowers
如果仔細觀察圖片，就會發(fā)現(xiàn)確實有一只手把小狗舉了起來。這也說明：不太經(jīng)常發(fā)生的現(xiàn)象，機器很難描述，其原因和機器學習的內(nèi)容相關，以及機器沒有邏輯推理能力。
通過上述兩個例子我們可以看出：在感知領域，AI已經(jīng)超越人類；而在認知領域，它還欠缺一些火候。
上圖是計算機視覺在過去五六十年取得的進展，2012年深度學習“大火”之前，計算機完成視覺任務通常有兩個步驟：特征工程和模型學習。
特征工程的特點是完全依靠人類智慧，例如設計Canny edge、Snak、Eigenfaces等參數(shù)特征，同時這些方法已經(jīng)獲得了大量的引用，Canny已經(jīng)被引用了38000次，Snak 18000次，SIFT更是已經(jīng)超過了64000次。
2012年之后，深度學習興起，顛覆了幾乎所有的計算機視覺任務。其特點是將傳統(tǒng)的特征工程和模型學習合為一體，即能夠在學習的過程中進行特征設計。
深度學習火熱的另一個標志是每年有大量的論文投到計算機視覺頂會（CVPR、ICCV、ECCV等），同時如果這些方法表現(xiàn)“杰出”，就能夠獲得大量的流量，例如GoogleNet VGG在不到8年的時間里獲得了10萬次引用；2015年的ResNet更是在更短的時間獲得了接近10萬次的引用。
這說明深度學習領域在飛速發(fā)展，而且進入這個領域的人越來越多。一方面不僅深度學習網(wǎng)絡在不斷“更新?lián)Q代”，圖像、視頻等數(shù)據(jù)集也在不斷增長，甚至有些數(shù)據(jù)集規(guī)模已經(jīng)過億。
其中，深度學習的一個趨勢是“跨界”。在2019年，Transformer在自然語言處理領域的性能被證明“一枝獨秀”，現(xiàn)在已經(jīng)有大量學者開始研究如何將其納入視覺領域，例如微軟亞洲研究院swin transformer相關工作獲得了ICCV的最佳論文獎。
上圖展示了隨著研究范式的變化，數(shù)據(jù)集的變化趨勢。無論是數(shù)據(jù)集的類別還是數(shù)據(jù)集的規(guī)模都在不斷增大，有些數(shù)據(jù)集更是超過了10億級別。目前類別最多的是UCF101數(shù)據(jù)集，其中包括101個類。同時，大規(guī)模也帶來了一個弊端：一些高校和小型實驗室無法進行模型訓練。
特定領域進展如何？在圖像識別領域，最廣為人知莫過于ImageNet競賽。其任務是給定一張圖，預測出五個相關的標簽。隨著深度學習網(wǎng)絡的層數(shù)越來越深，識別的錯誤率越來越低，到2015年， ResNet已經(jīng)它達到了152層，并且已經(jīng)超過了人類識別圖像的能力。
在視頻分析領域。Kinetics-400 視頻分析任務反應了該領域的進展，從2017年和2019年出現(xiàn)了各種適合視頻任務的神經(jīng)網(wǎng)絡，其網(wǎng)絡大小、深度并不一致，而且從準確率、識別精度上看，也沒有一致的結果。換句話說，該領域存在大量的潛力（open question）。至于原因，個人認為有兩種：
1.視頻內(nèi)容非常多樣化，而且是時空連續(xù)的數(shù)據(jù)。
2.同樣的語義，在視頻中會有不同的含義。例如不同語氣和不同表情下對同一個詞的輸出。
過去10~20年，視覺感知領域存在很多主題。如上圖所示，從最小力度的像素級別到視頻級別，基本上可以歸為幾大研究領域：語義分隔、物體檢測、視頻動作行為識別、圖像分類、Vision and language。其中，Vision and language最近五年比較火熱，其要求不僅從圖視頻內(nèi)容里面生成文字描述，并且也可以反過來從文字描述生成視頻或者圖片的內(nèi)容。
總結起來，目前視覺研究的主要方向還是進行RGB視頻和圖像研究，在不遠的將來，成像的方式會發(fā)生變化，那時研究的數(shù)據(jù)將不僅是2D，更會過渡3D，甚至更多的多模態(tài)的數(shù)據(jù)。
在視覺理解領域，通用的視覺理解非常簡單：例如區(qū)分貓和狗，區(qū)分車和人。但在自然界里，要真正的做到對世界的理解，其實要做到非常精細的粒度的圖像識別。一個直觀的例子是鳥類識別，理想中的機器需要識別10萬種鳥類，才能達到人類對“理解世界”的要求。如果再精細一些，需要達到商品SKU細粒度識別。
注：一瓶200毫升和300毫升的礦泉水就是不同粒度的SKU。
過去幾年，京東在這方面做了一些探索。探索路徑包括：detection的方式，detection結合attention的方式，以及自監(jiān)督的方式。涉及論文包括CVPR2019 的“Destruction and Construction Learning ”以及CVPR 2020的“Self-supervised”相關工作。
CVPR 2019：Destruction and Construction Learning for Fine-grained Image Recognition
論文地址：https://openaccess.thecvf.com/content_CVPR_2019/papers/Chen_Destruction_and_Construction_Learning_for_Fine-Grained_Image_Recognition_CVPR_2019_paper.pdf
CVPR 2020：Look-into-Object: Self-supervised Structure Modeling for Object Recognition
論文地址：https://arxiv.org/abs/2003.14142
視頻領域非常有挑戰(zhàn)，當年我想借鑒ResNet，畢竟在圖像識別領域它是非常有創(chuàng)新的網(wǎng)絡，因為其里面包含skip level的調(diào)整。因此，當時我想把2D的CNN直接應用到3D領域。
其實，相關工作已經(jīng)有人嘗試，但存在一定的困難。例如Facebook發(fā)現(xiàn)，如果沿著xyz三個軸進行卷積，參數(shù)會爆炸，所以很難提高模型性能。因此在2015年，F(xiàn)acebook只設計了一個11層的3D卷積網(wǎng)絡。
我的嘗試是基于ResNet進行3D卷積設計，但也遇到了和Facebook同樣的困難，即參數(shù)爆炸。因此，在CVPR 2017年的一項工作中，我利用一個1*3*3的二維空間卷積和3*1*1的一維時域卷積來模擬常用的3*3*3三維卷積。
通過簡化，相比于同樣深度的二維卷積神經(jīng)網(wǎng)絡僅僅增添了一定數(shù)量的一維卷積，在參數(shù)數(shù)量、運行速度等方面并不會產(chǎn)生過度的增長。與此同時，由于其中的二維卷積核可以使用圖像數(shù)據(jù)進行預訓練，對于已標注視頻數(shù)據(jù)的需求也會大大減少。目前該論文引用超過1000次，得到了行業(yè)的認可。
CVPR 2017：Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
論文地址：https://arxiv.org/abs/1711.10305
其他研究領域也有很多問題有待開發(fā)。例如在3D視覺研究方面，不僅需要語義分割，還需要估計物體的姿態(tài)；在Image to Language研究中，不僅需要給定一張圖片生成一段描述文字，還需要知道物體之間的空間關系語義關系。
AI一直被認為是改變工業(yè)界的范式，2019年PWC（麥肯錫）曾經(jīng)發(fā)布過一個報告：AI對整個全球的經(jīng)濟的貢獻，在2030年之前，每一年會是14%的提升。并且在中國，增長空間是26%。
將AI應用到工業(yè)界，基本需要滿足三個條件中的任何一個：降低成本、提高效率、提升用戶體驗。市值萬億美金級別的公司，例如微軟和蘋果，其共同的特點在于企業(yè)會全面、大規(guī)模、一次性的推廣AI技術。
大規(guī)模推廣AI技術時，誕生了許多很有意思的應用，例如“拍照購物”，核心技術是Photo-to-search，該領域已被深耕多年，但真正能發(fā)揮的場景是電商。以京東為例，它的拍照購物準確率以經(jīng)比四年前提高許多，用戶轉化率提升了十幾倍。
另一個電商零售中的例子是“智能搭配”，其目的不僅是讓AI推薦同款商品，還要讓AI提供穿搭建議。例如當用戶購買上衣時，AI自動搭配一個裙子或者一雙鞋，并且生成一段描述，告訴用戶“為何如此搭配”。該功能上線之后，其帶來的點擊率超過了人工搭配。
智能導播應用也是AI比較擅長的。例如足球比賽中會有很多固定的相機，相機中的視頻會傳遞到轉播車，然后會有20~30個工作人員不斷的制作視頻，提供轉播流，每個人看到的轉播流都是相同的。所謂智能導播是指：用AI學習人類導播的方式，然后根據(jù)每個用戶的喜好，輸出相應的內(nèi)容。喜歡足球的用戶會著重推送精彩的射門、動作；喜歡球星的用戶會著重推薦球員的特寫，從而達到千人千面的效果。
智能導播涉及的技術比較廣泛，例如：動作/事件識別、人臉識別、姿態(tài)估計、高光檢測、相機視圖切換等等。值得一提的是，二十年前，我在微軟實習時候，導師就安排過相應的任務，但是由于數(shù)據(jù)和算力的限制，沒有做到很好的效果。兩年前，我們才在京東上線該功能。
元宇宙的概念很火熱，京東也在數(shù)字人方面做了一些嘗試。日前也憑借跨模態(tài)分析技術、多模態(tài)交互數(shù)字人技術分別斬獲ACM國際多媒體頂級會議的最佳演示獎（Demo）。
傳統(tǒng)的數(shù)字人只能進行“文字交互”，而今天的數(shù)字人希望能夠模擬真人進行對話，其特點在于形象、逼真、實時反應等等。目前，數(shù)字人技術已經(jīng)成功在市長熱線中部署。
通用AI一直是人類的夢想，邁向通用AI的過程中，在視覺方面必須要從感知過度到認知，如此智能視覺系統(tǒng)才能進行決策。
但其中會遇到很多挑戰(zhàn)，例如魯棒性，直接表現(xiàn)在自動駕駛領域，汽車相撞、識別錯誤等等都表明系統(tǒng)不夠魯棒。模型和數(shù)據(jù)偏見也是學界經(jīng)常討論的焦點，前段時間AI領域的大牛Yann LeCun在推特上因為“偏見來自數(shù)據(jù)還是來自模型”的發(fā)言被diss退網(wǎng)。
認知智能和感知智能的區(qū)別主要有兩點，在目標層面，傳統(tǒng)AI希望增強人類思維并提供準確結果，而認知AI希望模仿人類行為和推理；而在能力層面，傳統(tǒng)AI希望找到學習模式或揭示隱藏信息；而認知AI希望能夠模型人類思維從而找到解決方案。顯然，認知AI將來會有很多用途，例如可信系統(tǒng)、模型解釋等等。
實現(xiàn)認知AI，有三個核心問題要解決：第一，需要考慮如何對結構知識進行建模；第二，如何讓模型可解釋；第三，如何讓系統(tǒng)擁有推理能力。
針對結構知識建模，學界目前已經(jīng)有一些嘗試，例如斯坦福大學李飛飛開發(fā)的Visual Genome數(shù)據(jù)集，華盛頓大學發(fā)布的VCR數(shù)據(jù)集等等。
推理方面進展如何？北京通用AI研究院朱松純教授最近在《中國工程院院刊》中發(fā)表論文稱：通過 對一張簡單圖片的分解，計算機視覺系統(tǒng)應該能夠同時進行以下工作：1.重建3D場景估算相機參數(shù)、材料和照明條件；2.以屬性、流態(tài)和關系對場景進行層次分析；3.推理智能體（如本例中的人和狗）的意圖和信念；4.預測它們在時序上的行為；5.恢復不可見的元素，如水和不可觀測的物體狀態(tài)等。
論文題目：Dark, Beyond Deep: A Paradigm Shift to Cognitive AI with Humanlike Common Sense
論文地址：https://arxiv.org/abs/2004.09044
最后，以gartner的一張趨勢預見圖結束演講。每一個技術的開始都會經(jīng)歷缺口、泡沫、泡沫破滅以及谷底、理性回歸等幾個階段。正如上圖所示，通用AI里面的可解釋性、可信任都還在爬升階段，而計算機視覺已經(jīng)到了第四階段的尾聲，這意味著未來的兩三年，計算機視覺會邁向技術成熟階段，而且會得到大規(guī)模的商用，普惠人類生活。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
