雷鋒網 AI 科技評論按：CMU 博士、UC Santa Barbara 計算機科學系助理教授王威廉（William Wang）是一位非?；钴S、非常出名的華人學者，他是該校 NLP 小組的負責人，研究領域涵蓋信息提取、社交媒體、語言和視覺、口語處理、機器學習理論和知識圖譜等。他是社交媒體紅人，他的科研團隊也連續(xù)有大批論文被近幾年的 AI/ML/NLP 會議接收，以及獲得最佳論文獎或獎項提名。

王威廉組的王鑫就以第一作者的身份獲得了 CVPR 2019 的最佳學生論文獎。近期的 ICCV 2019 上，王鑫也有一篇第一作者論文被收錄。從論文主題來看，王鑫對多模態(tài)、多語言學習有不少心得，雷鋒網 AI 科技評論記者在 ICCV 2019 現場對王鑫進行了采訪，請他介紹介紹相關話題。

雷鋒網 AI 科技評論：首先請您簡單介紹一下您的 ICCV 論文《VaTeX: A Large-Scale, High-Quality Multilingual Dataset for Video-and-Language Research》（arxiv.org/abs/1904.03493）

王鑫：我們這次 ICCV 的論文主要創(chuàng)建了一個新的多語言數據集。之前的視頻的數據集都只是基于英文的，但是其實地球上大概有幾千種不同的語言，僅僅在中國就有將近一百種語言，所以訓練一個多語言的模型去為這些非英語母語的人服務是非常有必要的?；谶@個出發(fā)點，我們收集了英文和中文數據，然后提供一個對下游任務可以起到很大幫助的數據集，方便其他人做更多后續(xù)研究，以及推動基于實證的多語言自然語言的研究。

雷鋒網 AI 科技評論：今年在 CVPR 上您獲得了最佳學生論文獎，獲獎論文《Reinforced Cross-Modal Matching & Self-Supervised Imitation Learning for Vision-Language Navigation》（arxiv.org/abs/1811.10092）也是做視覺和語言。

王鑫：對，那篇論文是主要是解決視覺與語言結合去進行導航的問題。相較于其他的傳統(tǒng)問題來說，導航問題中感知到的視覺信息是動態(tài)的，因為每次接收到語言的指令之后，機器人每次產生的動作可以向左轉、向右轉、以及往前走；產生動作之后，所看到的就發(fā)生了變化，所以它是一個動態(tài)的處理過程。而且它還是一個連續(xù)的處理過程，是經過一系列的動作，最后你才能判斷這個機器人到底成功了沒有。

雷鋒網 AI 科技評論：這兩篇論文之間有什么聯(lián)系嗎？

王鑫：我覺得還是很有聯(lián)系的。因為視覺語言的這些任務，大家都是只關注英文，沒有考慮、或者很少考慮其它語言。但是根據我們之前做視頻描述（video-captioning）的經驗，就發(fā)現這是一個很嚴重的問題；所以我們去擴充了他的數據，擴充了中文。然后我們 CVPR 做的那篇論文是導航，也是基于自然語言的，輸入指令也是全都是英文，所以考慮怎樣讓它能拓展到更多的語言是非常有必要的。其實我們最近也有一個最新的工作，我們也剛剛把 tech report 放到 arXiv 上（《Cross-Lingual Vision-Language Navigation》，arxiv.org/abs/1910.11301）。這個工作是做跨語言視覺導航，所以那里我們就把導航數據集相應的中文部分也給收集了。

我們去年主要研究了兩個主要問題，一個是，雖然多語言的學習很有必要，但是也不可能針對每一種語言都去收集大量的數據來訓練模型，這樣做可能非常的耗時、耗力、耗金錢。所以我們研究的第一個問題就是怎么利用已有的數據集，比如用已有的英文的數據集，訓練一個模型，然后可以執(zhí)行中文或者韓文的指令。所以我們結合了機器翻譯的模型，然后看我們怎樣利用原有的英文指令和機器翻譯過來的中文指令，把它們結合在一起，想出這樣一種方法，可以得到和完全在中文指令上訓練的模型相同的表現或者相近的表現。

另外一個問題是，如果我們有了一部分中文標的數據，要怎么更好地提升跨語言學習的模型的表現。這些中文數據的數量相比于英文數據可能是 0%，這就對應著零樣本學習（zero-shot learning）；也可能是 10%、20% 甚至 100%；100% 就是說所有的英文數據都有對應的中文數據，收集齊了。

雷鋒網 AI 科技評論：在 CVPR 這篇論文中，使用了很多組件來增強跨模態(tài)學習的效果，看論文標題都覺得有一些復雜。您是否覺得這么做很復雜？以及未來是否能用更簡單的跨模態(tài)學習方法達到類似的效果？

王鑫：我覺得那篇論文的思路還是很清晰的。因為對于導航這個任務，在那篇論文之前大家使用的評價指標只是簡單的「是否成功了」，你只有到了終點才是「成功」。然而有時候機器人根本沒有按照指令行動也到了終點，這樣也算為了一個成功，就可能背離了任務設置的本質。我們之所以選用了細粒度的指令，就是因為我們想去研究語言與視覺的結合、它們之間的實證連接（grouding）；我們想要智能體按照指令行動，所以我們的第一個出發(fā)點就是增強這兩者之間的一致性，就設計了這樣的一個跨模態(tài)匹配的方法。而同時，如果有了這樣一致性，我們還可以利用它去探索沒有見到過的新環(huán)境，因為模型見過的和沒見過的環(huán)境之間存在表現的區(qū)別，我們可以利用這些信息讓它預探索這些沒見過的環(huán)境，它就可以更好地適應現有的環(huán)境，做得更好。

雷鋒網 AI 科技評論：這幾年多模態(tài)學習熱度很高，可不可以說多模態(tài)學習是CV原有的那些任務遇到瓶頸之后的一個新的出口？其它還有哪些從原來的CV任務衍生出的新任務？

王鑫：首先，我可能不太贊同 CV 的研究已經遇到了瓶頸?？赡芎芏嗳?，包括一些其他領域的人說 ImageNet 已經刷分刷得很高，超過了人類的分數，但如果你去問研究 CV 問題的，即使只是研究物體識別問題的人聊的話，你會發(fā)現其實還有很多在實際生活沒有解決的方面。ImageNet 雖然很大，但它和整個世界中各種圖像數據相比的話，只代表了非常小的一部分數據，圖像識別也還有很多的不常見案例沒有解決。所以 CV 的研究人員都在極力地解決那些問題，不要再局限于 ImageNet，解決更實際的問題。

然后，其實視覺和語言結合領域也不是這幾年才比較火，它其實存在了很多年，在深度學習時代之前也有人在研究。但是在深度學習出現之后，就大概 2014、15年，大家開始在這方面著力。因為我們是生活在一個多模態(tài)的世界，作為人類我們不是只用眼去看的，從視覺捕捉，到認知，然后還通過語言進行交流表達，甚至去記錄一些東西；而且語言本身也是基于我們所看到的才發(fā)展起來。所以我覺得歸根結底，把兩件事分開研究是一種選擇，但是最終我們要做的科研是肯定是要把 CV 和 NLP、甚至其他的模態(tài)都結合在一起的。而且我不認為我們需要等到一個完全發(fā)展好，再去發(fā)展另一個或去發(fā)展它們的結合，因為你會發(fā)現你永遠不可能達到一個頂峰。

雷鋒網 AI 科技評論：找到對多種模態(tài)的信息的連貫一致（coherent）的表征，可以說是多模態(tài)學習的圣杯。目前這個領域的前沿進展如何？有哪些突出的論文？我們離圣杯還有多遠？

王鑫：其實在視覺-語言領域里，相對比較傳統(tǒng)的像圖像描述、視覺問答這種任務，大家都已經在探索更多的可能性，一個是從任務角度，比如說我們做的導航任務，是從靜態(tài)的信息升級到動態(tài)的環(huán)境；還有實體機器人學習（embodied agent learning）這種，與人做交互、與這個世界做交互，這是一個很有趣的方向。

現在還有人在研究模型預訓練，就像 BERT 一樣，BERT 的預訓練模型在 NLP 領域取得了很大的貢獻。然后其實視覺和語言的聯(lián)合訓練也是很有意義的，所以有很多人，尤其是最近這幾個月，有很多人在研究視覺和語言相結合的預訓練，然后用這樣的預訓練策略去提高下游的視覺-語言任務中的表現。

另外還有，研究語言并不等于研究英文，所以我覺得多語言的科研是非常有必要的，尤其是與視覺結合的多語言研究。因為我們不可能一直去收集不同語言之間的平行語料，而視覺信息，包括一些其他的模態(tài)的信息，在不同的語言之間是共通的，就像來自不同國家不同語言不同背景的人，看到前面的一座塔，都會知道它是什么，這甚至不需要語言的翻譯 —— 也就是說，視覺信息可以作為橋梁，連接不同的語言，所以這也是一個很有很有趣的一個方向。還有，怎樣把知識結合到視覺和語言里面去，更好地學一些結構的信息。

雷鋒網 AI 科技評論：這些方向近期有哪些論文是你們比較關注的？

王鑫：剛才提到的我們多語言 ，我們最近有 ICCV 的這篇論文（arxiv.org/abs/1904.03493），以及我們做了一個跨語言視覺-語言導航的論文（arxiv.org/abs/1910.11301）；預訓練視頻-語言模型目前有很多論文，我之前在推特上發(fā)過一個列表總結了一下（搬運見這里 ）。最近，微軟的人有篇 ICLR 投稿，是一個統(tǒng)一模型，通過預訓練在 7 到 13 個任務上都達到了最好的效果；導航方面，人與世界與環(huán)境結合，像之前的導航，以及包括最近的一些與對話相關的，UW 華盛頓大學有研究者也出了一個視覺與對話導航，就是將導航用對話的形式去做，機器人不僅可以遵照指令行動，如果機器人有不明白的地方還可以反過來提問。

雷鋒網 AI 科技評論：你們組還有哪些計劃的科研方向？

王鑫：除了剛才我說的多語言研究之外，我們還是希望能做機器人與外界環(huán)境的交互，尤其在語言的指導下交互。所以我們對于導航，不管是室內室外的導航也好，或者執(zhí)行任務也好，這種方向都是非常感興趣，我們也會繼續(xù)做新的成果出來。另外，自監(jiān)督學習這種從沒有標簽的數據里學習到更好的表征，我們也有在做這方面的研究。除此之外，我們組對 NLP 的很多其他領域都有深入研究，包括知識圖譜、知識推理、自然語言生成、社會科學、機器學習的公平性、責任性和可解釋性研究等等。

雷鋒網 AI 科技評論：大家根據以往的經驗總結出了一個現象，頂會上的獲獎論文一般都不是那些有很大長期影響的論文（用時間檢驗獎 Test of Time Award 來衡量）。您對這個現象有什么看法？

王鑫：首先，有長期影響力，可能不同的人有不同的定義，大家一般通常會從被引數量上來看，這樣的話，比較火的領域的論文可能會得到更多的被引。

但是正如你所說的，很長期的影響力的那些獎項，獲獎論文一般并不是當時的最佳論文，是因為大家很難意識一篇論文到底未來會產生多大的影響。但是當前的視角來說，我認為所有得獎的論文都是有獨到的過人之處的，都提出了一些新的洞見，至少會給當前的學術研究帶來很多思考；或者他的論文做得非常扎實完善。

雷鋒網 AI 科技評論：您是 Closing the Loop Between Vision and Language Workshop 的組織者之一，28 號我們去看的時候非?；鸨?。為什么要舉辦這個workshop？今年第三屆 workshop 相比前兩屆有哪些變化？

王鑫：對，這個 workshop 今年已經是第三屆了，已經是非常有影響力了；它每一屆也會有不同的側重點，這一屆我們同時舉行了兩個比賽競賽，一個是我們的 VaTeX 競賽，另外一個是視頻描述的一個長語言生成的競賽（LSMDC）。因為我們覺得從過去的相關領域的科研都主要關注圖像角度，但是其實你想想，視頻才能夠更好地捕捉到這個世界中事物的動態(tài)關系，因為它有更復雜的信息，包括物體本身的視覺信息、物體的動作、物體之間的空間關系、物體的時空關系，而且它還可能含有聽覺的、語音的信息，所以從圖像到視頻這樣一個轉變是非常有必要的，我覺得也是值得更多的人投入精力學習研究的。

當然，我們 workshop 也不只局限于視頻描述。你可以看到，我們邀請的演講者其實是來自不同的研究背景，有做純做視覺的，有做視覺和語言的結合的，甚至有 NLP 的教授過來講，講常識、知識這樣的東西?？偠灾覀兿Ｍㄟ^促進不同學科之間的交互，真正地推動視覺和語言的結合領域的發(fā)展。

雷鋒網 AI 科技評論：更詳細介紹一下 VaTeX 競賽吧

王鑫：用于視覺和語言實證的多語言研究，這個領域是非常有必要去研究的，這是一個很大的原因，促使我們去推動這樣一件事情，讓大家意識到它的重要性；而且視頻也是很重要。所以我們舉辦了這樣的一個比賽，讓大家去參與，去更好的去研究它。

我認為這次競賽也非常成功，一共有 57 支隊伍來自于世界各地，冠軍是由中科院的自動化所的隊伍取得的。其實當你推動這樣一件事情的時候，大家是很有興趣、很有意愿參與，以及往更深的研究層次發(fā)掘的，比如有一個評價指標是 CIDEr score，冠軍的成績比我們在論文里提出的基線模型提高了幾十個點，這是非常驚人的成績。

我們的比賽包括英語賽道和中文賽道，取得亞軍的一個是來自澳大利亞阿德萊德大學和人大合作的團隊，另外一個是自動化研究所的另外一支團隊，他們也取得了很好的表現，以及他們的方法也都很有意義?？偨Y一下你會發(fā)現，所有的團隊都會去都去探索視頻中的不同模態(tài)的信息，包括圖像級別的、動作級別的視覺信息，還有時序級別的、甚至音頻的，他們結合了各種信息建立了這樣的模型。

但是，還有一些方向是很少人關注的，比如說從語言本身的角度?？赡艽蠹抑饕紒碜宰?CV 的科研團隊，所以更多的精力放在視頻上面；但是語言這邊、描述這邊做探索的人就比較少，目前還沒有人用 BERT 模型去做。其實要做的話，可以利用預訓練模型，甚至自己提出一個模型然后做它的預訓練，達到更好的多模態(tài)對齊效果，以及更好的描述生成。

雷鋒網 AI 科技評論：今年參加 ICCV 有什么感受？

王鑫：現在每年大家對 C V的研究都越來越感興趣，參會的人越來越多，今年 CVPR 和 ICCV 都是有七千人甚至一萬人參加，所以人數增多，可能大家交流的也就會更多。對我來說，我看到越來越多的生面孔來參會，這是一件很好的事情，大家一起來推動這個科研領域更好的發(fā)展；而且工業(yè)界也對我們 CV 和 NLP 的研究非常感興趣，在展區(qū)可以看到來自全世界各地的很多不同的公司，然后他們可能對于如何把科研成果更好地運用到產品中更感興趣，我覺得這都是很好的。

雷鋒網 AI 科技評論：你認為 CVPR 和 ICCV 兩個會之間有什么不同？

王鑫：其實這是我第一次參加 ICCV 的，但是我 CVPR 參加了很多屆。我也很難講兩個會之間的區(qū)別，但我覺得在討論的問題上沒有太大區(qū)別，只不過 ICCV 可能因為在美國之外舉辦，CVPR 是大多數在美國，所以 ICCV 參會的人會來自國際上的、美國之外國家的研究者更多一點。美國因為它的簽證比較嚴，可能其它國家的研究者就相應的會少一點。

雷鋒網 AI 科技評論：再問一個問題，華人在近年的頂會上表現都很好，但是這次在 ICCV 的獎項上也有一些遺憾。您怎樣評價這屆 ICCV 中華人的整體表現？

王鑫：我不覺得這是一個遺憾，因為我覺得華人，尤其是在 CV 領域，華人的表現越來越突出，有時候你甚至會看到至少有一半的論文里都有華人作者。而論文沒被選中最佳論文、或者最佳論文候選，這并不意味著他們的工作不好，其實，所有的口頭報告論文或者海報展示論文，所有的接收論文都有他的亮點。

其實，本來評獎里也帶有主觀的看法，我認為大家更應該關注自己的研究內容，期望能夠做出有影響力的工作，以及把自己的工作做完善。要有一些學術前瞻性，去看看到底科研方向應該往哪里走，而不是通過堆一堆技巧、提高一兩個點的分數。如果你持續(xù)地做好的工作，我覺得論文獎是會找到你的 —— 不是把得獎作為目標、迎合獎項的評選方式來做科研，而是為了做更好的科研而做科研。

雷鋒網 AI 科技評論報道。更多學術報道、頂會觀察請繼續(xù)關注。

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。