整理 | Mr Bear
在今年智源大會上，中國人民大學(xué)高領(lǐng)人工智能學(xué)院執(zhí)行院長、北京智源人工智能研究院首席科學(xué)家文繼榮教授以「從相關(guān)性到有用性」為線索，對搜索技術(shù)的發(fā)展歷程以及未來的研究方向進(jìn)行了梳理和展望。上世紀(jì) 90 年代，互聯(lián)網(wǎng)剛剛興起。彼時，我們將搜索任務(wù)定義為語法匹配。起初搜索技術(shù)面向的用戶和任務(wù)較少，Google 研制的第一個搜索引擎索引了 2000 多萬網(wǎng)頁。搜索技術(shù)最早的受眾人群是圖書管理員、讀者，以及早期的網(wǎng)民，當(dāng)時語法匹配方法就可以滿足搜索的要求。隨著互聯(lián)網(wǎng)的發(fā)展，搜索技術(shù)逐漸向語義匹配發(fā)展。此時出現(xiàn)了更多樣化、多噪聲的數(shù)據(jù)，受眾也逐漸發(fā)展為了大量的互聯(lián)網(wǎng)網(wǎng)民。我們希望搜索系統(tǒng)能夠理解用戶表達(dá)的并不清晰、完整的查詢，因此進(jìn)行準(zhǔn)確的語義的理解是非常關(guān)鍵的。目前，搜索技術(shù)正在向語用匹配過渡。在未來的移動互聯(lián)網(wǎng)等場景中，我們需要能夠隨時隨地進(jìn)行搜索，得到理想的答案，從而幫我們完成任務(wù)。汽車未來也可能成為一個重要的搜索場景，移動的環(huán)境中存在多種可以隨時隨地獲取信息的傳感器，幫助人類完成各種任務(wù)。為了實(shí)現(xiàn)搜索技術(shù)從相關(guān)性到可用性的革新，我們需要考慮以下 3 個關(guān)鍵的因素：（1）循因果、可解釋。挖掘出事物內(nèi)在的運(yùn)行規(guī)律，做到知其然且知其所以然。（2）多輪交互。未來的搜索系統(tǒng)應(yīng)該扮演人類助手的角色，人類可以與之進(jìn)行交互，而不僅僅只是單獨(dú)完成一次次的查詢。（3）多模態(tài)。結(jié)合多個模態(tài)的數(shù)據(jù)幫助人類作出決策。基于因果的搜索技術(shù)初探
第一，基于因果的搜索。因果性不光是信息檢索領(lǐng)域，各個領(lǐng)域都非常關(guān)注，這就是為什么要知其所以然?，F(xiàn)在有很多模型，包括悟道2.0預(yù)訓(xùn)練模型，還主要是基于相關(guān)性而非因果性的。基于因果的智能是當(dāng)下多個研究領(lǐng)域的熱點(diǎn)問題。目前我們建立的大多數(shù)智能系統(tǒng)仍然是以相關(guān)性為基礎(chǔ)的，它們存在諸多不足之處。以網(wǎng)頁排序?yàn)槔?，在使?PageRank 算法時，我們假設(shè)網(wǎng)頁的鏈接數(shù)越則多網(wǎng)頁的可信度和重要性越高。然而，實(shí)際上這種假設(shè)將因果倒置了。真正的因果可能是，網(wǎng)頁質(zhì)量高導(dǎo)致網(wǎng)頁的鏈接數(shù)較多。而如果我們將上述因果關(guān)系倒置，該漏洞可能會被「搜索引擎優(yōu)化者」（SEO）利用。SEO 可以通過「灌水」增加網(wǎng)頁的鏈接數(shù)，從而提升網(wǎng)頁的排名，即 Link Spam。此外，用戶點(diǎn)擊行為還會受到選擇偏置和位置偏置等因素的影響。排名靠前的網(wǎng)頁被點(diǎn)擊的可能性往往較大，排在后面的點(diǎn)擊率則較小。如果某網(wǎng)頁沒有被排在第一頁，它甚至沒有機(jī)會被點(diǎn)擊。以往的搜索系統(tǒng)大多沒沒有考慮選擇偏置和位置偏置。實(shí)際上，「是否展示」、「網(wǎng)頁排名」、「點(diǎn)擊」和「相關(guān)性」會構(gòu)成復(fù)雜的因果關(guān)系，我們不應(yīng)該簡單地構(gòu)建點(diǎn)擊率與網(wǎng)頁排名的相關(guān)性。圖 10：忽略因果關(guān)系將導(dǎo)致模型偏置在搜索系統(tǒng)中，我們可以利用用戶的反饋結(jié)果改進(jìn)排序算法，而這一過程會使上述偏置不斷在系統(tǒng)中積累?？梢?，忽略因果關(guān)系將導(dǎo)致模型偏置對系統(tǒng)性能的影響越來越大。未來，我們需要將因果推斷集成到搜索引擎中，從而實(shí)現(xiàn)更可信、公平、可解釋的搜索，使搜索引擎不易被攻擊、不受到偏置因素的影響、解釋得到搜索結(jié)果的理由。面向信息檢索的反事實(shí)學(xué)習(xí)
圖 12：面向信息檢索的反事實(shí)學(xué)習(xí)信息檢索可以利用反事實(shí)學(xué)習(xí)消除偏置的影響，從而實(shí)現(xiàn)因果推斷。反事實(shí)技術(shù)指的是通過改變某些條件，并觀察改變條件之前的結(jié)果是否還會發(fā)生，從而判斷該條件對結(jié)果的影響。在該場景下，我們一般會處理三種數(shù)據(jù)：（1）觀測到的有偏數(shù)據(jù)；（2）觀測到的無偏數(shù)據(jù)；（3）未觀測數(shù)據(jù)。面向檢索的反事實(shí)學(xué)習(xí)包含四個部分：（1）反事實(shí)數(shù)據(jù)學(xué)習(xí)（2）對觀測到的有偏數(shù)據(jù)進(jìn)行校正（3）雙魯棒方法，同時處理未觀測到的數(shù)據(jù)和觀測到的有偏數(shù)據(jù)（4）通過干預(yù)方法結(jié)合觀測到的有偏和無偏數(shù)據(jù)我們與華為諾亞方舟實(shí)驗(yàn)室合作設(shè)計(jì)了一種雙穩(wěn)健排序算法，可以在排序?qū)W習(xí)過程中同時對選擇偏置和位置偏置建模，同時處理觀測到的有偏數(shù)據(jù)和未觀測的數(shù)據(jù)，通過 IPS 消除位置偏置的影響，用直接法消除選擇偏置的影響。圖 14：基于用戶模擬的反事實(shí)排序模型訓(xùn)練我們可以直接將用戶的點(diǎn)擊日志和深度學(xué)習(xí)模型組合起來模擬用戶的行為，構(gòu)建一個訓(xùn)練排序模型的虛擬環(huán)境，并基于該環(huán)境對未觀測的數(shù)據(jù)做反事實(shí)學(xué)習(xí)。在我們最近被 SIGIR 2021 接收的論文「Counterfactual Reward Modification for Streaming Recommendation with Delayed Feedback」中，我們用反事實(shí)約束的方法消除用戶的延遲反饋。具體而言，我們利用模擬的延遲反饋構(gòu)建反事實(shí)的 Deadline，并采取了多臂老虎機(jī)強(qiáng)化學(xué)習(xí)策略，從而將實(shí)際產(chǎn)品數(shù)據(jù)離線測試的 CVR 提升了 3.86%。圖 16：基于反事實(shí)數(shù)據(jù)增強(qiáng)的序列化用戶行為建模推薦任務(wù)中往往存在數(shù)據(jù)稀疏的問題。比如，用戶購買了商品 A，后面又瀏覽或者購買了其它的商品。我們可以利用反事實(shí)技術(shù)，假設(shè)該用戶沒有購買商品 A，預(yù)測他接下來的行為。在 SIGIR 2021 論文「Counterfactual Data-Augmented Sequential Recommendation」中，我們用反事實(shí)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，根據(jù)觀測數(shù)據(jù)生成反事實(shí)用戶行為樣本，進(jìn)而緩解了序列建模中的數(shù)據(jù)稀疏問題。多輪交互
多輪交互很多領(lǐng)域都在研究，自然語言處理、信息檢索領(lǐng)域?qū)ζ潢P(guān)注尤其多。我們認(rèn)為未來的信息檢索不是一趟式的。現(xiàn)在的搜索引擎強(qiáng)迫用戶采用單輪的搜索來找答案，而更好的方式是與系統(tǒng)交互，有問有答，層層遞進(jìn)尋找答案。多輪交互式自然語言處理、信息檢索領(lǐng)域的另一個熱門研究課題。我們希望未來的信息檢索不僅僅局限于單趟交互，能夠在多輪交互中從用戶并不完整、清晰的表達(dá)中充分獲取信息需求，這種層層遞進(jìn)的方式更加符合人類的使用習(xí)慣。例如，我們在訂餐館的過程中，需要通過多輪交互逐漸確定對于餐館、菜品、交通等因素的需求。多輪交互和信息檢索的結(jié)合面臨諸多挑戰(zhàn)，例如：意圖跟蹤、語言問答的生成、結(jié)果的評價等。在 SIGIR 2020 論文「Recent Advances in Conversational Information Retrieval」中，作者提出了一種交互式搜索框架。在該框架下，用戶首先給出一個查詢，系統(tǒng)會搜索到一些與查詢匹配的文檔，并通過將多個文檔綜合起來最終形成回答結(jié)果。在下一輪問答中，系統(tǒng)會將用戶在對話中的查詢和上一輪的回答結(jié)合起來生成考慮上下文信息的查詢。系統(tǒng)在回答查詢問題的同時也可以給向用戶做推薦、與用戶進(jìn)行交互，或者反過來想用戶詢問一些需要進(jìn)一步說明的問題。問答系統(tǒng)除了要理解用戶的問題，還需要利用信息資源語義空間中的對象的語義。為此，我們同時在資源空間和用戶空間內(nèi)構(gòu)建了知識圖譜，并分別對它們進(jìn)行表示學(xué)習(xí)，然后基于互信息最大化技術(shù)對上述兩個圖譜進(jìn)行了語義融合，從而使系統(tǒng)可以根據(jù)問題推測出用戶關(guān)注的是哪些對象及其屬性。我們常常希望以自然的方式在對話中進(jìn)行推薦。然而，缺乏測試和訓(xùn)練數(shù)據(jù)集是我們面臨的主要挑戰(zhàn)，為此我們收集大量用戶在推薦網(wǎng)站上的行為數(shù)據(jù)（例如，電影瀏覽的序列），從而生成對話數(shù)據(jù)，并發(fā)布了話題引導(dǎo)的對話式信息獲取數(shù)據(jù)集 TG-Redial。我們分析了搜索滿意度的生成機(jī)制，設(shè)計(jì)了同時考慮級聯(lián)衰減效應(yīng)和近因效應(yīng)的多輪交互式檢索評價指標(biāo)。具體而言，我們考慮通過以下三個模型為交互式搜索任務(wù)提供一種高質(zhì)量的評價體系：（1）瀏覽模型：記錄用戶在瀏覽階段的行為（例如，點(diǎn)擊、提問等）。（3）效用累計(jì)模型：在交互式搜索中如何逐漸尋找到要理想的答案。我們發(fā)布了學(xué)術(shù)界第一個基于對話的推薦工具包 CRSLab，覆蓋了四個主要任務(wù)下的 18 種模型和大量已公開的數(shù)據(jù)集。此外，在交互式搜索領(lǐng)域中，我們還針對「問題生成」，「融合多輪上下文的排序模型」和「面向交互式搜索的預(yù)訓(xùn)練」等問題展開了研究。趙鑫教授團(tuán)隊(duì)發(fā)布了推薦系統(tǒng)開源工具庫“伯樂”，目前已在 Github 上收獲了近 1000個 Star。智源信息檢索團(tuán)隊(duì)基于交互式搜索開發(fā)了智能政務(wù)助手。該系統(tǒng)的第一個版本的開發(fā)工作已經(jīng)完成，具備任務(wù)型多論問答、政務(wù)辦事指南導(dǎo)航、基于機(jī)器閱讀理解的模型問答、答案融合排序等功能。從文本到多模態(tài)
圖 27：人腦處理多模態(tài)信息的機(jī)制多模態(tài)預(yù)訓(xùn)練技術(shù)對于搜索任務(wù)也具有十分重要的意義。人類在做信息搜索時往往會使用多模態(tài)的數(shù)據(jù)。在 2005 年《自然》雜志刊登的的一篇論文中，作者指出人腦會自動將對應(yīng)于同一個概念的多模態(tài)信息映射到相同的語義空間的表征上，我們期望計(jì)算機(jī)也能實(shí)現(xiàn)同樣的功能。圖 28：文瀾——大規(guī)模多模態(tài)預(yù)訓(xùn)練模型人腦的強(qiáng)大之處在于，我們可以利用弱相關(guān)的信息。例如，看到圖 28 中的蛋糕，人類會想到吃蛋糕不利于減肥。目前主流的模型旨在理解圖文數(shù)據(jù)間的強(qiáng)相關(guān)信息，中國人民大學(xué)、中科院計(jì)算所、清華大學(xué)、智源人工智能研究院聯(lián)合組成的文瀾團(tuán)隊(duì)開發(fā)了能夠有效利用圖文數(shù)據(jù)間弱相關(guān)信息的大規(guī)模預(yù)訓(xùn)練模型，更加符合實(shí)際需求。此外，文瀾團(tuán)隊(duì)還收集了海量的數(shù)據(jù)用于模型預(yù)訓(xùn)練。我們主要使用了圖片和文字兩個模態(tài)的數(shù)據(jù)，根據(jù)圖文匹配程度對樣本進(jìn)行了排序，從而提升匹配精度，并使用了跨模態(tài)對比學(xué)習(xí)技術(shù)構(gòu)建了雙塔的 BriVL 架構(gòu)。與 OpenAI 的 CLIP 和谷歌的 ALIGN 大規(guī)模預(yù)訓(xùn)練模型相比，文瀾模型的性能均取得了較大程度的提升。圖 29：多語言多模態(tài)預(yù)訓(xùn)練此外，我們還研發(fā)了多語言多模態(tài)預(yù)訓(xùn)練模型，旨在結(jié)合多模態(tài)與多語言與訓(xùn)練的優(yōu)勢，利用視覺作為多種語言知識遷移的橋梁，為多模態(tài)模型提供更廣闊的應(yīng)用場景。圖 30：文瀾多模態(tài)神經(jīng)元示例——詩句當(dāng)我們向文瀾模型輸入詩句時，模型會自動生成符合詩句內(nèi)容和意境的圖像，這證明了多模態(tài)數(shù)據(jù)之間的相關(guān)性。基于文瀾模型，我們可以實(shí)現(xiàn)跨模態(tài)檢索，只需向系統(tǒng)輸入關(guān)鍵詞，就可以檢索出來之前并沒有標(biāo)注過的圖像。未來的研究方向
兩年前，智源信息檢索與挖掘團(tuán)隊(duì)成立時，我們的愿景就是未來能夠創(chuàng)造出類似于電影《鋼鐵俠》中的智能信息助手賈維斯這樣的搜索系統(tǒng)。無論人類想知道什么信息，都可以通過與該系統(tǒng)進(jìn)行對話得到最智慧的答案。由于人的存儲計(jì)算和能力是有限的，所以我們需要使用這樣的「外掛」，從而使人類的能力得到提升，最終將信息和知識轉(zhuǎn)化為有用的行動。交互式個人智能信息助手需要具備自然交互的能力，在主動的多輪交互中做到自然語言對話；需要為用戶指定專屬的用戶畫像、考慮專屬的個性化服務(wù)，做到場景感知；同時，我們需要整合多源數(shù)據(jù)、多模態(tài)數(shù)據(jù)、個人數(shù)據(jù)、來自第三方 APP 的數(shù)據(jù)解決多模態(tài)整合的問題；此外，我們還需要向該系統(tǒng)中融入知識，基于因果推理技術(shù)實(shí)現(xiàn)安全、可解釋的搜索，實(shí)現(xiàn)搜索的高準(zhǔn)確性、高魯棒性。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
