0
| 本文作者： AI研習(xí)社-譯站 | 2020-09-28 10:39 | 專題：ACL 2019 |
字幕組雙語(yǔ)原文：ACL 2020 亮點(diǎn)摘要
英語(yǔ)原文：Highlights of ACL 2020
翻譯：雷鋒字幕組（唐里、張超726、情報(bào)理論與實(shí)踐、Danielan）
今年國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)(ACL)變?yōu)榫€上舉辦了，很遺憾我沒多少機(jī)會(huì)去和其他學(xué)者交流，和同事們敘敘舊，但是遺憾之余值得慶幸的是我也相比平時(shí)聽了更多講座。因此我決定將我做的筆記分享出來(lái)并討論一些行業(yè)總體趨勢(shì)。本文不會(huì)對(duì) ACL 進(jìn)行詳盡的介紹，內(nèi)容的選擇也是完全基于本人的興趣。同時(shí)我也非常推薦讀者看一看最佳論文。
在根據(jù)我自身參與的講座來(lái)討論研究趨勢(shì)之前（當(dāng)然參與講座數(shù)量有限，會(huì)存在誤差），讓我們來(lái)看一看ACL網(wǎng)頁(yè)上的一些整體數(shù)據(jù)吧。今年收到交稿量最多的方向分別是通過(guò)機(jī)器學(xué)習(xí)處理自然語(yǔ)言，對(duì)話和交互系統(tǒng)，機(jī)器翻譯，信息提取和自然語(yǔ)言處理的應(yīng)用及生成。
上圖是每個(gè)研究方向提交稿件的數(shù)量 來(lái)源
這些數(shù)據(jù)相比往年怎么樣呢？下圖顯示了從2010年后每個(gè)方向論文數(shù)量的變化。圖源Wanxiang Che
總的來(lái)說(shuō)，論文有從基礎(chǔ)任務(wù)到高級(jí)任務(wù)發(fā)展的趨勢(shì)，例如從通過(guò)單詞級(jí)，句子級(jí)語(yǔ)義和語(yǔ)篇的句法，過(guò)渡到對(duì)話。機(jī)器學(xué)習(xí)方向研究也正穩(wěn)步增加，越來(lái)越多的文章提出具有普遍性目標(biāo)的模型，而這些模型都基于多個(gè)任務(wù)來(lái)衡量。
在自然語(yǔ)言處理研究有個(gè)反復(fù)出現(xiàn)的模式，1. 介紹一個(gè)新模型；2. 通過(guò)改進(jìn)模型，或者將其應(yīng)用于多任務(wù)實(shí)現(xiàn)一些容易的目標(biāo)然后發(fā)表；3. 發(fā)表文章分析其不足之處或缺陷；4. 發(fā)表新的數(shù)據(jù)集。盡管某些步驟可能同時(shí)進(jìn)行，我得說(shuō)我們現(xiàn)在就處于2和3之間。小標(biāo)題的結(jié)論是基于我選擇的論文得出的，而我很大程度上過(guò)濾掉了這類文章。所以或許換一種說(shuō)法，那就是今年ACL 2020 還是有挺多文章不是這一類型的。
在過(guò)去兩年中我們可以發(fā)現(xiàn)研究向這些步驟靠近，先基于無(wú)標(biāo)記文本的自監(jiān)督方法進(jìn)行預(yù)訓(xùn)練然后在更小的具體任務(wù)數(shù)據(jù)上微調(diào)。在今年會(huì)議上，很多論文聚焦于更少監(jiān)督的訓(xùn)練模型。這有一些替代方案，及其示例論文：
無(wú)監(jiān)督方法：Yadav等人提出了一個(gè)基于檢索的問(wèn)答方法，這種方法可以迭代地將詢問(wèn)提煉到1KB來(lái)檢索回答問(wèn)題的一些線索。在常識(shí)類多選任務(wù)上通過(guò)計(jì)算每個(gè)選項(xiàng)的合理性得分（利用Masked LM）,Tamborrino等人取得了令人欣喜的成果。
數(shù)據(jù)增強(qiáng)(Data augmentation)：Fabbri等人提出了一種方法可以自動(dòng)生成上下文，問(wèn)題和回答三合一的形式來(lái)訓(xùn)練問(wèn)答模型。他們首先檢索和原始數(shù)據(jù)相似的上下文，生成回答：是或否，并且以問(wèn)句形式向上下文提問(wèn)（what, when, who之類開頭的問(wèn)句）然后基于這三件套訓(xùn)練模型。Jacob Andreas提出將不常見的短語(yǔ)替換為在相似語(yǔ)境下更常用的短語(yǔ)從而改進(jìn)神經(jīng)網(wǎng)絡(luò)中的組合泛化能力。Asai和Hajishirzi用人工例子增加問(wèn)答訓(xùn)練數(shù)據(jù)，這些例子都是從原始訓(xùn)練數(shù)據(jù)中按邏輯衍生出來(lái)用以加強(qiáng)系統(tǒng)性和傳遞一致性。
元學(xué)習(xí)(Meta learning)：Yu等人利用元學(xué)習(xí)去遷移知識(shí)用以從高源語(yǔ)言(high-resource language)到低源語(yǔ)言(low-resource language)的上義關(guān)系檢測(cè)。
主動(dòng)學(xué)習(xí)(Active learning)：Li等人搭建了一個(gè)高效的標(biāo)注框架，通過(guò)主動(dòng)學(xué)習(xí)選取最有價(jià)值的樣本進(jìn)行批注進(jìn)行共指關(guān)系解析。
我們已經(jīng)知道，語(yǔ)言模型的知識(shí)是缺乏和不準(zhǔn)確的。在這次會(huì)議上，來(lái)自 Kassner and Schütze 和 Allyson Ettinger 的論文表明某些語(yǔ)言模型對(duì)否定不敏感，并且容易被錯(cuò)誤的探針或相關(guān)但不正確的答案混淆。目前采用了多種解決方案：
檢索：在Repl4NLP研討會(huì)上的兩次受邀演講中，有兩次提到了檢索增強(qiáng)的LMs。 Kristina Toutanova談到了谷歌的智能領(lǐng)域，以及如何用實(shí)體知識(shí)來(lái)增強(qiáng)LMs(例如，這里和這里)。 Mike Lewis談到了改進(jìn)事實(shí)知識(shí)預(yù)測(cè)的最近鄰LM模型，以及Facebook的將生成器與檢索組件相結(jié)合的RAG模型。
使用外部知識(shí)庫(kù)：這已經(jīng)普遍使用好幾年了。Guan等人利用常識(shí)知識(shí)庫(kù)中的知識(shí)來(lái)增強(qiáng)用于常識(shí)任務(wù)的GPT-2模型。Wu等人使用這樣的知識(shí)庫(kù)生成對(duì)話。
用新的能力增強(qiáng) LMs：Zhou 等人訓(xùn)練了一個(gè) LM，通過(guò)使用帶有模式和 SRL 的訓(xùn)練實(shí)例來(lái)獲取時(shí)間知識(shí)(例如事件的頻率和事件的持續(xù)時(shí)間) ，這些訓(xùn)練實(shí)例是通過(guò)使用帶有模式和 SRL 的信息抽取來(lái)獲得的。Geva 和 Gupta通過(guò)對(duì)使用模板和需要對(duì)數(shù)字進(jìn)行推理的文本數(shù)據(jù)生成的數(shù)值數(shù)據(jù)進(jìn)行微調(diào)，將數(shù)值技能注入 BERT 中。
檢查注意力權(quán)重今年看起來(lái)已經(jīng)不流行了，取而代之的關(guān)注重點(diǎn)是生成文本依據(jù)，尤其是那些能夠反映判別模型決策的依據(jù)。Kumar 和 Talukdar 提出了一種為自然語(yǔ)言推斷（NLI）預(yù)測(cè)忠實(shí)解釋的方法，其方法是為每個(gè)標(biāo)簽預(yù)測(cè)候選解釋，然后使用它們來(lái)預(yù)測(cè)標(biāo)簽。Jain 等人 開發(fā)了一種忠實(shí)的解釋模型，其依賴于事后歸因（post-hoc）的解釋方法（這并不一定忠實(shí)）和啟發(fā)式方法來(lái)生成訓(xùn)練數(shù)據(jù)。為了評(píng)估解釋模型，Hase 和 Bansa 提出通過(guò)測(cè)量用戶的能力，在有或沒有給定解釋的前提下來(lái)預(yù)測(cè)模型的行為。
ACL今年有一個(gè)主題類別，主題是“通觀現(xiàn)狀與展望未來(lái)”。
我們求解的是數(shù)據(jù)集，而不是任務(wù)。在過(guò)去的幾年中，這種說(shuō)法反復(fù)出現(xiàn)，但是如今，我們的主要范式是訓(xùn)練龐大的模型，并在與我們的訓(xùn)練集非常相似的眾包測(cè)試集上對(duì)其進(jìn)行評(píng)估。榮譽(yù)主題獎(jiǎng)?wù)撐淖髡咚枴ち轴?a target="_blank" rel=nofollow>Tal Linzen）認(rèn)為，我們?cè)诖罅繑?shù)據(jù)上訓(xùn)練模型，這些數(shù)據(jù)可能無(wú)法從人們可用的數(shù)據(jù)量中學(xué)到任何東西，而且這些模型在人類可能認(rèn)為不相關(guān)的數(shù)據(jù)中找到統(tǒng)計(jì)模式。 他建議，今后，我們應(yīng)該標(biāo)準(zhǔn)化中等規(guī)模的預(yù)訓(xùn)練語(yǔ)料庫(kù)，使用專家創(chuàng)建的評(píng)估集，并獎(jiǎng)勵(lì)成功的一次性學(xué)習(xí)。
凱西·麥基翁（Kathy McKeown）的精彩主題演講也談到了這一點(diǎn)，并補(bǔ)充說(shuō)排行榜并不總是對(duì)推動(dòng)這一領(lǐng)域有所幫助。 基準(zhǔn)通常會(huì)占據(jù)分布的頂端，而我們需要關(guān)注分布的尾部。 此外，很難使用通用模型（例如LM）來(lái)分析特定任務(wù)的進(jìn)步。 在她的終身成就獎(jiǎng)訪談中，邦妮·韋伯強(qiáng)調(diào)需要查看數(shù)據(jù)并分析模型錯(cuò)誤。 即使是一些瑣碎的事情，比如同時(shí)查看精確度和回憶，而不是只查看F1的總分，也可以幫助理解model s的弱點(diǎn)和長(zhǎng)處。
當(dāng)前模型和數(shù)據(jù)存在固有的局限性。 邦妮還說(shuō)，神經(jīng)網(wǎng)絡(luò)能夠解決不需要深入理解的任務(wù)，但是更具挑戰(zhàn)性的目標(biāo)是識(shí)別隱含的含義和世界知識(shí)。 除上述論文外，幾篇論文還揭示了當(dāng)前模型的局限性：例如，Yanaka等人。 和Goodwin等 指出神經(jīng)NLU模型缺乏系統(tǒng)性，幾乎不能概括學(xué)習(xí)到的語(yǔ)義現(xiàn)象。 艾米莉·班德（Emily Bender）和亞歷山大·科勒（Alexander Koller）的最佳主題論文認(rèn)為，僅從形式上學(xué)習(xí)意義是不可能的。 Bisk等人在預(yù)印本中也提出了類似的要求。 提倡使用多種方式學(xué)習(xí)意義。
我們需要遠(yuǎn)離分類任務(wù)。 近年來(lái)，我們已經(jīng)看到了許多證據(jù)，證明分類和多項(xiàng)選擇任務(wù)很容易進(jìn)行，并且模型可以通過(guò)學(xué)習(xí)淺層的數(shù)據(jù)特定模式來(lái)達(dá)到較高的準(zhǔn)確性。 另一方面，生成任務(wù)很難評(píng)估，人類評(píng)估目前是唯一的信息量度，但是卻很昂貴。 作為分類的替代方法，Chen等。 將NLI任務(wù)從三向分類轉(zhuǎn)換為較軟的概率任務(wù)，旨在回答以下問(wèn)題：“在假設(shè)前提下，假設(shè)成立的可能性有多大？”。 Pavlick和Kwiatkowski進(jìn)一步表明，即使是人類也不同意某些句子對(duì)的并列標(biāo)簽，并且在某些情況下，不同的解釋可以證明不同的標(biāo)簽合理（并且平均注釋可能會(huì)導(dǎo)致錯(cuò)誤）。
我們需要學(xué)習(xí)處理歧義和不確定性。 Ellie Pavlick在Repl4NLP上的演講討論了在明確定義語(yǔ)義研究目標(biāo)方面的挑戰(zhàn)。 將語(yǔ)言理論天真地轉(zhuǎn)換為NLI樣式的任務(wù)注定會(huì)失敗，因?yàn)檎Z(yǔ)言是在更廣泛的上下文中定位和扎根的。 蓋·艾默生（Guy Emerson）定義了分布語(yǔ)義的期望屬性，其中之一是捕獲不確定性。 馮等。 設(shè)計(jì)的對(duì)話框響應(yīng)任務(wù)和模型，其中包括“以上皆非”響應(yīng)。 最后，Trott等 指出，盡管語(yǔ)義任務(wù)關(guān)注的是識(shí)別兩種話語(yǔ)具有相同的含義，但識(shí)別措辭上的差異如何影響含義也很重要。
ACL 在道德倫理方面的進(jìn)步是非常顯著的。前幾年，NLP 中道德倫理還少有人研究，但如今卻已然是 ACL 的一大類別，而且我們所有人在提交其它類別的論文時(shí)也都會(huì)考慮倫理道德。事實(shí)上，我們這個(gè)社區(qū)現(xiàn)在開始轉(zhuǎn)向批評(píng)那些探討重要的公平性問(wèn)題而同時(shí)又未能解決其它道德倫理考慮的論文。
我強(qiáng)烈推薦觀看 Rachael Tatman 在 WiNLP 研討會(huì)上洞見深入的主題演講「What I Won’t Build（我不會(huì)構(gòu)建的東西）」。Rachael 說(shuō)明了她個(gè)人不會(huì)參與構(gòu)建的那幾類系統(tǒng)，包括監(jiān)控系統(tǒng)、欺騙與其交互的用戶的系統(tǒng)、社會(huì)類別監(jiān)測(cè)系統(tǒng)。她提供了一個(gè)問(wèn)題列表，研究者可用來(lái)決定是否應(yīng)該構(gòu)建某個(gè)系統(tǒng)：
該系統(tǒng)將讓哪些人獲益？
該系統(tǒng)對(duì)哪些人有害？
用戶可以選擇退出嗎？
該系統(tǒng)會(huì)強(qiáng)化還是弱化系統(tǒng)的不公平性？
該系統(tǒng)總體上會(huì)讓世界變得更好嗎？
Leins et al. 提出了許多有趣但仍待解答的道德倫理問(wèn)題，比如符合道德倫理的 NLP 研究是怎樣的，這應(yīng)該由誰(shuí)、通過(guò)什么方式?jīng)Q定？模型的預(yù)測(cè)結(jié)果應(yīng)該由誰(shuí)負(fù)責(zé)？ACL 應(yīng)該嘗試將自己定位為道德衛(wèi)士嗎？這篇論文討論的問(wèn)題之一是模型的雙重使用問(wèn)題：一個(gè)模型既可以用于好的目的，也可以用于壞的目的。事實(shí)上，會(huì)議期間，針對(duì) Li et al. 的最佳演示論文發(fā)生了一場(chǎng) Twitter 爭(zhēng)論（很不幸該爭(zhēng)論由一個(gè)匿名賬號(hào)主導(dǎo)）。該論文提出了一個(gè)出色的多媒體知識(shí)提取系統(tǒng)。
本文作者還列舉其它一些不屬于以上類別的論文。
Cocos and Callison-Burch 創(chuàng)建了一個(gè)大規(guī)模的標(biāo)注了含義的句子資源，其中的含義是通過(guò)同等含義的詞進(jìn)行標(biāo)注的，比如 bug-microphone 中 bug 是個(gè)多義詞，這里使用 microphone 進(jìn)行標(biāo)注，就固定了其小型麥克風(fēng) / 竊聽器的含義，而非蟲子的含義。
Zhang et al. 提出了一種用于跟蹤文本出處的方法，包括其作者和其它來(lái)源的影響。Chakrabarty et al. 解決了將帶諷刺的句子轉(zhuǎn)譯為不帶諷刺句子的問(wèn)題，他還基于對(duì)諷刺的極富洞見的觀察而構(gòu)建了一個(gè)模型。
Wolfson et al. 將問(wèn)題理解引入為一個(gè)單獨(dú)的任務(wù)，其按照人類的方式通過(guò)將復(fù)雜問(wèn)題分解為更簡(jiǎn)單的問(wèn)題來(lái)進(jìn)行解答。
Gonen et al. 提出了一種用于測(cè)量詞義變化的非常直觀和可解釋的方法，其具體做法為檢查詞分布的最近鄰。
Anastasopoulos and Neubig 表明盡管使用英語(yǔ)作為中心語(yǔ)言來(lái)進(jìn)行跨語(yǔ)言嵌入學(xué)習(xí)是最佳實(shí)踐，但卻往往是次優(yōu)的；該論文提議了一些用于選擇更優(yōu)中心語(yǔ)言的一般原則。
最后，Zhang et al. 眾包了 Winograd 模式挑戰(zhàn)賽的解釋，并分析了解決該任務(wù)所需的知識(shí)類型以及現(xiàn)有模型在每種類別上的成功程度。
這些論文和主題演講給我?guī)?lái)一種感覺，盡管過(guò)去幾年取得了巨大的進(jìn)步，但我們還沒有走上正確的方向，也沒有一條非?？尚械那斑M(jìn)道路。 我認(rèn)為主題類別的變化具有正面意義，這能鼓勵(lì)研究者不執(zhí)著于容易取得的小進(jìn)步，而是著眼大局。
我喜歡能夠在自己的時(shí)間里(以喜歡的速度)觀看這么多演講，但這樣也確實(shí)錯(cuò)過(guò)了與其他學(xué)者的互動(dòng)，我不認(rèn)為與不同時(shí)區(qū)的參與者呆在一個(gè)虛擬聊天室里是一個(gè)很好的替代方案。我真的希望疫情之后，會(huì)議將再次線下舉行，但希望同時(shí)也允許人們以更低的注冊(cè)費(fèi)用遠(yuǎn)程參會(huì)。
希望明年能看到你們排著隊(duì)買難喝的咖啡?。ㄗg者：笑）
雷鋒字幕組是一個(gè)由AI愛好者組成的翻譯團(tuán)隊(duì)，匯聚五五多位志愿者的力量，分享最新的海外AI資訊，交流關(guān)于人工智能技術(shù)領(lǐng)域的行業(yè)轉(zhuǎn)變與技術(shù)創(chuàng)新的見解。
團(tuán)隊(duì)成員有大數(shù)據(jù)專家，算法工程師，圖像處理工程師，產(chǎn)品經(jīng)理，產(chǎn)品運(yùn)營(yíng)，IT咨詢?nèi)耍谛熒?；志愿者們?lái)自IBM，AVL，Adobe，阿里，百度等知名企業(yè)，北大，清華，港大，中科院，南卡羅萊納大學(xué)，早稻田大學(xué)等海內(nèi)外高校研究所。
如果，你也是位熱愛分享的AI愛好者。歡迎與雷鋒字幕組一起，學(xué)習(xí)新知，分享成長(zhǎng)。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
