0
| 本文作者： 木子 | 2018-10-17 16:22 | 專題：語言智能的技術(shù)與商業(yè)前沿 | 走進(jìn)深度好奇 |
雷鋒網(wǎng)按：本文原作者為深度好奇研究組，原發(fā)表于公眾號“深度好奇AI”（deeplycurious）。雷鋒網(wǎng)已獲授權(quán)轉(zhuǎn)載。
什么是理解
自然語言理解是人工智能的核心課題之一，也被廣泛認(rèn)為是最困難和最具標(biāo)志性的任務(wù)。最經(jīng)典的兩個人工智能思想實(shí)驗(yàn)——圖靈測試和中文房間，都是圍繞自然語言理解來構(gòu)建的。自然語言理解在人工智能技術(shù)體系中的重要性不言而喻，它一方面承載著機(jī)器和人的交流，另一方面直達(dá)知識和邏輯。自然語言理解也是人工智能學(xué)者孜孜以求的圣杯，機(jī)器學(xué)習(xí)的巨擘Michael I. Jordan就曾經(jīng)在Reddit上的AMA（Ask Me Anything）欄目中暢想用十億美元建立一個專門用于自然語言理解的實(shí)驗(yàn)室。
那么究竟什么是自然語言理解呢？我們可以認(rèn)為，理解是從自然語言到語義的映射，但是這個定義只是把問題轉(zhuǎn)移到了“語義”的定義上，而關(guān)于語義，一直缺乏在形式和功能上都普遍適用的定義。事實(shí)上，語義往往需要被放在特定領(lǐng)域和特定語境下去考量，比如一句“你開心就好”，可以在不同的場景下傳達(dá)鄙視和祝愿等多種意思。關(guān)于理解或者語義，我們不得不采取了下面兩種耍賴式的定義來刻畫它們的不同側(cè)面：
語義是特定語境下的語用，也就是說一句話的功效才是對它含義的最終表征；
理解一個語言對象（如一段話），等價于可以回答關(guān)于這個對象的所有問題。
不幸的是，這兩個定義都不具有完全的可操作性，也就是說，很難用這個定義來自動化地衡量對語義的映射是否準(zhǔn)確，或者理解是否恰當(dāng)。從某種意義上，語義理解在定義上就有點(diǎn)“難以捉摸”和不確定。
這種不確定也導(dǎo)致了人工智能中語義相關(guān)的系統(tǒng)在形式和功能上的多樣性。比如說，在神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯（NMT）中，所有的語義表示都是通過固定長度的實(shí)數(shù)值向量來完成。在第一代NMT系統(tǒng)中用一個很長的向量來表示和總結(jié)待翻譯的句子（確切地說是混合了語法和語義的信息），這個向量雖然不可解釋，但確實(shí)是一個形式和功能上都完整的表示（關(guān)于用向量表示語義一直有很多爭論，正面的比如G. Hinton的thought vector, 反面的比如R. Mooney的著名論斷）。而在第二代的基于注意力機(jī)制的NMT系統(tǒng)中，這種表示完整語義的設(shè)計已被淘汰，取而代之的是一個實(shí)數(shù)向量序列來表述多個片段的語義，從而在取得翻譯效果的大幅度進(jìn)步的同時，也在語義表示層面上后撤了一大步。同時我們注意到，連續(xù)的不可解釋的語義表示在另一些需要和有清晰的語義規(guī)范對象互動的時候則非常別扭，當(dāng)我們?nèi)プ龌谥R庫的問答或者基于罪行的描述做審判預(yù)測時，需要將語義表示和知識庫或者規(guī)則系統(tǒng)做對接。這種時候，我們會選擇符號化的語義表示，如邏輯表達(dá)式、圖或者其他離散的數(shù)據(jù)結(jié)構(gòu)。在本文接下來的討論中，我們會假定我們期望的語義表示中至少包含可解釋的離散結(jié)構(gòu)。
理解之難
自然語言理解的困難也是有目共睹，所以當(dāng)前自然語言理解通常是粗粒度、淺層或者是局部的。在常見的和理解相關(guān)的例子中，情感分析往往只是判斷感情是正面還是負(fù)面，而命名實(shí)體識別等只是標(biāo)出實(shí)體（比如人、組織、地名等）的名稱，但即使是這樣，準(zhǔn)確率也往往在達(dá)到一定水平之后裹足不前。相比而言，機(jī)器翻譯的快速發(fā)展反而是因?yàn)樗鼘斫獾睦@道而行，采取了一種“不懂裝懂”（pretend to understand）的模式。
那么自然語言理解為什么如此困難呢？ 我們認(rèn)為，主要有以下四個原因：
1.自然語言中含有復(fù)雜靈活的表達(dá)方式
我們經(jīng)常用不同的語句表達(dá)同一個意思，這些不同體現(xiàn)在風(fēng)格、語態(tài)、對缺省的選擇等眾多方面。比如，下面意思非常接近的兩句話就采用了不同的語序和風(fēng)格。
A：這里和購物中心的距離大約是兩公里，如果坐出租車的話，路上不堵的情況下大概十分鐘就到了
B：這兒離購物中心不遠(yuǎn)，打車也就十分鐘，不堵車的話，其實(shí)也就兩公里吧
2.長距離的邏輯關(guān)聯(lián)
自然語言形成的文本中，常常有長距離的邏輯關(guān)聯(lián)。這種邏輯關(guān)聯(lián)既包含來自語言結(jié)構(gòu)的依存關(guān)系，也包含語義層面上的邏輯關(guān)系，而且二者互相滲透。以下面的句子為例，它包含了一個語義信息“這里距離購物中心兩公里”，但是要做出這個判斷，需要跨越句頭和句尾中間的距離，依靠語義上的連續(xù)性來發(fā)現(xiàn)前后的邏輯關(guān)聯(lián)。這種邏輯關(guān)聯(lián)，往往很難靠類似循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）這樣的簡單序列處理模型來發(fā)現(xiàn)和利用。
3.對知識（包含常識的）的大量依賴
在文本的理解中，我們往往需要依賴大量的知識，這些知識既包括領(lǐng)域知識和常識這種長期知識，也包括在前文中建立的短期知識。我們通常說的“語境”也可以被認(rèn)為是短期知識的一種。
A：張三偷了一臺iPhone X，一臺iPhone 6S和一臺P20，其中兩臺蘋果手機(jī)都已經(jīng)轉(zhuǎn)手
B：車庫里有一輛17年的雅閣和一輛09年的凱美瑞，結(jié)果反而是舊車被偷了
在例A中，在理解“兩臺蘋果手機(jī)都已經(jīng)轉(zhuǎn)手”中的具體指代時，我們需要利用以下的知識：
iPhone X是蘋果手機(jī)
iPhone 6S是蘋果手機(jī)
P20是華為手機(jī)。
而在例B中，在理解“舊車被偷了”時，我們不僅需要使用前半句中建立的
雅閣是17年的
凱美瑞是09年的
這兩條知識，我們同時需要使用“09年的車比17年的車更舊”這一常識。準(zhǔn)確利用這些知識則需要對知識進(jìn)行有效的獲取、表示和調(diào)用。
4.語義表示形式設(shè)計的困難
語義表示的形式一直以來是語義解析這個問題上爭論的核心之一。簡單來說，“完備的”語義表示需要能夠包含精確知識（如“張三殺了李四”），也需要承載語言中的模糊性、不確定性、程度和情感的極性等問題。同時我們期望語義的表示能夠和其他知識（如語境）進(jìn)行完美的對接以完成聯(lián)合的表示和推理，比如一句“這水挺燙的”，在水的用途是飲用、泡面、泡腳等不同場景下就可能導(dǎo)致不同的語義（如極性和程度等）。同時，語義表示也需要考慮到實(shí)際的用途和技術(shù)邊界，這種平衡本身就是非常困難和持續(xù)變化的。
我們可以看到，上述困難中有些是深度學(xué)習(xí)所擅長的，比如神經(jīng)網(wǎng)絡(luò)的方法就可以利用其向量式的“模糊表示”來處理復(fù)雜靈活的表達(dá)方式；有些是符號邏輯所擅長的，比如長距離的邏輯關(guān)聯(lián)；而有些顯然是需要二者合力的，比如對知識的依賴，就既需要神經(jīng)網(wǎng)絡(luò)的參數(shù)來記住和運(yùn)用各種瑣細(xì)靈活的知識，又需要把一些可以被明晰表達(dá)的知識用符號性的方式來存儲和調(diào)用。據(jù)此，我們認(rèn)為，神經(jīng)網(wǎng)絡(luò)和符號智能的深度結(jié)合才是解決上述困難唯一正確的道路。對此我們將會在本文余下的部分做詳盡的闡釋。
為什么神經(jīng)+符號是正確的道路
正如上文中所闡釋的，人類語言理解的過程、機(jī)制和形態(tài)，充滿了符號性和連續(xù)性的雙重特性，而在人工智能的實(shí)踐中，我們也發(fā)現(xiàn)了二者各自的優(yōu)勢。在人工智能的歷史上，這就是符號主義（Symbolism）和聯(lián)結(jié)主義（Connectionism）之爭。我們先來解釋下神經(jīng)和符號的概念，以及各自的特點(diǎn)、優(yōu)勢和劣勢。這些討論將會在以下三個層面上展開：
表示層 : 語言對象的語義表示，如詞、句子乃至長文本的語義表示，也包含系統(tǒng)中和語義相關(guān)的中間狀態(tài)
運(yùn)算層 ：對不同類型和尺度的語言對象的操作和轉(zhuǎn)化，如生成、映射、轉(zhuǎn)換、分類、預(yù)測、查詢、更新等
知識層 ：包括語言學(xué)知識、領(lǐng)域知識和常識這類的“長期知識”，也包括在理解過程中對文本建立的“短期知識”。
總體來說，
神經(jīng)網(wǎng)絡(luò)用來處理連續(xù)的表示、操作以及知識，具有模糊、可學(xué)習(xí)、不確定、靈活、無需設(shè)計、不可解釋的特性，不擅于處理圖結(jié)構(gòu)、變量、遞歸和指代等；
符號系統(tǒng)用來處理離散的、結(jié)構(gòu)性的表示、操作以及知識（包括圖結(jié)構(gòu)、變量、遞歸和指代等），具有清晰、精確、高執(zhí)行效率、可解釋的優(yōu)點(diǎn)。
從系統(tǒng)設(shè)計的角度，神經(jīng)網(wǎng)絡(luò)正因?yàn)闋奚宋⒂^和主動意義上的可解釋性（如設(shè)定某個節(jié)點(diǎn)或者某個參數(shù)的含義），轉(zhuǎn)向架構(gòu)和機(jī)制上的設(shè)計， 從而獲得了系統(tǒng)描述能力（expressiveness）上的靈活性。從數(shù)學(xué)的角度，神經(jīng)網(wǎng)絡(luò)可以認(rèn)為是用大量參數(shù)近似地描述了大量可能符號模式的分布，從而可以用基于梯度的方法(gradient-based methods) 來訓(xùn)練，但是也失去了對特定符號模式的清晰刻畫的能力。我們可以用圖1來形象地說明神經(jīng)網(wǎng)絡(luò)和符號系統(tǒng)是如何去近似解決同一個真實(shí)的任務(wù)的。
圖1：神經(jīng)網(wǎng)絡(luò)和符號智能任務(wù)處理上的比較
我們用下表來總結(jié)神經(jīng)網(wǎng)絡(luò)和符號智能在表示、運(yùn)算和知識三個層面上的區(qū)別。
神經(jīng)符號主義的歷史
人工智能領(lǐng)域長期有兩種思想占據(jù)主流地位：符號主義和聯(lián)結(jié)主義。符號主義使用基于規(guī)則的符號做推理，致力于用計算機(jī)的符號操作來模擬邏輯思維和認(rèn)知過程，實(shí)現(xiàn)人工智能。聯(lián)結(jié)主義強(qiáng)調(diào)智能起源于高度互聯(lián)的簡單機(jī)制，其偏向于模仿腦結(jié)構(gòu)的研究，更側(cè)重神經(jīng)網(wǎng)絡(luò)中的聯(lián)結(jié)機(jī)制與學(xué)習(xí)算法。規(guī)則系統(tǒng)具有可解釋性強(qiáng)和精確度高的特點(diǎn)，而神經(jīng)網(wǎng)絡(luò)靈活性高、泛化能力強(qiáng)、魯棒性好，因此人工智能之父馬文·明斯基（Marvin Minsky）總結(jié)到：“符號知識和聯(lián)結(jié)主義各有優(yōu)缺點(diǎn)，我們需要一個系統(tǒng)能夠?qū)⑺鼈兊膬?yōu)點(diǎn)集成起來” [1]。自1980年，很多有遠(yuǎn)見的人工智能學(xué)者就試圖將神經(jīng)網(wǎng)絡(luò)和符號智能結(jié)合，這個包含了無數(shù)不同嘗試的方向被稱為神經(jīng)符號主義（Neural-symbolism）。
一些先驅(qū)者對神經(jīng)符號主義進(jìn)行了初步的探索。早在1990年，Towell等人便提出了KBANN（基于知識的人工神經(jīng)網(wǎng)絡(luò)）[2]，采用已有的經(jīng)驗(yàn)知識去構(gòu)建人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和網(wǎng)絡(luò)中的連接權(quán)重。Garcez等人在1999年提出了CILP系統(tǒng)[3]，他們將背景知識轉(zhuǎn)化為命題邏輯，并基于此構(gòu)建前向人工神經(jīng)網(wǎng)絡(luò)，并從例子中歸納新的知識去更新已有的知識。Garcez等人在2001年提出了一種在訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中抽取邏輯知識的方法[4]，可以增強(qiáng)神經(jīng)網(wǎng)絡(luò)的可解釋性。Richardson等人在2006年對一階符號邏輯和概率圖模型結(jié)合的方式進(jìn)行了探索，提出了馬爾科夫邏輯網(wǎng)絡(luò)[5]，該網(wǎng)絡(luò)是一個一階符號邏輯的知識庫，其中每一個公式都有對應(yīng)的權(quán)重。受限于當(dāng)時機(jī)器學(xué)習(xí)技術(shù)和自然語言處理技術(shù)的制約，這些探索并不能充分利用神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，因而沒有取得更近一步的成功。
隨著層數(shù)更深、更多樣、表達(dá)能力更強(qiáng)的深度神經(jīng)網(wǎng)絡(luò)的崛起，越來越多的學(xué)者加入了對神經(jīng)網(wǎng)絡(luò)和符號智能進(jìn)行結(jié)合的探索中。Jaeger提出了一種用“Conceptors”控制循環(huán)神經(jīng)網(wǎng)絡(luò)的方式[6]，使得整個網(wǎng)絡(luò)具有幾何特性，并且可以和布爾邏輯進(jìn)行有效結(jié)合。Graves等人提出了神經(jīng)圖靈機(jī)（Neural Turing Machines）[7]，Sukhbaatar等人提出了記憶網(wǎng)絡(luò)[8]，他們都引入了記憶機(jī)制來解決對推理過程中間結(jié)果的存儲問題。上述方法對神經(jīng)符號系統(tǒng)進(jìn)行了進(jìn)一步的探索，賦予了神經(jīng)網(wǎng)絡(luò)符號化的結(jié)構(gòu)，對后續(xù)的研究有著重要的啟發(fā)意義。
近年來，一些研究者致力于借助神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)符號推理。Neelakantan等人提出了“Neural Programmer”[9]，基于自然語言理解實(shí)現(xiàn)數(shù)據(jù)庫查詢。Liang等人進(jìn)一步引入了符號化的記憶機(jī)制[10]，幫助神經(jīng)網(wǎng)絡(luò)更好地完成復(fù)雜推理。Mou等人用神經(jīng)網(wǎng)絡(luò)和符號操作共同決策，提出了解決自然語言推理查詢的新途徑[11]。
還有一些工作希望能用符號邏輯幫助神經(jīng)網(wǎng)絡(luò)訓(xùn)練、學(xué)習(xí)和推理。Hu等人提出了Teacher-Student網(wǎng)絡(luò)[12]，讓神經(jīng)網(wǎng)絡(luò)（Student）擬合符號規(guī)則（Teacher）的結(jié)果，使得神經(jīng)網(wǎng)絡(luò)在規(guī)則的指導(dǎo)下訓(xùn)練學(xué)習(xí)。Goyal等人采用先驗(yàn)知識改進(jìn)了字符級的循環(huán)神經(jīng)網(wǎng)絡(luò)用于自然語言生成問題（NLG）[13]。Luo等人探索了在不同層面上，正則表達(dá)式規(guī)則和神經(jīng)網(wǎng)絡(luò)的結(jié)合手段，希望用正則表達(dá)式規(guī)則提供的豐富信息提升神經(jīng)網(wǎng)絡(luò)的表現(xiàn)[14]。這些方法本質(zhì)上是用符號知識給神經(jīng)網(wǎng)絡(luò)提供更多的信息，神經(jīng)網(wǎng)絡(luò)和符號智能的結(jié)合較為粗糙。同時，這些將神經(jīng)網(wǎng)絡(luò)和符號智能結(jié)合的嘗試往往只是針對某個非常限定的任務(wù)，而且往往只有空間上對某個層面的處理。
通向神經(jīng)系統(tǒng)和符號智能的融合
我們認(rèn)為神經(jīng)網(wǎng)絡(luò)和符號智能融合的理想形態(tài)，應(yīng)該遵循以下的原則/方向：
原則-I：形成神經(jīng)和符號的連接
簡言之，我們需要建立神經(jīng)和符號交流的界面、路徑和機(jī)制。二者的交流主要有兩種，1）互相控制和調(diào)用，2）互為輸入和輸出。對于1），一個例子是Neural Programmer [9], 它用連續(xù)信號來調(diào)用和驅(qū)動符號運(yùn)算，而二者的界面就是符號預(yù)算的向量索引。 對于2），我們期望神經(jīng)運(yùn)算的輸出可以成為符號運(yùn)算的輸入，而同時符號運(yùn)算的輸出（在“嵌入”之后）也可以成為神經(jīng)運(yùn)算的輸入（如圖2），這形成了表示層-運(yùn)算層的神經(jīng)-符號閉環(huán)。舉例說明，對于下面的例句
三郎仁真與澤旺、洛爾伊在大學(xué)旁邊的快捷酒店住了三個晚上
神經(jīng)網(wǎng)絡(luò)利用當(dāng)前的狀態(tài)（向量表示）預(yù)測“三郎仁真” 是人名，這個符號化的信息可以作為下面一條規(guī)則
RULE-9527: 在同一個list中的語言對象應(yīng)該有同樣的類型
的輸入，從而預(yù)測“澤旺”也是人名。而這個來自符號運(yùn)算的輸出，在嵌入之后，會和其他的原始輸入一起，再次進(jìn)入神經(jīng)網(wǎng)絡(luò)，而其進(jìn)入的形式可以是作為建議（從而需要神經(jīng)網(wǎng)絡(luò)的進(jìn)一步綜合判定），也可以是作為確定的結(jié)論。
圖2：神經(jīng)（連續(xù)）信號和符號信號的閉環(huán)
原則-II：形成神經(jīng)和符號間的并列和對應(yīng)
神經(jīng)符號系統(tǒng)可以在表示、運(yùn)算、知識三個層面上，形成神經(jīng)和符號間的并列和對應(yīng)。這里，并列是指同時存在功能重合的神經(jīng)和符號兩種狀態(tài)，這形成了某種程度的冗余，可以被系統(tǒng)擇優(yōu)使用或者同時使用（見原則-III）；而對應(yīng)則意味著神經(jīng)和符號兩種狀態(tài)之間存在設(shè)計的信息交互，這種交互可以幫助一種形態(tài)轉(zhuǎn)換成另一種形態(tài)，也可以同時促進(jìn)兩種形態(tài)的共同訓(xùn)練（co-training）（這里的co-training是從multi-view learning的角度來鼓勵兩個或更多通路的一致性，而非強(qiáng)調(diào)在其半監(jiān)督學(xué)習(xí)場景下的應(yīng)用）。 這三個層面上的并列和對應(yīng)可以有多種方式，下面僅舉兩例。我們在2017年提出的神經(jīng)-符號雙通路的問題解析模型 [11]（見圖3-a）：對一個問題（如“北京奧運(yùn)會是哪一年舉行的？”），系統(tǒng)會有包含解析和運(yùn)算的神經(jīng)通路，也會有一個近乎對稱的符號通路。兩條通路殊途同歸，同時會有密集的信息交換。神經(jīng)通路可以高效地利用后向傳播算法學(xué)習(xí)，而符號通路則通過符號化的總結(jié)而具有高執(zhí)行效率和很好的泛化性能。通過在訓(xùn)練中鼓勵兩條通路的一致性，我們可以獲得比單一通路更好的學(xué)習(xí)效率、執(zhí)行效率以及泛化性能。我們最新的一項(xiàng)技術(shù)（見下文中的Nerual Rule Engine），則可以部分地完成知識層上的轉(zhuǎn)換（見圖3-b），從而利用神經(jīng)網(wǎng)絡(luò)天然的泛化能力克服規(guī)則系統(tǒng)的脆弱性。圖3-b也描述了上述轉(zhuǎn)換的逆過程，即神經(jīng)網(wǎng)絡(luò)中的參數(shù)知識被總結(jié)成為規(guī)則，這個過程通常被稱為規(guī)則抽?。╮ule extraction）。
圖3：神經(jīng)和符號間的并列和對應(yīng)
原則-III：完備的中央調(diào)控機(jī)制去選擇、控制和規(guī)劃
為了有效地訓(xùn)練和執(zhí)行，神經(jīng)符號系統(tǒng)需要一個中央控制系統(tǒng)在表示、運(yùn)算、知識三個層面上做選擇、控制和規(guī)劃（見圖4）。如果存在表示、運(yùn)算甚至知識層面上的并列（見原則-II），那么在執(zhí)行階段，中控系統(tǒng)會在某個特定時刻根據(jù)情況在這三個層面上選擇使用神經(jīng)、符號還是它們的組合。比如說，在閱讀和理解某個句子的過程中，中控系統(tǒng)在某時刻決定探測句子余下的部分是否含有并列結(jié)構(gòu)。這個探測的決定本身是符號性的，但是這個探測的行為本身可以是由一個神經(jīng)網(wǎng)絡(luò)模塊來完成的。同樣，分管訓(xùn)練的更長期的中控系統(tǒng)會規(guī)劃神經(jīng)通路和符號通路的交流的具體節(jié)奏，控制轉(zhuǎn)換和促進(jìn)的機(jī)制等。接著用上面的例子，這個探測并列結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模塊可能原先來源于一個簡單的規(guī)則，但是在使用過程中不斷地吸收來自任務(wù)的監(jiān)督信號，最終被中控系統(tǒng)確定取代對應(yīng)的規(guī)則。很顯然，原則-III的意義來源于原則-I和II帶來的神經(jīng)和符號復(fù)雜交融的可能，而原則-III的實(shí)現(xiàn)也需要以原則-I和II為基礎(chǔ)。
圖4：對神經(jīng)網(wǎng)絡(luò)系統(tǒng)的調(diào)控
這三個方向上的融合，既相對獨(dú)立，又有很強(qiáng)的關(guān)聯(lián)，同時可以以多種方式嵌套使用，給出了無限的架構(gòu)和機(jī)制設(shè)計上的可能性?？梢哉J(rèn)為，一個相對“完備”的神經(jīng)符號系統(tǒng)應(yīng)該綜合了這三個方向，從而可以將神經(jīng)系統(tǒng)和符號系統(tǒng)各自的優(yōu)點(diǎn)做深層次融合，使得文本理解達(dá)到前所未有的深度。雖然在特定任務(wù)的神經(jīng)符號系統(tǒng)上，我們往往只會實(shí)現(xiàn)神經(jīng)符號系統(tǒng)的特定方面，這些可以從深度好奇最近的工作為例來說明。
深度好奇的工作
深度好奇正是遵循以上的融合神經(jīng)網(wǎng)絡(luò)和符號智能的原則，針對不同類型的自然語言理解任務(wù)，設(shè)計了一系列的模型。我們介紹下面三個工作，1）神經(jīng)規(guī)則引擎，2）變焦神經(jīng)網(wǎng)絡(luò)，和 3）神經(jīng)實(shí)體推理, 來作為其中的代表。
神經(jīng)規(guī)則引擎（Neural Rule Engine）
規(guī)則作為人類知識的具體體現(xiàn)，是一種簡單但是極為可靠的快速構(gòu)建工業(yè)應(yīng)用的手段，也是符號性知識的通用形式。規(guī)則雖然極其精確，但是其僵硬脆弱的特點(diǎn)又經(jīng)常被詬病，比如規(guī)則可以查找“騎自行車上班”，但是語義相似的“騎小黃車上班”卻無法匹配，傳統(tǒng)的規(guī)則需要大量擴(kuò)充才能涵蓋這些在語義上相近的表達(dá)。我們提出的神經(jīng)規(guī)則引擎（NRE），將符號性的規(guī)則知識轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)的知識形式，并輔以對應(yīng)的運(yùn)算。NRE吸收了神經(jīng)網(wǎng)絡(luò)靈活性高、泛化能力強(qiáng)、魯棒性好的優(yōu)勢，同時也維持了規(guī)則的精確性和可解釋性。它可以從規(guī)則中學(xué)習(xí)知識，同時又通過神經(jīng)網(wǎng)絡(luò)來泛化知識，與人類學(xué)習(xí)知識的方式有異曲同工之妙。神經(jīng)規(guī)則引擎由基礎(chǔ)的操作和解析器來表示規(guī)則。操作和解析器根據(jù)需求既可以選用神經(jīng)網(wǎng)絡(luò)也采取符號算法來實(shí)現(xiàn)。具體來說，神經(jīng)規(guī)則引擎先對規(guī)則用解析器進(jìn)行解析，生成層級操作序列，之后依照順序來組裝模塊，最后將組裝好的規(guī)則應(yīng)用于具體的事例，判斷是否符合規(guī)則（圖5給出了一個簡略的示意圖）。實(shí)驗(yàn)表明，借助神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，神經(jīng)規(guī)則引擎對符號知識進(jìn)行了學(xué)習(xí)和擴(kuò)展，可以大幅提升規(guī)則的召回率，同時還能維持較高的精確率使規(guī)則本身的特性得以保留。神經(jīng)規(guī)則引擎不僅是一種新的神經(jīng)符號學(xué)習(xí)范式，同時也為現(xiàn)有的工業(yè)應(yīng)用帶來了一種高效的改進(jìn)，它可以被用來對已有的規(guī)則系統(tǒng)進(jìn)行升級，或者在訓(xùn)練數(shù)據(jù)不大的情況下快速開發(fā)出神經(jīng)規(guī)則系統(tǒng) (論文見 arxiv.org/abs/1808.10326)。
圖5：神經(jīng)規(guī)則引擎的示意圖
變焦神經(jīng)網(wǎng)絡(luò)（Zooming-Net）
段落、列表等文本結(jié)構(gòu)蘊(yùn)涵著信息輸出者的表達(dá)策略，對于準(zhǔn)確抓取、理解文本內(nèi)容有著重要的意義。這種文本結(jié)構(gòu)有符號化的骨架，但是又需要和局部的語義有深度的耦合。我們提出了變焦神經(jīng)網(wǎng)絡(luò)（Zooming-Net）來完成這種偏符號性的文本結(jié)構(gòu)和神經(jīng)性的局部語義表示的結(jié)合。Zooming-Net可以利用Policy-Net靈活地選擇在特定文本粒度（字、句、段）上執(zhí)行讀取、更新、跳轉(zhuǎn)、預(yù)測等一系列操作，這種獨(dú)特的變焦處理方式高度類似人類閱讀過程，利用文本結(jié)構(gòu)，其在信息稀疏部分進(jìn)行泛讀，確保不引入過多噪聲，在信息密集部分進(jìn)行精讀，確保有用信息不被丟失。我們引入了符號化推理模塊對模型的輸出加以解釋，并進(jìn)行定向的干預(yù)。變焦神經(jīng)網(wǎng)絡(luò)由層次化編碼器、變焦控制器和符號化推理模塊三個部分完成對文本的處理并以序列標(biāo)注的形式找出文本中的關(guān)鍵片段（圖6給出了一個簡略的示意圖）。具體地說，在每個時刻，層次化編碼器配合變焦控制器有策略地選擇建立層次化特征，讀取特定層級的信息，結(jié)合符號化推理模塊給出的臨時性離散信息預(yù)測出一定長度的標(biāo)簽序列。在讀取整篇文本之后，將各時刻輸出的標(biāo)簽序列進(jìn)行組裝，并取出對應(yīng)的關(guān)鍵信息片段。實(shí)驗(yàn)表明，借助句段結(jié)構(gòu)信息，變焦神經(jīng)網(wǎng)絡(luò)很好地結(jié)合了泛讀與精讀過程，其可以更好地對長時依賴特征進(jìn)行建模，并引入大跨度動作提高效率，在關(guān)鍵信息的抽取任務(wù)上，f1值較經(jīng)典序列標(biāo)注模型（biLSTM+CRF）有10%以上的提升，預(yù)測行為頻次減少50%以上。變焦神經(jīng)網(wǎng)絡(luò)非常適合應(yīng)用在各類長文本處理任務(wù)當(dāng)中，其使用的編解碼方式也可結(jié)合其他技術(shù)推廣到各類自然語言處理任務(wù)過程中 (論文見 arxiv.org/abs/1810.02114 )。
圖6：變焦神經(jīng)網(wǎng)絡(luò)的基本原理
神經(jīng)實(shí)體推理（Neural Entity Reasoner）
命名實(shí)體識別（Named Entity Recognition）被認(rèn)為文本理解的基礎(chǔ)和底層任務(wù)，因?yàn)樗穆毮芫褪前l(fā)現(xiàn)和標(biāo)識文本中的人名、地名等。傳統(tǒng)的NER方法依賴局部和底層的語言特征，但是當(dāng)出現(xiàn)有歧義的說法或者少見的人名時，這類方法往往會遇到困難。而人在這種情況下，往往可以通過縱覽全文，打通和融合局部的知識，來擺脫這種困境。我們正是受到人的思維模型的啟發(fā)，為NER這個看似低級的任務(wù)引入了高級的“推理”機(jī)制，將符號化的命名實(shí)體信息“取之于網(wǎng)絡(luò)，用之于網(wǎng)絡(luò)”，從而可以在深度學(xué)習(xí)的框架內(nèi)融合同一文本中的命名實(shí)體的決策。命名實(shí)體神經(jīng)推理機(jī)（NE-Reasoner）整體上是一個多層的架構(gòu)，每一層都獨(dú)立完成一次NER（圖7給出了一個簡略的示意圖）。每層的NER結(jié)果，會通過一個符號化的“緩存”存儲起來，作為下一層NER的參考：這種參考是通過一個交互式的池化神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，本質(zhì)上是一個基于多個事實(shí)的推理模型。由于這樣的設(shè)計，在做每個局部的決策時，模型都可以“看見”并參考別處相關(guān)決策，從而做出更加明智的決定。實(shí)驗(yàn)表明，通過在神經(jīng)網(wǎng)絡(luò)的推理過程中，引入符號化的緩存記憶，以及在緩存基礎(chǔ)上的多事實(shí)全局推理，可以顯著提高命名實(shí)體識別的準(zhǔn)確率，尤其是在傳統(tǒng)方法容易犯錯的歧義和少見人名上有更好的表現(xiàn)。命名實(shí)體神經(jīng)推理機(jī)作為神經(jīng)符號推理機(jī)在NER任務(wù)上應(yīng)用的一個實(shí)例，不僅打開了之前神經(jīng)網(wǎng)絡(luò)推理決策的黑箱，使得推理過程中的關(guān)鍵步驟對人類可見和可理解，而且給予了人工進(jìn)一步干預(yù)推理過程的可能性及有效的接口 (論文見 arxiv.org/abs/1810.00347)。
圖7：神經(jīng)實(shí)體推理（NE-Reasoner）工作原理圖
不同于之前介紹的三項(xiàng)相對專門的技術(shù)，面向?qū)ο蟮纳窠?jīng)規(guī)劃（Object-oriented Neural Programing, OONP）是一個用于復(fù)雜語言對象理解的新框架。作為神經(jīng)符號系統(tǒng)的實(shí)例，OONP不但有大量神經(jīng)符號主義的具體實(shí)現(xiàn)，而且也為神經(jīng)網(wǎng)絡(luò)和符號的更多和更充分的融合留下充分的空間。
OONP借用面向?qū)ο缶幊蹋∣OP）的思想，利用解析出來的實(shí)體組成對象和對象間關(guān)系（如圖8），構(gòu)成結(jié)構(gòu)清晰的本體圖。每個對象（object）都是一個類（class）的實(shí)例化，類的概念規(guī)定了其具有的內(nèi)部屬性、外部關(guān)系和可執(zhí)行的操作，以及與其他對象的關(guān)系類型。
圖8：OONP的解析示意圖，左側(cè)的每一個小框代表了一個對象（object），框的顏色標(biāo)識了類（class）
如圖9所示，OONP由三部分組成，分別是主控模塊閱讀器（Reader）、表征文檔的行間記憶（Inline Memory）模塊、以及總結(jié)對之前文本的理解的攜帶記憶（Carry-on Memory）模塊。而攜帶記憶（Carry-on Memory）模塊又可分為表征圖結(jié)構(gòu)的對象記憶（Object Memory）、存儲連續(xù)狀態(tài)的矩陣記憶 (Matrix Memory) 和記錄離散動作的動作歷史 (Action History) 三部分。
圖9：OONP的整體架構(gòu)
在解析文本時，OONP模仿了人理解文本時一邊閱讀一邊理解的方式。OONP框架將解析過程轉(zhuǎn)化為決策序列：OONP閱讀器按照文本順序讀文檔，同時不斷豐富本體圖結(jié)構(gòu)來增進(jìn)對文檔的理解，該圖結(jié)構(gòu)被決策過程的操作序列創(chuàng)建和更新，并在解析的結(jié)尾作為最終的文本語義表示。對于某個待解析的文檔，OONP首先將預(yù)處理之后的文檔放入行間記憶模塊，閱讀器順序讀取行間記憶中的符號表示和連續(xù)表示，結(jié)合攜帶記憶，產(chǎn)生各種操作來增加和豐富本體圖，更新攜帶記憶模塊。這些操作包含可微分操作（作用于對象記憶的連續(xù)部分和矩陣記憶）和離散操作（作用于對象記憶和行間記憶的符號部分）。這些連續(xù)和離散操作互相依賴，構(gòu)成了彼此的輸入，共同形成了圖10中復(fù)雜而靈活的信息流。
圖10：閱讀器（Reader）的架構(gòu)細(xì)節(jié)以及信息流
在OONP框架內(nèi)，連續(xù)和離散的表示、運(yùn)算、知識相互緊密結(jié)合，形成信息閉環(huán)。這使得OONP可以靈活地將各種先驗(yàn)知識用不同形式加入到行間記憶和策略網(wǎng)絡(luò)。具體來說：
整體來說，OONP解析的決策過程本身就是從神經(jīng)網(wǎng)絡(luò)到離散結(jié)構(gòu)（本體圖）映射的過程，而這個離散結(jié)構(gòu)又成為神經(jīng)網(wǎng)絡(luò)控制的決策過程的輸入，從而形成了大的神經(jīng)-符號的信息閉環(huán)。而在OONP的具體模塊上，這種閉環(huán)還大量存在；
在行間記憶和對象記憶里，存在大量離散和連續(xù)并列的表示，比如說，對象記憶中的圖狀離散結(jié)構(gòu)上會附有不同類型的連續(xù)向量表示。同時在OONP的運(yùn)算層，每個動作的決定都需要融合來自規(guī)則引擎以及神經(jīng)網(wǎng)絡(luò)的輸出。比如會有獨(dú)立的規(guī)則引擎來分析動作歷史，發(fā)掘大范圍的動作的模式，從而給出下一步的決策建議，而這些建議會和其他來自神經(jīng)運(yùn)算的結(jié)果一起匯入策略網(wǎng)絡(luò)的輸入；
在OONP的框架內(nèi)，允許符號知識（如規(guī)則）轉(zhuǎn)換成為功能接近的神經(jīng)模塊，而這些神經(jīng)模塊可以作為OONP組件進(jìn)行聯(lián)合訓(xùn)練。
以神經(jīng)符號系統(tǒng)為核心技術(shù)思想，深度好奇構(gòu)建了以O(shè)ONP為核心技術(shù)框架的包括多個技術(shù)模塊的自然語言理解技術(shù)平臺。以此為基礎(chǔ)，我們設(shè)計制造了公安案情結(jié)構(gòu)化、智能視頻審核、法律文書解析、語音視頻調(diào)度等一系列產(chǎn)品（見圖11）。
圖11：深度好奇的技術(shù)架構(gòu)
這里我們以公安案情結(jié)構(gòu)化和智能視頻審核為例：
公安案情結(jié)構(gòu)化：這個系統(tǒng)對公安偵破過程中的文本信息進(jìn)行解析，構(gòu)建關(guān)于案情的人-事-物-時-地的知識圖譜（見圖12），讓機(jī)器“懂”案情，從而為刑偵人員提供串并案、犯罪預(yù)測、信息比對及融合等決策輔助。公安案情結(jié)構(gòu)化是OONP的一個成功應(yīng)用，充分發(fā)揮了神經(jīng)符號系統(tǒng)在解析復(fù)雜文本上的優(yōu)勢。公安案情結(jié)構(gòu)化任務(wù)的復(fù)雜性體現(xiàn)在多個方面，其相關(guān)文本形式多樣，敘述邏輯繁復(fù)曲折，而且最終的知識表示是包含多事件、多實(shí)體、多標(biāo)簽以及時空關(guān)系的龐雜圖譜。為了將文本中特定的敘述習(xí)慣等知識作為規(guī)則嵌入OONP并獲得泛化能力，我們利用了Neural Rule Engine來處理理解過程中的特定子任務(wù)，取得了較小數(shù)據(jù)量下的顯著效果。
圖12：公安案情結(jié)構(gòu)化示意圖
智能視頻審核：該場景是對借款人進(jìn)行視頻面試，從而基于交互過程進(jìn)行信息審核和欺詐檢測（見圖13）。深度好奇的智能視頻審核系統(tǒng)依靠對語音對話的理解來構(gòu)建對話系統(tǒng)，在溝通過程中根據(jù)用戶信息判定高欺詐風(fēng)險的信息點(diǎn)，并進(jìn)行主動的問詢。例如，當(dāng)借款人提供的職業(yè)信息是“養(yǎng)生會所的工作人員”時，該系統(tǒng)就會追問“你們公司的客流量有多大” 、“你們公司的主要設(shè)備是什么” 這類的問題。完整的對話過程將會被用來評估及判定借款人騙貸和逃貸等風(fēng)險。
圖13：智能視頻審核示意圖
自然語言理解作為人工智能的核心任務(wù)，經(jīng)歷了從符號智能到統(tǒng)計學(xué)習(xí)、再到深度學(xué)習(xí)的發(fā)展和演化。深度學(xué)習(xí)雖然風(fēng)頭正勁，卻也暴露出在解決語言理解問題中的諸多缺陷。而今我們相信，深度學(xué)習(xí)和符號智能的結(jié)合將是下一代自然語言理解的新范式，也是解決自然語言理解這個困難任務(wù)的唯一路徑。神經(jīng)符號系統(tǒng)是深刻而實(shí)用的技術(shù)方向，深度好奇也在這個方向上將相應(yīng)技術(shù)做了成功的產(chǎn)業(yè)應(yīng)用。相信在學(xué)界和產(chǎn)業(yè)界的共同努力下，我們終究可以讓機(jī)器善解人意。
[1] Minsky, Marvin L. "Logical versus analogical or symbolic versus connectionist or neat versus scruffy." AI magazine 12.2 (1991): 34.
[2] Towell, Geoffrey G., Jude W. Shavlik, and Michiel O. Noordewier. "Refinement of approximate domain theories by knowledge-based neural networks." Proceedings of the eighth National conference on Artificial intelligence. Vol. 861866. 1990.
[3] Garcez, Artur S. Avila, and Gerson Zaverucha. "The connectionist inductive learning and logic programming system." Applied Intelligence 11.1 (1999): 59-77.
[4] Garcez, AS d'Avila, Krysia Broda, and Dov M. Gabbay. "Symbolic knowledge extraction from trained neural networks: A sound approach." Artificial Intelligence 125.1-2 (2001): 155-207.
[5] Richardson, Matthew, and Pedro Domingos. "Markov logic networks." Machine learning 62.1-2 (2006): 107-136.
[6] Jaeger, Herbert. "Controlling recurrent neural networks by conceptors." arXiv preprint arXiv:1403.3369 (2014).
[7] Graves, Alex, Greg Wayne, and Ivo Danihelka. "Neural turing machines." arXiv preprint arXiv:1410.5401 (2014).
[8] Sukhbaatar, Sainbayar, Jason Weston, and Rob Fergus. "End-to-end memory networks." Advances in neural information processing systems. 2015.
[9] Neelakantan, Arvind, et al. "Learning a natural language interface with neural programmer." arXiv preprint arXiv:1611.08945 (2016).
[10] Liang, Chen, et al. "Neural symbolic machines: Learning semantic parsers on freebase with weak supervision." arXiv preprint arXiv:1611.00020 (2016).
[11] Mou, Lili, et al. "Coupling distributed and symbolic execution for natural language queries." arXiv preprint arXiv:1612.02741 (2016).
[12] Hu, Zhiting, et al. "Harnessing Deep Neural Networks with Logic Rules." Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Vol. 1. 2016.
[13] Goyal, Raghav, Marc Dymetman, and Eric Gaussier. "Natural language generation through character-based rnns with finite-state prior knowledge." Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers. 2016.
[14] Luo, Bingfeng, et al. "Marrying up Regular Expressions with Neural Networks: A Case Study for Spoken Language Understanding." arXiv preprint arXiv:1805.05588 (2018).
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
