0
| 本文作者： 任平 | 2024-03-14 10:00 |
在語言學(xué)的廣闊天地中，手語研究曾是一片未被充分開墾的荒地。
上海大學(xué)的倪蘭教授，作為中國大陸培養(yǎng)的第一位「手語語言學(xué)」方向博士，在談到自己選擇手語方向時仍忍不住感慨，“往前推二十年，語言學(xué)界幾乎無人涉足這一領(lǐng)域。”
然而，時光流轉(zhuǎn)至今，這一領(lǐng)域的現(xiàn)狀是否得到了改善？
二十年后的今天，盡管在這一領(lǐng)域人們的認(rèn)識有了很大的進(jìn)步，也有一些研究者開始從事手語相關(guān)研究，但比起語言學(xué)的其他方向，手語語言學(xué)仍然面臨著諸多問題和挑戰(zhàn)。
在2023年4月天津理工大學(xué)舉辦的手語信息化會議上，倪蘭教授作為語言學(xué)界的代表之一，感受到了這一領(lǐng)域的發(fā)展與局限。
她指出，在一眾與會者中，除了極少數(shù)學(xué)者外，大多數(shù)參與者都來自計(jì)算機(jī)科學(xué)和通信技術(shù)領(lǐng)域。這也意味著，盡管手語技術(shù)的研究取得了一定的進(jìn)展，但對手語作為一門語言的深入理解仍然不足。
大多數(shù)的信息科學(xué)的研究人員利用計(jì)算機(jī)視覺技術(shù)進(jìn)行了多年的手語識別研究，但遺憾的是，可能很多人并未真正意識到：手語是一種和有聲語言同樣的自然語言。
最近幾年很多科技公司推出的“手語數(shù)字人”試圖為聽障人士提供實(shí)時信息服務(wù)，但當(dāng)流量盛宴結(jié)束，這些技術(shù)是否能融入日常生活、研發(fā)公司能否保留技術(shù)團(tuán)隊(duì)、聽障群體是否真正接受這種翻譯方式、以及這些技術(shù)是否通過了國家權(quán)威機(jī)構(gòu)的技術(shù)有效性鑒定，這些深層次問題卻鮮有人問津。
當(dāng)技術(shù)熱潮逐漸冷卻，人們再次審視手語識別的核心問題。
倪蘭教授認(rèn)為，過去人們普遍認(rèn)為只要理解單個手勢的含義就能解決手語識別問題，但當(dāng)AI和數(shù)字人出現(xiàn)后，機(jī)械地將漢語詞匯翻譯成手語，聽障群體卻難以理解機(jī)器自動生成的手語。
倪蘭教授比喻說：“就像外國人學(xué)習(xí)中文，如果他們按照英語的句法結(jié)構(gòu)來組織漢語詞匯，那么他們說的漢語可能會讓人難以理解。同樣，手語也需要遵循其自身的語法結(jié)構(gòu)”。
在技術(shù)開發(fā)方面，倪蘭教授認(rèn)為，手語識別的核心問題在于手語的內(nèi)部結(jié)構(gòu)，包括語音構(gòu)造、構(gòu)詞方式和句法結(jié)構(gòu)。
她指出，手語的語法結(jié)構(gòu)問題，尤其是如何將手語表達(dá)轉(zhuǎn)換為相同概念的句子結(jié)構(gòu)，是研究的核心。她的研究團(tuán)隊(duì)正在努力解決這些問題，以提高手語識別的準(zhǔn)確性。
在與計(jì)算機(jī)科學(xué)家的合作方面，倪蘭教授提出了兩個關(guān)鍵問題：如何利用技術(shù)手段處理長篇語料，以及如何實(shí)現(xiàn)標(biāo)準(zhǔn)樣本的標(biāo)注。這樣的合作將有助于提高手語研究的效率，為計(jì)算機(jī)視覺技術(shù)在手語識別領(lǐng)域的應(yīng)用提供充足的數(shù)據(jù)支持。
近期在與雷峰網(wǎng)-AI科技評論的對話中，倪蘭教授從語言學(xué)視角梳理了手語研究中的關(guān)鍵問題，也講述了如何與計(jì)算機(jī)視覺專家開展手語識別系統(tǒng)的合作開發(fā)。
以下為對話（經(jīng)編輯）：
AI科技評論：倪教授，如今“手語語言研究者”已經(jīng)成了您的一個重要身份，但我想知道，您為何選擇做手語研究，最開始遇到過哪些難題？
倪蘭：在2000年左右，國內(nèi)對手語語言學(xué)這一邊緣領(lǐng)域的研究認(rèn)可度并不高。當(dāng)時手語的研究主要是由特殊教育領(lǐng)域的專家進(jìn)行，他們關(guān)注的是如何教授聾生通過手語學(xué)習(xí)漢語，語言學(xué)界幾乎無人涉足這一領(lǐng)域。
我的導(dǎo)師龔群虎教授在新加坡做博士后期間，注意到國外一些大學(xué)語言學(xué)系常常會有幾位專家專注于手語研究。由于他自己也會一些手語，他開始特別關(guān)注這一領(lǐng)域，并在此期間搜集了大量相關(guān)文獻(xiàn)資料。
2002年，龔群虎教授被引進(jìn)到復(fù)旦大學(xué)時，將這些資料和想法帶到了國內(nèi)。
2003年，我開始攻讀博士學(xué)位，導(dǎo)師詢問我是否愿意從事手語研究。當(dāng)時我對此并不熟悉，但我愿意嘗試，所以導(dǎo)師就給了我一本美國語言學(xué)家寫的書，名為《Sign Language(手語)》。
這本書基于是1970年代加州大學(xué)圣迭戈分校和索爾克研究所一批學(xué)者針對手語的實(shí)驗(yàn)工作而進(jìn)行的研究，他們原本是希望探討聾人在沒有語言的情況下是否仍具有思維能力。他們以聾人和聽人為研究對象，發(fā)現(xiàn)聾人不僅具有思維，而且擁有自己的語言——手語，這一發(fā)現(xiàn)激發(fā)了一批研究者對手語的研究興趣。
我在閱讀這本書后也感到非常興奮，盡管當(dāng)時國內(nèi)沒有這方面的深入研究，中文研究資料也非常匱乏，但我發(fā)現(xiàn)手語研究與我之前從事的現(xiàn)代漢語語法研究有很多相似之處，手語研究中的許多問題也是漢語研究需要面臨的問題，所以從那時開始我對手語研究產(chǎn)生了濃厚的興趣。
AI科技評論：我留意到您是中國大陸培養(yǎng)的第一位「手語語言學(xué)」方向博士，博士期間在手語領(lǐng)域做了哪些工作？
倪蘭：博士期間我向?qū)煴磉_(dá)了意愿，希望能專注于手語的語法研究。因?yàn)樘亟虒I(yè)已經(jīng)在手語詞匯研究方面做了很多工作，而在語法和手語的“語音”（盡管手語沒有聲音，但在語言學(xué)意義上可以被視為一種“語音”）方面，研究還相對較少。
從2003年開始，我跟隨導(dǎo)師進(jìn)行研究，直到2007年畢業(yè)時，完成了中國大陸第一篇關(guān)于手語動詞的博士論文。
當(dāng)時，香港中文大學(xué)也在進(jìn)行手語研究，鄧慧蘭教授帶領(lǐng)的團(tuán)隊(duì)極大推動了香港手語研究的發(fā)展。我2007年從復(fù)旦大學(xué)畢業(yè)時，國內(nèi)的手語研究領(lǐng)域爭議還頗多，有人認(rèn)為手語不過是一種輔助工具，缺乏系統(tǒng)的語法結(jié)構(gòu)，不能算作一種真正的語言。由于懂得手語的學(xué)者寥寥無幾，這一領(lǐng)域的研究并未得到廣泛認(rèn)可。因此，我并沒有以手語研究的身份應(yīng)聘任何高校，而是憑借我之前的漢語教學(xué)經(jīng)驗(yàn)，成為了上海大學(xué)國際交流學(xué)院的一名語言教師。
后來，我有機(jī)會被派往國外工作，發(fā)現(xiàn)很多國家，包括我所工作的土耳其等國家，都有專門的手語研究者。2010年，中國殘聯(lián)和國家語委在北京師范大學(xué)成立了國家盲文和手語研究中心。它標(biāo)志著手語、盲文研究開始受到更加廣泛的關(guān)注，這也是我國手語研究的一個重要轉(zhuǎn)折點(diǎn)。2012年，我和導(dǎo)師共同申請了一個國家社科重大項(xiàng)目，專注于中國手語數(shù)據(jù)庫的建設(shè)。作為句法子課題的負(fù)責(zé)人，負(fù)責(zé)長篇數(shù)據(jù)采集和相關(guān)數(shù)據(jù)分析工作，目前建立的手語數(shù)據(jù)庫存放在復(fù)旦大學(xué)。
AI科技評論：后來是怎么把手語工作帶到了上海大學(xué)？
倪蘭：參與中國手語數(shù)據(jù)庫這個國家社科重大項(xiàng)目的工作后，我向上海大學(xué)文學(xué)院提出了成立一個手語研究中心的想法。2017年，“中國手語及聾人研究中心”在上海大學(xué)成立。這是中國綜合性大學(xué)中首個專注于手語研究的校級研究機(jī)構(gòu)。中心致力于開展手語和聾人的科學(xué)研究以及國家通用手語的推廣工作，我擔(dān)任了研究中心主任。
中國手語（CSL）是一個廣泛的概念，它可以包括國家通用手語和中國各地方手語。
2018年，經(jīng)上海市語委推薦我們以特殊人群語言文字研究為特色申報(bào)了教育部、國家語委的“國家語言文字推廣基地”，2019年底、2020年初，我們獲批成為“上海市語言文字推廣基地”和“國家語言文字推廣基地”。這個過程的每一步都來之不易，記得我們當(dāng)時在申報(bào)答辯時，有專家提問為何一定要以國家語言文字推廣基地的形式來進(jìn)行相關(guān)研究。我回答，特殊人群的語言文字使用雖然涉及的人群相對較少，但相關(guān)研究需要得到國家和社會各界的認(rèn)可和支持，以及制度、經(jīng)費(fèi)保障，否則難以長期持續(xù)。
2017年，“中國手語及聾人研究中心”在上海大學(xué)成立，倪蘭教授（右一）
AI科技評論：上海大學(xué)對手語研究是很支持的，這很難得。國內(nèi)還有哪些手語語言學(xué)研究團(tuán)隊(duì)？
倪蘭：上海大學(xué)對于一些特色研究方向還是非常支持的，我們的研究中心設(shè)在文學(xué)院中文系，但我們有很多交叉研究，分布在計(jì)算機(jī)工程與科學(xué)學(xué)院、通信學(xué)院、社會學(xué)院、新聞學(xué)院、電影學(xué)院、外語學(xué)院等。
目前，包括復(fù)旦大學(xué)、華東師范大學(xué)、廈門大學(xué)等在內(nèi)的許多外語界的老師也開始進(jìn)入手語研究這一領(lǐng)域。當(dāng)時我在復(fù)旦的師弟師妹們畢業(yè)后也分別進(jìn)入不同的學(xué)校，如北京師范大學(xué)、上海外國語大學(xué)、上海師范大學(xué)、燕山大學(xué)和魯東大學(xué)等，他們在各自的崗位上繼續(xù)著手語研究。
總的來說，在國外，手語語言學(xué)研究已經(jīng)是一個相對成熟的研究領(lǐng)域。在國內(nèi)，手語研究仍然被視為一個特殊的研究方向。但我相信，隨著時間的推移，手語研究將得到更廣泛的認(rèn)可和發(fā)展。
AI科技評論：手語語言學(xué)研究是一個方向，但國內(nèi)關(guān)于手語的研究文章主要集中在計(jì)算機(jī)領(lǐng)域?，F(xiàn)在您會和計(jì)算機(jī)視覺專家合作開發(fā)手語識別系統(tǒng)嗎？
倪蘭：確實(shí)存在這樣的現(xiàn)象。從2003年開始，我們著手進(jìn)行手語語言學(xué)研究項(xiàng)目時，發(fā)現(xiàn)計(jì)算機(jī)領(lǐng)域開展手語識別研究有不少機(jī)構(gòu)，如哈爾濱工業(yè)大學(xué)、中國科學(xué)技術(shù)大學(xué)和中國科學(xué)院等都有相關(guān)研究團(tuán)隊(duì)，他們的研究主要集中在手語識別上，特別是孤立手勢的識別。
語言數(shù)據(jù)調(diào)查和分析，是語言學(xué)研究的基本方法，也是語言學(xué)理論研究的基礎(chǔ)。手語語言學(xué)者的研究主要是調(diào)查和描寫手語的實(shí)際使用情況，研究手語內(nèi)部結(jié)構(gòu)規(guī)律，語言的發(fā)展變化，以及與有聲語言的聯(lián)系和區(qū)別等。
AI科技評論：實(shí)地調(diào)查，意思是建設(shè)語料庫嗎？這對CV學(xué)者來說如獲珍寶吧？
倪蘭：語料庫建設(shè)是語言學(xué)的一種重要研究方法。對于語言學(xué)研究者來說，語料庫是進(jìn)行語言研究的重要基礎(chǔ)，是觀察語言現(xiàn)象的重要來源。手語語言學(xué)研究的核心目標(biāo)是通過語料來分析手語內(nèi)部結(jié)構(gòu)，建設(shè)手語語料庫是我們進(jìn)行研究的基礎(chǔ)工作。
境外很多研究機(jī)構(gòu)，包括香港、臺灣地區(qū)都有公開發(fā)布的手語數(shù)據(jù)庫，但中國大陸目前還沒有公開發(fā)布的相關(guān)手語數(shù)據(jù)庫。2017年，我們承擔(dān)了國家語委和上海語委的手語信息化項(xiàng)目，2018年，完成了部分?jǐn)?shù)據(jù)采集和數(shù)據(jù)庫建設(shè)的初步工作，并在年底舉辦了研討會。當(dāng)時我們邀請了國內(nèi)計(jì)算機(jī)領(lǐng)域做圖像識別的專家，對我們的數(shù)據(jù)庫提出很多建議。目前，我們的語料庫已經(jīng)收集了8萬多條數(shù)據(jù)，其中包括國家通用手語詞匯，以及許多手勢的地方變體，即同一個手勢的多種打法。未來我們希望將全國的地方手語數(shù)據(jù)都納入這個語料庫，成為中國手語研究的一個重要的數(shù)據(jù)來源。
在采集手語數(shù)據(jù)時，國際上的通行做法是，聽人不能直接參與調(diào)查，因?yàn)樗麄兊膮⑴c可能會影響聾人自然地使用手語。因此，我們需要培養(yǎng)一批懂語言調(diào)查的聾人研究者，讓他們深度參與語料庫建設(shè)項(xiàng)目。在過去幾年中，我們在上海建立了一支團(tuán)隊(duì)，包括年輕的和年紀(jì)較大的聾人，他們幫助我們采集數(shù)據(jù)，并參與各類手語項(xiàng)目。
手語語料庫的建設(shè)是一項(xiàng)社會性和系統(tǒng)性的工作，它需要各類人員的參與和合作。這個過程不僅是為了收集數(shù)據(jù)，也是為了培養(yǎng)聾人社群中的研究者。如果沒有來自這個群體的研究者，很難獲得有價值的數(shù)據(jù)，也很難得到聾人群體的廣泛認(rèn)同。
AI科技評論：手語跨學(xué)科合作是合作哪些方面，遇到過哪些挑戰(zhàn)性問題？
倪蘭：與計(jì)算機(jī)專業(yè)背景的專家合作，我們希望通過語言學(xué)視角觀察到的規(guī)律和原則來輔助計(jì)算機(jī)視覺技術(shù)識別手語動作和意義。
目前的圖像識別和語言識別技術(shù)可以在不清楚語言內(nèi)部結(jié)構(gòu)的情況下，通過大量數(shù)據(jù)集訓(xùn)練讓機(jī)器自動學(xué)習(xí)并得出結(jié)果。但在小樣本數(shù)據(jù)情況下，提供關(guān)鍵數(shù)據(jù)的標(biāo)注可能會有助于減少誤差，提高識別的準(zhǔn)確率。
手語識別技術(shù)發(fā)展的挑戰(zhàn)可能在于目前我們還無法提供大規(guī)模的標(biāo)注數(shù)據(jù)。
國內(nèi)一些科技公司研發(fā)手語數(shù)字人所依據(jù)的數(shù)據(jù)具有很大的同質(zhì)性，缺乏突破。在這一領(lǐng)域要實(shí)現(xiàn)大的突破，需要有規(guī)范化、標(biāo)準(zhǔn)化，并且應(yīng)用場景豐富、準(zhǔn)確性高的標(biāo)注數(shù)據(jù)，這是我們未來工作的一個重要方向。
手語數(shù)據(jù)庫建設(shè)由于肖像權(quán)、知識產(chǎn)權(quán)保護(hù)等問題，對外公開發(fā)布也是一個巨大挑戰(zhàn)。如何保證數(shù)據(jù)公開不會被他人濫用，如何設(shè)置權(quán)限來保護(hù)這些數(shù)據(jù)，同時確保它們能夠廣泛用于科學(xué)研究和教學(xué)。
AI科技評論：我知道手語作為一種視覺表現(xiàn)力極強(qiáng)的語言，其面部表情和頭部動作對于整個意義的表達(dá)至關(guān)重要，但如果涉及到肖像問題，會有合適的數(shù)據(jù)公開方式嗎，也就是說與“手語計(jì)算”領(lǐng)域的合作是不是更難？
倪蘭：在參加國際會議時，我們了解到一些處理方法，比如對眼睛部分打馬賽克，但這樣做會丟失重要的語義信息，如眼睛開合、皺眉等，這些都是手語理解中不可或缺的表情要素，一旦這些部分被模糊處理，就很難準(zhǔn)確傳達(dá)手語的意義。
在數(shù)據(jù)采集中，除了基本的手勢詞匯，我們還采集了長篇語料，我們的學(xué)生正在對這些數(shù)據(jù)進(jìn)行標(biāo)注，目前我們使用的是單機(jī)版的標(biāo)注方式。未來，我們希望能夠?qū)⑵浒l(fā)展為網(wǎng)絡(luò)版，以便更多人可以共同參與標(biāo)注。
AI科技評論：我們非常關(guān)注這些前沿技術(shù)是否您的手語跨學(xué)科研究有影響，包括去年推出的大型語言模型ChatGPT，以及今年的文生視頻模型Sora。這些人工智能的最新進(jìn)展，您和團(tuán)隊(duì)有接觸嗎？
倪蘭：我們一直在密切關(guān)注信息技術(shù)領(lǐng)域的快速發(fā)展，也鼓勵學(xué)生嘗試使用這些技術(shù)，了解相關(guān)的性能。這些技術(shù)從有聲語言角度看，在語言結(jié)構(gòu)和精細(xì)度方面已經(jīng)取得了令人難以置信的效果。但在手語領(lǐng)域，我還沒有看到特別出色的應(yīng)用。
在美國，除了紐約城市大學(xué)，還有賓夕法尼亞大學(xué)也在進(jìn)行手語識別方面的相關(guān)研究。圣地亞哥的索爾克研究所、芝加哥大學(xué)、加勞德特大學(xué)等研究機(jī)構(gòu)也是手語語言學(xué)研究的重要陣地，他們在語言本體研究方面做了大量工作。
AI科技評論：最后想請問您，最希望得到計(jì)算機(jī)科學(xué)家的哪些支持？
倪蘭：計(jì)算機(jī)科學(xué)家需要手語語言學(xué)的標(biāo)注語料，同時語言學(xué)也希望信息科學(xué)能夠?yàn)檎Z言學(xué)研究提供技術(shù)支持，如語料的切分和機(jī)器的自動標(biāo)注。除此之外，兩個領(lǐng)域的研究者需要共同探討哪些標(biāo)注有助于手語識別和合成技術(shù)的發(fā)展，這些方面有可能也是我們?nèi)祟愖R別語義、理解語言、使用語言的重要標(biāo)記。
在本次對話中，倪教授還分享了手語語言學(xué)研究，如何為計(jì)算機(jī)視覺技術(shù)在捕捉和分析手語動作時提供理論指導(dǎo)。歡迎同道添加本文作者吳彤微信（icedaguniang ）交流。
｜GAIR live 圓桌預(yù)告
3月18日晚8點(diǎn)～10點(diǎn)，雷峰網(wǎng)(公眾號：雷峰網(wǎng))將舉辦主題為「AI+手語識別，技術(shù)革新與應(yīng)用前景」的線上圓桌論壇。
本次論壇嘉賓有，美國紐約城市大學(xué)田英利教授、上海交通大學(xué)自動化系蘇劍波教授、上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院方昱春教授、上海大學(xué)文學(xué)院倪蘭教授，共同分享他們的見解和研究成果。
“全球人工智能與機(jī)器人大會”（GAIR）始于2016年雷峰網(wǎng)與中國計(jì)算機(jī)學(xué)會（CCF）合作創(chuàng)立的CCF-GAIR大會，旨在打造人工智能浪潮下，連接學(xué)術(shù)界、產(chǎn)業(yè)界、投資界的新平臺，而雷峰網(wǎng)“連接三界”的全新定位也在此大會上得以確立。
經(jīng)過幾年發(fā)展，GAIR大會已成為行業(yè)標(biāo)桿，是目前為止粵港澳大灣區(qū)人工智能領(lǐng)域規(guī)模最大、規(guī)格最高、跨界最廣的學(xué)術(shù)、工業(yè)和投資領(lǐng)域盛會。
GAIR Live作為雷峰網(wǎng)旗下視頻直播品牌，旨在輸出新鮮、深度、原創(chuàng)的大咖訪談與對話內(nèi)容，打造輻射產(chǎn)、學(xué)、研、投的特色線上平臺。
｜手語相關(guān)資料
1，《專訪紐約城市大學(xué)田英利教授：用多通道、多模態(tài)的方法「看懂」手語》https://mp.weixin.qq.com/s/jgng2-6tiG9HC9C7FEbMLA
2，《Multi-Modal Multi-Channel American Sign Language Recognition https://gairdao.com/doi/10.1142/S2972335324500017
｜IJAIRR正在邀約論文和專題
《國際人工智能與機(jī)器人研究期刊》（International Journal of Artificial Intelligence and Robotics Research，簡稱IJAIRR），是由新加坡GAIR研究院與世界科技出版社聯(lián)合出版的國際學(xué)術(shù)期刊。
作為全球首本專注于人工智能（AI）、機(jī)器人技術(shù)（Robotics）以及基礎(chǔ)科學(xué)交叉研究（Research）的期刊，IJAIRR致力于成為AI與機(jī)器人領(lǐng)域研究的權(quán)威發(fā)布平臺。
IJAIRR歡迎各類研究論文、評論文章、短篇論文、書評以及專題（Special Issue）形式的投稿。
我們特別關(guān)注那些在頂級AI會議上發(fā)表并現(xiàn)場展示，但缺乏長期沉淀平臺的優(yōu)秀論文。為了給這些論文及其作者提供一個更廣泛的發(fā)表和推廣渠道，IJAIRR現(xiàn)正積極邀約相關(guān)論文投稿。
（1）“如果您在本領(lǐng)域頂級會議上發(fā)表的文章（或即將發(fā)表）不超過一年，我們將協(xié)助您稍作修改后在IJAIRR期刊上發(fā)表。
（2）如果您領(lǐng)導(dǎo)的團(tuán)隊(duì)在頂級會議上有多篇論文發(fā)表，并希望在IJAIRR上圍繞特定主題策劃一個專題（Special Issue），我們誠摯邀請您深入討論合作事宜。
（3）如果您是頂級會議的組織者，并有意與IJAIRR合作，針對特定會議策劃一個專題（Special Issue），我們也期待與您具體商討合作細(xì)節(jié)。
IJAIRR期待與您攜手，共同推動人工智能與機(jī)器人研究的發(fā)展。
聯(lián)系人：IJAIRR創(chuàng)刊主編朱曉蕊博士，[email protected]
關(guān)于期刊創(chuàng)刊主編等更多信息，可點(diǎn)擊:https://mp.weixin.qq.com/s/gEctQolbEqqf2eVwBAkdoA
關(guān)于雷峰網(wǎng)、GAIR大會、GAIR研究院（期刊和在線社區(qū)）的詳細(xì)介紹，請閱讀朱曉蕊教授的專訪:https://mp.weixin.qq.com/s/Qn7Gc3rVijQhhK0hTSrgxw
IJAIRR期刊的主頁鏈接為：https://gairdao.com/journals/ijairr
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
