2019年，一篇題為“ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations”的工作橫空出世，其中，與愛因斯坦同名的輕量級預訓練語言模型“ALBERT”因以極少的參數量在 GLUE、SQuAD 2.0 與 RACE 等三個基準上達到了 SOTA，而在自然語言處理研究社區(qū)引起了極大關注。這篇工作由當時正任職于谷歌研究（Google Research）的中山大學校友藍振忠主導完成。同年，他還與一眾國內NLP研究人員合作推出了對標 GLUE 的中文預訓練語言模型評價基準 ChineseGLUE（后來簡稱“CLUE”），同樣大受歡迎，他也因此紅極一時。但鮮為人知的是，當時距離藍振忠從卡內基梅隆大學（CMU）獲得博士學位只有大約兩年的時間，而藍振忠在 CMU 讀博時的主要研究內容是計算機視覺與多媒體分析。博士畢業(yè)后，他之所以從視覺轉向語言，是因為他想打造一臺能夠輔助心理咨詢的對話機器人，而語言處理是對話系統(tǒng)的核心?？梢哉f，ALBERT 的誕生，其實是藍振忠追求“AI向善”過程中一個美麗的意外。2020 年，藍振忠從谷歌離職，回國加入西湖大學工學院，成立了深度學習實驗室。3個月后，他與團隊推出了國內第一個用于輔助心理咨詢的 AI 機器人「小天」，經過不斷迭代，目前已有超過一萬個小程序用戶，且仍在不斷增長。相比短短兩年內就在谷歌學術上獲得 1500+ 引用數的 ALBERT 模型，藍振忠更愿意談談他與「小天」之間的故事。作者 | 陳彩嫻
編輯 | 琰琰
“為什么會想到研究 AI 輔助心理咨詢？”藍振忠停了下來，沉思了一會。凡是與藍振忠打過交道的人，都很難將這位總是帶著開朗笑容的廣東男生與“抑郁癥”、“心理問題”這類消極字眼聯系在一起。事實上，這個想法的產生，不是來源于藍振忠本人的親身經歷，而是源于一場悲劇的目睹： 當時，2017年，藍振忠即將從卡內基梅隆大學博士畢業(yè)，結果有一天從朋友那得知，一位他曾與之共同成長的同窗因心理壓力過大、得了心理抑郁癥，選擇了自殺。因為我之前都是比較直男的，從小到大都是樂天派，科研也做得比較順利。加上之前在心理方面所接受的教育比較少，所以我當時是第一次聽說，原來抑郁是會死人的。
從那時候起，藍振忠才開始關注到心理抑郁群體。他的性格比較內向，平日很少社交，與身邊的同學都沒有太深入的交往，但這件事發(fā)生后，他仔細留意，才發(fā)現原來身邊有很多同學在吃抗抑郁藥。
事實上，博士生是公認的心理壓力最大的群體之一，“因為讀博就是要開拓新的領域，沒有人告訴你要做什么、怎么做，你也不知道你所選擇的研究方向是不是一條死胡同，但你又必須堅持走下去，所以特別難。”讀博那會，他也經歷過 paper 被拒、抓狂的時候，但沒想到壓力會帶來這么嚴重的后果。 藍振忠來自廣東潮州，是一個地道的海邊人，喜歡游泳。讀博那會，雖然有壓力，但他極少陷入悲觀的情緒。這可能與他樂觀、自控與熱愛運動的性格有關：在 CMU 讀博時，他每天早上都是六七點起床，先去游泳，游一個小時后再去實驗室做研究，呆到晚上九點，然后準時回家陪家人。他從來不把工作帶回家里，也不熬夜。“你看我整天都是笑嘻嘻的。我也不是很 care 外面的事情，投出去的 paper，結果是好是壞我都無所謂的，所以可能受傷比較少。”藍振忠回憶。藍振忠的“開闊心胸”，或許也受到了博士導師 Alexander G. Hauptmann 的影響。2010年從中山大學獲得軟件工程與統(tǒng)計學學士學位后，藍振忠先是在卡內基梅隆大學的感知實驗室（Human Sensing Laboratory）跟著 Fernando De La Torre 研究計算機視覺，取得了不錯的研究成果，偶然結識 Alexander Hauptmann，2012年開始到 Alexander Hauptmann的門下讀博。在藍振忠的印象中，Alexander Hauptmann 是一個很有生活情趣的人，熱愛馬術與旅游：“他有一個莊園，家里養(yǎng)了三匹馬，估計他的大部分收入都放在這上面了。他跟他夫人都很喜歡騎馬，拿到過很多騎馬比賽的獎勵。而且他經常來中國旅游，去過的地方比我要多得多，包括內蒙古、新疆、西藏等等?！?/span>
圖注：Alexander Hauptmann參加騎馬比賽 「他在生活上有其他的寄托，不會只著圍繞著科研轉。跟著他，你會慢慢學會更多地從人性的角度去看問題。」藍振忠談道。在了解到身邊有許多人飽受心理問題困擾、又身處孤立無援的境地后，他就想：“我能做點什么？因為我們做許多研究，目的就是希望能夠幫助到別人。”他接著解釋：“其實我一直在尋找一種意義感。我對發(fā)很多論文不是很感興趣，因為覺得沒什么意思。但如果我的研究能夠真正幫助到別人，那么我會覺得特別有意義?！?/span>藍振忠的哲學觀是存在主義（Existentialism）：我覺得一個人最大的價值有兩方面：一是求真，比如探索科學真理、社會本質與知識本質；二是求善，即人生存在的價值就是理解世界，理解他人，然后能夠幫助他人。你幫助的人越多，你的價值就越大。當然，有些事情也是我管不了的，只能說在我的能力范圍之內。就我而言，我希望利用技術的力量去對社會做出最大的貢獻。
2017年5月，藍振忠從卡內基梅隆大學獲得博士學位，先是去了位于洛杉磯的一家創(chuàng)業(yè)公司（WiZR）學習創(chuàng)業(yè)的能力，又面向因為壓力過大而患得心理亞健康的人員組織了一個留學生抑郁互助團體，希望大家能夠相互傾聽與支持。但隨著越來越多的人加進來，運營工作量越來越大，有專業(yè)的心理咨詢能力的團員又十分少，藍振忠開始想：能不能用人工智能技術來提高心理咨詢的效率？他坦言：事實上，在與心理焦慮或抑郁的人溝通時，即使他能理解他們的情緒，也曾經歷過相同的難處，但也很難與他們共情?！敢驗槲易约翰淮髸参咳?，但我也會想：為什么我不能做到？我是不是可以學習一個套路去開導他們？但是我又比較木訥，很難學會，教自己還不如教機器?！?/span>于是，藍振忠想到了打造一個像電影《她》（Her）里面的對話系統(tǒng)，能夠陪伴人類聊天、說話，給予他們支持，開導他們的心情。2018年2月，藍振忠立志從事自然語言處理研究，并加入了谷歌研究（后來更名為谷歌AI ）下的研究與機器智能組（Research & Machine Intelligence group）。
在計算機視覺領域，諸如 ImageNet 的核心工作，如果你有一個小的集群，就可以訓練起來。但如果是像 BERT 那樣的大規(guī)模語言模型，只有大的集群才能跑起來。所以，就自然語言理解的研究而言，在大公司做研究會更有優(yōu)勢，因為在大公司的集群里，你能跑的實驗會多很多。
他原是為了研究 AI 輔助心理咨詢加入谷歌「學習」自然語言處理，意外的是，只經過一年多的「打基礎」階段，他就在自然語言能處理研究上取得了令人矚目的成就：推出了基于BERT的輕量級預訓練語言模型「ALBERT」（A Lite BERT）。
「這個想法是我在騎自行車回家的路上突然蹦出來的。」藍振忠介紹，「所以我覺得做研究真的是運氣的成分居多，就像那句話說的，『文章本天成，妙手偶得之』。」當時，他應國內 AI 教育公司貪心科技的邀請準備一個演講，于是就把自然語言理解的工作梳理了一遍。在梳理的過程中，他發(fā)現一個問題：目前大規(guī)模預訓練語言模型（如BERT）的效果雖然非常好，對各項任務都有明顯提升，但參數量太大，比如 BERT-large 的參數量就超過了 3 億。「能否在性能不變的情況下減少參數量呢？」帶著這個疑問，藍振忠開始尋找解決方案。當時，有許多人在研究知識蒸餾，但知識蒸餾的學習能力受限于大模型。如果想要在大模型的基礎上有所提升，就需要做架構上的改變。于是，他們就借鑒了計算機視覺的一些做法，比如 MobileNet，從架構創(chuàng)新入手，通過對詞向量的投射做因式分解和對隱層的參數做共享來分別減少這兩個模塊的參數量。他們的工作（“ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations”）最終被 ICLR 2020 接收，新穎的觀點引起了廣泛關注，藍振忠成為自然語言處理領域小有名氣的青年研究者，ALBERT 被應用于谷歌新聞、谷歌助手等產品，當時與他一起工作的實習生陳明達（豐田工業(yè)大學芝加哥分校在讀博士生）后來也獲得了2020年谷歌博士生獎學金。
圖注：BERT與ALBERT的參數量對比，ALBERT的參數量約為BERT的十分之一這個工作從想法的萌生到最終完成，只用了大約一個暑假的時間。事后回想，藍振忠想，除了「運氣」，他能完成這項研究，也要歸功于他在卡內基梅隆大學計算機科學學院下的語言技術研究所（Language Technology Institute）讀博時所接受的學術訓練。比如批判性思維的養(yǎng)成：「其實那個idea之所以會蹦出腦海，并不是無中生有，而是你之前就讀過一些相關工作，進行了大量的思考，只是你當時沒有想法，后來突然之間就蹦了出來?！?/span>此外，他在Alexander Hauptmann 的帶領下也練就了一身強悍的工程實現能力?！赣幸粋€好的 idea，能夠快速做出來，也是因為工程能力比較強?！顾{振忠解釋，比如，神經網絡需要很多調參、做很多實驗，在做 ALBERT 時，他們一共做了幾百個實驗，ALBERT 只是其中的一小部分，「如果沒有管理好，很容易做到后面就把前面的忘了」。除了藍振忠，Alexander Hauptmann 還帶出過許多優(yōu)秀的中國學生，包括現任阿里巴巴數據科學研究院副院長的金榕、Dada Group的創(chuàng)始人楊俊等。「博士期間的成長是多方面的，包括批判思考、如何寫論文、做研究、做presentation等。當你掌握了做研究的方法后，從一個方向轉到另一個方向后，也不是很難出結果的。」他解釋，且此前他在做視頻分析時也更多是圍繞特征理解，與ALBERT這個工作有一定的延續(xù)性。其實谷歌團隊后來有了更強的工作，好漢不提當年勇，所以我現在的重心更多是做更好的項目，比如「小天」。我只能解決一些現有的科學問題，因為從實現真正的語言理解來看，ALBERT 只是萬里長征的一小步，甚至連很小的一步都算不上。像 GPT 與 BERT 這類工作才是開創(chuàng)性的。
雖然ALBERT的誕生是偶然，但ALBERT與CLUE的發(fā)布，以及在谷歌的兩年工作積累，給了藍振忠回國研究 AI 輔助心理咨詢機器人的信心。
2019年年底，他決定回國。當時研究自然語言處理的另一知名學者張岳剛好在西湖大學工學院任職，藍振忠便與他聯系，張岳說：「你要不要來講講你的工作呀？」藍振忠就去做了一個學術演講，「講完覺得西湖大學很不錯，就過來了?！?/span>
「我是2020年1月15日回國的，剛好趕在新冠疫情爆發(fā)前，好險。」 因為這項工作需要多團隊協作，但在谷歌很難有這么大的團隊來支持我做這件事情。谷歌的模式是：如果你有一個idea，你要自己先做一段時間，如果有人感興趣，再慢慢加入。你并不能百分百保證這個idea 一定是work的。所以總的來說，溝通成本比較大。
心理出現問題的人，最需要的是什么？為了尋找這個問題的答案，藍振忠曾請教過許多心理學專家、教授、精神科主治醫(yī)生，還找過患者調研訪談，最后總結出：許多抑郁/焦慮患者的情緒是突然爆發(fā)的，如果沒有及時、專業(yè)的干預，悲劇的發(fā)生可能就在一秒之間。針對這個需求，藍振忠想做一個能夠隨時隨地陪伴、對話的專業(yè)心理咨詢「機器人」。與已有的陪聊機器人、幫忙掃地訂票的任務型機器人不同，這個機器人專門針對心理咨詢，同時又需要理解人類情緒、具備長期記憶能力。這就意味著，它不僅需要AI中的語言理解與處理技術，還需要搭建對話系統(tǒng)的工程師、提升對話專業(yè)度的心理咨詢師等等。在這方面，西湖大學給了藍振忠團隊有力的支持，比如可以自由支配的、豐富的啟動資金，純粹自由的科研環(huán)境，也沒有冗贅的行政考核，他可以更專心地做研究?！高M來之后，真的是遠超我的預期。」藍振忠不掩贊嘆。藍振忠在2020年6月正式加盟西湖大學，創(chuàng)立了深度學習實驗室，隨即組建了一支 30 多人的團隊，又分為4個小團隊：研究對話、理解與情感計算等內容的純 AI 技術組，專業(yè)咨詢師團隊，負責系統(tǒng)打造的工程團隊，以及負責量化心理咨詢的心理研究組。此前，藍振忠在 CMU 讀博與谷歌工作所訓練出的管理能力與工程能力派上了用場。加上團隊的共同努力，深度學習實驗室在2020年9月就成功探索出了一個初步的模型，為接下來的研究奠定了基礎。之后，又經過八個多月的努力，他們搭建了一個較完整的對話系統(tǒng)，還開發(fā)出了一個小程序，起名為「小天」，主要做公益咨詢，為線上來訪者提供免費的對話咨詢服務，目前已有超過一萬名用戶。
說來也巧秒：在自然語言處理領域，目前研究社交型計算語言與情感語言理解的知名「NLPer」大多來自卡內基梅隆大學語言技術研究所（LTI），比如楊笛一、俞舟等人。與他們不同的是，藍振忠在 CMU 時沒有接受過專業(yè)訓練，屬于「半路出家」。對他來說，CMU讀博對他最重要的成長是培養(yǎng)了他的「實用科研」精神。
「這可能與CMU的科研傳統(tǒng)有關。CMU的科研經費主要來自于 IARPA（美國高級情報研究所）與 DARPA（美國國防部高級研究計劃局），這兩類資助項目都要求你必須產出一些實用的成果，比如造月球車。這不是你發(fā)多少篇論文就能完成的，而是真的要做出一臺月球車?！?/span>「有很多人來尋求咨詢，但我們目前只能服務一小部分人，其實心里還是很內疚的。但我會很努力去做這件事，真正幫助我所能幫助的人。」藍振忠堅定地說道。互聯網有個知名的段子：「小天是我見過最單純善良的人?！勾诵√旆潜诵√?，但在藍振忠與團隊成員的心里，這個中性、陽光的名字，正寄托了他們對于 AI 輔助心理咨詢機器人的期望。在談起這項研究時，藍振忠感慨，雖然天性樂觀，但自己的內心會有一種「緊迫感」，因為經常在網絡新聞上看到因為受心理問題困擾而一蹶不振、甚至選擇輕生的例子。除了個體的事例，還有許多宏觀的數據：2020年10月9日，世衛(wèi)組織通報過一組數據：全球有近10億人患有精神障礙，每40秒就有1人死于自殺。在中低收入國家，患有精神、神經和藥物濫用障礙的人中，超過75％的患者沒有得到任何治療。
具體到中國來說，9500萬抑郁人群中，很多人并不知道自己是抑郁癥，哪怕知道了，也只有很少一部分人選擇去醫(yī)院。
心理問題得不到及時干預，主要有兩方面原因：一是治療費用，目前針對抑郁癥的處理方法主要是服用抗抑郁藥物與心理治療，需要長期投入，花銷如同一個無底洞；二是醫(yī)療資源緊缺，主要集中在大城市，普通縣城基本沒有心理咨詢或治療機構，更別提偏遠的山區(qū)。且不提醫(yī)生的體力，藍振忠曾拜訪專業(yè)的心理咨詢師，發(fā)現隨著受心理問題困擾的人越來越多，高質量的預約可能要排到兩個月后，且價格十分昂貴，普通的心理咨詢價格約為每小時 400 元。「有些網站的人工客服，到了晚上就成了很多青少年的“樹洞”，“不想活了”、“活著好沒勁”……這些話經常在深夜跳出來；很多城市有開通24小時心理危機干預熱線電話，但夜里經常打不通，因為打電話的人實在太多了。」「我研究『小天』，就是為了使每個人都能夠在 TA 需要的時候得到相應的、專業(yè)的心理咨詢與陪伴?！顾{振忠談道。在訓練「小天」的過程中，他們是先疊一層類似 ALBERT 的預訓練模型，讓「小天」學會語法、語義的理解，然后通過網絡對話數據讓「小天」學習對話，再通過真實的心理咨詢對話數據對模型架構進行二次標注，讓「小天」學會咨詢，以此來提高它的專業(yè)水平。「小天」的核心技術是對話系統(tǒng)，目前仍處于訓練模型階段，但已能保證 30% 的自動對話，剩余 70% 的對話由心理咨詢師指導。但藍振忠相信，隨著越來越多心理咨詢師的加入，「小天」接觸到的案例越來越多，它也會越來越聰明，越來越專業(yè)。
需要注意的是，藍振忠對「小天」的定位是「輔助心理咨詢」，而非「心理治療」。「小天」所在的系統(tǒng)帶有危機轉介設置，遇到有自殺風險的用戶會自動推薦心理援助資源。如遇到有自殺風險的來訪進入輔助心理咨詢聊天界面，后臺的咨詢師會評估來訪者的危機程度，提供心理援助資源與轉介處理，盡可能確保來訪者得到專業(yè)有效的幫助。 不難發(fā)現，「小天」結合了任務型與社交型對話系統(tǒng)的特征與要求，研究的難度與復雜度也更高。藍振忠形容，與常見的小愛、小冰、Siri 不同，做這項研究有點像做自動駕駛，安全第一，首要任務是避免「小天」在與人類對話的過程中輸出消極語言和負面情緒。除了安全，評估咨詢的質量與更好地實現「小天」的語言理解，也是藍振忠團隊面臨的難點。他們的評分標準分為三方面，即「小天」在與人類進行基本對話時：1）語言是否自然連貫；2）是否會對來訪者產生負面作用；3）能否達到心理咨詢的目的?；谀壳暗?AI 技術，第一點不難實現，難的是第二點與第三點，這也是他們接下來的研究重點。在藍振忠的設想里，如今搭載在小程序上的「小天」只是 1.0 版本，就像正在上幼兒園的小孩，要繼續(xù)成長，不斷迭代 2.0、3.0、4.0 … 在未來，「小天」也許會結合語音識別、計算機視覺等技術，比如，藍振忠團隊正與同德醫(yī)院合作研究如何用面部表情識別來判斷來訪者的情緒。他很少參與督導「小天」的心理咨詢過程，但僅有的幾次督導也給他留下了深刻的印象。比如，來訪者中曾出現一位母親，原本一路陪伴小孩，為小孩的成長付出，但因為小孩已長大成人、畢業(yè)入職，心里一下變得空空蕩蕩，卻又不方便頻繁給小孩打電話。「不同的來訪者有不同的困擾?！乖谂c咨詢師交流的過程中，藍振忠深刻感覺到，有必要針對不同群體的困擾訓練「小天」的聊天能力，如空巢老人、留守兒童、產后母親、996的上班族……令「小天」能更好地輔助心理咨詢。目前，他們已經開始分任務訓練，首先針對的任務便是親子關系。目前的「小天」有「上下班」時間：10:00-10:50、16:00-16:50 與 19:00-19:50，但藍振忠團隊的目標是打造一個24小時在線的「心理咨詢師」：「雖然無法代替心理咨詢師為來訪者做治療，但在他們需要情緒出口、支持與陪伴時，它可以起到一個很好的輔助作用?！?/span>這是聊天機器人「小天」的常用開場白。每個用戶都擁有一個專屬于自己的 ID，與「小天」的每一次對話都會存在「小天」的“記憶”里。 回顧過去一年的研究歷程，藍振忠感覺到有一種緊迫感：“因為在做這件事之前，我不知道它有這么大的意義?！彼麄冊谶@一年里收到了非常多正面的反饋，“一年前我們也沒有想到我們現在能做得這么好，「小天」對語言的理解也沒有現在這么深。”除了能幫助他人，這項研究對藍振忠本人的成長也有著很深的意義：我感覺自己每天都在成長。一年前我對「小天」的認識，與我現在對「小天」的認識是完全不同的，我當時的管理能力與我現在的管理能力也是完全不同的。這一年下來，與心理咨詢師相處，對心理方面的認識也有了很大的進步。所以總體來說，這一年可能是我這么多年來成長最快的一年。
何愷明與 Alexei Efros 是藍振忠最欣賞的兩位研究者，因為他們的工作「既有用又有趣」，這也正是他對科研的追求。他的目標是打造一個能夠隨時隨地給予人類陪伴與支持的機器人，希望在五年內能為一千萬人提供免費的、全自動化的、隨時隨地的心理咨詢服務。目前，藍振忠的實驗室里有9名在讀博士生，同時，他也在繼續(xù)招收對 AI 輔助心理咨詢感興趣的博士生，并希望與更多專業(yè)的心理咨詢師合作。有興趣的朋友可以與藍振忠老師聯系：[email protected]。
作者注：人物/采訪、交流、爆料、抬杠，歡迎添加微信（302703941）。1、https://baijiahao.baidu.com/s?id=1650447054353296936&wfr=spider&for=pc2、https://arxiv.org/pdf/1909.11942.pdf?fbclid=IwAR1gWlaWokv7Ys5JNkTgQ3Hw-wdvwv9J5zkYE1-N0lHbqiAOlvJTfhaKuDg3、https://blog.csdn.net/weixin_37947156/article/details/101529943
雷鋒網雷鋒網雷鋒網
雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。
