0
| 本文作者： 趙晨希 | 2019-03-15 10:47 |
導(dǎo)語(yǔ)：近日，雷鋒網(wǎng)就“搜狗分身”技術(shù)以及升級(jí)后的AI合成主播，與搜狗語(yǔ)音技術(shù)交互中心的陳偉進(jìn)行了面對(duì)面的交流。
2019年2月19日，搜狗和新華社新媒體中心聯(lián)合推出的全球首個(gè)站立式AI合成主播，舉行了升級(jí)發(fā)布儀式。新一代的AI合成主播從過(guò)去“坐著”播新聞，升級(jí)為具有肢體動(dòng)作的“站立式播報(bào)”。AI合成主播的新聞播報(bào)方式，實(shí)現(xiàn)了重量級(jí)的突破。3月3日全球首位AI合成女主播“新小萌”正式上崗、向世界報(bào)道中國(guó)“兩會(huì)”的盛況。
2018年11月，烏鎮(zhèn)世界互聯(lián)網(wǎng)大會(huì)上，以新華社CNC主持人邱浩為原型的AI合成主播首次亮相，一經(jīng)面世就引發(fā)了公眾極為熱烈的討論。這不僅是“搜狗分身”技術(shù)首次應(yīng)用于新聞行業(yè)中，同時(shí)也是未來(lái)融媒體發(fā)展探索的一個(gè)重要方向。
雷鋒網(wǎng)了解到，截止目前，入職新華社的AI合成主播，已生產(chǎn)幾千條新聞報(bào)道。參與包括第五屆世界互聯(lián)網(wǎng)大會(huì)、首屆進(jìn)博會(huì)、2019春運(yùn)、春節(jié)、兩會(huì)等若干重要事件的報(bào)道，顯然，已經(jīng)成為了國(guó)內(nèi)人工智能與傳媒業(yè)大膽融合并付諸規(guī)?；瘧?yīng)用的典型案例。
“搜狗分身”技術(shù)可以實(shí)現(xiàn)機(jī)器逼真的模擬人類(lèi)說(shuō)話時(shí)的聲音、嘴唇動(dòng)作和表情，并將三者自然地匹配，創(chuàng)造出人類(lèi)的AI分身。此次，除了聲音、嘴唇動(dòng)作、表情等，“搜狗分身”技術(shù)升級(jí)了AI合成主播肢體語(yǔ)言的能力，讓AI合成主播從整體形象、動(dòng)作細(xì)節(jié)、立體感覺(jué)方面有了更加逼真的效果。
而“搜狗分身”技術(shù)在新聞行業(yè)中的第一次落地，更為重要的意義，在于解決了新聞播報(bào)領(lǐng)域的效率問(wèn)題。新聞播報(bào)受限于場(chǎng)地、時(shí)間、資源、主播個(gè)人的精力等等問(wèn)題，因而“人類(lèi)”主播每天的產(chǎn)出量十分有限。目前，新華社利用搜狗的技術(shù)，只要將每天想要播報(bào)的新聞以文本形式輸入，便會(huì)在幾秒鐘后生成一個(gè)完整的視頻，在新聞客戶端APP上線，且中英文不同類(lèi)型的語(yǔ)種視頻均可支持。
一方面，新聞速度要求較高，采用“搜狗分身”技術(shù)，保證了新聞時(shí)效性。另一方面，該技術(shù)將主播從日常繁重、單一、沒(méi)有技術(shù)含量的播報(bào)中，抽身出來(lái)。騰出更多的精力、時(shí)間錄制訪談?lì)?、深度?lèi)型的新聞報(bào)道節(jié)目中去。
其次，“搜狗分身”技術(shù)早已籌備多年，在搜狗知音大的基礎(chǔ)框架之下，孵化出很多不同的技術(shù)，從感知能力到認(rèn)知能力均囊括。搜狗希望圍繞搜狗在AI人工智能戰(zhàn)略自然交互+知識(shí)計(jì)算，做出更多突破。早在2012年搜狗圍繞感知層面的交互，就做了語(yǔ)音識(shí)別相關(guān)研究。
隨著時(shí)間的推移以及技術(shù)的進(jìn)步，識(shí)別這狀態(tài)逐漸從語(yǔ)音識(shí)別到多模態(tài)識(shí)別。即語(yǔ)音識(shí)別之外，還增加了手寫(xiě)識(shí)別、唇語(yǔ)識(shí)別等等不同識(shí)別技術(shù)結(jié)合、疊加在一起識(shí)別能力。
而搜狗最早公布“分身”技術(shù)，可以追溯到2018年7月，搜狗CEO王小川在香港，正式對(duì)外宣布該項(xiàng)技術(shù)，現(xiàn)場(chǎng)王小川展示了一段結(jié)合唇語(yǔ)合成、語(yǔ)音合成、音視頻聯(lián)合建模與深度學(xué)習(xí)技術(shù)，可驅(qū)動(dòng)機(jī)器生成對(duì)應(yīng)的唇語(yǔ)圖像與聲音，進(jìn)而輸出統(tǒng)一的音視頻素材。近日，雷鋒網(wǎng)就“搜狗分身”技術(shù)與搜狗語(yǔ)音技術(shù)交互中心的陳偉進(jìn)行了面對(duì)面的交流。
陳偉介紹稱，在語(yǔ)音理解認(rèn)知層面，搜狗語(yǔ)音技術(shù)交互中心主要做機(jī)器翻譯和自然交互的研究工作。在表達(dá)層面，目前更多集中在多模態(tài)表達(dá)的研究?；趶淖R(shí)別再到理解、認(rèn)知，再到表達(dá)整個(gè)閉環(huán)。當(dāng)然，除了音頻之外還有音視頻的表達(dá)方式。陳偉所在團(tuán)隊(duì)有兩條大條線在做語(yǔ)音交互：第一，怎么能夠讓人機(jī)交互更自然；第二，語(yǔ)音翻譯、語(yǔ)音同傳的能力。
陳偉認(rèn)為，未來(lái)的發(fā)展方向語(yǔ)音不會(huì)是唯一的一種表達(dá)，而是如何將其與多模態(tài)信息融合起來(lái)。在交互的框架下，引入與語(yǔ)音、同傳等更多的信息，以及語(yǔ)音、圖像等能力相互結(jié)合。陳偉說(shuō)，“技術(shù)一直在持續(xù)迭代中，目前搜狗具備了在整個(gè)分身的技術(shù)方面快速落地的穩(wěn)定能力。不僅僅停留在實(shí)驗(yàn)室的模型階段，而是跟更多行業(yè)內(nèi)不同領(lǐng)域的場(chǎng)景、產(chǎn)品深度結(jié)合。AI合成主播原形的工作性質(zhì)發(fā)生了很多變化，AI分身落地之后確實(shí)改變、影響每個(gè)人未來(lái)的工作方式和狀態(tài)。”
陳偉透露，基于搜狗分身技術(shù)的AI合成主播已經(jīng)在新華社平臺(tái)上播報(bào)了幾千條新聞，并且是零失誤。搜狗分身將于年內(nèi)推出交互能力，后續(xù)搜狗分身會(huì)繼續(xù)在教育，法律，醫(yī)療，娛樂(lè)等領(lǐng)域紛紛發(fā)力......
陳偉：從目前跟新華社合作來(lái)看，證明這是一次非常成功的合作。2018年11月份烏鎮(zhèn)互聯(lián)網(wǎng)大會(huì)發(fā)布以來(lái)到現(xiàn)在，我們本身的技術(shù)已經(jīng)在國(guó)內(nèi)、國(guó)外都引起了比較大的轟動(dòng)。
有些合作，恰好在某一個(gè)合適的時(shí)間點(diǎn)，大家有一個(gè)共同的訴求下，把這件事做成了。我們當(dāng)時(shí)在做這件事情時(shí)，第一想法是把它落地在主播，正好新華社有這方面的需求，于是就產(chǎn)生了后續(xù)的合作。
陳偉：要用云端服務(wù)器。用的自己的，搜狗都有自建機(jī)房。
陳偉：現(xiàn)在包括兩部分，一部分是我們支持公有云的調(diào)動(dòng)，會(huì)有一個(gè)公有云。比如有些公司需要用，他們自己沒(méi)有服務(wù)器，我們可以提供。第二部分，我們可以支持私有化的部署，在他自己的機(jī)房部署分身整套服務(wù)。這也是為什么說(shuō)搜狗目前在分身這件事情上是領(lǐng)先的。我們現(xiàn)在提供出去的服務(wù)在資源占用上、實(shí)時(shí)性都可以完全達(dá)到要求。我們有好的系統(tǒng)能力支撐了我們整套技術(shù)的快速輸出。
陳偉：目前AI沒(méi)有數(shù)據(jù)肯定做不到，從2012年到現(xiàn)在我們基本上已經(jīng)做了七年多的時(shí)間了。早期做語(yǔ)音識(shí)別的能力，后期有語(yǔ)音合成的能力，再加上我們一直在做唇語(yǔ)識(shí)別的研究。差不多從2016年開(kāi)始做唇語(yǔ)識(shí)別，還有一個(gè)團(tuán)隊(duì)在做圖像研究，基于表情生成的工作，糅合在一起變成今天的分身。AI合成主播走到今天不是花了幾個(gè)月突擊出來(lái)的，而是數(shù)據(jù)本身的積累。搜狗從2012年到現(xiàn)在，一直在AI持續(xù)投入，產(chǎn)生的結(jié)果。
陳偉：這屬于語(yǔ)音合成領(lǐng)域，其實(shí)語(yǔ)音合成在我們目前面向于口語(yǔ)化的表達(dá)方面，已經(jīng)做得非常好了。2018年，搜狗參加國(guó)際語(yǔ)音評(píng)測(cè)暴風(fēng)雪預(yù)測(cè)，在語(yǔ)音評(píng)測(cè)方面取得國(guó)際第一名。從整個(gè)能力來(lái)看，一直走在行業(yè)最前沿的路徑上。
AI合成主播用到的能力，已經(jīng)是目前國(guó)內(nèi)首家基于端到端神經(jīng)聲碼器的先進(jìn)技術(shù)，可以讓發(fā)音真實(shí)度大大提升。從我們的展示樣例中可以聽(tīng)到，講話中的韻律、停頓、中間的語(yǔ)氣詞處理的都是不錯(cuò)的。這依賴于數(shù)據(jù)的積累，數(shù)據(jù)對(duì)于巨頭公司之間的差距不是很明顯，主要看技術(shù)上誰(shuí)走得更快。
無(wú)論評(píng)測(cè)還是實(shí)際落產(chǎn)品，搜狗在整個(gè)合成領(lǐng)域方面在國(guó)內(nèi)是領(lǐng)先的。我們希望搜狗“分身”的逼真度跟真人無(wú)異。這其中取決于，大家看到的表情、唇語(yǔ)、動(dòng)作，還有一塊是聽(tīng)聲音。
陳偉：也有聯(lián)合建模，我們保證的是表情、聲音完全同步。在做AI合成主播時(shí)，語(yǔ)音的合成和圖像表情的合成之間需要同步，這就涉及到了聯(lián)合建模。
陳偉：因?yàn)樵缙诩夹g(shù)不成熟，需要用到大量的數(shù)據(jù)?，F(xiàn)在錄制一個(gè)人，可以放在一天的時(shí)間內(nèi)，把音頻和視頻全部錄完，同時(shí)錄得數(shù)據(jù)也比較少?，F(xiàn)在幾個(gè)小時(shí)的視頻資料就可以形成一個(gè)逼真形象。
數(shù)據(jù)越多，建模越容易。我們能接受的下限是幾個(gè)小時(shí)，基本是少量的。在語(yǔ)音合成方面，搜狗前段時(shí)間發(fā)布了一個(gè)小程序叫搜狗知音坊。用戶上傳5到8分鐘的語(yǔ)音，就可以生成他自己定制的音色，成本已經(jīng)很低了。
我們要做一個(gè)商業(yè)級(jí)的真正商用的系統(tǒng)，在數(shù)據(jù)上肯定多多益善。目前國(guó)內(nèi)常規(guī)定制一個(gè)語(yǔ)音助手或者定制版普通語(yǔ)音合成，各大公司語(yǔ)音合成的數(shù)據(jù)量都在二三十個(gè)小時(shí)以上。現(xiàn)在我們能把數(shù)據(jù)量做到穩(wěn)定、可商用，降到一兩個(gè)小時(shí)左右。
陳偉：早期是通過(guò)人工來(lái)評(píng)價(jià)的，逼真與否也是內(nèi)部產(chǎn)品、算法的同事掃一眼，比較主觀?，F(xiàn)在搜狗在做一些指標(biāo)， 通過(guò)大量的假設(shè)錄制視頻切一小部分做一個(gè)測(cè)試集，與真人的相關(guān)視頻做對(duì)比。壓縮在一個(gè)相同的時(shí)間維度下面來(lái)看，逐幀對(duì)比，整個(gè)表情、嘴型、姿態(tài)上面的差異度有多大。這件事情也伴隨著整個(gè)研發(fā)過(guò)程進(jìn)行，指標(biāo)、目標(biāo)一直在變，但方法是逐漸清晰的，即希望與真人對(duì)比。
陳偉：這個(gè)問(wèn)題是行業(yè)里大家都會(huì)碰到的問(wèn)題，簡(jiǎn)單來(lái)講，遇到動(dòng)作幅度過(guò)大的角度問(wèn)題，比如看不到主播的嘴了，或者鏡頭位置不同只能看到主播的側(cè)面。在這種信息不完全的情況下，形態(tài)怎么更好的生成，表情應(yīng)該怎么做是一個(gè)問(wèn)題。
模型生成出來(lái)怎樣更好的結(jié)合一些姿態(tài)，結(jié)合一些更自然的微表情，這是后續(xù)必須要做到的事情。隨著大家對(duì)我們的期望越來(lái)越高，就會(huì)關(guān)注主播的微表情。比如，開(kāi)心時(shí)有些眉毛上揚(yáng)或者微抖動(dòng)，語(yǔ)音合成這方面，在情感和情緒上如何攻克。
目前我們的主播從整個(gè)形象來(lái)看，其實(shí)是以偏半身為主，后續(xù)能否在全身或者手勢(shì)方面做更多的工作。當(dāng)然，繞不開(kāi)的事情就是永遠(yuǎn)要跟真人對(duì)比，某種情況下能否做到比真人更好也是比較難的，大家都在努力地攻克這些問(wèn)題。
陳偉：我們不希望把它看成一個(gè)個(gè)體的定制工作，我們認(rèn)為機(jī)器可以學(xué)到真正的表情、唇型。早期我們做唇語(yǔ)識(shí)別時(shí)候，每個(gè)人的唇型都有差異，幾千小時(shí)的數(shù)據(jù)放在一起的時(shí)候，學(xué)到的效果還是明顯的。反推過(guò)來(lái)看，目前視頻和語(yǔ)音數(shù)據(jù)放在一起可以共享，我們希望搜狗“分身”能夠逐漸抽象出特征出來(lái)。
不只是說(shuō)從頭到尾做模型和訓(xùn)練，因?yàn)榇罅康暮铣蓴?shù)據(jù)在此基礎(chǔ)上能夠讓機(jī)器學(xué)到通用特征，找到自己的特點(diǎn)，遷移到模型上，搜狗“分身”也是基于遷移學(xué)習(xí)做這件事情。
陳偉：本身分身不是純語(yǔ)音的團(tuán)隊(duì)，分身有語(yǔ)音、圖像加NLP完整能力。在這件事情上后面加強(qiáng)的確實(shí)是，圖像方面要考慮2D+3D的混合技術(shù)，語(yǔ)音基礎(chǔ)上有更多NLP能力，讓他的認(rèn)知能力加強(qiáng)。
陳偉：之前我們一直做搜狗知音，當(dāng)時(shí)在做語(yǔ)音交互，搜狗早期也有一些通用的語(yǔ)音助手的產(chǎn)品。2014、2015年以后，一批語(yǔ)音助手都倒下了，根本原因在于沒(méi)有清晰定義它的能力邊界。
2015年搜狗知音做了車(chē)載場(chǎng)景、可穿戴設(shè)備，逐漸把對(duì)話引向了任務(wù)導(dǎo)向的助手。相當(dāng)于認(rèn)知、理解的范圍和空間變小了，可操控的余地變大。我認(rèn)為語(yǔ)音助手可行的應(yīng)用場(chǎng)景在于垂直領(lǐng)域?，F(xiàn)階段，人工智能一定處于初級(jí)階段，走到通用人工智能、強(qiáng)人工智能還需要很多年，這個(gè)過(guò)程中不妨礙把這個(gè)技術(shù)從不可用變成可用，做到好用的狀態(tài)。
陳偉：AI分身?xiàng)l線在搜狗公司就是做自然交互和知識(shí)計(jì)算，在整個(gè)市場(chǎng)做完整的能力。怎么讓人機(jī)交互更自然，機(jī)器需要有一個(gè)形象的，怎樣讓機(jī)器具備一個(gè)新的形象。后期怎樣做出逼真度跟真人沒(méi)有差別的形象出來(lái)?；谶@樣的考慮，我們?cè)谡麄€(gè)交互鏈條上，把語(yǔ)音合成變成多模態(tài)的合成，主要還是在搜狗的主線上去完成。
陳偉：目前沒(méi)有。比如，國(guó)外很火的Deepfake（深度換臉），其實(shí)是一種換臉的方式。純文本來(lái)驅(qū)動(dòng)的技術(shù)，驅(qū)動(dòng)文本生成視頻的方式，在國(guó)際上，只有搜狗一家在做。
陳偉：我覺(jué)得包括兩方面，第一，技術(shù)的領(lǐng)先性以及實(shí)際效果，當(dāng)時(shí)我們拿這個(gè)效果，跟新華社談時(shí)，他看到的已經(jīng)是一個(gè)距離落地很近的狀態(tài)了。第二，我們具備把這個(gè)技術(shù)快速?gòu)?fù)制，也就是目前分身的流水線已經(jīng)建立好了。
而現(xiàn)在其他公司在這件事情上的效果跟搜狗有差距，明顯差距在于他們還停留在實(shí)驗(yàn)室研究的狀態(tài)。想要把它真正地推動(dòng)到市場(chǎng)上，快速的在確定的時(shí)間內(nèi)生產(chǎn)出針對(duì)不同行業(yè)的分身模型是比較困難的。這兩年，搜狗在這件事情上占有先機(jī)。
陳偉：搜狗在電影后期做過(guò)充分的調(diào)研，電影后期對(duì)3D依賴是很強(qiáng)的。特別是，好萊塢有兩種方式。一種方式，是通過(guò)美工畫(huà)3D形象，做很多關(guān)鍵點(diǎn)，讓人表演驅(qū)動(dòng)模型產(chǎn)生動(dòng)作。另外一個(gè)，比較前沿的技術(shù)是通過(guò)人臉掃描建模重建一個(gè)模型。
美工畫(huà)出來(lái)的形象定制成本很高，但精度相應(yīng)較高。3D成本降下來(lái)，但精度要低一些。后續(xù)分身的能力，一塊是形象，另外一塊就是怎么能夠讓圖像的數(shù)據(jù)或者音頻的數(shù)據(jù)，把分身的模型驅(qū)動(dòng)出來(lái)。這是我們核心的領(lǐng)域。我們也在考慮是否可以跟后期的公司，以及電影建模公司合作，減輕他們表演的成本，把這個(gè)模型驅(qū)動(dòng)起來(lái)，這是我們目前正在考慮的事情。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
