0
| 本文作者： 我在思考中 | 2022-05-11 10:56 |
編輯丨陳彩嫻
人類的智能涉及多個模態(tài)：我們整合視覺、語言和聲音信號，從而形成對世界全面的認(rèn)識。然而，目前大多數(shù)的預(yù)訓(xùn)練方法僅針對一到兩種模態(tài)設(shè)計。
在本文中，我們提出了一種多模態(tài)自監(jiān)督預(yù)訓(xùn)練框架「i-Code」，用戶可以靈活地將視覺、語音和語言的形式組合成統(tǒng)一的通用的向量表征。在該框架下，我們首先將各個模態(tài)的數(shù)據(jù)輸入給預(yù)訓(xùn)練的單模態(tài)編碼器。接著，我們通過多模態(tài)融合網(wǎng)絡(luò)集成各單模態(tài)編碼器的輸出，該網(wǎng)絡(luò)使用新型注意力機(jī)制等架構(gòu)創(chuàng)新，有效地融合了不同模態(tài)的信息。
我們使用新的目標(biāo)端到端地預(yù)訓(xùn)練整個系統(tǒng)，新的目標(biāo)包括掩碼模態(tài)單元建模和交叉模態(tài)對比學(xué)習(xí)。不同于以往只使用視頻進(jìn)行預(yù)訓(xùn)練的研究，i-Code 框架可以在訓(xùn)練和推理過程中動態(tài)處理單模態(tài)、雙模態(tài)和三模態(tài)數(shù)據(jù)，靈活地將不同的模態(tài)組合投影到單個表示空間中。實(shí)驗(yàn)結(jié)果表明，在 5 個視頻理解任務(wù)和 GLUE NLP 基準(zhǔn)測試上，i-Code 的表現(xiàn)相較于目前最先進(jìn)的技術(shù)的提升高達(dá) 11%，展示了集成多模態(tài)預(yù)訓(xùn)練的威力！
真正的類人智能要考慮來自各種信號和感覺器官的信息。智能系統(tǒng)應(yīng)該是綜合的，引入來自所有可用模式的信號。在許多實(shí)際的數(shù)據(jù)體系中，我們可以利用視覺（V）、語言（L）和語音/音頻（S）模態(tài)的數(shù)據(jù)。目前，研究者們在建立理解單模態(tài)、雙模太的模型方面取得了巨大的進(jìn)展，然而將這些工作推廣到能夠同時解譯視覺、語言、語音的三模態(tài)系統(tǒng)上仍然是一項(xiàng)艱巨的任務(wù)。
三模態(tài)訓(xùn)練需要大量的三模態(tài)數(shù)據(jù)（例如，帶文字描述的視頻），而此類數(shù)據(jù)的規(guī)模往往比可用的單模態(tài)或雙模態(tài)數(shù)據(jù)小好幾個數(shù)量級。例如，目前最大的帶標(biāo)注的視頻數(shù)據(jù)集由 1.8 億段視頻組成，而最大的圖像描述數(shù)據(jù)集則包含高達(dá) 9 億個圖文對。
為了解決該問題，本文提出了兩種解決方案。首先，除了三模態(tài)視頻，我們還利用了大規(guī)模的雙模態(tài)數(shù)據(jù)，例如：帶有文本描述的圖像（V+L）、帶有轉(zhuǎn)寫文本的語音（S+L）和視頻描述（V+S）。這極大地擴(kuò)展了模型輸入數(shù)據(jù)的規(guī)模和多樣性，同時涵蓋了全部三種目標(biāo)模式。其次，我們提出了一種融合架構(gòu)，可以采用研究社區(qū)提出的最先進(jìn)的單模態(tài)編碼器的上下文輸出，而非從頭開始構(gòu)建一個獨(dú)立的模型。
本文提出了「i-Code」,其中 i 代表集成多模態(tài)學(xué)習(xí)。我們開發(fā)了一個有效的融合模塊，該模塊集成了單模態(tài)編碼器的輸出，進(jìn)行跨模態(tài)理解，從而獲得最終的預(yù)測結(jié)果。為了設(shè)計最佳的融合架構(gòu)，我們試驗(yàn)了多種 Transformer 架構(gòu)內(nèi)的自注意機(jī)制的變體，包括交叉和合并不同模態(tài)的注意力得分的機(jī)制。
接著，我們使用各種自監(jiān)督目標(biāo)利用雙模態(tài)和三模態(tài)數(shù)據(jù)對 i-Code 進(jìn)行預(yù)訓(xùn)練。這些目標(biāo)包括：（1）掩碼單元建模。其中所有輸入信號都被轉(zhuǎn)換為離散的詞例（Token），旨在預(yù)測各模態(tài)下的被遮蔽的單元的正確詞例。（2）對比學(xué)習(xí)。給定兩種輸入模態(tài)，模型預(yù)測給定的信號是否來自訓(xùn)練數(shù)據(jù)中的同一個三元組（或數(shù)據(jù)對）。
我們在多個多模態(tài)對比基準(zhǔn)上徹底評估了 i-Code。實(shí)驗(yàn)結(jié)果證明了所提出的多模態(tài)預(yù)訓(xùn)練框架的有效性。對 i-Code 進(jìn)行微調(diào)，相較目前最先進(jìn)，我們可以在 6 個多模態(tài)數(shù)據(jù)集和 GLUE NLP 基準(zhǔn)測試中的算法獲得 11% 的性能提升。
視頻中包含了視覺、語言、語音三種模態(tài)的數(shù)據(jù)。我們選用了最近發(fā)布的視頻數(shù)據(jù)集 YT-Temporal-180M，使用給定的視頻編號和時間戳收集了其中的 1.8 億個視頻片段，每個片段的平均長度為 7.8 秒。對于每個片段，我們平均采樣 8 幀作為視覺輸入，提取到的原始音頻波形會被下游的語音編碼器進(jìn)一步處理。每個片段還帶有一個文本腳本，改腳本是對原始 ASR 轉(zhuǎn)錄仔細(xì)去噪之后得到的。
然而，視頻數(shù)據(jù)中存在幀和轉(zhuǎn)錄文本之間對齊不準(zhǔn)的問題。為此，我們使用Azure 認(rèn)知服務(wù)的 API 為每個視頻片段的高分辨率中間幀生成字幕，以增強(qiáng)視頻數(shù)據(jù)集。
由于高質(zhì)量的三模態(tài)視頻的規(guī)模有限，我們還使用了雙模態(tài)數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，這已被廣泛應(yīng)用于視覺語言表示學(xué)習(xí)等應(yīng)用、零樣本跨模態(tài)生成、自動語音識別（ASR）和文本轉(zhuǎn)語音（TTS）等應(yīng)用。這也是成對數(shù)據(jù)的數(shù)據(jù)集首次被用于訓(xùn)練「視覺-語言-語音」模型。i-Code 在預(yù)訓(xùn)練期間使用了以下雙模態(tài)數(shù)據(jù)集：
（1）視覺-語言：使用來自 Florence 計算機(jī)視覺基礎(chǔ)模型的預(yù)訓(xùn)練數(shù)據(jù)中的7,280 萬對「圖像-描述文本」對。
（2）語言-語音：使用內(nèi)部的 75 小時的英語語音轉(zhuǎn)錄數(shù)據(jù)。該數(shù)據(jù)集包含 6,320 萬對「轉(zhuǎn)錄-語音」對，涉及 Cortana、遠(yuǎn)場語音和呼叫中心等多樣化的場景。
（3）視覺-語音：使用了視頻敘事數(shù)據(jù)集 SMiT，該數(shù)據(jù)及包含 500,000 段語音描述文本，每段文本描述了短視頻中一系列不同的事件。
模型架構(gòu)
i-Code 由四個模塊組成。前三個模塊是分別用于視覺、語言、語音的單模態(tài)編碼器。最后一個模塊是模態(tài)融合網(wǎng)絡(luò)。首先，我們將每個模態(tài)的原始輸入輸入到對應(yīng)的單模態(tài)編碼器中。然后，我們通過線性投影層處理所有編碼后的輸入，通過模態(tài)融合網(wǎng)絡(luò)集成它們。i-Code 可以處理各種輸入：單模態(tài)輸入，兩種模態(tài)的任意組合，全部三種模態(tài)一起輸入。
我們并非從頭開始訓(xùn)練每個單模態(tài)編碼器，而是設(shè)計了一個模塊化的框架：可以使用任何預(yù)訓(xùn)練的模型替換單模態(tài)編碼器。這為融合網(wǎng)絡(luò)提供了高質(zhì)量的上下文表征，從而進(jìn)行更有效的多模態(tài)理解。我們采用了各種模態(tài)的最先進(jìn)的編碼器：
（1）語言編碼器：采用 DeBERTa V3 base，該預(yù)訓(xùn)練模型包含 1.83 億參數(shù)，用到了解耦注意力機(jī)制。
（2）視覺編碼器：采用 CoSwin Transformer。為了使 i-Code 可以處理圖像和視頻幀序列，我們利用預(yù)訓(xùn)練的 CoSwin Transformer 實(shí)例化了一個視頻 CoSwin Transformer，該模型包含 9,100 萬參數(shù)。
（3）語音編碼器：采用預(yù)訓(xùn)練的 WavLM-large 模型，該模型包含 3.15 億參數(shù)，使用了時域卷積編碼器提取輸入語音波形，并進(jìn)一步使用 transformer 編碼。值得注意的是，我們還可以使用其它的單模態(tài)編碼器來組成 i-Code 架構(gòu)。
圖 1：（左）i-Code 模型架構(gòu)（右）融合網(wǎng)絡(luò)中的注意力和前饋網(wǎng)絡(luò)操作。
模態(tài)融合模塊
每個單模態(tài)編碼器提取的特征會通過單層前饋網(wǎng)絡(luò)投影，其維度等于融合網(wǎng)絡(luò)的隱藏維度。我們將投影的特征輸入給模態(tài)融合網(wǎng)絡(luò)，生成集成的多模態(tài)表征。由于單模態(tài)編碼器已經(jīng)包含了位置信息，我們在融合模塊中不使用位置嵌入。融合網(wǎng)絡(luò)的主干是一個 Transformer 編碼器，其中每一層都會執(zhí)行跨模態(tài)注意力、前饋投影和層歸一化。如圖 1 所示，為了促進(jìn)更有效的跨模態(tài)理解，我們探索了傳統(tǒng)注意力機(jī)制的兩種變體：融合注意力和協(xié)同注意力。
融合注意力
此時，不同的模態(tài)共享相同的注意力參數(shù)。為了幫助融合模塊區(qū)分不同的模態(tài)，我們在所有時間和空間維度上，將每個模態(tài)獨(dú)有的識別嵌入添加到投影后的特征上（在所有的時間和空間維度上）。我們將來自不同模態(tài)的投影特征連接在一起，輸入給融合網(wǎng)絡(luò)，融合網(wǎng)絡(luò)的每一層都與經(jīng)典的 Transformer 編碼器層相同。
協(xié)同注意力
此時，每個 Transformer 層首先在每個模態(tài)內(nèi)部的特征之間執(zhí)行自注意力機(jī)制，每個模態(tài)都具有模態(tài)特定的注意力參數(shù)。假設(shè)前一個 Transformer 層的語言、視覺和語音輸出分別為
、
和
。以語言模態(tài)的單個注意力頭為例：
我們在自注意力子層后應(yīng)用一個跨模態(tài)注意力：
對于具有融合注意力機(jī)制的融合網(wǎng)絡(luò)模塊，我們使用了 6 個 Transformer 編碼器層，隱層的向量維度為 768，融合模塊有 1.54 億個參數(shù)。對于協(xié)同注意融合模塊，為了保持模型的維度與融合注意力模型相近，我們使用了 3 層 Transformer，隱藏維度相同，最終的模型具有 1.63 億個參數(shù)。融合模塊中的參數(shù)在預(yù)訓(xùn)練中隨機(jī)初始化，而不是從預(yù)訓(xùn)練的 Checkpoint 上被實(shí)例化。
掩碼單元建模
此類自監(jiān)督預(yù)訓(xùn)練目標(biāo)包括：
（1）掩碼語言模型（MLM）。MLM 在針對語言和「視覺-語言」預(yù)訓(xùn)練的自監(jiān)督學(xué)習(xí)方面取得了顯著的成功。在預(yù)訓(xùn)練過程中，我們將 30% 的文本詞例屏蔽掉。模型需要預(yù)測被屏蔽掉的詞例，損失函數(shù)為真實(shí)值和預(yù)測詞例索引之間的交叉熵。
（2）掩碼視覺模型（MVM）。我們在視覺自監(jiān)督學(xué)習(xí)中采用了與 MLM 一致的高級策略。我們將視覺輸入轉(zhuǎn)換為離散詞例，屏蔽輸入圖像中的某些區(qū)域，并最大化被屏蔽區(qū)域的預(yù)測值和真實(shí)詞例之間的交叉熵。給定一組幀序列，我們利用目前最先進(jìn)的視覺矢量量化變分自編碼器（VQ-VAE）——PeCo，將每一幀離散為詞例。我們采用 Wang 等人在論文「Bevt: Bert pretraining of video transformers」中提出的 3D tube 掩碼策略，跨時間維度屏蔽圖像區(qū)域進(jìn)行掩蔽，每一幀屏蔽 50% 的區(qū)域。
（3）掩碼語音片段模型（MSM）。使用預(yù)訓(xùn)練的 wav2vec 2.0 語音量化器模型將語音離散化為詞例序列。我們使用與 HuBERT 和 wav2vec 2.0 相同的掩碼策略，隨機(jī)選擇 p% 的時間步作為起始的索引，并屏蔽接下來的 L 步語音片段。此時，我們?nèi)?L=10、p=8。MSM 損失
為預(yù)測標(biāo)簽和真實(shí)標(biāo)簽之間的交叉熵。
跨模態(tài)對比學(xué)習(xí)
我們先將每個單模態(tài)輸入通過相應(yīng)的編碼器編碼，然后將編碼結(jié)果分別送入多模態(tài)編碼器。接下來，對每組單模態(tài)嵌入進(jìn)行平均池化。對于語言和語音模態(tài)，多模態(tài)編碼器輸出沿時序維度取平均。視覺輸入則同時沿時間和空間維度取平均。我們分別將視覺、語言和語音的所獲得的表征表示為
、
、
，并且將表征歸一化為單位向量，例如：
每個 batch（B）中的視覺語言對比損失
為：
其中，「視覺到語言」、「語言到視覺」的對比學(xué)習(xí)目標(biāo)函數(shù)為：
類似地，我們分別定義了「視覺-語音」、「語言-語音」的對比學(xué)習(xí)目標(biāo)函數(shù)和。
在對視頻進(jìn)行預(yù)訓(xùn)練時，我們將視頻描述和 ASR 轉(zhuǎn)錄文本連接起來作為視覺語言對比學(xué)習(xí)和 MLM 的語言輸入。預(yù)訓(xùn)練目標(biāo)函數(shù)是掩碼單元建模和對比學(xué)習(xí)目標(biāo)的加權(quán)和：
我們在多模態(tài)情緒&情感分析、多模態(tài)推理、視頻問答以及一些單模態(tài)任務(wù)上評估了 i-Code 模型的性能。
多模態(tài)情緒&情感分析
我們在迄今為止最大的多模態(tài)情感分析和情感識別數(shù)據(jù)集 CMU-MOSEI 上測試了 i-Code，該數(shù)據(jù)集包含 23,453 段視頻，提出了兩個任務(wù)：情緒分析和情感識別。
就情緒分析任務(wù)而言，給定一段視頻，模型需要預(yù)測說話人的情緒水平，其范圍為高度消極（-3）到高度積極（3）。評價指標(biāo)為 MAE、預(yù)測情緒標(biāo)簽和真實(shí)情緒標(biāo)簽之間的相關(guān)性（Corr）和 F1 得分。該數(shù)據(jù)集還可以被用于構(gòu)建二元分類任務(wù)評估模型，將-3到-1分作為一個類別，將1到3分組作為另一個類別。
表 1：CMU MOSEI 情緒分析結(jié)果
我們測試了 i-Code 使用不同融合注意力機(jī)制、預(yù)訓(xùn)練數(shù)據(jù)時的性能。如表 1 所示，i-Code 在 CMU MOSEI 情緒分析任務(wù)上取得了目前最佳的性能。在 Dual 數(shù)據(jù)集上訓(xùn)練的 i-Code 模型比在視頻數(shù)據(jù)集上訓(xùn)練的 i-Code 模型展現(xiàn)出了更好的性能。在此數(shù)據(jù)集上，融合注意力的性能優(yōu)于協(xié)同注意力機(jī)制。即使不進(jìn)行多模態(tài)預(yù)訓(xùn)練，利用最先進(jìn)的編碼器的 i-Code 已經(jīng)展現(xiàn)出與以前的模型相比具有競爭力的性能。
表 2：CMU MOSEI 情感識別結(jié)果
就情感識別而言，我們按照 Ekman 情感分析體系為視頻賦予以下標(biāo)簽：快樂、悲傷、憤怒、恐懼、厭惡、驚訝。評價指標(biāo)為準(zhǔn)確率（accuracy）、精度（precision）、召回率（recal）和 Micro-F1。我們在未進(jìn)行模態(tài)對齊的數(shù)據(jù)集上評估模型性能。如表 2 所示，相較于之前的最佳模型，i-Code 的準(zhǔn)確率提高了 4.1%，F(xiàn)1 提高了 3.3%，協(xié)同注意力的性能優(yōu)于融合注意力。同時利用 Dual 數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，可以有效提升模型性能。
表 3：UN-FUNNY 二分類結(jié)果
我們在 UR-FUNNY 數(shù)據(jù)集上測試了 i-Code 在情感二分類任務(wù)上的性能。給定一段視頻幀和聲音，模型需要預(yù)測該片段是否會立即引起笑聲。對比基線包括Bi-Bimodal 融合網(wǎng)絡(luò)、低秩矩陣融合、MultiBench、張量融合網(wǎng)絡(luò)等利用了三模態(tài)輸入的模型。如表 3 所示，i-Code 模型的準(zhǔn)確率相較于之前最優(yōu)的模型高出了 7.5%，使用視頻預(yù)訓(xùn)練和融合注意力融合網(wǎng)絡(luò)時的性能最優(yōu)。
多模態(tài)推理
我們使用 VIOLIN 數(shù)據(jù)集評估 i-Code 的跨模態(tài)推理能力，該數(shù)據(jù)集的輸入是一段剪輯自電視節(jié)目的視頻片段。該片段由視頻幀 V、對齊后的描述文本 T 和音頻 S 組成。模型的任務(wù)是判斷文本假設(shè) H 與視頻片段矛盾還是相符。我們將融合網(wǎng)絡(luò)輸出的平均值作為多模態(tài)表征，并以此訓(xùn)練一個二分類器。如表 4 所示，i-Code 的準(zhǔn)確率相較于之前最優(yōu)的對比基線提升了 3.5%。其中，D、V、NP 分別代表使用 Dual、視頻作為預(yù)訓(xùn)練數(shù)據(jù)和不使用預(yù)訓(xùn)練數(shù)據(jù)；M、C 分別代表使用融合注意力機(jī)制和協(xié)同注意力機(jī)制。
表 4：VIOLIN 數(shù)據(jù)集上的多模態(tài)推理結(jié)果
視頻問答
在視頻問答（VQA）任務(wù)中，給定一段包含視頻幀 v、視頻描述 t、音頻 s 的視頻，以及問題 q。問答系統(tǒng)需要從若干候選答案
中選擇出正確的答案。我們將問題、候選答案、文本描述連接起來作為文本輸入。接著，我們將文本輸入、視頻幀、語音波形一起輸入給 i-Code 模型，對各模態(tài)的輸出取平均，得到
的多模態(tài)表征
。我們通過投影層將表征轉(zhuǎn)換為 logit 得分，并將 softmax 應(yīng)用于這些得分得到分類概率。
我們分別在 How2QA、KnowIT 數(shù)據(jù)集上測試了 i-Code 在視頻問答任務(wù)上的性能。How2QA 包含來自 HowTo100M 的 37,000 daunt視頻片段；KnowIT 包含 24,282 個人類標(biāo)注的問答對，每個問題附有 4 個候選答案。實(shí)驗(yàn)結(jié)果如表 5 和表 6 所示。
表 5：How2QA 數(shù)據(jù)集上的視頻問答性能
表 6：KnowIT 數(shù)據(jù)集上的視頻問答性能
單模態(tài)任務(wù)
我們進(jìn)一步研究了 i-Code 單模態(tài)任務(wù)上的表現(xiàn)。純語言NLP任務(wù))上的表現(xiàn)。如表 7 所示，我們將 i-Code（D+M）與之前發(fā)布的多模態(tài)模型以及參數(shù)量相當(dāng)?shù)恼Z言模型進(jìn)行了比較。
實(shí)驗(yàn)結(jié)果表明，i-Code 大幅提升了多模態(tài)模型的性能，相較于之前最先進(jìn)的模型，其平均得分提高了 11%。與之前的純語言模型相比，i-Code 也表現(xiàn)出了更強(qiáng)的性能，在 7 個任務(wù)以及整體性能上都超過了 DeBERTa V3 。
以往，多模態(tài)模型（尤其是視覺語言模型）中的語言編碼器的性能通常在只涉及語言的任務(wù)上相較于語言模型較弱。這種性能差距通常是由于多模態(tài)數(shù)據(jù)集中的語言數(shù)據(jù)質(zhì)量較差導(dǎo)致的。我們推測，掩碼語言建模目標(biāo)以及語言-語音對比學(xué)習(xí)有助于 i-Code 縮小這一差距。
表 7：在語言任務(wù)（GLUE）上與之前的模型的性能對比。
如表 8 所示，以 MOSEI 情感識別任務(wù)為例，我們發(fā)現(xiàn)僅使用單一模態(tài)數(shù)據(jù)時，語音是最有效的。這也許是因?yàn)橐羯軌蚍从吵鋈祟惖那楦?。使用雙模態(tài)數(shù)據(jù)比使用單模態(tài)數(shù)據(jù)的性能往往更好。在使用雙模態(tài)數(shù)據(jù)時，使用「語言-語音」可以獲得最佳的模型性能。
表 8：CMU MOSEI 情感識別任務(wù)上的模態(tài)消融實(shí)驗(yàn)結(jié)果
此外，在大規(guī)模多模態(tài)數(shù)據(jù)集上的自監(jiān)督預(yù)訓(xùn)練顯著提升了模型性能。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
