學(xué)習(xí)到底是什么？

人類對(duì)于學(xué)習(xí)的認(rèn)知往往受制于我們的感知能力和衡量標(biāo)準(zhǔn)，這也是為何千年以來(lái)人類學(xué)習(xí)的進(jìn)化速度異常的緩慢。

然而，現(xiàn)代多模態(tài)傳感數(shù)據(jù)的處理能力日新月異，通過(guò)在實(shí)際的教育過(guò)程收集到的學(xué)生生理信號(hào)、言語(yǔ)表達(dá)、面部表情、姿勢(shì)等多模態(tài)數(shù)據(jù)，科學(xué)家們正在以一種新的視角重新審視和理解學(xué)習(xí)。

中國(guó)教育行業(yè)正在經(jīng)歷一場(chǎng)以數(shù)據(jù)和人工智能為核心的技術(shù)變革，這也是為何在今年8月10日-16日于澳門舉辦的國(guó)際人工智能聯(lián)合會(huì)議上（IJCAI）上，圍繞多模態(tài)數(shù)據(jù)分析和智能教育的研討會(huì)AIMA4EDU受到了業(yè)內(nèi)極大的關(guān)注。

AIMA4EDU，全稱為“基于人工智能的多模態(tài)分析用于理解現(xiàn)實(shí)世界教育環(huán)境中的人類學(xué)習(xí)”，由中國(guó)人工智能教育獨(dú)角獸乂學(xué)教育-松鼠AI聯(lián)合舉辦，8月11日舉辦為期一天。研討會(huì)除了頒發(fā)最佳論文和最佳學(xué)生論文之外，還邀請(qǐng)了來(lái)自加州伯克利大學(xué)、孟菲斯大學(xué)和松鼠AI的專家，分享他們基于多模態(tài)數(shù)據(jù)的教育前沿研究。

明年的AIMA4EDU研討會(huì)將與IJCAI 2020一起在日本橫濱舉辦。

最佳論文

獲得最佳論文的是來(lái)自荷蘭開(kāi)放大學(xué)和德國(guó)萊布尼茨教育研究和信息研究所的“Multimodal Pipeline: A generic approach for handling multimodal data for supporting learning（多模態(tài)工作流：用于處理多模態(tài)數(shù)據(jù)以支持學(xué)習(xí)的通用方法）”。

多模態(tài)工作流是一種用于支持學(xué)習(xí)的多模態(tài)數(shù)據(jù)的收集、存儲(chǔ)、注釋、處理和利用的方法。 在目前的發(fā)展階段，多模態(tài)工作流由兩個(gè)相關(guān)的原型組成：1）多模態(tài)學(xué)習(xí)中心，用于收集和存儲(chǔ)來(lái)自多個(gè)應(yīng)用程序的傳感器數(shù)據(jù)；2）可視化檢查工具，用于可視化和記錄所記錄的會(huì)話。 多模態(tài)工作流可用于支持各種學(xué)習(xí)場(chǎng)景，如演示技巧、患者人體模型的醫(yī)學(xué)模擬等，可以提供不同的支持策略，包括檢測(cè)錯(cuò)誤，并在智能輔導(dǎo)系統(tǒng)中提示實(shí)時(shí)反饋，或通過(guò)學(xué)習(xí)分析儀表板激勵(lì)自我反省。論文鏈接在此。

最佳學(xué)生論文 

獲得最佳學(xué)生論文的是來(lái)自新南威爾士大學(xué)研究團(tuán)隊(duì)的“Deep Multi-agent Attentional Learning for Cognitive Attention Analysis in Educational Context（深層多智能體學(xué)習(xí)在教育語(yǔ)境中的認(rèn)知注意力分析）”。

傳感系統(tǒng)的最新發(fā)展允許連續(xù)產(chǎn)生大量傳感數(shù)據(jù)，這使得復(fù)雜的學(xué)習(xí)成為可能。為了應(yīng)對(duì)日益增長(zhǎng)的對(duì)教育問(wèn)題的關(guān)注，本文將學(xué)生的EEG信號(hào)與教育背景下的認(rèn)知注意狀態(tài)聯(lián)系起來(lái)。研究團(tuán)隊(duì)考慮人類關(guān)注的兩個(gè)固有特征，即空間 - 時(shí)間上不同的特征顯著性和個(gè)體特征之間的關(guān)系。 基于這些，本文提出了一種多智能體時(shí)空關(guān)注模型。時(shí)空關(guān)注機(jī)制有助于智能地選擇信息渠道及其活躍期。 并且所提出的模型中的多個(gè)智能體表示具有集體全局選擇的單個(gè)特征的生理現(xiàn)象。 通過(guò)共同目標(biāo)，智能體共享獲得的信息并協(xié)調(diào)他們的選擇策略以學(xué)習(xí)最佳的注意力分析模型。論文鏈接在此。

以下是大會(huì)演講的亮點(diǎn)匯總：

孟菲斯大學(xué)Frank Andrasik：關(guān)于神經(jīng)反饋治療自閉癥譜系障礙的方法論思考

Andrasik博士目前擔(dān)任田納西州孟菲斯大學(xué)心理學(xué)系行為醫(yī)學(xué)中心的杰出教授、主席和主任。他在1979年獲得俄亥俄大學(xué)臨床心理學(xué)博士學(xué)位，至今發(fā)表過(guò)大約270篇文章，并發(fā)表了大量演講。Andrasik博士同時(shí)還是心理學(xué)家，以及Applied Psychophysiology和Biofeedback兩份刊物的主編。

Andrasik博士的演講討論了神經(jīng)反饋（Neurofeedback）在治療自閉癥譜系障礙患者（Autism Spectrum Disorder，簡(jiǎn)稱ASD）的方法論。ASD簡(jiǎn)單而言就是自閉癥，但是一個(gè)更廣義上的醫(yī)學(xué)名詞。

腦神經(jīng)反饋訓(xùn)練則是目前一種比較新穎的治療手段，通過(guò)檢測(cè)患者的腦波活動(dòng)狀態(tài)，針對(duì)大腦薄弱的區(qū)域通過(guò)特殊的手段鍛煉大腦神經(jīng)。在過(guò)去三年，這項(xiàng)技術(shù)呈現(xiàn)井噴式增長(zhǎng)，并且開(kāi)始大量用于商業(yè)化，位于佛羅里達(dá)的Neurocore是目前美國(guó)最大的神經(jīng)反饋服務(wù)供應(yīng)商之一，美國(guó)教育部長(zhǎng)貝齊·德沃斯（Betsy DeVos）擁有該公司的部分股權(quán)。

盡管神經(jīng)反饋的發(fā)展迅猛，但Andrasik博士列舉了該治療技術(shù)在過(guò)去幾年出現(xiàn)的問(wèn)題：比如安慰劑效應(yīng)，忽略了衡量維度，缺乏長(zhǎng)期跟蹤患者狀態(tài)的機(jī)制。

神經(jīng)反饋公司夸大的宣傳也是行業(yè)的普遍現(xiàn)象：美國(guó)聯(lián)邦貿(mào)易委員會(huì)指控Lumos游戲的創(chuàng)建者Lumos Labs欺騙消費(fèi)者，毫無(wú)根據(jù)地聲稱他們的游戲可以幫助患者在工作和學(xué)校中表現(xiàn)更好，并減少或延遲與年齡和其他嚴(yán)重健康狀況相關(guān)的認(rèn)知障礙。    

那么該如何推動(dòng)這個(gè)行業(yè)前進(jìn)？Andrasik博士總結(jié)了七個(gè)方向：

1.  DSM-5提高診斷精度。DSM-5是美國(guó)精神疾病診斷與統(tǒng)計(jì)手冊(cè)第五版，把當(dāng)代人們所有因?yàn)榍榫w控制不當(dāng)和各種奇葩的病癥列為各類輕~重型精神病；

2.  認(rèn)識(shí)到皮質(zhì)缺乏不是癥狀的唯一原因。 外周生理活動(dòng)、例如心率及其變異性，與神經(jīng)生理學(xué)信號(hào)密切相關(guān)，并與社會(huì)參與度有關(guān)；

3.  確定反應(yīng)的預(yù)測(cè)因素，治療可能需要40-80個(gè)療程；

4.  利用非接觸式電容式EEG電極，基于近紅外光譜（NIRS）的傳感器，可穿戴式頭盔設(shè)備等，在最需要的環(huán)境中每天練習(xí)；

5.  加強(qiáng)對(duì)治療機(jī)制的關(guān)注；

6.  利用機(jī)器學(xué)習(xí)方法；

7.  關(guān)注在真實(shí)環(huán)境而不是實(shí)驗(yàn)室環(huán)境中的功效。

松鼠AI 首席架構(gòu)師、Richard Tong：基于智能體的自適應(yīng)教學(xué)系統(tǒng)設(shè)計(jì)框架

松鼠AI首席架構(gòu)師Richard Tong曾擔(dān)任過(guò)Knewton的大中華區(qū)負(fù)責(zé)人和Amplify Education的解決方案架構(gòu)總監(jiān)，除此之外，他還是IEEE AIS（自適應(yīng)教學(xué)系統(tǒng)）標(biāo)準(zhǔn)工作組成員以及互操作性小組的主席（IEEE 2247.2）。

Richard Tong介紹了松鼠AI建立自適應(yīng)教學(xué)系統(tǒng)框架的初衷和細(xì)節(jié)。他認(rèn)為，阻擋優(yōu)質(zhì)教育的普及和規(guī)?；淖畲笳系K來(lái)自于三點(diǎn)：成本、可行性、系統(tǒng)慣性?；诖?，松鼠AI堅(jiān)信教育方法需要重新定義：

? 每個(gè)學(xué)生都不同，任何基于團(tuán)隊(duì)的教學(xué)都不能有效地利用學(xué)生的時(shí)間；

? AI現(xiàn)在可以提供大規(guī)模的連續(xù)自適應(yīng)一對(duì)一體驗(yàn)；

? 人類教師（教練）應(yīng)提供有針對(duì)性的、社會(huì)的和具有動(dòng)機(jī)的個(gè)人支持。

那為什么教育需要一個(gè)基于智能體的框架？Richard 認(rèn)為，一個(gè)智能體框架能設(shè)計(jì)出更好的教育過(guò)程：

? 智能體更好地了解整個(gè)教育過(guò)程和產(chǎn)品，學(xué)習(xí)的關(guān)鍵條件可以在智能體框架中得到很好的體現(xiàn)，包括學(xué)習(xí)的準(zhǔn)備、學(xué)習(xí)能力、以及學(xué)習(xí)環(huán)境；

? 智能體框架是一個(gè)發(fā)生學(xué)習(xí)的自然框架，可以更好地幫助學(xué)生學(xué)習(xí)科學(xué)，擁有更好的可解釋性和人機(jī)界面設(shè)計(jì)；

? 更好地智能體設(shè)計(jì)可以更好地設(shè)計(jì)教育系統(tǒng)，智能體的水平應(yīng)主要通過(guò)智能體改善學(xué)習(xí)成果的能力來(lái)衡量，而不是通過(guò)實(shí)施方法的復(fù)雜程度來(lái)衡量

Richard 簡(jiǎn)單介紹了松鼠AI自適應(yīng)教學(xué)系統(tǒng)的設(shè)計(jì)框架，主要由三部分組成：一個(gè)教學(xué)智能體，學(xué)習(xí)擁有本體層、傳感器、資源和工具；一個(gè)復(fù)合模型，包含領(lǐng)域模型、學(xué)習(xí)模型、交互模型；以及一個(gè)教學(xué)模型，可以看成是一個(gè)強(qiáng)化學(xué)習(xí)的策略，有行為、規(guī)則、和獎(jiǎng)勵(lì)函數(shù)。

在整個(gè)框架下，松鼠AI設(shè)計(jì)了四種智能體：外環(huán)智能體、內(nèi)環(huán)智能體、伴侶智能體、模擬學(xué)生智能體。

需要著重了解的是這個(gè)外環(huán)-內(nèi)環(huán)框架機(jī)制，也可以理解宏觀-微觀適應(yīng)性架構(gòu)。外環(huán)智能體會(huì)遍歷一個(gè)動(dòng)態(tài)的任務(wù)序列，結(jié)合本體層的學(xué)習(xí)地圖和內(nèi)容地圖以及算法層的學(xué)生畫(huà)像、知識(shí)狀態(tài)評(píng)估、推薦引擎，為學(xué)生選定合適的任務(wù)進(jìn)行學(xué)習(xí)。

內(nèi)環(huán)智能體則是獲得一個(gè)動(dòng)態(tài)的學(xué)習(xí)行為，遍歷學(xué)習(xí)一個(gè)任務(wù)的不同步驟，架構(gòu)類似但不同的模塊更加細(xì)分。這使得松鼠AI的系統(tǒng)真正具有適應(yīng)性 - 不僅可以提供有關(guān)任務(wù)的反饋，還可以提供各個(gè)步驟的反饋。將兩者結(jié)合之后得到的智能體學(xué)習(xí)行為，會(huì)保存在LRS中作為智能體先前的學(xué)習(xí)歷史。

Richard也列舉了目前依然遇到的挑戰(zhàn)，比如：智能體之間的交流、本體層、傳感信息的融合、以及上下文信息的同步。松鼠AI的下一步是進(jìn)行更多的聯(lián)合研究，目前已經(jīng)和卡內(nèi)基梅隆大學(xué)以及斯坦福大學(xué)達(dá)成聯(lián)合研究的項(xiàng)目；做更多的參考設(shè)計(jì)和實(shí)驗(yàn)；標(biāo)準(zhǔn)化系統(tǒng)之間的智能體接口和其他組件。

松鼠AI KP Thai：用于多模態(tài)教學(xué)和學(xué)習(xí)分析的大規(guī)模數(shù)據(jù)集

松鼠AI的高級(jí)學(xué)習(xí)和數(shù)據(jù)科學(xué)家KP Thai博士主要介紹了松鼠AI研究團(tuán)隊(duì)的最新成果：一個(gè)用于多模態(tài)教學(xué)和學(xué)習(xí)分析的大規(guī)模數(shù)據(jù)集MULTA。

Thai博士介紹稱，搭建這個(gè)數(shù)據(jù)的原因是高頻多模態(tài)數(shù)據(jù)采集技術(shù)和AI/ML分析技術(shù)的進(jìn)步可以為學(xué)習(xí)提供新的見(jiàn)解，但目前公開(kāi)的可用的數(shù)據(jù)集并不多，尤其是來(lái)自現(xiàn)實(shí)世界的學(xué)習(xí)環(huán)境、松鼠AI希望通過(guò)發(fā)布數(shù)據(jù)集以幫助探索多模態(tài)學(xué)習(xí)分析和數(shù)據(jù)挖掘，促進(jìn)教學(xué)和學(xué)習(xí)的進(jìn)步。

松鼠AI收集了來(lái)自兩個(gè)課后學(xué)習(xí)中心的156名中學(xué)生的數(shù)據(jù)，他們參與了5個(gè)科目：數(shù)學(xué)、英語(yǔ)（語(yǔ)法和閱讀）、中文、物理、化學(xué)。在五周的時(shí)間里，學(xué)生們被要求佩戴腦波耳機(jī)并進(jìn)行錄像。

在學(xué)習(xí)過(guò)程中，松鼠AI收集了其系統(tǒng)上的用戶記錄、腦電波（使用BrainCo的腦電圖頭帶）、以及網(wǎng)絡(luò)攝像頭視頻（通過(guò)Debut視頻錄制軟件的網(wǎng)絡(luò)攝像頭）。研究團(tuán)隊(duì)將腦電波和網(wǎng)絡(luò)攝像頭視頻同步到用戶記錄上，根據(jù)時(shí)間同步三個(gè)數(shù)據(jù)源，基于不同的問(wèn)題分割腦波和網(wǎng)絡(luò)攝像頭視頻數(shù)據(jù)。

數(shù)據(jù)集目前還存在一些不足，比如數(shù)據(jù)收集過(guò)程并未如同設(shè)想的一致，導(dǎo)致可用數(shù)據(jù)少于預(yù)期

網(wǎng)絡(luò)攝像頭和腦波數(shù)據(jù)的長(zhǎng)度與課程長(zhǎng)度不同，網(wǎng)絡(luò)攝像頭沒(méi)有正確設(shè)置等等。

未來(lái)，松鼠AI將優(yōu)化數(shù)據(jù)收集和準(zhǔn)備過(guò)程，繼續(xù)收集數(shù)據(jù)，尋求多模態(tài)之間同步的工具，并更好地理解腦電波的特征表示。

后文將對(duì)其余演講者的內(nèi)容做簡(jiǎn)單介紹：

來(lái)自新南威爾士大學(xué)的研究團(tuán)隊(duì)介紹了他們的最新論文“On Using EEG Signals for Human Attention Estimation（用EEG信號(hào)進(jìn)行人體注意力估計(jì)）”。EEG信號(hào)是估計(jì)人類注意力的主要媒介。當(dāng)前的EEG研究通常需要針對(duì)不同受試者的適應(yīng)步驟，然后腦計(jì)接口經(jīng)過(guò)調(diào)整后才能用在新的實(shí)驗(yàn)者身上，這會(huì)耗費(fèi)大量的時(shí)間和人力。研究者提出了卷積遞歸注意模型（CRAM），利用卷積神經(jīng)網(wǎng)絡(luò)編碼腦電信號(hào)的高級(jí)表示和反復(fù)注意機(jī)制，以探索腦電信號(hào)的時(shí)間動(dòng)態(tài)，并專注于最具辨別力的時(shí)間周期。

來(lái)自北京交通大學(xué)和北京師范大學(xué)的研究團(tuán)隊(duì)介紹了他們的最新論文“Understanding Schoolchildren Test Anxiety through Online Writing Analysis（通過(guò)在線寫(xiě)作分析了解學(xué)童考試焦慮）”。如何科學(xué)有效地判斷學(xué)生是否有考試焦慮，從而及時(shí)給予幫助是一個(gè)值得關(guān)注的研究 課題。與高成本的自我報(bào)告相比，本文的研究試圖通過(guò)分析在線寫(xiě)作來(lái)了解考試焦慮的表現(xiàn)并預(yù)測(cè)個(gè)體考試焦慮的程度。研究發(fā)現(xiàn)考試焦慮與一些寫(xiě)作習(xí)慣有關(guān)，例如易用詞的使用頻率和猜測(cè)詞的使用類型。 通過(guò)應(yīng)用機(jī)器學(xué)習(xí)技術(shù)，建立并評(píng)估基于在線書(shū)寫(xiě)數(shù)據(jù)的考試焦慮預(yù)測(cè)模型。 隨機(jī)森林回歸器目前實(shí)現(xiàn)了最佳性能。

來(lái)自悉尼科技大學(xué)、南京航空航天大學(xué)、和北京化工大學(xué)的研究團(tuán)隊(duì)介紹了他們的最新論文“Student Sentiment Analysis Through Students’ Assignments（通過(guò)學(xué)生作業(yè)分析學(xué)生情緒）”。學(xué)生情緒分析對(duì)學(xué)生管理學(xué)習(xí)和生活至關(guān)重要。為了解決這個(gè)問(wèn)題，本文提出了一個(gè)分層的學(xué)生情緒分析框架來(lái)分析學(xué)生的作業(yè)情緒。 該框架包括兩個(gè)流：參考流和學(xué)生語(yǔ)句流，它們能夠從引號(hào)和引用中分析部分學(xué)生情緒。 實(shí)驗(yàn)結(jié)果證明這個(gè)框架在大學(xué)生作業(yè)數(shù)據(jù)集方面優(yōu)于其他競(jìng)爭(zhēng)對(duì)手。

來(lái)自悉尼科技大學(xué)和蒙納士大學(xué)的研究團(tuán)隊(duì)介紹了他們的最新論文“Universal Graph Embedding for Heterogeneous Study-trajectory Graph（用于異構(gòu)研究軌跡圖的通用圖嵌入）”。當(dāng)前的學(xué)習(xí)興趣發(fā)現(xiàn)方法使用單個(gè)時(shí)間序列單調(diào)地模擬每個(gè)學(xué)生的學(xué)習(xí)軌跡，忽略了學(xué)生和課程之間的相互依賴性。 本文中將學(xué)生和課程構(gòu)建為研究軌跡圖中的異構(gòu)節(jié)點(diǎn)源，并提出了一種通用圖嵌入框架（UGE）來(lái)同時(shí)捕獲同質(zhì)節(jié)點(diǎn)之間的相互關(guān)系以及異構(gòu)節(jié)點(diǎn)之間的相互依賴性。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。