雷鋒網(wǎng)編者按：作為國內(nèi)最大的社交巨頭，騰訊是如何借用 AI 技術(shù)來解決所面對的安全挑戰(zhàn)？在6月30日舉辦的CCF-GAIR智能安全專場中，騰訊安全平臺部總監(jiān)胡珀帶來了《從危到機(jī)，AI 時(shí)代下的安全挑戰(zhàn)》的演講。 

胡珀現(xiàn)任騰訊安全平臺部總監(jiān)，騰訊安全平臺部Blade Team負(fù)責(zé)人，是國內(nèi)首個(gè)漏洞獎(jiǎng)勵(lì)平臺TSRC負(fù)責(zé)人，自2007年加入騰訊以來，他一直從事國際范圍內(nèi)的前沿安全攻防技術(shù)、黑客攻防技術(shù)對抗研究，包括人工智能（AI）、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、數(shù)據(jù)安全等，先后負(fù)責(zé)過漏洞掃描、惡意網(wǎng)址檢測、主機(jī)安全、DDoS攻擊防護(hù)系統(tǒng)的建設(shè)和運(yùn)營以及應(yīng)急響應(yīng)、前沿安全、安全培訓(xùn)、安全研究、漏洞獎(jiǎng)勵(lì)計(jì)劃等工作。

2018 全球人工智能與機(jī)器人峰會（CCF-GAIR）于6月29日在深圳召開。本次大會共吸引超過2500余位 AI 業(yè)界人士參會，其中包含來自全球的 140 位在人工智能領(lǐng)域享有盛譽(yù)的頂級嘉賓。

以下是胡珀在現(xiàn)場的演講，宅客頻道做了不改變原意的編輯整理。

今天非常榮幸能夠分享一下騰訊在AI安全方面所做的一些事情。先做一個(gè)自我介紹，我叫胡珀，在騰訊安全平臺部工作了11年，一直在從事黑客攻防對抗方面的工作。我的一部分工作是屬于安全研究，一直以來我們的理念就是安全絕不僅僅是被動(dòng)的事后處理，而是也要主動(dòng)研究最前沿、最尖端的技術(shù)，用未雨綢繆的前瞻性研究來武裝我們的工作。為此，我們也組建了一支團(tuán)隊(duì)——Tencent Blade Team，專門進(jìn)行安全的前沿研究，研究重點(diǎn)隨著騰訊和整個(gè)安全行業(yè)面臨的實(shí)際場景不斷進(jìn)行調(diào)整變化。比如最開始是研究Web安全，后來逐漸向移動(dòng)互聯(lián)網(wǎng)安全、物聯(lián)網(wǎng)安全轉(zhuǎn)型。近年來隨著AI大規(guī)模工程化、實(shí)用化，我們也加大了對 AI 智能設(shè)備安全方面的研究，這個(gè)演講就是對我們研究的總結(jié)。

AI是下一次的工業(yè)革命，我們現(xiàn)在不管是開會、人臉識別、車牌識別，還有智慧城市、智慧零售，還是智能手環(huán)、智能手機(jī)、智能音箱等，AI越來越滲透到我們的生活里。所有東西都AI了，基本上各個(gè)行業(yè)也都會引入AI，我們?nèi)ィ〞觯┩饷婵匆幌?，全是各種智能的設(shè)備。

但是物聯(lián)網(wǎng)設(shè)備或者所謂的智能設(shè)備滲透到各行各業(yè)，到我們生活之中，可能會帶來很大的安全隱患。比如智能音箱有接收語音指令的功能，如果音箱被黑客控制的話，就可能會變成竊聽器。同理，攝像頭如果被黑掉，也可能被用來監(jiān)視我們。

今天我要講的主要分為兩部分，第一部分是以智能設(shè)備為典型代表的AI存在的安全問題，第二部分講騰訊把AI應(yīng)用到安全場景去做安全檢測或者安全防護(hù)上的實(shí)踐。

AI的安全問題我們總結(jié)了一下，大概歸為三類：第一類就是AI算法自身的安全問題，前面幾位老師也有講到，比如現(xiàn)在我們的圖像識別，圖像欺騙，自己用PS定制一張圖片，加一些像素進(jìn)去，會導(dǎo)致自動(dòng)駕駛出問題。

第二類就是AI系統(tǒng)引入第三方的組件，但這些組件也會存在問題，這就是傳統(tǒng)的安全問題了，包括對文件的處理，對網(wǎng)絡(luò)協(xié)議的處理，各種外部輸入?yún)f(xié)議的處理都可能會出問題。

第三類就是黑產(chǎn)也會用到AI。大家不要以為AI只是停留在學(xué)術(shù)界或者是工業(yè)界，其實(shí)現(xiàn)在黑產(chǎn)也大量在使用AI，之前我們處理過一個(gè)案子，就是黑產(chǎn)用機(jī)器學(xué)習(xí)的算法來識別驗(yàn)證碼，最高可以達(dá)到80%到90%的識別率，這個(gè)團(tuán)伙被摧毀后，我們發(fā)現(xiàn)這是我們見過的科技含量最高的黑產(chǎn)之一。

首先我們會發(fā)現(xiàn)，AI是很容易被帶壞的。這是微軟推出的機(jī)器人，通過跟網(wǎng)友對話進(jìn)行學(xué)習(xí)，惡意的網(wǎng)友就會亂教它，比如罵臟話，甚至是種族歧視。 

前面的老師也講過，現(xiàn)在AI是孩子，你教什么就學(xué)什么，結(jié)果學(xué)壞了，最后罵人，后來微軟馬上下架去修改，這就是一種樣本的問題。

第二個(gè)問題就是AI會被蒙蔽。只需要一些簡單的操縱，人眼看起來毫無區(qū)別，AI識別卻會得出完全錯(cuò)誤的結(jié)果。比如這是一個(gè)人臉識別系統(tǒng)，給一張照片會識別出這個(gè)人的性別、年齡、表情、魅力值，第一張圖正常圖片可以識別出是男性，21歲，表情黯然傷神，但是如果經(jīng)過特殊處理，加一些圖層進(jìn)去，對我們?nèi)搜蹧]有影響，但就會被AI就識別成女性，20歲。另外兩個(gè)也是，疊加圖層上去，整個(gè)AI識別結(jié)果完全顛覆了，結(jié)果變成了男性，36歲。我們進(jìn)行了測試，最大會有20%的識別錯(cuò)誤幾率。

針對標(biāo)識的識別也是如此。我們可以看到，通過類似的圖層疊加手法，會嚴(yán)重影響AI的識別結(jié)果。比如第一張圖可以直行，第二張圖加入圖層后，我們?nèi)搜圩R別完全沒變化，但到AI去識別就可以直行也可以右轉(zhuǎn)，限速30變成限速80。這就是對AI的攻擊。大家可以想像，如果這個(gè)攻擊案例被用到了實(shí)際環(huán)境，可能直接導(dǎo)致車毀人亡的嚴(yán)重情況。

第三個(gè)問題就是被污染，也就是在AI的底層框架存在的問題。比如谷歌的深度學(xué)習(xí)系統(tǒng)TensorFlow，Tencent Blade Team研究之后，發(fā)現(xiàn)它其實(shí)存在一些傳統(tǒng)的網(wǎng)絡(luò)安全問題，比如惡意構(gòu)造一個(gè)模型文件，格式經(jīng)過特殊構(gòu)造就可以控制它整個(gè)AI系統(tǒng)，然后可以算出AI系統(tǒng)的設(shè)計(jì)或者架構(gòu)問題。除此之外，如果引用了惡意的第三方組件，也會導(dǎo)致系統(tǒng)崩潰，拿到系統(tǒng)權(quán)限。

這些漏洞我們都報(bào)給了官方，并拿到了致謝。這些系統(tǒng)如果底層出問題，被黑客利用，后果是災(zāi)難性的，所以現(xiàn)在產(chǎn)業(yè)界、學(xué)術(shù)界都非常關(guān)注AI的底層架構(gòu)安全。 

第四，許多智能設(shè)備都可能被控制。比如智能音箱可能被竊聽，我們團(tuán)隊(duì)對市面上的一些智能音箱做了一系列研究，許多智能音箱都有安全問題，包括協(xié)議的解析和認(rèn)證授權(quán)等，其實(shí)還是傳統(tǒng)的安全問題。如果大家感興趣，可以在今年8月份在拉斯維加斯的DEF CON上關(guān)注我們介紹智能音箱的漏洞技術(shù)細(xì)節(jié)的議題。

智能音箱也存在被竊聽的問題，小米和亞馬遜都出現(xiàn)過安全問題，它們對協(xié)議的解析和認(rèn)證授權(quán)有問題。如果大家感興趣，我們會在今年8月份，在拉斯維加斯講亞馬遜智能音箱的漏洞技術(shù)細(xì)節(jié)。

另外就是智慧城市，現(xiàn)在很多地方都引入了智慧城市，里面會用很多新的協(xié)議，比如 IoT 的協(xié)議，這個(gè)也存在許多安全隱患。

我們選用騰訊大廈作為目標(biāo)進(jìn)行了測試，發(fā)現(xiàn)它所使用的智能樓宇設(shè)備協(xié)議和加密通訊存在一些技術(shù)風(fēng)險(xiǎn)，這就造成我們可以通過遠(yuǎn)程控制某一層的會議室燈、空調(diào)、窗簾，包括插座等。

我們當(dāng)時(shí)放了一個(gè)無人機(jī)到頂樓，掛了一個(gè)信號發(fā)射器，實(shí)現(xiàn)了對整層樓的開燈關(guān)燈關(guān)窗簾的控制，在歐洲的HITB安全峰會上我們也詳細(xì)講了這個(gè)漏洞的技術(shù)細(xì)節(jié)。

因?yàn)楣?yīng)商是國外的，我們把問題報(bào)給官方，也修復(fù)了，做這個(gè)實(shí)驗(yàn)本身就是希望把這個(gè)問題修復(fù)掉。

除了智能音箱、智慧樓宇等，我們還研究過無人機(jī)。2015年，Blade Team參加一個(gè)黑客比賽，遠(yuǎn)程用電腦把無人機(jī)劫持了。我們破解了無人機(jī)的通訊協(xié)議，破解之后發(fā)現(xiàn)，只能夠抓到一部分無線電協(xié)議，就可以去模擬搖控器發(fā)出來的協(xié)議，把當(dāng)時(shí)的無人機(jī)給劫持掉。 

攝像頭也是類似。2014年的時(shí)候，我們對國內(nèi)的攝像頭做了一系列的安全評測，2014年是智能攝像頭元年，所以我們也要去跟進(jìn)看一下。大家有沒有見過有部電影叫《竊聽風(fēng)云》，里面有個(gè)橋段就是加了一個(gè)設(shè)備，把攝像頭替換掉，導(dǎo)致保安沒有發(fā)現(xiàn)有人進(jìn)去了。

有些攝像頭我們發(fā)現(xiàn)也是有這個(gè)問題的，我這里放了一個(gè)QQ公仔，攝像的 wifi 網(wǎng)絡(luò)被我劫持替換，就能控制它所有想要展示的圖像，我重新可以錄視頻，把公仔隱掉。

另外就是一些智能手機(jī)，因?yàn)橹悄苁謾C(jī)現(xiàn)在用了越來越多的一些所謂的生物識別、智能識別，比如說人臉解鎖，人臉解鎖之前有很大的問題，但是我直接用照片，而且用二維的照片就可以解鎖。不過現(xiàn)在應(yīng)該已經(jīng)加了3D或者活體識別了，就沒那么簡單，但是我們目前在進(jìn)行的一些研究中發(fā)現(xiàn)還是有機(jī)會的。所以后面有機(jī)會大家還可以看到我們的分享。 

另外就是有些手機(jī)可以支持智能設(shè)備解鎖，比如手環(huán)解鎖，只要手機(jī)靠近手環(huán)就解鎖了，不用輸密碼，這也是比較方便。但在設(shè)計(jì)的時(shí)候會出問題，解鎖的時(shí)候它只會檢測我的手環(huán)match地址，這個(gè)也很容易實(shí)現(xiàn)，我們可以直接解鎖他的手機(jī)。另外一些品牌手機(jī)可能采取的是指紋解鎖，但我們發(fā)現(xiàn)用一個(gè)類似的導(dǎo)電硅膠，直接把紙巾按上去就可以了，根本不需要指紋，這個(gè)硅膠按上去算法也通過了，最后解鎖也通過。就像現(xiàn)在的智能電鎖，也是類似的原理。大家會發(fā)現(xiàn)，現(xiàn)在的智能手機(jī)也是不夠靠譜的。

前面我講的是智能設(shè)備本身的一些安全問題和供給場景演示，但除了他們本身存在的問題之外，AI技術(shù)還可能被黑產(chǎn)濫用。

這就是我們現(xiàn)在看到的，越來越多的智能設(shè)備鏈接到了網(wǎng)絡(luò)上，但是這些智能設(shè)備的安全防護(hù)又沒有傳統(tǒng)的PC防火墻，反而會被黑客黑掉，黑客就拿來挖礦、進(jìn)行DDoS攻擊等等，這樣就會帶來很大的問題。 

這些就是一些惡意軟件，把物聯(lián)網(wǎng)設(shè)備拿來做DDoS攻擊，現(xiàn)在大量的IoT設(shè)備都連接上了網(wǎng)絡(luò)，包括路由器、攝像頭，很容易淪為黑客控制的工具。還有一些機(jī)器學(xué)算法也加入了黑產(chǎn)團(tuán)隊(duì)。

以上就是我講的第一部分，AI的安全問題，下面我來展開講一下第二部分，AI安全應(yīng)用在具體場景下的應(yīng)用，包括實(shí)戰(zhàn)等。

大概也是這三個(gè)方向：一個(gè)是會向傳統(tǒng)的生物特征轉(zhuǎn)變，第二個(gè)是研究工具有變化，以前是用特征工程來對抗黑客攻擊，現(xiàn)在可能會轉(zhuǎn)入機(jī)器學(xué)習(xí)的方法，可能用機(jī)器學(xué)習(xí)給它建一個(gè)域值和模型，通過模型來看它是否是黑客攻擊。

框架大概是這樣，可能就是有一個(gè)整體的平臺，再加上機(jī)器學(xué)習(xí)作為一個(gè)分析引擎，和其他的數(shù)據(jù)層、信譽(yù)庫等一起，協(xié)同進(jìn)行合作。

現(xiàn)在有一種很麻煩的攻擊，就是UDP模擬，包括協(xié)議都會模擬到正常的業(yè)務(wù)，這樣怎么做呢？還是會用機(jī)器學(xué)習(xí)相對好一點(diǎn)，在UDP模擬協(xié)議的特定場景之下，這種效果是非常好的。傳統(tǒng)的 DDoS 防護(hù)是通過一個(gè)量來發(fā)現(xiàn)，但機(jī)器學(xué)習(xí)可以通過很多維度解決這個(gè)問題。

我們可以看一下，大概引入機(jī)器學(xué)習(xí)的實(shí)際效果。我們主要是應(yīng)用在兩個(gè)層面，一個(gè)是DDoS，一個(gè)是黑客的入侵行為，我們看一下 DDoS 的效果。

這是一個(gè)傳統(tǒng)的DDoS的模型，加上一個(gè) AI 環(huán)節(jié)，用機(jī)器學(xué)習(xí)給所有商戶做畫像。在騰訊云上有很多這樣的小商家，可能它單個(gè)商戶面臨的流向不一樣，QQ空間和微信朋友圈流量非常大，小的商戶流量非常小，如果采取傳統(tǒng)的特征工程的方法不能很好解決，比如商戶做活動(dòng)或者雙十一整體流量上升，就會有這樣那樣的問題。

如果用AI畫基線，比如取前面三個(gè)月或者前面一個(gè)月的數(shù)據(jù)，引入機(jī)器學(xué)習(xí)生成一個(gè)模型，通過檢測模型來看是否是DDos的攻擊或者活動(dòng)量突增。這樣的話，平時(shí)就不僅是流量的大小，還包括原IP的屬性，或者原端口、整個(gè)IP的值，我們會把整個(gè)協(xié)議讓機(jī)器自己去學(xué)，讓它自己提特征出來，大概會選出很多維度，我們會用這個(gè)維度做模型。如果它某一天或者某一個(gè)時(shí)刻偏離這個(gè)模型，就可能是遭到DDos攻擊。

最后平均準(zhǔn)確率從80%到了96.4%，效果還可以，但機(jī)器也有誤報(bào)，我們現(xiàn)在采取雙引擎在跑，避免出問題。

在反入侵上也是類似，比如說我們的系統(tǒng)管理員登陸服務(wù)器，登陸之后可能會做一系列的運(yùn)維，或者是部署操作，但它是個(gè)有限的集，同時(shí)它可能會在某一個(gè)特定的時(shí)間，或者會有特定的習(xí)慣，反正是有規(guī)律的。 

這個(gè)規(guī)律如果通過特征工程很難做，但通過機(jī)器學(xué)習(xí)，可以很好地為服務(wù)器的每一個(gè)管理員帳號進(jìn)行精準(zhǔn)畫像，這樣就可以解決黑客冒用帳號的攻擊方式?，F(xiàn)在大部分情況是黑客直接拿一個(gè)帳號密碼，冒充管理做操作，但它的操作跟管理員是不一樣的，一個(gè)是時(shí)間，還有一個(gè)是翻找文檔，或者是偷數(shù)據(jù)的行為，但這些是正常運(yùn)維管理員和普通用戶不會出現(xiàn)的行為。所以完全可以通過這種模型，直接算一個(gè)匹配度，同時(shí)把它標(biāo)注出來。

騰訊也有在做這塊東西，效果就是我們的幾次演習(xí)，拿到管理員帳號做進(jìn)一步滲透的時(shí)候，他會明顯發(fā)現(xiàn)有異常，會告警出來，效果還可以。 

今天我總結(jié)一下，講了兩部分：一部分就是AI本身的安全問題，其實(shí)我們可以看到，隨著現(xiàn)在AI和智能設(shè)備越來越應(yīng)用到我們的生活，有很多各式各樣的安全問題，不管是智能音箱、智能插座還是智慧樓宇等，一定會有很多黑客盯著，學(xué)術(shù)界、產(chǎn)業(yè)界最好提前發(fā)現(xiàn)解決，避免出更大的事故，畢竟以前的互聯(lián)網(wǎng)都是信息化的東西，現(xiàn)在跟物理世界結(jié)合之后，可能會產(chǎn)生很大很嚴(yán)重的影響。 

第二部分是把機(jī)器學(xué)習(xí)方法應(yīng)用到傳統(tǒng)的安全場景，在某些特定場景下，AI絕對是優(yōu)于人類或者傳統(tǒng)的特征工程，但在某些場景我們還需要繼續(xù)探索。 

問答環(huán)節(jié)： 

雷鋒網(wǎng)：今天幾大巨頭都帶來了AI＋安全的演講，與他們相比，騰訊在這方面的戰(zhàn)略上有哪些不一樣？

胡珀：我覺得騰訊的AI+安全所面臨的場景會更豐富一些，大家都知道，騰訊主要的業(yè)務(wù)包括游戲、社交、支付等，所以我們AI+安全會圍繞這些場景做一些配套的工作，比如QQ上的登錄，QQ上的垃圾信息打擊，然后微信的登錄、微信這一塊的，都用到機(jī)器學(xué)習(xí)來保護(hù)賬戶的安全。

除此之外，我們也會在其他領(lǐng)域，比如騰訊在布局智能醫(yī)療，我們會配合騰訊的AI戰(zhàn)略，在AI+醫(yī)療方面針對安全方面做一些定制化的工作，其他比如智慧零售和智慧樓宇也會在AI安全方面有研究。 

雷鋒網(wǎng)：能以具體場景為例講一下你們的AI＋安全如何落地嗎？

胡珀：比如智慧樓宇，它其實(shí)就是一個(gè)傳統(tǒng)的樓宇加上一個(gè) AI 的學(xué)習(xí)框架組成的，其實(shí)它有兩個(gè)問題： 

1.它的 AI 學(xué)習(xí)方法有沒有問題。

2.它的傳統(tǒng)樓宇層有沒有問題。

甚至是他們兩者結(jié)合起來之后，會不會有新的問題出現(xiàn)？這都是我們要研究的東西。

雷鋒網(wǎng)：您在騰訊工作了11年，從最開始的 PC 安全、移動(dòng)安全、物聯(lián)網(wǎng)安全再到 AI 安全這塊，請問是不是安全人員以后都要對AI方面有所積累？以后這會是一個(gè)硬性的要求嗎？

胡珀：這不一定，安全整個(gè)領(lǐng)域還是很大的，比如說他不做類似數(shù)據(jù)處理分析這塊的工作，他可能就不需要了解人工智能相關(guān)的知識。如果只是一個(gè)負(fù)責(zé)軟件漏洞挖掘的安全工程師，那他就不需要。 

不過如果他是負(fù)責(zé)相關(guān)業(yè)務(wù)安全或者數(shù)據(jù)安全的，還是懂一些會比較好，因?yàn)樗胍环N新的方法就可能會提升他的效率。

現(xiàn)在AI這么火，未來肯定會有越來越多的這種開源的框架、工具，去幫助安全人員去工作，提升效率，所以我覺得可能是這樣一種場景，你懂技術(shù)，可以直接調(diào)用一個(gè)庫，去調(diào)用這些AI的方法，這就會非常簡單了，而且現(xiàn)在已經(jīng)有這樣一種趨勢了。

雷鋒網(wǎng)：你剛才在演講中提到的宙斯盾所擁有的 DDoS 防御與其他的防御系統(tǒng)有何不同？ 

胡珀：我覺得特點(diǎn)有兩個(gè)：

第一，因?yàn)轵v訊的業(yè)務(wù)非常大，類型也很多，所以這個(gè)抗DDoS的要求會很高，是個(gè)通用型的產(chǎn)品。 

第二個(gè)是幫騰訊云上的商戶做，把它防護(hù)的每一個(gè)業(yè)務(wù)當(dāng)成一個(gè)商戶的話，它能適配不同的流量模型和類型，針對每一個(gè)商家，都是不同的模型，而不是一種一刀切的形式。

像傳統(tǒng)的廠商或者是說傳統(tǒng)的方法，都是用一刀切的方式，就是我加一些黑特征，只要他命令這個(gè)特征，我就認(rèn)為是攻擊，就把它攔掉。但是這可能會造成誤殺，比如它搞了一個(gè)活動(dòng)，然后流量跟以前不一樣了，現(xiàn)在用機(jī)器學(xué)習(xí)的方法，會有一些調(diào)整，減少誤殺。

雷鋒網(wǎng)：在AI+安全領(lǐng)域，你有沒有特別欣賞的公司？

胡珀：其實(shí)我們重點(diǎn)是看哪些公司能把AI應(yīng)用在安全場景，然后對自身企業(yè)的安全防護(hù)會產(chǎn)生不錯(cuò)的效果。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。