編者按：2023年 8 月 14 日，由GAIR研究院、雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))、世界科技出版社、科特勒咨詢集團(tuán)聯(lián)合主辦的第七屆GAIR全球人工智能與機(jī)器人大會(huì)，在新加坡烏節(jié)大酒店拉開(kāi)帷幕。過(guò)去一段時(shí)間，ChatGPT將人工智能推向熱潮。據(jù)統(tǒng)計(jì)，目前國(guó)內(nèi)已經(jīng)有100余家大模型，這也成為本次大會(huì)探討的主要議題之一。

根據(jù)大會(huì)安排，峰會(huì)首日進(jìn)行到下午16時(shí)，以“大模型時(shí)代的超級(jí)基建”為主題的圓桌論壇，在云啟資本合伙人陳昱主持下正式開(kāi)啟。

參與本次圓桌論壇的嘉賓有：

尤洋：新加坡國(guó)立大學(xué)校長(zhǎng)青年教授，潞晨科技創(chuàng)始人

季昕華：UCloud董事長(zhǎng)

星爵：Ziliz 創(chuàng)始人兼 CEO

圍繞大模型基礎(chǔ)設(shè)施建設(shè)面臨的挑戰(zhàn)、如何降低大模型訓(xùn)練成本等話題，參會(huì)嘉賓進(jìn)行了熱烈討論。

關(guān)于挑戰(zhàn)，尤洋認(rèn)為，通信基礎(chǔ)設(shè)施非常重要。過(guò)去，挖礦等一些非AI需求的GPU就沒(méi)有很好的高速互聯(lián)。季昕華認(rèn)為主要大模型的訓(xùn)練主要面臨資金、算力、工程等方面的挑戰(zhàn)。星爵則強(qiáng)調(diào)了數(shù)據(jù)方面的問(wèn)題。

對(duì)業(yè)內(nèi)非常關(guān)心的成本問(wèn)題，尤洋表示，大模型訓(xùn)練的一個(gè)巨大負(fù)擔(dān)是訓(xùn)練計(jì)算量太大。同時(shí)，他也給出了相應(yīng)的解決方式；季昕華詳細(xì)解釋了優(yōu)刻得如何通過(guò)降低電費(fèi)、化購(gòu)買為租用等五個(gè)方面幫助客戶降本增效；星爵則從數(shù)據(jù)層面給出了相應(yīng)得方案。

圓桌結(jié)尾，電腦報(bào)創(chuàng)始人陳宗周發(fā)表了總結(jié)感言，他對(duì)各位嘉賓的演講和工作成果都給予了盛贊。陳老師還特別提到，很多講者已經(jīng)把事業(yè)做得非常龐大，但依然非常謙遜，中間更是有不少人是年輕一代的榜樣。

最后，在大家的掌聲中，大模型時(shí)代的超級(jí)基建圓桌論壇環(huán)節(jié)正式結(jié)束，大會(huì)首日活動(dòng)也由此畫(huà)上圓滿句號(hào)。

以下是圓桌討論部分內(nèi)容，雷峰網(wǎng)根據(jù)現(xiàn)場(chǎng)速記做了不改原意的縮寫(xiě)。

陳昱：謝謝雷峰網(wǎng)舉辦這么好的一個(gè)活動(dòng)。大家都知道，今年AI是一個(gè)最熱的話題，但是AI的應(yīng)用離不開(kāi)底層基礎(chǔ)設(shè)施支撐。所以，我們今天有幸邀請(qǐng)了三位大咖，來(lái)討論一下基礎(chǔ)大模型的一些相關(guān)問(wèn)題。首先，第一個(gè)問(wèn)題是，在當(dāng)前的技術(shù)水平下面，大模型的基礎(chǔ)設(shè)施建設(shè)會(huì)有什么挑戰(zhàn)？

尤洋：我個(gè)人覺(jué)得，首先，通信的基礎(chǔ)設(shè)施非常重要。比如說(shuō)，我們把大模型劃分到了很多GPU服務(wù)器，把它劃分成很多塊，本質(zhì)上其實(shí)我們最終都是要匯總的。劃分多少次，最終至少需要匯總多少次。這種情況下，我們也看到，在GPT3出現(xiàn)以前，英偉達(dá)在2019年就收購(gòu)了Mellanox。當(dāng)然我相信英偉達(dá)應(yīng)該還是有很好的前瞻性。收購(gòu)Mellanox的目的就是為了打造高速網(wǎng)絡(luò)。這也引申出了另外一個(gè)問(wèn)題，之前很多非AI的GPU 之所以很難用來(lái)訓(xùn)練大模型的，往往就是因?yàn)闆](méi)有很好的高速互聯(lián)。

季昕華：在國(guó)內(nèi)，我們服務(wù)了五六十家做大模型的公司。主要有哪些挑戰(zhàn)呢？一是資金門(mén)檻，需要大量的資金投入做大模型；二是算力門(mén)檻，現(xiàn)在大部分公司都沒(méi)有足夠的卡來(lái)做支撐；三是工程問(wèn)題，就是整個(gè)卡之間的網(wǎng)絡(luò)鏈接、數(shù)據(jù)存儲(chǔ)性能問(wèn)題，以及整個(gè)訓(xùn)練過(guò)程掉卡問(wèn)題。這些問(wèn)題都會(huì)使得整個(gè)訓(xùn)練周期會(huì)變得非常長(zhǎng)。另外，安全問(wèn)題也是蠻突出的，這些問(wèn)題都會(huì)影響到大模型的訓(xùn)練以及未來(lái)應(yīng)用。

星爵：我們一般會(huì)說(shuō) AI有三個(gè)技術(shù)支柱，就是算法、算力和數(shù)據(jù)。我們現(xiàn)在已經(jīng)到了一個(gè)時(shí)代，新一代的算法對(duì)算力和數(shù)據(jù)都有更高要求。剛才兩位都提到了芯片、算力這方面的基礎(chǔ)設(shè)施，我想強(qiáng)調(diào)下數(shù)據(jù)層面的問(wèn)題。世界上有 80%以上的數(shù)據(jù)都這種非結(jié)構(gòu)化的數(shù)據(jù)：不管是文本、圖片、視頻，還是人的對(duì)話和行為都屬于非結(jié)構(gòu)化的數(shù)據(jù)。而在過(guò)去十多年，非結(jié)構(gòu)化數(shù)據(jù)的管理能力主要由谷歌、微軟等大公司掌握。新AI時(shí)代對(duì)數(shù)據(jù)管理的要求也會(huì)變得更大，如何更好地做好智能的數(shù)據(jù)基建是一個(gè)很大的挑戰(zhàn)。

陳昱：數(shù)據(jù)的確是一個(gè)非常重要的話題，那下面這兩個(gè)問(wèn)題其實(shí)是和數(shù)據(jù)相關(guān)的。第一個(gè)問(wèn)題是怎么看待數(shù)據(jù)的安全和隱私問(wèn)題。我知道季總以前也是黑客出身，應(yīng)該也非常 SQL injection ，那大模型時(shí)代很容易延展到 prompt injection。季總怎么看這方面問(wèn)題。

季昕華：我們認(rèn)為整個(gè)大模型有四個(gè)方面的安全挑戰(zhàn)。

第一，大模型是把數(shù)據(jù)和程序結(jié)合在一起的，而在傳統(tǒng)的計(jì)算機(jī)里面，程序和數(shù)據(jù)是分開(kāi)的。但是在大模型里面，數(shù)據(jù)有可能是程序的一個(gè)執(zhí)行命令，這方面，目前也沒(méi)有太多人研究。我們最近在分析這件事，比如，讓一個(gè) agent 去執(zhí)行一個(gè)命令的時(shí)候，這個(gè)命令本身可能是一段文字。所以，文字和程序之間可以被套用，存在很大的風(fēng)險(xiǎn)。特別是，如果大模型未來(lái)操縱整個(gè)人類的世界，風(fēng)險(xiǎn)可能會(huì)更大。

第二，是數(shù)據(jù)劫持問(wèn)題，通過(guò) promote 進(jìn)行劫持，這方面不少人都在做研究。這里，對(duì)于場(chǎng)景的劫持會(huì)更嚴(yán)重一些。 第三，大模型的輸出目前是童言無(wú)忌的，沒(méi)有做權(quán)限的隔離，這里的風(fēng)險(xiǎn)是非常大的。

第四，是所有的輸入數(shù)據(jù)都有可能會(huì)被它所記錄，造成隱私的泄露。

陳昱：星爵有什么觀點(diǎn)嗎？我不知道數(shù)據(jù)和隱私會(huì)不會(huì)在向量數(shù)據(jù)庫(kù)里面做管理？還是這是應(yīng)用層的一個(gè)問(wèn)題。

星爵：從我們現(xiàn)在看到的應(yīng)用來(lái)講，向量數(shù)據(jù)其實(shí)已經(jīng)做了一層類似的數(shù)據(jù)加密。可以把整個(gè)的這個(gè)神經(jīng)網(wǎng)絡(luò)看作一個(gè)encode。比如說(shuō)，在數(shù)據(jù)進(jìn)入我們向量數(shù)據(jù)庫(kù)以前，會(huì)有一個(gè) transformation 的過(guò)程，把圖片、視頻、文本等向量化，向量化本身的話會(huì)用一個(gè)大模型的方式去提取一個(gè)embedding。這個(gè)過(guò)程基本上是不太可逆的，否則計(jì)算量太大。從這個(gè)層面來(lái)講，向量數(shù)據(jù)庫(kù)已經(jīng)實(shí)現(xiàn)了一定程度的數(shù)據(jù)脫敏。

陳昱：接下來(lái)，這個(gè)問(wèn)題是跟錢(qián)相關(guān)的。大家都知道大模型就是無(wú)論是訓(xùn)練還是使用，其實(shí)都是非常費(fèi)錢(qián)。無(wú)論底層的云，尤教授的軟件，還是向量數(shù)據(jù)庫(kù)，都有很大的成本優(yōu)化空間。這里，我就想請(qǐng)各位談一下怎么去幫大家省錢(qián)的。

尤洋：站在我們角度看，主要是訓(xùn)練計(jì)算量太大，解決的有效方式主要有三個(gè)角度：一是不改變硬件條件下試試能否加速收斂；二是，針對(duì)下層軟件，在不改變模型結(jié)果前提下，能否提供更好的基礎(chǔ)設(shè)施；三是能否進(jìn)行模型優(yōu)化。所以，我們主要還是在軟件層面上看能不能使它的訓(xùn)練的更高效、更快，從而去降低成本。

季昕華：我們現(xiàn)在主要通過(guò)五個(gè)方面幫助客戶降本增效。一是降低電費(fèi)。不論做訓(xùn)練還是推理，電費(fèi)大約占總成本的15%左右，優(yōu)刻得烏蘭察布數(shù)據(jù)中心能夠把電費(fèi)單價(jià)從1塊錢(qián)/度降低到3毛錢(qián)/度；二是化購(gòu)買為租用。由于訓(xùn)練一般分階段，因此公司可以選擇租用模式。比起購(gòu)買，租用會(huì)極大降低使用者的成本；三是通過(guò)網(wǎng)絡(luò)帶寬和存儲(chǔ)帶寬來(lái)提高使用者的訓(xùn)練效率；四是通過(guò)壓縮模型等手段，來(lái)降低推理成本。畢竟，未來(lái)推理成本可能會(huì)遠(yuǎn)大于訓(xùn)練成本；五是通過(guò)一體機(jī)的模式，即私有部署的模式推進(jìn)私有化大模型。

星爵：就降低成本而言，從向量數(shù)據(jù)庫(kù)角度，非結(jié)構(gòu)化數(shù)據(jù)管理方面來(lái)看，主要包括三方面：第一，要有更好的算法，這意味著能更好地發(fā)發(fā)揮硬件效果；第二，要更聰明地利用個(gè)體存儲(chǔ)；第三，要比以往有更強(qiáng)的有效利用硬件的能力。

陳昱：感謝各位嘉賓的時(shí)間，謝謝大家。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。