0
| 本文作者： 我在思考中 | 2021-12-24 09:39 | 專題：CNCC2021 計算賦能加速數(shù)字化轉(zhuǎn)型 |
整理 ｜ 琰琰
編輯 ｜ 青暮
12月16日，第十八屆中國計算機(jī)大會(CNCC2021)在深圳隆重開幕。今年大會主題是“計算賦能加速數(shù)字化轉(zhuǎn)型”，設(shè)有17個特邀報告、3場大會論壇、113場技術(shù)論壇，超過600位國內(nèi)外計算機(jī)領(lǐng)域知名專家、企業(yè)家聚焦不同專業(yè)和話題，從學(xué)術(shù)、技術(shù)、產(chǎn)業(yè)、教育、科普等方面，全方位探討數(shù)字經(jīng)濟(jì)與計算技術(shù)的前沿發(fā)展趨勢。
開幕當(dāng)天，CCF會士、CCF常務(wù)理事、CCF王選獎獲得者、中國工程院院士、中國科學(xué)院計算技術(shù)研究所研究員孫凝暉做了題為《從工程科學(xué)視角看計算機(jī)系統(tǒng)中的一個規(guī)律》的特邀報告。在報告中，孫凝暉從工程科學(xué)中的基本方法出發(fā)，分析了計算機(jī)系統(tǒng)中“求通用”的基本規(guī)律，介紹電子計算機(jī)和高性能計算機(jī)成為通用設(shè)備的技術(shù)發(fā)展過程，最后探討了未來通用計算平臺和高性能計算機(jī)的發(fā)展趨勢和可能的重要創(chuàng)新。
在他看來，工程科學(xué)的基本規(guī)律牽引著高性能計算機(jī)等大工程的發(fā)展。從工程科學(xué)概念性、關(guān)鍵性、共同性的視角來看，工程系統(tǒng)的建構(gòu)目標(biāo)遵循兩大典型規(guī)律，即求極致和求通用。通過計算攝像顯微儀器和手機(jī)成像技術(shù)兩個案例分析，孫凝暉認(rèn)為求極致系統(tǒng)的突破點(diǎn)在于抓主要矛盾，再結(jié)合新理論和新工程技術(shù)來突破關(guān)鍵指標(biāo)。而求通用系統(tǒng)一般是一個松散耦合結(jié)構(gòu)，關(guān)鍵在于刻畫描述問題，并將其映射到關(guān)鍵工程結(jié)構(gòu)設(shè)計中去，再結(jié)合技術(shù)的時空局限性構(gòu)建系統(tǒng)。
在歷史性回顧中，孫凝暉從工程科學(xué)視角總結(jié)了從算盤時代，到機(jī)械計算工具，再到通用型電子計算機(jī)繁榮發(fā)展的關(guān)鍵轉(zhuǎn)折點(diǎn)和突破原因。結(jié)合自身研究工作，孫凝暉回顧了從求極致的超級計算機(jī)到求通用的高性能計算機(jī)的發(fā)展過程，總結(jié)了構(gòu)造通用高性能計算機(jī)的工程科學(xué)基本方法。最后，他預(yù)測，未來的先進(jìn)計算系統(tǒng)在概念性、關(guān)鍵性、共同性三個方面會呈現(xiàn)出以下特點(diǎn)：（1）在概念上系統(tǒng)熵把無序變?yōu)橛行?；?）以數(shù)據(jù)為中心，具備內(nèi)構(gòu)安全特點(diǎn)的高通量計算系統(tǒng)會成為新的關(guān)鍵性結(jié)構(gòu)；（3）系統(tǒng)的共同性將從以數(shù)據(jù)建模為中心的第四范式邁向以建模復(fù)雜系統(tǒng)為核心的第五范式。
以下是演講全文，AI科技評論做了不改變原意的整理：
今天的報告主題是從工程科學(xué)視角看計算機(jī)系統(tǒng)中的規(guī)律，與大家一起來探討指導(dǎo)高性能計算機(jī)這樣大工程的科學(xué)原理或者規(guī)律是什么？我們一般從計算機(jī)理論和數(shù)理基礎(chǔ)出發(fā)來思考工程科學(xué)的規(guī)律，那么，我今天試圖從工程科學(xué)規(guī)律視角來看這樣大的計算機(jī)系統(tǒng)。
2017年底，兩院院士鄭哲敏先生發(fā)表了一篇文章《從錢學(xué)森的技術(shù)科學(xué)思想談起》，從這篇文章中，我得到一些啟示。這篇文章談到在科學(xué)發(fā)現(xiàn)的早期，科學(xué)和技術(shù)沒有嚴(yán)格的區(qū)分，以牛頓為例，他既是力學(xué)三大定律的提出者，也是劍橋大學(xué)物質(zhì)結(jié)構(gòu)研究的科學(xué)家。到了19世紀(jì)，科學(xué)和工程開始分道揚(yáng)鑣，背后的原因是自然科學(xué)本身沒有一個完整的體系，加上很多科學(xué)理論對工程的實(shí)際貢獻(xiàn)有限，所以，大多工程師只采用純工程的方法來解決問題。后來到了20世紀(jì)中期，自然科學(xué)和工程技術(shù)再次緊密聯(lián)系在一起。特別是二戰(zhàn)期間，火箭、雷達(dá)、核武器，這些裝備都是大工程，它們不是依靠工程實(shí)踐積累和經(jīng)驗(yàn)判斷設(shè)計出來的，而是需要大量的自然科學(xué)作為依據(jù)，是科學(xué)家和工程師密切合作的產(chǎn)物。所以工程科學(xué)、自然科學(xué)和工程技術(shù)，三者之間的聯(lián)系本質(zhì)上是非常緊密的。
工程技術(shù)雖然是對自然界事物的經(jīng)驗(yàn)累積和對工藝的改進(jìn)，但把其中的一些共性經(jīng)驗(yàn)和理論提煉出來，就可以形成工程科學(xué)理論或者具有普遍意義的規(guī)律；而工程科學(xué)對技術(shù)科學(xué)的成果加以分析和提高就有可能成為自然科學(xué)的一部分，比如工程控制論。
鄭哲敏先生在這篇文章指出：“技術(shù)科學(xué)與工程技術(shù)的區(qū)別在于，每項(xiàng)工程涉及各種各樣的具體技術(shù)問題，而技術(shù)科學(xué)是研究其中概念性、關(guān)鍵性、共同性的規(guī)律，給出一些工程上解決類似問題的共同方案。就是說，技術(shù)科學(xué)對工業(yè)技術(shù)有著引導(dǎo)的作用，能極大地促進(jìn)和推動工程技術(shù)的發(fā)展?！焙唵蝸砜矗覀兛梢园阉Q為“三性”，分別是概念性、關(guān)鍵性和共同性。
今天我想用這三大類方法來看一下計算機(jī)系統(tǒng)中的典型規(guī)律，我稱它們?yōu)榍髽O致的規(guī)律和求通用的規(guī)律。我們做大工程的系統(tǒng)建構(gòu)主要有兩個大目標(biāo)，一個叫求極致，在特定維度或者核心技術(shù)上突破最高、最大、最快的技術(shù)極限，開拓科學(xué)研究的新疆界，比如，類似的工程有最快的超級計算機(jī)，最重的重型火箭，或者最大口徑的望遠(yuǎn)鏡，這類系統(tǒng)通常在學(xué)術(shù)研究中比較普遍。
另一個叫求通用，這類系統(tǒng)的設(shè)計要求約束多，可快速迭代，使用范圍廣，可兼容性強(qiáng)，比如我們的手機(jī)攝像頭，汽車工業(yè)，民航客機(jī)，高性能計算機(jī)，這些都是求通用的典型系統(tǒng)，一般工業(yè)界對類似系統(tǒng)的建構(gòu)更感興趣。這兩類系統(tǒng)在相互促進(jìn)和相互轉(zhuǎn)換的過程中，也存在一些內(nèi)在規(guī)律。
我舉兩個例子，一個求極致的例子是戴瓊海院士在《自然-光子學(xué)（Nature Photonics）》雜志上發(fā)表的一項(xiàng)研究工作，這項(xiàng)研究將光學(xué)、微電子、計算機(jī)視覺以及信號處理等學(xué)科交叉，提出了一種顯微成像新架構(gòu)，研制了“實(shí)時超寬場高分辨率成像顯微鏡”，各項(xiàng)研究指標(biāo)都達(dá)到了極致，比如1厘米x1.2厘米的超寬帶視場，1.2微米的高分辨率，51億像素每秒的數(shù)據(jù)通量。這一工作為生命科學(xué)和醫(yī)學(xué)研究提供了一件“利器”。
另外一個求通用的例子是我們非常熟悉的手機(jī)成像技術(shù)，它不追求每一個單項(xiàng)指標(biāo)都達(dá)到極致，而是用軟硬一體化來補(bǔ)短板，占據(jù)除了專業(yè)相機(jī)以外的市場。它通過圖像信號處理器（ ISP）彌補(bǔ)硬件在單項(xiàng)指標(biāo)上的不足，讓成像器件，圖像計算硬件和處理軟件協(xié)同進(jìn)步，并通過快速迭代實(shí)現(xiàn)性能提升。
我簡單總結(jié)了一下這兩類系統(tǒng)建構(gòu)的一些基本方法。
求極致的關(guān)鍵是抓主要矛盾，再結(jié)合關(guān)鍵的科學(xué)理論和工程技術(shù)突破指標(biāo)上的極致，形成緊耦合結(jié)構(gòu)，最后整合所有技術(shù)，定制系統(tǒng)內(nèi)部需要的部件。
求通用系統(tǒng)在概念性上是一個多問題，需要對多個問題進(jìn)行刻畫和描述；在結(jié)構(gòu)上通常是松散耦合的，需要對工程結(jié)構(gòu)做最優(yōu)映射；在共同性上要克服短板，解決技術(shù)的時空局限性等問題。
接下來，我首先回顧一下計算系統(tǒng)的發(fā)展歷程。從工程科學(xué)的規(guī)律的角度，我們把視角拉遠(yuǎn)一些，我們觀察到這樣一條曲線，從最早的算盤，發(fā)展到電子計算機(jī)，再到現(xiàn)在的高性能計算機(jī)，中間出現(xiàn)了三個頂峰，三個山坡。這三個頂峰分別代表機(jī)械計算工具、超級計算機(jī)和未來Z級計算機(jī)。比如我們最早的算盤，爬到了機(jī)械計算工具的頂峰，因?yàn)橛辛艘恍┮?guī)律，走到了通用計算機(jī)的繁榮。但這些系統(tǒng)在演化的過程中，究竟需要什么樣的規(guī)律？這是我們需要思考的。
我先來介紹第一個曲線，這是一個歷史的回顧，我們?nèi)绾螐乃惚P發(fā)展到通用的電子計算機(jī)。
如果做一個簡單的羅列，人類歷史上第一個人造計算工具誕生于中國公元1200年前，在它出現(xiàn)之前，我們只有數(shù)學(xué)（算術(shù)），沒有Computing（計算）的概念。
第二步，帕斯卡和萊布尼茲發(fā)明了機(jī)械式加法器（1642）和乘法自動計算機(jī)（1673）。
第三步，1801年，杰卡德發(fā)明了首個可編程織布機(jī)——通過穿孔卡對織布機(jī)進(jìn)行編程。
第四步，1837年，巴貝奇設(shè)計了差分機(jī)與分析機(jī)，雖然在工程上沒有徹底實(shí)現(xiàn)，但已經(jīng)可以完成非常復(fù)雜的計算，比如通過多項(xiàng)式逼近對數(shù)、指數(shù)和三角函數(shù)。
第五步，1843年，世界上第一位程序員愛達(dá)設(shè)計了一個算法，用來計算伯努利數(shù)列的值。這是第一個利用計算機(jī)進(jìn)行運(yùn)算的算法程序。
第六步，機(jī)械計算工具到了頂峰。二戰(zhàn)期間，圖靈為了破譯密碼設(shè)計出“圖靈甜點(diǎn)”解碼機(jī)。
至此機(jī)械式計算工具達(dá)到了工程技術(shù)積累的巔峰，直到出現(xiàn)了三位偉大學(xué)者，他們的發(fā)明奠定了現(xiàn)代通用計算機(jī)工程科學(xué)的三大基石，分別是：
在概念性上的圖靈機(jī)模型：提出了能夠自動執(zhí)行程序的通用計算裝置的科學(xué)原理。
在關(guān)鍵性上的馮諾依曼體系結(jié)構(gòu)：為圖靈機(jī)的實(shí)現(xiàn)提供了一個通用的體系結(jié)構(gòu)——所有計算機(jī)分為輸入設(shè)備、存儲器、運(yùn)算器、輸出設(shè)備5個部分；采用存儲程序方式，將指令和數(shù)據(jù)存儲于同一存儲器。
在共同性上的肖克萊晶體管：能夠?qū)崿F(xiàn)計算機(jī)的數(shù)學(xué)基礎(chǔ)布爾代數(shù)的開關(guān)器件。
從歷史的發(fā)展中，我們可以看出，如果工程技術(shù)僅僅是一個無限的經(jīng)驗(yàn)積累，大概會止步于機(jī)械計算工具的巔峰，也就是圖靈甜點(diǎn)機(jī)。
第二條曲線，從超級計算機(jī)到高性能計算機(jī)時代。
我們經(jīng)常會混淆這兩個概念，想一想我們?yōu)槭裁磿l(fā)明兩個名詞來說明一件事，可能就是對于計算工具，我們永遠(yuǎn)希望它的計算速度越快越好。在歷史上，高性能計算裝置可以簡單分成三個時代：在 CRAY時代，通過部件的并行向量化來提高性能；在MPP時代，通過大規(guī)模并行和定制化組件，把機(jī)器性能做到極致；在機(jī)群時代，利用三大規(guī)律把一個高端的裝置變成通用的計算部件。
這些過程是如何發(fā)生的？一個極致的計算裝置如何變成一個通用的計算裝備呢？
從概念性、關(guān)鍵性和共同性三個方面來講，我們認(rèn)為應(yīng)該有以下三點(diǎn)變化：
在概念性方面，要有一個牽引型的目標(biāo)，也就是評價標(biāo)準(zhǔn)從求最大極值轉(zhuǎn)變?yōu)樽畲蠓e分；
在關(guān)鍵性方面，機(jī)群架構(gòu)應(yīng)該是松散耦合結(jié)構(gòu)+標(biāo)準(zhǔn)化的部件；
在共同性方面，性能工程要采用通用結(jié)構(gòu)，并達(dá)到極致性能。
我們超級計算機(jī)一般以單一的極限指標(biāo)作為評價指標(biāo)，任何一臺計算機(jī)，先設(shè)計一個目標(biāo)，誰的性能更高，誰的技術(shù)就更強(qiáng)。在歷史上有很多這樣的指標(biāo)，比如LINPACK（1993）、Graph500（2010）、Green500（2013）、HPCG（2014）、HPL-AI（2019）。追求這些單一指標(biāo)的“極值”顯然不是求通用的一個驅(qū)動力。超算追求的是計算能力，也就是求一個點(diǎn)的“極值”，讓所有指標(biāo)在訪存計算比和飽和性能的二維結(jié)構(gòu)里，一條線達(dá)到最高。但真正的通用，是需要反映非常多的計算和訪存特性的，所以光一個點(diǎn)求最高是不夠的。那么，如果要造一個通用的容量計算系統(tǒng)，從線到面，我們就需要一個類似于“積分最大”的系統(tǒng)，高效支撐多種應(yīng)用。這是第一個變化。
第二個變化體現(xiàn)在關(guān)鍵性，也就是機(jī)群結(jié)構(gòu)。機(jī)群結(jié)構(gòu)需要有三個的基本條件，第一是結(jié)構(gòu)是松散耦合的；第二是每個組件要可標(biāo)準(zhǔn)化。如果部件是定制化的，可能不能適應(yīng)通用的應(yīng)用場景；第三是高性能計算的要求，如果采用標(biāo)準(zhǔn)的組件一般不太容易建構(gòu)出高性能的系統(tǒng)，所以還要有一系列性能可拓展的方法。三者加起來才能做到通用高性能計算機(jī)。時間關(guān)系，我們簡述一下標(biāo)準(zhǔn)化的幾個關(guān)鍵點(diǎn)。第一個是“造”標(biāo)準(zhǔn)化，把機(jī)群基礎(chǔ)軟硬件貨架化，包括軟件標(biāo)準(zhǔn)化、硬件標(biāo)準(zhǔn)化、互聯(lián)標(biāo)準(zhǔn)化；第二個是“送”標(biāo)準(zhǔn)化，讓用戶可以“容易”獲取算力；第三個是“用”的標(biāo)準(zhǔn)化，通過屏蔽不同層次的細(xì)節(jié)實(shí)現(xiàn)“用” 的目標(biāo)。
一般來講，從基礎(chǔ)庫和函數(shù)抽象，再到框架/領(lǐng)域編程方法來實(shí)現(xiàn)標(biāo)準(zhǔn)化，會帶來所謂的“軟件腫脹”，性能損失非常大，所以我們需要通過性能工程來獲取一個極致的性能，這也就是剛才提到的第三個變化。到目前，通用結(jié)構(gòu)獲取極致性能的調(diào)優(yōu)方法經(jīng)歷了三個階段。早年使用的是單一模型方法，由圖靈獎得主Fra Allen在2006年提出的性能優(yōu)化模型。后來隨著負(fù)載特征變得更加復(fù)雜，美國工程院院士Jack Dongarra設(shè)計出了軟件工程方法。而目前采用的多是智能調(diào)優(yōu)技術(shù)，以應(yīng)對更加碎片化的負(fù)載特征。
首先講一下通用計算系統(tǒng)，也就是計算系統(tǒng)如何變得“更通用”？我們認(rèn)為主要是要形成“平臺型計算裝置”。計算機(jī)系統(tǒng)存在一個通用趨勢或規(guī)律，我們稱之為“X as a Computer”，就是每隔10年就會出現(xiàn)一類新的計算機(jī)系統(tǒng)，包括新的編程平臺、新的網(wǎng)絡(luò)連接，新的用戶接口，新的使用方式。它們更廉價，應(yīng)用范圍更廣泛，形成了新的平臺型通用計算機(jī)裝置。
如果我們把過去60年形成的規(guī)律加以總結(jié)，大致可以分成三個時代。
首先是IT 1.0 時代，我們把專用計算裝置變成了高性能計算機(jī)（Calculator as a Computer，CaaC），服務(wù)國家部門實(shí)現(xiàn)了信息化；把專用的制表裝置變成了一個通用服務(wù)器（Tabulator as a Computer，TaaC），實(shí)現(xiàn)了企業(yè)的信息化升級。
其次是 IT 2.0 時代，在這個時代里，人類社會和機(jī)器在現(xiàn)實(shí)世界有了交互，稱之為Communication時代。我們把專用辦公設(shè)備用到PC端實(shí)現(xiàn)了辦公信息化（Office as a Computer，OaaC）；把專用通信設(shè)備移植到智能手機(jī)（Phone as a Computer，PaaC ），實(shí)現(xiàn)了消費(fèi)者的信息化。
我們現(xiàn)在正在一個“人機(jī)物”三元融合的萬物智能互聯(lián)時代，也可以成為IT 3.0時代。我們將為創(chuàng)造的各種設(shè)備，比如人造汽車，人造車床，智能硬件，提供一個“物端通用計算機(jī)（Thumb Computer）”。除了人造設(shè)備外，我們?nèi)梭w和自然物體也可以信息化（Body as a Computer）。這樣整個世界和物理世界統(tǒng)一同一個龐大的信息網(wǎng)絡(luò)空間里。
按照上面的規(guī)律，我們發(fā)現(xiàn)在求通用設(shè)備的泛在演化的過程，形成了當(dāng)前信息社會的五個成功的平臺型計算裝置：（1）用于關(guān)鍵部門的高性能計算機(jī)；（2）企業(yè)級服務(wù)器；（3）員工使用的PC；（4）大眾智能手機(jī)；（5）工控/武器裝備使用的嵌入式計算機(jī)。未來可能還會出現(xiàn)第六個平臺型計算裝備。
第二，未來高性能計算這一類追求極致性能的系統(tǒng)的發(fā)展有哪些共性方法，是否有章可循？
我們認(rèn)為關(guān)鍵在于Z級計算機(jī)如何提高系統(tǒng)能效。當(dāng)前求通用的高性能計算機(jī)撞上了一堵能耗墻，計算能力每增加10倍，能耗曲線就會上移一個臺階，也就是說，算力提升過程產(chǎn)生了巨大的能源消耗。2020年《Science》曾發(fā)表一篇文章，從新結(jié)構(gòu)、新器件、新工藝和應(yīng)用驅(qū)動四個維度總結(jié)了幾種創(chuàng)新解決方案。
比如在工藝創(chuàng)新上，從現(xiàn)在的集成電路發(fā)展到集成芯片，利用Chiplet等技術(shù)突破單芯片晶體管數(shù)量的上限。
在器件創(chuàng)新上，通過超導(dǎo)電子器件把高頻率運(yùn)行系統(tǒng)的能耗降到最低。比如基于超導(dǎo)約瑟夫森結(jié)實(shí)現(xiàn)的布爾邏輯計算系統(tǒng)，運(yùn)行頻率可以達(dá)到100GHZ，具有極高的能效。
在模型創(chuàng)新上，通過自然計算將對應(yīng)問題解演化為最低能量態(tài)。這里所說的自然計算，是利用相似性原理模仿自然規(guī)律，或利用物理材料，構(gòu)建自適應(yīng)、自演化的動力系統(tǒng)，近似求解傳統(tǒng)計算方法難于解決的高階復(fù)雜問題。
在結(jié)構(gòu)創(chuàng)新上，到底最少有幾個XPU？回歸到計算機(jī)科學(xué)的三個基本問題，思考巴貝奇自動計算問題、布什廣義關(guān)聯(lián)問題和圖靈測試問題，也許我們有三種基礎(chǔ)的xPU，比如SPU、DPU、NPU，通過三者組合能夠覆蓋所有應(yīng)用場景的計算需求。其中，SPU結(jié)構(gòu)可以解決計算訪存特征的差異性；DPU結(jié)構(gòu)解決數(shù)據(jù)通路的全局有序控制問題；NPU能夠?qū)C(jī)器學(xué)習(xí)負(fù)載運(yùn)算加以抽象化，以及數(shù)據(jù)帶寬自適應(yīng)的神經(jīng)元。
借用1991年 Bruce G. Buchanan發(fā)表的一篇報告，報告中提出任何一個計算系統(tǒng)都可以通過兩個維度，劃分成四個象限（橫坐標(biāo)代表確定性和啟發(fā)式算法，縱坐標(biāo)表示符號計算和數(shù)值計算），那么每個求通用系統(tǒng)、求極致系統(tǒng)都是其中的一個圓圈。如果我們把剛才提到的計算系統(tǒng)發(fā)展的3個時代、7個通用系統(tǒng)以及面向不同應(yīng)用場景的求極致系統(tǒng)匯集在一張表格里，我們就可以從中發(fā)現(xiàn)每個系統(tǒng)的一個定位。
最后，如果未來求極致的計算機(jī)系統(tǒng)實(shí)現(xiàn)了，下一個更加繁榮的通用系統(tǒng)會是什么？這個問題現(xiàn)在來看可能還太遙遠(yuǎn)，但我們不妨做一個大膽的猜想，從工程科學(xué)的三個基本方法來看，我認(rèn)為首先在概念上，“系統(tǒng)熵”會讓系統(tǒng)從無序變到有序，這是現(xiàn)在AIoT發(fā)展帶來的一種顯著需求。在關(guān)鍵性方面，未來的系統(tǒng)結(jié)構(gòu)應(yīng)該以數(shù)據(jù)為中心，實(shí)現(xiàn)數(shù)據(jù)處理的內(nèi)構(gòu)安全，我們用“高通量”來代表這類技術(shù)。最后在共同性上，我們要解決復(fù)雜系統(tǒng)的建模問題，并從過去以數(shù)據(jù)建模為核心的第四范式，轉(zhuǎn)向以建模復(fù)雜系統(tǒng)為核心的第五范式。
這就是我今天報告的全部內(nèi)容，謝謝大家。
2021-12-10
2021-12-09
2021-12-12
2021-12-12
雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
