編者按：在無人不談 AI 的時(shí)代，微軟同樣將目光投向了這個(gè)領(lǐng)域， 而它把賭注押在了 FPGA上 —— Project Catapult 于微軟而言，暗示著改變未來全球系統(tǒng)運(yùn)作的方式——至少在微軟看來是這樣的。本文首發(fā)于 wired, 由雷鋒網(wǎng)陳楊英杰、夏睿及管策聯(lián)合編譯，未經(jīng)授權(quán)不得轉(zhuǎn)載。

硬件原型，六年奮斗，只為在下一波的AI浪潮中重建微軟帝國(guó)的雄風(fēng)

2012 年 12 月的某一天，Doug Burger 站在 Steve Ballmer 面前，嘗試預(yù)測(cè)未來。

Ballmer，微軟那個(gè)高大、禿頂、活潑的 CEO，正坐在西雅圖郊外的微軟藍(lán)天研發(fā)實(shí)驗(yàn)室（blue-sky R&D lab）基地 99 號(hào)樓一層的演講室中。桌子在房間外繞成 U 型，Ballmer 被他的高級(jí)助理們圍住，開著筆記本電腦。Burger，一位計(jì)算機(jī)芯片研究員，四年前加入微軟，向高管們描繪了一個(gè)新想法，他稱之為Project Catapult。

Doug Burger

Burger 解釋說，這個(gè)技術(shù)世界正在邁向一個(gè)新軌道。未來將是少數(shù)幾家互聯(lián)網(wǎng)巨頭運(yùn)作著幾個(gè)巨型互聯(lián)網(wǎng)服務(wù)，這些比以前的服務(wù)更加復(fù)雜和不同，所以這幾家公司不得不打造全新的架構(gòu)來運(yùn)行它們。

不僅僅是驅(qū)動(dòng)這些服務(wù)的軟件，巨頭們還得造出硬件，包括相應(yīng)的服務(wù)器和網(wǎng)絡(luò)設(shè)備。Project Catapult 將會(huì)為微軟所有的幾百萬臺(tái)服務(wù)器提供專用芯片，這些芯片可以用來為特定的任務(wù)重新編程。

但 Burger 還沒等到 介紹這個(gè)芯片，Ballmer 就突然抬起了頭。Ballmer 剛造訪微軟研究時(shí)，就表示希望看到研發(fā)中心有新進(jìn)展，而不是一個(gè)戰(zhàn)略簡(jiǎn)報(bào)。“他開始拷問我?！盉urger 說。微軟花了 40 年建立起像 Windows、Word 和 Excel 這樣的 PC 軟件，然而它發(fā)現(xiàn)自己才剛剛涉足互聯(lián)網(wǎng)。微軟還沒有開始可程計(jì)算機(jī)芯片設(shè)計(jì)的必要工具和工程師，這是一項(xiàng)困難、耗時(shí)、專業(yè)而且有些特別的任務(wù)。微軟要著手可編程計(jì)算機(jī)芯片，聽起來就像是可口可樂宣布要做魚翅。

Project Catapult  的現(xiàn)狀

Burger 著裝整齊，頭頂微禿，分析問題非常冷靜，這些和很多優(yōu)秀的工程師一樣。他轉(zhuǎn)過身，告訴 Ballmer 像谷歌和亞馬遜這樣的公司一直在朝著這個(gè)方向發(fā)展。他說世界上的硬件制造商不會(huì)提供微軟需要用來運(yùn)行線上服務(wù)的硬件。他說，如果微軟不打造自己的硬件，就會(huì)落后。Ballmer 聽完后并不買賬。但是過了一會(huì)兒，另一個(gè)聲音參與到這場(chǎng)討論中來。這個(gè)聲音來自微軟搜索引擎 Bing 的管理者陸奇。兩年來，陸奇的團(tuán)隊(duì)一直在和 Burger 討論可編程芯片的事情。Project Catapult 不僅僅是一種可能，陸奇說：“他的團(tuán)隊(duì)已經(jīng)開始著手進(jìn)行了。”

今天，微軟已經(jīng)有了現(xiàn)場(chǎng)可編程門陣列（field programmable gate arrays，F(xiàn)PGA），Burger 和陸奇都相信這個(gè)可編程芯片可以改變世界。FPGA 目前已支持 Bing，未來幾周，它們將會(huì)驅(qū)動(dòng)基于深度神經(jīng)網(wǎng)絡(luò)，以人類大腦結(jié)構(gòu)為基礎(chǔ)建模的新型搜索算法，在執(zhí)行人工智能的幾個(gè)命令時(shí)，速度比普通芯片快幾個(gè)數(shù)量級(jí)。有了它，你的計(jì)算機(jī)屏幕只會(huì)空屏 23 毫秒，而不是 4 秒。

Catapult 團(tuán)隊(duì)成員 Adrian Caulfield, Eric Chung, Doug Burger, 和 Andrew Putnam

Bing 不只是要追趕 Google。Project Catapult 暗示著改變未來全球系統(tǒng)運(yùn)作的方式。從美國(guó)的亞馬遜到中國(guó)的百度，所有的互聯(lián)網(wǎng)巨頭都在用硅替代他們的標(biāo)準(zhǔn)服務(wù)器芯片——中央處理單元，也叫 CPU，這些硅制成的芯片可以讓它們跟上人工智能的快速變化。微軟現(xiàn)在每年花在硬件上的錢在 50 億到 60 億美元，以維持其線上帝國(guó)的運(yùn)轉(zhuǎn)。所以這樣的工作“再也不僅僅是研究了”，Satya Nadella 說道，他在 2014 年接任了微軟 CEO 一職。“它有極為重要的優(yōu)先性”，這就是 Burger 當(dāng)年在 99 號(hào)大樓中要說明的，他和他的團(tuán)隊(duì)花費(fèi)多年，克服種種挫折，不斷重新設(shè)計(jì)，與體制對(duì)抗，最終實(shí)現(xiàn)的一種新的全球超級(jí)計(jì)算機(jī)。

| 一種全新而古老的計(jì)算機(jī)芯片

2010 年 12 月，微軟研究院 Andrew Putnam 離開西雅圖度假，回到了位于科羅拉多斯普林斯的家中。當(dāng)時(shí)正是圣誕節(jié)前兩天，他還沒開始大采購。在他開車去商場(chǎng)的路上，電話突然響了，另一端正是他的老板 Burger。Burger 當(dāng)時(shí)打算節(jié)后面見 Bing 高管，但他需要一份能在 FPGA 上運(yùn)行 Bing 機(jī)器學(xué)習(xí)算法的硬件設(shè)計(jì)。

Putnam 馬上鉆入最近的星巴克開始規(guī)劃設(shè)計(jì)，花了大約 5 個(gè)小時(shí)完成了這件事，最后還剩下時(shí)間繼續(xù)去采購。

當(dāng)時(shí) Burger 47 歲，Putnam 39 歲，兩人過去都是學(xué)者。Burger 曾在特克薩斯大學(xué)奧斯汀分校擔(dān)任計(jì)算機(jī)科學(xué)教授，他在那里工作了 9 年，專攻微處理器，還設(shè)計(jì)了一款名為 EDGE 的新型芯片。Putnam 曾在華盛頓大學(xué)工作 5 年，擔(dān)任研究員并主要從事 FPGA 研究。當(dāng)時(shí)可編程芯片已經(jīng)存在了好幾十年，但它們大多被當(dāng)作處理器的一部分。2009 年 Burger 將 Putnam 挖到微軟，兩人開始探索用可編程芯片提升線上服務(wù)速度的方法。

Project Catapult V1，即 Doug Burger 團(tuán)隊(duì)曾在微軟西雅圖數(shù)據(jù)中心測(cè)試過的版本

微軟的搜索引擎是一個(gè)依靠成千上萬臺(tái)機(jī)器運(yùn)行的在線服務(wù)。每臺(tái)機(jī)器都需要靠 CPU 驅(qū)動(dòng)，盡管英特爾等公司不斷改進(jìn)它們，這些芯片還是跟不上軟件更新的腳步。很大程度上，是因?yàn)槿斯ぶ悄芾顺钡膩砼R。

Bing 搜索等服務(wù)已經(jīng)超出了摩爾定律預(yù)言的處理器能力，即每 18 個(gè)月處理器上晶體管的數(shù)量翻一倍。事實(shí)還證明增加 CPU 并不能解決問題。

但同時(shí)，為新出現(xiàn)的需求制造專用芯片，成本是非常昂貴的。恰好 FPGA 能彌補(bǔ)這個(gè)不足，Bing 決定讓工程師制造運(yùn)行更快、比流水線生產(chǎn)的通用 CPU 能耗更少、同時(shí)可定制的芯片，從而解決不斷更新的技術(shù)和商業(yè)模式變化所產(chǎn)生的種種難題。

圣誕節(jié)后的會(huì)面中，Burger 為必應(yīng)高管們拿出了一套用 FPGA 提升搜索速度，同時(shí)功耗較低的方法。高管們不置可否。在接下來的幾個(gè)月中，Burger 團(tuán)隊(duì)根據(jù) Putnam 圣誕節(jié)時(shí)畫出的草圖構(gòu)建了原型，證明其運(yùn)行必應(yīng)的機(jī)器學(xué)習(xí)算法時(shí)速度可以提升 100 倍?！改菚r(shí)他們才表現(xiàn)出濃厚興趣」，當(dāng)時(shí)的團(tuán)隊(duì)成員、現(xiàn)瑞士洛桑聯(lián)邦理工學(xué)院院長(zhǎng) Jim Larus 告訴我們，「但同樣也是艱難時(shí)光的開始?！?br/>

原型是一個(gè)使用六個(gè) FPGA 的專用盒，由一整個(gè)機(jī)架的服務(wù)器共享。如果盒子吱吱作響，表明它們需要更多 FPGA——考慮到機(jī)器學(xué)習(xí)模型的復(fù)雜性需求會(huì)越來越大——這些機(jī)器就會(huì)停止工作。必應(yīng)的工程師非常厭惡這件事。「但他們沒錯(cuò)，」Larus 說。

正是這個(gè)原型吸引了陸奇。他給了 Burger 足夠的資金，可以在 1600 臺(tái)服務(wù)器上裝配 FPGA 并進(jìn)行測(cè)試。在中國(guó)和臺(tái)灣硬件制造商的幫助下，團(tuán)隊(duì)花費(fèi)半年時(shí)間制造出了硬件產(chǎn)品，并在微軟數(shù)據(jù)中心的一組機(jī)架上進(jìn)行測(cè)試。但一天晚上滅火系統(tǒng)出現(xiàn)了問題。他們花了三天時(shí)間修復(fù)機(jī)架——它仍能工作。

在 2013 年到 2014 年的幾個(gè)月中，測(cè)試顯示必應(yīng)「決策樹」機(jī)器學(xué)習(xí)算法在新芯片的幫助下，可以提升 40 倍運(yùn)行速度。2014 年夏天，微軟公開表示要很快要將這些硬件應(yīng)用到必應(yīng)實(shí)時(shí)數(shù)據(jù)中心。但是在那之后，微軟暫停了。

|  除了Bing 搜索之外，還有……

幾年前，Bing 在微軟線上的發(fā)展中一直占據(jù)主要地位，直到 2015 年，另外的兩個(gè)主要在線服務(wù)出現(xiàn)：一個(gè)是商務(wù)應(yīng)用套件 Office 365 ，一個(gè)是云計(jì)算服務(wù) Microsoft Azure。

微軟高層和其他對(duì)手都意識(shí)到，想運(yùn)營(yíng)好一個(gè)不斷發(fā)展的線上帝國(guó)，唯一有效的辦法就是在同樣的基礎(chǔ)上運(yùn)營(yíng)所有的服務(wù)。如果 Project Catapult 要使微軟轉(zhuǎn)型， Bing 也逃不掉。因?yàn)樗惨?Azure 和 Office 365 內(nèi)部工作。

問題是，Azure 的高官們并不在乎加速機(jī)器學(xué)習(xí)這件事。他們需要網(wǎng)絡(luò)的幫助。Azure 數(shù)據(jù)中心的流量跳動(dòng)增長(zhǎng)的太快，服務(wù)的 CPU 必須得跟上他們的腳步。而像 Azure 首席架構(gòu)師 Mark Russinovich 這樣的人則看到了 Catapult 解決這些問題的潛力，但解決問題的方式和為 Bing 設(shè)計(jì)的有所不同。他的團(tuán)隊(duì)需要可編程的芯片，然后將每個(gè)服務(wù)器連接到主要網(wǎng)絡(luò)上，這樣他們就能在數(shù)據(jù)流量到達(dá)服務(wù)器之前就開始處理了。

FPGA 架構(gòu)的第一代原型是一個(gè)被一架服務(wù)器共享的單個(gè)盒子（Version 0），

然后該團(tuán)隊(duì)轉(zhuǎn)向?yàn)槊總€(gè)服務(wù)器設(shè)計(jì)自己的 FPGA（Version 1），將芯片放到服務(wù)器和整體網(wǎng)絡(luò)之間

因此，F(xiàn)PGA 的研究者們需要自己開發(fā)硬件。在第三代原型中，芯片位于每個(gè)服務(wù)器的邊緣，能直接插入到網(wǎng)絡(luò)，但仍舊設(shè)計(jì)了任何機(jī)器都可接入的 FPGA 池?？雌饋?，Office 365 也可以用它了。終于，一切都準(zhǔn)備好，Project Catapult 可以上線了。

Larus 把許多重復(fù)設(shè)計(jì)說成是噩夢(mèng)。不是因?yàn)樗麄冃枰⑿碌挠布?，而是因?yàn)樗麄兠看味家幊绦碌?FPGA。他說：“這太煩人了，比編軟件都要煩。又難寫，又難糾正。”這個(gè)工作非常麻煩，就像改變芯片上的小邏輯門。

不過，最終需要的硬件已經(jīng)做好了，微軟每次重新編程這些芯片的時(shí)候還要面臨同樣的挑戰(zhàn)。Larus 說“這讓我們能以全新的視角來看待世界，思考世界，”。但是， Catapult 硬件的成本只占了服務(wù)器中所有其他的配件總成本的 30%，需要的運(yùn)轉(zhuǎn)能量也只有不到 10%，但其卻帶來了 2 倍原先的處理速度。

這是一場(chǎng)很大的局。微軟 Azure 用這些可編程的芯片來路由、加密和壓縮數(shù)據(jù)。世界上 20% 的桌面搜索市場(chǎng)和 6% 的移動(dòng)手機(jī)市場(chǎng)是 Bing的，有了這個(gè)芯片， 它就能適應(yīng)新型人工智能：深度神經(jīng)網(wǎng)絡(luò)。據(jù)微軟一名員工說，Office365 正在嘗試使用 FPGA 和機(jī)器學(xué)習(xí)進(jìn)行加密和壓縮。而這一行為將使 2310 萬用戶收益。Burger 說，最終，它們會(huì)驅(qū)動(dòng)所有的微軟服務(wù)。

|  這真的會(huì)起作用嗎？

Peter Lee 表示道：“現(xiàn)在回想起來我還感到震驚，我們居然讓公司做了這件事?！彼€負(fù)責(zé)管理微軟研究院內(nèi)一個(gè)名為新體驗(yàn)和技術(shù)(NExT)的組織，該組織是薩提亞·納德拉在擔(dān)任微軟 CEO 后親自推動(dòng)創(chuàng)建，代表了微軟研究院的重大轉(zhuǎn)向。NExT 旨在促進(jìn)能更快改變微軟前進(jìn)路線的研究。Project Catapult 就是典型的例子。而 Project Catapult 只是行業(yè)大變革的一部分。Doug Burger 表示道：“未來的進(jìn)步將來自于非 CPU 技術(shù)。”

Peter Lee

包括微軟在內(nèi)的所有互聯(lián)網(wǎng)巨頭現(xiàn)在都在用 GPU 作為 CPU 的補(bǔ)充。GPU 本來是專門用來渲染游戲畫面和滿足其他對(duì)畫面要求很高的應(yīng)用需求，但現(xiàn)在這些公司在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)也會(huì)大量使用 GPU 來計(jì)算，比如識(shí)別數(shù)千萬張照片中的人臉。一些互聯(lián)網(wǎng)巨頭如微軟還會(huì)在訓(xùn)練后，用可再編程芯片來運(yùn)行神經(jīng)網(wǎng)絡(luò)。雖然自行開發(fā)芯片極其昂貴，但谷歌已經(jīng)開發(fā)了專門用于運(yùn)行神經(jīng)網(wǎng)絡(luò)的處理器 TPU（tensor processing unit）。

谷歌的 TPU 以長(zhǎng)期靈活性換取了速度。谷歌希望在識(shí)別語音命令時(shí)不再有延時(shí)。問題是，如果谷歌的神經(jīng)網(wǎng)絡(luò)模型改變，谷歌就必須再制造一種新芯片，而 FPGA 可以讓微軟打持久戰(zhàn)。盡管 FPGA 不像谷歌的自制芯片一樣快，但微軟可以根據(jù)需要對(duì)芯片進(jìn)行再編程。微軟不僅能根據(jù)新的人工智能模型再編程，還可以根據(jù)任何任務(wù)進(jìn)行再編程。如果其中一種設(shè)計(jì)在未來很多年都有用，微軟也可以用這一設(shè)計(jì)來制造專用芯片。

  新版 V2，它可以插在每臺(tái)微軟服務(wù)器的末端，直接與網(wǎng)絡(luò)連接在一起

微軟的服務(wù)非常龐大，使用的 FPGA 芯片多到開始改變?nèi)蛐酒袌?chǎng)。FPGA 技術(shù)來自于 Altera，英特爾執(zhí)行副總裁 Diane Bryant 稱，微軟就是英特爾在去年以 167 億美元收購 Altera 的理由，這是英特爾有史以來最大一筆收購。Diane Bryant 表示，到 2020 年，主流云計(jì)算公司三分之一的服務(wù)器都會(huì)使用 FPGA 芯片。

CPU、GPU、TPU、FPGA，這么多首字母縮寫詞看得人眼花繚亂。但真正重要的還是它們的使用場(chǎng)景。微軟、谷歌、亞馬遜等公司通過云計(jì)算驅(qū)動(dòng)著全球技術(shù)發(fā)展，而這些另類芯片則驅(qū)動(dòng)著更龐大的應(yīng)用和網(wǎng)絡(luò)服務(wù)體系。Peter Lee 表示，Project Catapult 將可以讓微軟繼續(xù)擴(kuò)大自己的全球超級(jí)計(jì)算機(jī)運(yùn)算能力，直到 2030 年。在此之后，微軟可以轉(zhuǎn)向量子計(jì)算。 

Nadella 在接受電話采訪時(shí)也表達(dá)了差不多的觀點(diǎn)。他倆說的都差不多，都在鼓吹超高速量子計(jì)算機(jī)的未來?？紤]到打造量子計(jì)算機(jī)的難度，他們描述的未來就像是在做白日夢(mèng)一樣。但在幾年前，Project Catapult 也是同樣像是在做白日夢(mèng)。

via Wired

推薦閱讀：

洪小文獨(dú)家解讀： 直到AI可以自己編程 它才有資格跟 “路人甲” 比智能

谷歌發(fā)布最新版 AI 系統(tǒng)，圖像配文準(zhǔn)確率高達(dá) 93.9%

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。