邁向智能化時代的進程中，不僅需要AI技術，還需要與AI匹配的一系列計算、感知、連接等技術。其中，3D感知尤為關鍵。縱觀當下最受關注的幾大領域，智能機器人、自動駕駛汽車、XR（包含VR、AR、MR），還有今年最火的元宇宙，都需要3D感知。

然而，在很長一段時間，3D機器視覺主要應用于智慧城市的監(jiān)控當中，沒能在更多領域應用。原因有很多，包括成本、技術的成熟度、使用3D視覺芯片的門檻等。

銀牛微電子聯(lián)合創(chuàng)始人兼首席戰(zhàn)略官白逸告訴雷峰網(wǎng)：“激光雷達、紅外輔助等方式獲取的2D信息有限，難以進行進一步的計算、判斷、控制等功能。要從2D轉(zhuǎn)向3D，實現(xiàn)獲取信息質(zhì)量和數(shù)量的飛躍，需要跨越巨大的技術鴻溝。只有擁有了成熟的3D機器視覺產(chǎn)品，這些市場才有可能快速規(guī)模應用3D機器視覺。”

全球唯一一款集成3D深度感知+SLAM（實時定位與建圖）+AI功能的單芯片，在中國市場的推廣應用，將加速3D機器視覺的爆發(fā)。 

3D機器視覺為什么難普及？

著名心理學家赤瑞特拉（Treicher）曾經(jīng)驗證過一組數(shù)據(jù)，人類獲取的信息83%來自視覺，11%來自聽覺。顯然，要實現(xiàn)機器智能，邁向智能化時代，視覺信息非常關鍵，特別是3D視覺。

比如今年最火的元宇宙，要將現(xiàn)實世界在虛擬世界實現(xiàn)映射，需要與3D視覺密切相關的XR。VR在2015年迎來了投資熱潮，隨后的2016年，被稱為“VR元年”。

當時VR設備的眩暈感以及內(nèi)容不夠豐富等原因，讓2016年沒能成為“VR元年”。直到2021年，Meta售出了1000萬臺VR頭盔Oculus Quest 2，被業(yè)界認為XR又迎來了新的爆發(fā)期。

自動駕駛汽車和智能機器人也是典型需要3D視覺的領域，但也各自面臨挑戰(zhàn)。自動駕駛汽車領域，采用純2D視覺方案，無論是攝像頭還是激光雷達，需要海量數(shù)據(jù)，成本挑戰(zhàn)巨大。機器人中所需的3D視覺技術，也因為技術和開發(fā)難度限制難以大量應用。

擁有3D視覺領域豐富經(jīng)驗的銀牛微電子聯(lián)合創(chuàng)始人兼副總裁何火高指出，“3D視覺不只是單純和芯片或算法的問題，還涉及到相關的光學、結(jié)構(gòu)、散熱等問題，加上芯片、算法構(gòu)成的復雜技術系統(tǒng)，使3D視覺的芯片和解決方案有非常高的技術門檻，需要投入更多時間、技術、人才?！?/strong>

“一個好的技術和一個成功的產(chǎn)品最終能否推動整個生態(tài)去發(fā)展，中間有巨大的鴻溝，這個鴻溝可能90%是軟件的工作量?！卑滓葸M一步表示，“只有提供完整的系統(tǒng)級解決方案，才能滿足市場需求。我們也相信雙目3D視覺會把整個人工智能機器視覺的成本降低?！?/p>

技術的高門檻，也讓這一領域只有少數(shù)擁有極強技術和產(chǎn)品實力的公司，這阻礙了3D視覺技術的快速普及。一個很好的例子就是蘋果以3.6億美元收購了以色列3D芯片公司PrimeSense，并申請了專利，在iPhone上實現(xiàn)了3D人臉識別Face ID功能，其它廠商由于沒有類似的技術和產(chǎn)品供應商，很難在手機上實現(xiàn)如同蘋果的3D識別功能。

在XR、自動駕駛汽車和智能機器人領域，市場上迎來了一款融合多種功能的3D視覺感知AI芯片，可能帶動3D視覺在這些領域的爆發(fā)。

全球獨一無二的3D感知AI芯片

2012年，3D芯片的開創(chuàng)者，前PrimeSense CTO Dor Zepeniuk和有38年半導體設計經(jīng)驗的連續(xù)成功創(chuàng)業(yè)者Shlomo Gadot在以色列創(chuàng)立了Inuitive，并吸引了一群經(jīng)驗豐富的人才，他們的專業(yè)領域涵蓋八大學科，人均有20年以上的經(jīng)驗。

這群有理想，有超前設計理念的創(chuàng)業(yè)者，并不滿足于推出一款只是超越市場上已有的3D芯片，他們想再次突破，挑戰(zhàn)難度更大的異構(gòu)3D視覺芯片。最終，Inuitive在2019年推出了全球唯一一款能在單芯片中同時實現(xiàn)3D深度感知、高精度姿態(tài)跟蹤、SLAM實時定位建圖引擎與AI算力于一體的異構(gòu)芯片NU4000。 

想要在單顆芯片上同時集成這些功能難度很大，因為要同時集成計算機視覺、人工智能、光學、系統(tǒng)架構(gòu)、嵌入式系統(tǒng)軟件、邊緣計算及芯片設計等眾多技術。擁有Inuitive獨有3D感知技術，加上SLAM，以及異步時間扭曲技術（如果視頻幀率不足能夠產(chǎn)生中間幀，減少畫面抖動，減少眩暈感，可以實現(xiàn)從動作到畫面反應延遲小于1毫秒），融合AI的NU4000一經(jīng)推出，就獲得了市場的認可。

銀牛微電子在2020年11月成功收購了已經(jīng)量產(chǎn)全球獨一無二的3D感知AI芯片的Inuitive。銀牛微電子董事長兼CEO曲冠誠說：“這可能是有史以來速度最快的國際并購，我們用4.5個工作日就達成了并購。這離不開我們雙方并購前構(gòu)建的良好基礎，以及我過去的經(jīng)驗，再加上各方的支持，最終才如此迅速達成收購?！?/p>

達成并購不是最大的挑戰(zhàn)，更大的難度來自于并購后的融合。白逸說，“收購完成之后，我們有一系列措施維護和穩(wěn)定以色列原團隊的核心管理層和研發(fā)團隊，因為他們是整個公司寶貴的財富。目前，員工流失率極低，核心員工沒有流失。中國和以色列團隊正在積極融合，重點關注雙目立體3D感知，共同規(guī)劃產(chǎn)品路線圖和開發(fā)產(chǎn)品。”

其中有一個重要舉措，銀牛微電子絕對控股Inuitive，但曲冠誠并沒有收購創(chuàng)始團隊的股份，通過與創(chuàng)始團隊保持合作的關系，能夠更好的共同推動3D機器視覺在中國以及全球的規(guī)模應用。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))注意到，雖然Inuitive的團隊有各個領域豐富的經(jīng)驗，但核心專利數(shù)只有25項。曲冠誠解釋，“Inuitive只申請了最核心的專利，因為他們申請的都是美國發(fā)明專利，不僅申請流程復雜，維護費用也很貴，大量申請專利的主要是產(chǎn)品公司，Inuitive是研發(fā)型創(chuàng)業(yè)公司。接下來，我們將會在國內(nèi)申請數(shù)百個專利?！?/strong>

未來兩年，銀牛微電子的3D感知AI芯片的工藝會從12nm向7nm甚至5nm演進，中國團隊也會不斷參與到產(chǎn)品的研發(fā)中，實現(xiàn)更好融合。

“今年的一個重要任務就是把基于NU4000芯片的3D模組在中國實現(xiàn)量產(chǎn)?！卑滓萁榻B，“NU4000已經(jīng)有很多參考設計，但量產(chǎn)的第一個模組產(chǎn)品是最新發(fā)布的C158，特為中國客戶設計調(diào)優(yōu)，主要目標市場是智能機器人，也可以應用于XR / 3D交互、3D掃描、高端無人機等領域?！?/p>

曲冠誠強調(diào)，中國客戶有不同的設計和更多樣化的需求，銀牛微電子要做好本地產(chǎn)業(yè)供應鏈的管理，更好適合本土化需求，客戶的響應時間會在24小時之內(nèi)。

“未來幾年，可以看到3D機器視覺在三個領域大量落地，包括低速輔助駕駛、智能機器人和AR/VR?！鼻谡\說。 

智能機器人3D視覺將率先爆發(fā)

“再好的技術，成本太高或沒有市場著力點，也無法落地。”曲冠誠進一步表示，“之所以在中國市場先推出機器人模組，一方面是因為疫情，市場對服務機器人的需求呈現(xiàn)爆發(fā)性增長。另一方面，市場行業(yè)龍頭的戰(zhàn)略調(diào)整，也給了我們很大的機會?！?/strong>

《中國機器人產(chǎn)業(yè)發(fā)展報告(2021年)》數(shù)據(jù)顯示，2021年，全球機器人市場規(guī)模預計將達到335.8億美元，其中，2021年中國服務機器人市場規(guī)模將達到302.6億元，高于全球服務機器人市場增速；到2023年，隨著視覺引導機器人、陪伴服務機器人等新興場景和產(chǎn)品的快速發(fā)展，中國服務機器人市場規(guī)模有望突破600億元。

白逸解釋，“我們推出的C158模組可以理解為是通用芯片加上專用模組，它適合智能機器人領域的絕大部分客戶需求，其它領域的客戶需要專用的模組。由于我們NU4000芯片的通用性，基于通用芯片模組的迭代周期只需要幾個月，比芯片迭代周期短很多。因此，我們通過不斷迭代模組不僅能更好滿足同一市場的需求，也能拓展新市場?！?/p>

雷峰網(wǎng)了解到，銀牛微電子明年至少會拓展120-150人的軟件團隊支撐不斷增長的客戶需求。整個公司軟件團隊的人數(shù)可能會是硬件團隊人數(shù)的2倍或更多。

至于銀牛微電子是否會直接出售芯片，白逸表示，這是一個商業(yè)考量問題。

“未來的兩三年，3D機器視覺還處于起步階段，生態(tài)的成熟度和解決方案的成熟度都決定了客戶很難直接使用這么復雜的芯片。3D視覺模組實際上可以降低客戶的使用門檻和成本，加速3D機器視覺的落地。隨著3D機器視覺的發(fā)展，未來也可能直接出售芯片?！?/p>

具體的性能，C158深度分辨率可達1280 x 800 @60fps，感知距離在6米以內(nèi)時，精度誤差僅為1%，能以0.5w實現(xiàn)5-6 TOPS算力，內(nèi)置的通用型Arm內(nèi)核，支持系統(tǒng)獨立性，使系統(tǒng)可以同時兼顧協(xié)處理器和主控系統(tǒng)。同時，C158搭載豐富接口和系統(tǒng)支持，使其無論是模組或外設皆可實現(xiàn)USB即插即用的效果。

值得一提的是，得益于基于高集成度的NU4000芯片，C158模組的尺寸為125mm x 40mm x 27mm，支持120fps的2路攝像頭以及6自由度坐標的重定位，能實現(xiàn)實時高精度姿態(tài)跟蹤。

寫在最后 

任何一種新技術的成熟和大規(guī)模應用，都需要各種因素的共同作用。技術的成熟度以及成本是兩個關鍵，過去，3D機器視覺產(chǎn)品由于產(chǎn)品集成度不夠高，使用難度大，大規(guī)模應用面臨巨大挑戰(zhàn)。

隨著銀牛微電子基于獨一無二的集成實現(xiàn)3D深度感知、高精度姿態(tài)跟蹤、SLAM實時定位建圖引擎與AI算力芯片的模組推向中國市場，國內(nèi)的智能機器人公司和機構(gòu)新增了一個選擇，如果這一產(chǎn)品被市場廣泛接受，將會推動3D機器視覺在智能機器人領域的快速應用。

在可以預見的3-5年，3D機器視覺也將在低速輔助駕駛、VR/AR等領域大規(guī)模應用，與其它計算、感知和連接技術一起，推動3D機器視覺的爆發(fā)，邁向更加智能的時代。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。