在“世界模型”分論壇上，浙江大學(xué)研究員彭思達(dá)帶來(lái)了《面向具身智能的通用空間感知技術(shù)》的主題演講，介紹了其團(tuán)隊(duì)近期在賦予機(jī)器人通用感知能力方面的多項(xiàng)工作。彭思達(dá)是浙江大學(xué)軟件學(xué)院“百人計(jì)劃”研究員、博士生導(dǎo)師，研究方向?yàn)槿S計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)。

 團(tuán)隊(duì)主要聚焦于賦予機(jī)器人三項(xiàng)基礎(chǔ)能力：一是相機(jī)定位（Camera Pose Estimation），即讓機(jī)器人知道自己在空間中的位置；二是深度估計(jì)（Depth Estimation），使機(jī)器人了解場(chǎng)景中各物體與自身的距離；三是物體運(yùn)動(dòng)估計(jì)（Object Motion Estimation），讓機(jī)器人感知世界的運(yùn)動(dòng)狀態(tài)。 

 這些底層空間感知技術(shù)有何作用？首先，它們能為機(jī)器人提供關(guān)鍵的決策信息。例如，無(wú)人機(jī)在空間中需要先知道自身位置、與場(chǎng)景目標(biāo)的距離，才能實(shí)現(xiàn)基礎(chǔ)避障；進(jìn)而還需了解目標(biāo)物體的運(yùn)動(dòng)情況，才能進(jìn)行追蹤?；趶膱?chǎng)景中獲取的三維空間信息，機(jī)器人的行為規(guī)劃便能得到有力支持。 

 其次，這些技術(shù)可用于生成訓(xùn)練數(shù)據(jù)。當(dāng)前具身智能領(lǐng)域的一大難題是數(shù)據(jù)匱乏。以往有人嘗試仿真或遙操獲取數(shù)據(jù)，但遙操數(shù)據(jù)雖好卻難以規(guī)?；瘮U(kuò)展，而仿真技術(shù)目前仍與真實(shí)世界存在較大差距。

彭思達(dá)提出，其實(shí)可將人類(lèi)視作一種特殊形態(tài)的機(jī)器人——具備完整的身體結(jié)構(gòu)與行為模式。若能發(fā)明一種數(shù)據(jù)采集設(shè)備，將人類(lèi)日常行為完整記錄下來(lái)，就相當(dāng)于獲取了機(jī)器人所需的行為數(shù)據(jù)，從而可用于訓(xùn)練人形機(jī)器人。這其中便涉及相機(jī)定位、深度估計(jì)與物體運(yùn)動(dòng)估計(jì)等技術(shù)。

相機(jī)定位

相機(jī)定位方面，最傳統(tǒng)經(jīng)典的方法是Colmap。該方法從圖像中提取特征并進(jìn)行兩兩匹配，再通過(guò)增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SfM）得到相機(jī)位置。最終每張圖像對(duì)應(yīng)一個(gè)相機(jī)位置，并共同生成三維點(diǎn)云，形成經(jīng)典的三維重建流程。

然而，該流程目前面臨的挑戰(zhàn)在于圖像匹配。團(tuán)隊(duì)發(fā)現(xiàn)，傳統(tǒng)匹配方法在惡劣環(huán)境或視角差異較大的情況下效果不佳，會(huì)影響后續(xù)相機(jī)位姿估計(jì)的準(zhǔn)確性。

針對(duì)這一問(wèn)題，彭思達(dá)所在實(shí)驗(yàn)室于2021年提出一種新方法：不再依賴(lài)傳統(tǒng)匹配方式，而是直接使用Transformer大模型進(jìn)行圖像匹配。具體而言，將兩張圖像輸入LoFTR模型以提取稠密特征，這些特征之間即使在弱紋理區(qū)域也能實(shí)現(xiàn)良好的匹配。

但這個(gè)方法的問(wèn)題是，多模態(tài)匹配很難，例如現(xiàn)實(shí)環(huán)境往往是黑夜白天交替、熱傳感跟可見(jiàn)光同時(shí)出現(xiàn)，這種情況下兩兩無(wú)法匹配。所以我們要解決跨模態(tài)的問(wèn)題，

去年團(tuán)隊(duì)針對(duì)此問(wèn)題提出了新的工作叫 MatchAnything，核心思路是用大量來(lái)源的數(shù)據(jù)，和多模態(tài)預(yù)訓(xùn)練框架去訓(xùn)練 LoFTR 模型，成功實(shí)現(xiàn)了實(shí)現(xiàn)了紅外和可見(jiàn)光、事件和可見(jiàn)光、CT 和 MR 的匹配。這其中其實(shí)是工程數(shù)據(jù)問(wèn)題，彭思達(dá)團(tuán)隊(duì)整合了多種數(shù)據(jù)來(lái)源，一種是常見(jiàn)的多視角圖像，一種是大量的單目視頻。單目視頻要如何匹配？團(tuán)隊(duì)使用了成熟的光流算法，將其一個(gè)個(gè)拼接起來(lái)，得到一個(gè)長(zhǎng)時(shí)序的匹配關(guān)系。第三種數(shù)據(jù)來(lái)源是通過(guò)圖像變換，例如將單張圖片用傳統(tǒng)的圖像變換給 warp，就形成了一個(gè)稠密匹配。

前三種都是在同一個(gè)模態(tài)下，進(jìn)一步增光匹配的數(shù)據(jù)訓(xùn)練來(lái)源，還有一種是做跨模態(tài)數(shù)據(jù)生成。團(tuán)隊(duì)通過(guò)對(duì)現(xiàn)有兩兩匹配中的一張圖片做跨域生成，比如將其變成熱傳感圖像、黑夜圖像、深度圖像，發(fā)現(xiàn)只做少量的三種模態(tài)就能實(shí)現(xiàn)任意跨模態(tài)能力。如此便可以實(shí)現(xiàn)即便衛(wèi)星圖像是夏天的，無(wú)人機(jī)在冬天工作也能匹配，以前是匹配不上的。

此外，跨模態(tài)數(shù)據(jù)生成還包括可見(jiàn)光跟雷達(dá)圖像，可見(jiàn)光跟矢量地圖，紅外跟可見(jiàn)光，匹配的情況增多，逐漸形成一個(gè)匹配的模型后，特別是應(yīng)用于遙感領(lǐng)域的無(wú)人機(jī)性能大大增強(qiáng)，同時(shí)應(yīng)用于自動(dòng)駕駛領(lǐng)域也出現(xiàn)了不錯(cuò)的效果。

但 MatchAnything 面臨一個(gè)問(wèn)題，即沒(méi)法融入已有的 SfM 算法，因?yàn)?MatchAnything 或者 LoFTR 模型的輸出匹配因圖片對(duì)不同而不同，導(dǎo)致無(wú)法建立多視圖匹配，因此沒(méi)法直接用在 SfM 算法中。

彭思達(dá)表示這是一個(gè)大問(wèn)題，導(dǎo)致 MatchAnything 無(wú)法直接用于相機(jī)定位，為此他們又提出一個(gè)新的解決思路 Detector-free Sf，即先基于 MatchAnything 重建一種粗糙的模型，再做模型優(yōu)化。

具體做法是給兩張圖片做無(wú)特征檢測(cè)的圖像匹配，因?yàn)闊o(wú)法很好地形成多視角匹配，首先要做量化匹配把多張圖片的匹配關(guān)系連接起來(lái)，再去跑傳統(tǒng)的 SFM 算法。但圖片匹配關(guān)系被量化后，準(zhǔn)確率降低，所以SFM 跑出來(lái)的結(jié)果不準(zhǔn)。因此需要迭代式去優(yōu)化。

迭代式優(yōu)化的具體流程是先優(yōu)化多視角匹配，再優(yōu)化三維模型，根據(jù)下圖所示，優(yōu)化后就能看到最右邊的三維模型有一個(gè)更精密的點(diǎn)云以及更精細(xì)的三維位姿。

同時(shí)，Detector-free SfM 面臨的問(wèn)題跟所有傳統(tǒng)方法一樣，重建速度太慢了，一個(gè)模型迭代式優(yōu)化可能需要幾十個(gè)小時(shí)甚至一天，以至于對(duì)于那些對(duì)時(shí)間比較敏感的重建任務(wù)不太好用。

為了解決速度的問(wèn)題，彭思達(dá)團(tuán)隊(duì)進(jìn)而進(jìn)行了一項(xiàng)端到端的重建工作。已有的方法像 VGGT，這是今年 CVPR 的最佳論文，最大的突破是直接使用一個(gè)大型的大模型去回歸圖片的相機(jī)位置和深度，因?yàn)槭蔷W(wǎng)絡(luò)直出所以速度很快，比如一個(gè)場(chǎng)景傳統(tǒng)的相機(jī)位置估計(jì)方法可能需要十幾個(gè)小時(shí)，VGGT 只需要一兩秒，這是非常大的提升。

但 VGGT 最大的問(wèn)題是沒(méi)法處理大規(guī)模場(chǎng)景，因?yàn)樗莻€(gè)大的網(wǎng)絡(luò)，圖片越多網(wǎng)絡(luò)很容易就會(huì)爆顯存。處理上百?gòu)垐D片勉強(qiáng)可以，但是 1000張肯定就不行了。

一個(gè)直觀的解決辦法將大場(chǎng)景進(jìn)行分段預(yù)測(cè)。如果沒(méi)辦法一次性處理太多圖片，可以把大場(chǎng)景進(jìn)行分段預(yù)測(cè)，分成很多 chunk，然后對(duì)每個(gè) chunk 去估計(jì)相機(jī)位置。但這種情況下，由于每個(gè) chunk 預(yù)測(cè)不夠精準(zhǔn)，導(dǎo)致 chunk 之間難以拼接，兩兩連接效果并不好，最后會(huì)形成一個(gè)累積誤差，整個(gè)網(wǎng)絡(luò)會(huì)壞掉。

對(duì)此，彭思達(dá)團(tuán)隊(duì)提出了一個(gè)新方法 Scal3R，其相關(guān)論文已經(jīng)被 CVPR 接收。該方法受人類(lèi)的全局視野啟發(fā)——人有全局視野的情況下，對(duì)局部場(chǎng)景的幾何預(yù)測(cè)也有更一致的預(yù)測(cè)，所以 Scal3R 致力于賦予 VGGT 對(duì)目標(biāo)場(chǎng)景的全局視野。

構(gòu)建全局視野的具體方法是使用網(wǎng)絡(luò)權(quán)重記錄每個(gè) chunk 的內(nèi)容。具體實(shí)現(xiàn)的流程是先輸入 chunk 的一組圖片，直接更新到一個(gè)網(wǎng)絡(luò)權(quán)重里就能記錄這組 chunk 圖片內(nèi)容。在推理中如何實(shí)現(xiàn)呢？一個(gè)網(wǎng)絡(luò)模塊直接預(yù)測(cè) KB，再拿這個(gè) KB 去更新一個(gè)網(wǎng)絡(luò)權(quán)重，該網(wǎng)絡(luò)權(quán)重就記錄了該 chunk 的圖片內(nèi)容。

在線(xiàn)更新網(wǎng)絡(luò)權(quán)重作為場(chǎng)景的記憶，整個(gè)網(wǎng)絡(luò)就記錄了整個(gè)場(chǎng)景的記憶，有了記憶可以預(yù)測(cè)出每個(gè) chunk 的顯性位置的點(diǎn)云，該點(diǎn)云也更具有全局一致性，因此拼接起來(lái)效果更好。

深度估計(jì)

深度估計(jì)是通用空間感知的關(guān)鍵組成部分。去年，彭思達(dá)團(tuán)隊(duì)在提升深度估計(jì)能力方面取得了三項(xiàng)進(jìn)展，其中之一是“Pixel-Perfect-Depth”思路。

 具身智能需要深度估計(jì)，是因?yàn)闇?zhǔn)確的深度信息能提升機(jī)器人的決策性能。但現(xiàn)有方法普遍在物體邊緣存在“飛點(diǎn)”問(wèn)題：判別式模型（如Depth Anything）傾向于預(yù)測(cè)“折中值”以最小化損失，從而導(dǎo)致飛點(diǎn)；生成式模型（如Marigold）雖能從理論上建模多峰深度分布，但因使用VAE進(jìn)行壓縮，同樣會(huì)產(chǎn)生飛點(diǎn)。 

 團(tuán)隊(duì)從生成式模型出發(fā)，提出了 Pixel-Perfect-Depth 的解決思路：首先移除VAE，直接在像素空間進(jìn)行優(yōu)化，以避免VAE帶來(lái)的信息損失，使得像素空間擴(kuò)散避免了邊緣飛點(diǎn)。然而，沒(méi)有VAE后模型需要更全局的視野，因此他們將語(yǔ)言特征整合到DiT模型中，發(fā)現(xiàn)這能顯著增強(qiáng)模型深度估計(jì)能力。

Pixel-Perfect-Depth 方法還能拓展提升視頻深度估計(jì)能力。相對(duì)于單張圖片輸入，常見(jiàn)的是視頻輸入，要對(duì)視頻深度估計(jì)，只需要在 Pixel-Perfect-Depth 上做兩個(gè)簡(jiǎn)單的改進(jìn)，首先是提取視頻的語(yǔ)義特征，得到特征以后注入到多視角的估計(jì)模型里；第二，視頻深度估計(jì)重要的是保持時(shí)序的連續(xù)性，通過(guò) target tokens疊加reference tokens，提升時(shí)序一致性。

Pixel-Perfect-Depth 雖然能做好單張圖片和視頻深度估計(jì)，但做不好帶尺度的深度估計(jì)。而很多場(chǎng)景是帶尺度的，因?yàn)闆](méi)有尺度機(jī)器人就不好用。為了解決該問(wèn)題，彭思達(dá)團(tuán)隊(duì)從語(yǔ)言模型的 prompt 技術(shù)匯總獲得靈感，試圖探索為深度基礎(chǔ)模型設(shè)計(jì)提示詞機(jī)制，以提升其輸出絕對(duì)深度的準(zhǔn)確性。

他們將雷達(dá)做誒深度感知的prompt喂給深度估計(jì)基礎(chǔ)模型，讓其產(chǎn)生絕對(duì)深度。

該算法 Prompt Depth Anything 不僅可以提升通用機(jī)器人抓取能力，抓取成功率超越Image及LiDAR作為輸入；還能應(yīng)用于自動(dòng)駕駛重建；做三維掃描、前饋式三維高斯等等。

但 Prompt Depth Anything 仍然存在問(wèn)題，要得到三維場(chǎng)景的深度估計(jì)一般通過(guò)反投影，但透視投影在相鄰視角看著還不錯(cuò)，如果俯視、反投影得到的點(diǎn)云在遠(yuǎn)處會(huì)產(chǎn)生裂痕。

對(duì)此彭思達(dá)團(tuán)隊(duì)提出了一個(gè)叫 InfiniDepth 的解決思路，即不只是給每個(gè)像素估計(jì)深度值，還給每個(gè)次像素估計(jì)，其論文已經(jīng)投稿在 CVPR。具體做法是將已有DPT Head改為Implicit Decoder，就能得到一個(gè)完整的幾何，達(dá)到大范圍的視角渲染。這樣能提高模型精細(xì)度，例如能更好服務(wù)于機(jī)器人去抓取線(xiàn)纜的能力。

物體運(yùn)動(dòng)估計(jì)

將人類(lèi)行為數(shù)據(jù)轉(zhuǎn)化為有效訓(xùn)練數(shù)據(jù)，是當(dāng)前具身智能發(fā)展的關(guān)鍵。這需要獲取深度信息、相機(jī)運(yùn)動(dòng)以及人類(lèi)行為語(yǔ)義軌跡，而語(yǔ)義軌跡的獲取又依賴(lài)于跟蹤。彭思達(dá)團(tuán)隊(duì)去年的一個(gè)工作就跟三維跟蹤有關(guān)。 

 此前已有方法使用時(shí)序匹配進(jìn)行跟蹤，例如Google的CoTracker：先初始化一組二維像素點(diǎn)，再利用Transformer迭代優(yōu)化這些點(diǎn)的軌跡。但該方法僅在二維層面進(jìn)行跟蹤，容易因相鄰區(qū)域的干擾而丟失目標(biāo)，效果受限。 

 彭思達(dá)團(tuán)隊(duì)的思路是將二維圖像反投影至三維空間，做 3D  tracking。具體做法是：輸入圖像并反投影至三維，獲得三維特征后，在三維空間中初始化一條三維軌跡，再利用Transformer對(duì)該軌跡進(jìn)行優(yōu)化，從而實(shí)現(xiàn)更魯棒的跟蹤效果。該方法被命名為SpatialTracker?！咐追寰W(wǎng)(公眾號(hào)：雷峰網(wǎng))」

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。