雷鋒網(wǎng)按：本文為美國(guó)賓夕法尼亞大學(xué)工程院院長(zhǎng)Vijay Kumar在CCF-GAIR大會(huì)上做的題為“Challenges in Autonomy”的分享，雷鋒網(wǎng)進(jìn)行了全文整理。全文分為上下兩部分，以下是第一部分。

傳送門(mén)：時(shí)隔一年 Vijay Kumar 再登 GAIR 講臺(tái)，講述自動(dòng)化的技術(shù)與社會(huì)挑戰(zhàn)（下）

2017年7月7日至9日，全球人工智能與機(jī)器人峰會(huì)CCF-GAIR大會(huì)在深圳成功舉辦。本次由CCF中國(guó)計(jì)算機(jī)學(xué)會(huì)主辦、雷鋒網(wǎng)與香港中文大學(xué)（深圳）承辦。來(lái)自全球30多位頂級(jí)院士、近300家AI明星AI企業(yè)，齊聚智能科技產(chǎn)業(yè)盛會(huì)。

Vijay Kumar在無(wú)人機(jī)領(lǐng)域被稱為“無(wú)人機(jī)大神”。他在多機(jī)器人的編隊(duì)控制協(xié)調(diào)，做出了非常大的貢獻(xiàn)。2016年，Vijay Kumar在CCF-CAIR峰會(huì)上介紹了無(wú)人機(jī)會(huì)向著Small（小型），Safe（安全），Smart（智能），Speed（敏捷）和Swarm（集群）“5s”的趨勢(shì)發(fā)展。時(shí)隔一年 Vijay Kumar 再登 GAIR講臺(tái)，以“Challenges in Autonomy”為主題，進(jìn)行了演講，重點(diǎn)介紹了自動(dòng)化浪潮的技術(shù)與社會(huì)挑戰(zhàn)。Vijay Kumar是美國(guó)賓夕法尼亞大學(xué)工程院院長(zhǎng)，同時(shí)也是美國(guó)國(guó)家工程院院士，美國(guó)電子電氣工程師協(xié)會(huì)研究員（IEEE Fellow）。

以下為Vijay Kumar演講速記全文整理，雷鋒網(wǎng)在不改變?cè)獾幕A(chǔ)上做了精編：

無(wú)人機(jī)的挑戰(zhàn)

今天我講的主要內(nèi)容是自動(dòng)化當(dāng)中所遇到的挑戰(zhàn)，尤其是無(wú)人機(jī)方面的挑戰(zhàn)。如今智能駕駛汽車有了很大的進(jìn)展，但是以下無(wú)人機(jī)的這些挑戰(zhàn)是無(wú)人車所沒(méi)有的：

• 無(wú)人車是在已知的道路上飛行，而無(wú)人機(jī)是在 3D 空中飛行。

• 無(wú)人車有 GPS 的導(dǎo)航，無(wú)人機(jī)沒(méi)有，尤其在室內(nèi)環(huán)境中飛行的時(shí)候。

• 車上面有很多傳感器，但是在無(wú)人機(jī)里面，如果多放一公斤荷載，可能消耗的能量就會(huì)越高，會(huì)帶來(lái)很大限制。因此我們希望盡可能降低無(wú)人機(jī)的能耗，能夠讓它更加有效率，我們才能獲得更多的訊息和數(shù)據(jù)。

• 無(wú)人機(jī)需要控制才能維持平衡，安全尤為重要。在汽車?yán)锩?，只要?jiǎng)x車就安全了。在無(wú)人機(jī)上，這個(gè)問(wèn)題更加復(fù)雜。

• 汽車的環(huán)境更加簡(jiǎn)單一些，我們有不同的模擬，可以感知到地板有平面的波動(dòng)或者有墻，但是無(wú)人機(jī)上要感知外界環(huán)境會(huì)更加困難。

  
  

上圖是我們過(guò)去5年制造的無(wú)人機(jī)，可以看出無(wú)人機(jī)的尺寸越來(lái)越大，可以放更多的傳感器上去，它的自動(dòng)化程度也有所提高，這是自然而然的結(jié)果。因?yàn)槲覀兇蠹叶枷Ｍ屗懈叩母兄芰?，能夠讓飛行器更加的強(qiáng)大，有更多的功能。

戶外、室內(nèi)環(huán)境安全飛行演示

如何讓無(wú)人機(jī)在戶內(nèi)、戶外的環(huán)境安全飛行呢？可以讓它做快速響應(yīng)、救災(zāi)、減災(zāi)的工作，可能是人類無(wú)法到達(dá)的危險(xiǎn)區(qū)域，可以快速收集一些訊息。

這是我們的一個(gè)機(jī)器人，它可以在室內(nèi)的環(huán)境進(jìn)行飛行，不需要外在攝像頭。它有一個(gè)感知的功能，比如圖像可以看到傳統(tǒng)的反饋機(jī)制，我們可以感知到周圍的環(huán)境，采取相應(yīng)的動(dòng)作來(lái)回應(yīng)，在我們的控制系統(tǒng)里面可以實(shí)現(xiàn)比較低的層面。

在更高級(jí)的層面上，可以看到在系統(tǒng)當(dāng)中，我們可以以更高的層面將感知/行動(dòng)的循環(huán)去建立，有時(shí)候可以在屏幕上看到，有時(shí)候可以進(jìn)入到它的計(jì)算機(jī)里面。比如我想從一個(gè)地方到達(dá)另外一個(gè)地方，如果中間有障礙物，需要避險(xiǎn)，所以中間要采用不同的動(dòng)作。

最高的層面，我們可以去建立一個(gè)反饋機(jī)制，可以對(duì)它進(jìn)行控制。這是人和機(jī)器進(jìn)行互動(dòng)的過(guò)程。我們可能沒(méi)有辦法讓計(jì)算機(jī)在最低的層面自動(dòng)和人進(jìn)行互動(dòng)，但是更高的層面，人機(jī)可以互動(dòng)，可以完成一些工作，所以這就是一種感知和行動(dòng)的反饋循環(huán)，這樣我們就可以進(jìn)一步發(fā)展，來(lái)建立更多的感知行動(dòng)。

最低的層面需要我們實(shí)時(shí)控制。只有通過(guò)這種方式才能讓機(jī)器人非?？煽康娜ミ\(yùn)動(dòng)，幫助我們完成任務(wù)。這里面不僅僅是它的 3D 位置，還需要知道它的行進(jìn)方向和旋轉(zhuǎn)角度。事實(shí)上只有 4 個(gè)旋翼，還有一些機(jī)器有 6 個(gè)旋翼，不管有多少個(gè)旋翼，我們都必須要知道它的位置和方向，利用控制軟件進(jìn)行實(shí)時(shí)控制，在控制系統(tǒng)當(dāng)中對(duì)它發(fā)出指令。

當(dāng)然，我們有不同的平面，如果看一下系統(tǒng)里面的行進(jìn)方向、線性、動(dòng)力，比如說(shuō)它的垂直速度或者是平行的速度，加起來(lái)就非常復(fù)雜。所以你可以看到，二者之間更加復(fù)雜，我們要對(duì)比一下它的行動(dòng)，平面上的運(yùn)動(dòng)方向，以及它垂直上的運(yùn)動(dòng)方向。

操作是左手邊開(kāi)始做，右手邊對(duì)它進(jìn)行操作，這是更加復(fù)雜的過(guò)程?？梢詫⑺殖蓭讉€(gè)不同的部分來(lái)看待，它有一個(gè)運(yùn)動(dòng)軌跡，這個(gè)運(yùn)動(dòng)軌跡中要找到一個(gè)推動(dòng)力，我們管它叫 F，我們看到它的現(xiàn)有位置和目的位置之間的聯(lián)系是怎么樣的，將它進(jìn)行移動(dòng)。我們要為它制定一個(gè)方向，這個(gè)方向就可以讓機(jī)器自行推動(dòng)到目的地。

當(dāng)然，我們也要建立其他維度，比如T這個(gè)維度，是它要行進(jìn)的方向，我要讓它的角度達(dá)到理想的狀態(tài)，我們要進(jìn)行計(jì)算、看目的地的角度是多少，然后讓它進(jìn)行移動(dòng)。我們?cè)O(shè)計(jì)的時(shí)候需要用計(jì)算機(jī)幫助我們做計(jì)算，另外我們看到這樣的等式能夠讓無(wú)人機(jī)去到任何我們想讓它去的地方。當(dāng)然，同時(shí)也要確保它的穩(wěn)定和可靠性。舉個(gè)例子，無(wú)人機(jī)在空間當(dāng)中進(jìn)行三維運(yùn)動(dòng)，這是室內(nèi)中的實(shí)驗(yàn)，當(dāng)然在戶外也可以實(shí)現(xiàn)。

反饋循環(huán)，先進(jìn)行路線規(guī)劃，對(duì)位置進(jìn)行控制，高度以及它所在的3D位置。得到反饋路徑之后，對(duì)它的速度和位置進(jìn)行計(jì)算，如果我們沒(méi)有運(yùn)動(dòng)攝像機(jī)，只能通過(guò)無(wú)人機(jī)上自帶的攝像頭來(lái)實(shí)現(xiàn)這個(gè)目的，我們可以把相應(yīng)的獲取的數(shù)據(jù)進(jìn)行分析，加上它的慣性分析，就可以知道它應(yīng)該往哪個(gè)方向去。

戶外、室內(nèi)的實(shí)際運(yùn)動(dòng)情形

這里面我們的頻率是200HZ，我會(huì)向大家展示戶外、室內(nèi)的實(shí)際運(yùn)動(dòng)的情形。這里我們?cè)黾恿藦?fù)雜性，因?yàn)閷?shí)際操作環(huán)境往往更加復(fù)雜。我們對(duì)它運(yùn)動(dòng)的路徑進(jìn)行計(jì)算，也會(huì)增加U這個(gè)角度，整個(gè)系統(tǒng)是四維角度，如果把角度增加進(jìn)去是有四個(gè)維度，這樣可以盡可能的降低飛行器出錯(cuò)的可能性。在高速運(yùn)動(dòng)的時(shí)候，我們必須依靠剛才所講的所有訊息，包括模式、檢測(cè)的維度，如果能夠給到更多的傳感器，除了IMU、GPS，我們可能有更好的表現(xiàn)，包括鐳射激光的掃描，還有其他傳感器，機(jī)器表現(xiàn)會(huì)更高，當(dāng)然這都是在200HZ頻率下實(shí)現(xiàn)的。

這個(gè)機(jī)器達(dá)到每秒70米的速度，沒(méi)有GPS，它可以從戶外進(jìn)入室內(nèi)，立刻進(jìn)行剎車，速度會(huì)很快降低，它可以在攝像頭當(dāng)中觀察到環(huán)境的變化，也可以從5m/s 、10m/s的速度加速。在戶外進(jìn)行飛行時(shí)，可以看到機(jī)器明顯有前傾動(dòng)作，當(dāng)然也沒(méi)有GPS。

在有障礙物時(shí)，就必須加另外一層。有來(lái)自不同傳感器的信息，這些信息事實(shí)上結(jié)合在一起，建立局部地圖，局部地圖讓我們本身的機(jī)器了解要選擇哪樣的飛行管道，所以飛行軌道選定之后，就可以幫助我們避開(kāi)障礙。但是在這個(gè)層次上，我們可以建立起整體地圖。很多情況下，我們不需要整體地圖，要局部地圖就可以，導(dǎo)航需要局部地圖幫助我們避開(kāi)障礙，同時(shí)保證無(wú)人機(jī)的安全性。

如何避障

我們看一下如何做避障，上圖當(dāng)中有無(wú)人機(jī)，它在室內(nèi)有很多障礙物，我們使用的是鐳射掃描儀，幫助我們更好的了解周圍的障礙物。我們看一下這個(gè)等式，可以清楚看到在不斷降低成本，這里包括兩種成本：一是時(shí)間成本，希望減少時(shí)間；二是實(shí)現(xiàn)盡快的流暢性以及靈活性，要對(duì)這些參數(shù)進(jìn)行設(shè)置，要么得到較快的速度，要么得到比較流暢的行為。同時(shí)我們會(huì)不斷優(yōu)化飛行的路徑。每1/3秒就進(jìn)行一次飛行軌跡優(yōu)化，它由4個(gè)元素所決定：

• 環(huán)境并不會(huì)有太多問(wèn)題，我們必須找到復(fù)雜環(huán)境當(dāng)中比較好的飛行路徑。

• 控制系統(tǒng)必須足夠復(fù)雜，像我剛才所說(shuō)的。

• 必須有相應(yīng)的相關(guān)限制組織，它只朝一個(gè)方向前進(jìn)，不可能出現(xiàn)逆回。事實(shí)上，有很多要探討的預(yù)先條件才能解決避障過(guò)程。

• 在沒(méi)有辦法看到整體環(huán)境下，必須設(shè)想。導(dǎo)航過(guò)程中，眼睛能看到的只是20-40米的能見(jiàn)度，因?yàn)楦袘?yīng)器是輕量的，可能沒(méi)有能力看到20-40米以外的物體。

我們一開(kāi)始想建立一個(gè)空間，空間建成的過(guò)程中，作為空間集合，它不斷發(fā)生變化，我們對(duì)整個(gè)集合形成一個(gè)自由空間，優(yōu)化的問(wèn)題是在傳統(tǒng)共識(shí)集成的基礎(chǔ)上。左上方，大家可以看到這是直行的動(dòng)作，這是比較基礎(chǔ)的路徑的探討。但是整個(gè)操作的過(guò)程當(dāng)中，也有很多的點(diǎn)，它不再是傳統(tǒng)的物理空間，是損失空間，它可以是六個(gè)維度。在這個(gè)過(guò)程中，我們就能找到安全飛行的軌跡。基于右邊，到底我們的機(jī)緣是什么？我們可以對(duì)這樣的解決方案進(jìn)行選擇，飛得快或者飛得順暢，一系列前置條件都必須以非常高的方式才能最終實(shí)現(xiàn)比較順暢的導(dǎo)航解決方案。

復(fù)雜性，我們視野很有限。比如你站在Pk（tk）的點(diǎn)，你需要去紅色五角星的地方，你的視野只能看到屋內(nèi)一部分，你要計(jì)劃一個(gè)飛行軌跡，你的解決方案就是我畫(huà)的這樣，但是必須要確保，你沒(méi)有辦法看到視野以外的東西。如果你飛得特別快，如果你在中間出現(xiàn)了障礙物，你應(yīng)該怎么做，你沒(méi)有時(shí)間停下來(lái)，可能會(huì)撞上去，應(yīng)該怎么做呢？對(duì)我們來(lái)說(shuō)是如何解決有效地視野，每秒飛行速度20米，你已經(jīng)沒(méi)有辦法通過(guò)減速和加速實(shí)現(xiàn)有效停止，可能遇到避障的反應(yīng)時(shí)間只有20米，如果沒(méi)有感應(yīng)器，要實(shí)現(xiàn)40米寬的視野就沒(méi)有辦法避障。

軌跡規(guī)劃的過(guò)程

我們只做部分軌跡的規(guī)劃，如果有第二個(gè)參數(shù)可以做第二次軌跡操作，這樣的操作能保證本地停下來(lái)，在G點(diǎn)保證飛行的安全性，有兩個(gè)努力的過(guò)程：

• Pk到Pk+1。

• 現(xiàn)場(chǎng)情況做軌道的集成和生成，這樣的知覺(jué)和行動(dòng)的回落當(dāng)中，飛得盡量快。那么系統(tǒng)本身是否停下來(lái)可以形成系統(tǒng)的知覺(jué)，最后規(guī)劃下一步的下一步飛行路徑，這樣我們會(huì)有所為停車的原則。這就是我們?cè)诮鉀Q方案上的方法。

一開(kāi)始我們飛得足夠快，使用快速飛行，一旦到達(dá)終點(diǎn)，后來(lái)要實(shí)現(xiàn)任何視野當(dāng)中的障礙物，可以實(shí)現(xiàn)急速停車，系統(tǒng)再進(jìn)行下一步路徑的優(yōu)化。這是我們使用的非常基礎(chǔ)的算法，在沒(méi)有GPS過(guò)程中，只要使用裝載的感應(yīng)器就可以做到二次軌道規(guī)劃，可以保證安全性、完整性，如果有任何的解決方案，我們的機(jī)器人總是可以使用這些解決方案。最后是優(yōu)化，事實(shí)上只能稱之為次優(yōu)化，大部分復(fù)雜的限制條件，我們只能保證飛行器的安全性和完整性，但是我們會(huì)不斷嘗試最優(yōu)解決方案。

在有限的視野當(dāng)中，我們?nèi)绾巫鲕壽E規(guī)劃，左邊的圖可以看到，只能看到綠色部分。事實(shí)上機(jī)器人實(shí)現(xiàn)了多個(gè)無(wú)人機(jī)的角度切換，切換過(guò)程中，一旦遇到障礙物，會(huì)快速停下來(lái)進(jìn)行計(jì)算，最終找到最優(yōu)的飛行路線。無(wú)人機(jī)在室外的活動(dòng)過(guò)程將更加復(fù)雜，如旁邊種了很多樹(shù)，我們希望達(dá)到每秒20米的飛行速度，我們實(shí)行了動(dòng)態(tài)的軌跡的生成，同時(shí)可以幫助我們實(shí)現(xiàn)自由空間的軌跡的生成，同時(shí)保證飛行器的安全性以及完整性。室外飛行，無(wú)人機(jī)不知道樹(shù)在哪里，沒(méi)有任何GPS，但是飛行速度很快，這部分能達(dá)到每秒5米的飛行速度。

我們正在做的另外一個(gè)案例是讓無(wú)人機(jī)去找一個(gè)物體，找到后自動(dòng)停下來(lái)。無(wú)人機(jī)不知道周圍的環(huán)境，它飛得足夠快，找到潛在的地址，找到物體就停下來(lái)。在救援過(guò)程中要飛得越快越好，找到生存的物體，找到可疑的爆炸物，只要找到就可以。操作過(guò)程中實(shí)現(xiàn)了優(yōu)化操作，在戶外環(huán)境當(dāng)中，無(wú)人機(jī)并不知道物體放在室內(nèi)，在整個(gè)過(guò)程當(dāng)中，關(guān)閉所有門(mén)，而無(wú)人機(jī)需要尋找開(kāi)著的門(mén)進(jìn)入室內(nèi)，接著尋找物體，它最終尋找物體所在地是它的軌跡，并且能夠避開(kāi)一切障礙物。

無(wú)人機(jī)成功進(jìn)入室內(nèi)，我們使用很簡(jiǎn)單的是物體監(jiān)測(cè)算法。當(dāng)飛回來(lái)之后，它并不記得第一次飛行路徑中所看到的目標(biāo)物，無(wú)人機(jī)又開(kāi)始分析，從黑暗的室內(nèi)環(huán)境進(jìn)入高亮度的室外環(huán)境，再回到室內(nèi)環(huán)境中，它最終告訴我們它找到橙色的標(biāo)記物。它以每秒5米的速度快速飛行，我們把速度推到每秒10米，這取決于障礙物的密度。自由空間可以達(dá)到每秒20米，但是障礙物空間中只能達(dá)到每秒5米的飛行速度。

上圖展示的是室內(nèi)的導(dǎo)航的過(guò)程，左下角的圖片展示了無(wú)人機(jī)的位置，同時(shí)顯示了我們想讓它達(dá)到的位置，整個(gè)過(guò)程中它會(huì)找到一些障礙物，比如墻壁、沙發(fā)，還有可能出現(xiàn)的人體，它繞過(guò)了沙發(fā)，看到了Jeason，我的同事。他避開(kāi)了Jeason，去到另外一個(gè)空曠的區(qū)域，遇到我另外一位同事，他跨過(guò)所有障礙物來(lái)到一個(gè)空曠的空間，最終完成了它的制圖過(guò)程，像這樣的軟件可以幫助我們實(shí)時(shí)收集無(wú)人機(jī)所看到的信息，形成制圖成果。

上圖是在倉(cāng)庫(kù)環(huán)境當(dāng)中采用無(wú)人機(jī)的用途，比如它可以看到架子上所有的物件，可以讓人們知道在什么地方擺放什么樣的物件，看起來(lái)很簡(jiǎn)單，但我們不知道哪些地方有東西，很多時(shí)候工人把東西亂放，然后就忘記了把東西放在什么地方。他們可能知道這個(gè)物件在倉(cāng)庫(kù)里面，但具體不知道在哪個(gè)位置。我們利用無(wú)人機(jī)去找它，這樣就不需要再重新整理倉(cāng)庫(kù)了，只需要派一個(gè)無(wú)人機(jī)就知道這個(gè)物件擺在什么地方。

另外，我們可以避開(kāi)物體相互碰撞，比如避免和汽車、自行車碰撞。無(wú)人機(jī)可以識(shí)別運(yùn)動(dòng)的物體和靜止的物體，這點(diǎn)非常重要，可實(shí)現(xiàn)無(wú)人駕駛。

我向大家展示機(jī)器的另外一項(xiàng)能力，我們和高通公司在合作，這是我們實(shí)驗(yàn)室進(jìn)行的實(shí)驗(yàn)，最小的無(wú)人機(jī)是全自動(dòng)化無(wú)人機(jī)，大概只有15G，沒(méi)有任何的操縱者，也沒(méi)有GPS，它只是用來(lái)滿足從一個(gè)地方到另一個(gè)地方最近的路徑是怎樣的。第一個(gè)視頻，無(wú)人機(jī)可以繞過(guò)第一個(gè)障礙物，從右繞過(guò)第二個(gè)障礙物。我們有不同的柱子，每隔3米設(shè)立一個(gè)柱子，讓機(jī)器以每秒5米的速度繞過(guò)這些柱子。這是一個(gè)比較窄的縫，需要無(wú)人機(jī)自動(dòng)穿過(guò)縫隙。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。