該擾動方程的推導(dǎo)過程與標(biāo)準(zhǔn)的DDP 擾動方程推導(dǎo)相似，不同點在于其根據(jù)當(dāng)前時刻不同隱變量z 的置信度b（z） 進(jìn)行了加權(quán)平均，而且在狀態(tài)轉(zhuǎn)換時不僅考慮了系統(tǒng)狀態(tài)x 的演變，還考慮了獲得不同的觀測值時置信度b 的變化。通過置信度b 進(jìn)行加權(quán)平均的過程，實際上就是把后續(xù)分支節(jié)點進(jìn)行合并的過程。所以利用該方法，就可以從軌跡樹的葉節(jié)點開始，進(jìn)行遞歸操作直至根節(jié)點為止，對整顆軌跡樹進(jìn)行后向過程操作。

由于問題假設(shè)并未對狀態(tài)轉(zhuǎn)移模型以及損失函數(shù)的形式進(jìn)行約束，所以Q 的形式一般而言是非線性非凸的。為了沿用凸優(yōu)化的流程，我們需要對Q 進(jìn)行如下所示的二次近似操作。

此時我們就可以利用標(biāo)準(zhǔn)的凸優(yōu)化方法對整顆軌跡樹進(jìn)行優(yōu)化操作了。通過求解上述擾動函數(shù)的二次近似函數(shù)的極小值，我們可以得到當(dāng)前時刻的最優(yōu)動作擾動，如下。

其中k 和K 分別是該時刻下開環(huán)控制和反饋控制的增益（具體推導(dǎo)過程與取值見論文）。

四、實驗及結(jié)果

為了進(jìn)行對比實驗驗證PODDP 算法的效果，論文提出了兩種有實際意義的baseline 算法：

Probability Weighted DDP （PWDDP）：其根據(jù)當(dāng)前時刻的置信度直接對所有可能性進(jìn)行加權(quán)平均操作，而不考慮由于不同的未來觀測值而產(chǎn)生的軌跡分支；

Maximum Likelihood DDP （MLDDP）：其只考慮當(dāng)前時刻下置信度最高的隱變量，而忽略其他的可能性。這兩種baseline 算法都是常見的POMDP 應(yīng)對策略。

論文提出了三類不確定性，并為每一類不確定性都設(shè)置了一個實驗場景：

目標(biāo)函數(shù)不確定 （T－Maze 場景）：我們的車輛位于一個T 字型的道路入口處，希望走到一個不確定的目標(biāo)地點。該目標(biāo)地點可能是道路的左側(cè)，也可能是道路的右側(cè)，而車輛必須沿側(cè)道路行駛至靠近分叉口的地方才能夠得到更好的觀測，以確定目標(biāo)所處的位置。

本體系統(tǒng)運動學(xué)規(guī)律不確定（Muddy Track 場景）：我們的車輛在一條泥濘的道路上朝一個目標(biāo)地點行駛，但右側(cè)的道路有一定的可能性會更加平滑。而我們的車輛必須在行駛中探索右側(cè)道路是否真的更平滑，從而規(guī)劃出一條最優(yōu)的行進(jìn)路線。

其他個體意圖不確定 （Lane Change 場景）：我們的車輛希望并線到左側(cè)車道，可是那里已經(jīng)有另一輛車了。我們需要時刻評估對方是比較合作禮讓的，還是比較沖動激進(jìn)的，進(jìn)而確定應(yīng)該超車并線，還是等待對方先向前走遠(yuǎn)再并線到它后方。

下圖展示了在三種不同的場景下各個算法的量化表現(xiàn)。在三種場景下，論文提出的 PODDP 算法的累計實際損失函數(shù)值均顯著優(yōu)于另外兩種baseline 算法。

下圖展示了PODDP 算法在三中場景下規(guī)劃出的軌跡樹。

論文還加入了一項額外的實驗，以進(jìn)一步展示PODDP 算法優(yōu)化出的軌跡的最優(yōu)性。該實驗沿用了T－Maze 場景，在該場景下從小到大調(diào)整在同一位置的觀測不確定性的大小規(guī)模，從而對比不同算法在不同的不確定性規(guī)模下的性能。結(jié)果如下圖所示，可見PODDP 算法在不同的不確定性規(guī)模下均顯著優(yōu)于baseline 算法，而且具有更高的穩(wěn)定性。

五、討 論

這項工作結(jié)合了離散化隱變量和連續(xù)空間下的動作軌跡優(yōu)化，提出了一種新的微分動態(tài)規(guī)劃變體，可以有效地處理連續(xù)空間下的多模態(tài)不確定性POMDP 問題，填補(bǔ)了相關(guān)空白。由于軌跡樹的復(fù)雜度會隨著觀測推演的數(shù)量增加而指數(shù)膨脹，所以論文提出了一種層級PODDP 結(jié)構(gòu)，不必在每一個時刻都進(jìn)行觀測，以降低運算復(fù)雜度，同時保持了控制輸出的頻率。

值得注意的是，雖然在該論文中設(shè)置的實驗場景均為無人車應(yīng)用，但是論文提出的PODDP 算法完全可以應(yīng)用在各種不同的機(jī)器人軌跡規(guī)劃和優(yōu)化場景中，處理不同類型的多模態(tài)不確定性。

關(guān)于我“門”

將門是一家以專注于發(fā)掘、加速及投資技術(shù)驅(qū)動型創(chuàng)業(yè)公司的新型創(chuàng)投機(jī)構(gòu)，旗下涵蓋將門創(chuàng)新服務(wù)、將門技術(shù)社群以及將門創(chuàng)投基金。將門成立于2015年底，創(chuàng)始團(tuán)隊由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

將門創(chuàng)新服務(wù)專注于使創(chuàng)新的技術(shù)落地于真正的應(yīng)用場景，激活和實現(xiàn)全新的商業(yè)價值，服務(wù)于行業(yè)領(lǐng)先企業(yè)和技術(shù)創(chuàng)新型創(chuàng)業(yè)公司。

將門技術(shù)社群專注于幫助技術(shù)創(chuàng)新型的創(chuàng)業(yè)公司提供來自產(chǎn)、學(xué)、研、創(chuàng)領(lǐng)域的核心技術(shù)專家的技術(shù)分享和學(xué)習(xí)內(nèi)容，使創(chuàng)新成為持續(xù)的核心競爭力。

將門創(chuàng)投基金專注于投資通過技術(shù)創(chuàng)新激活商業(yè)場景，實現(xiàn)商業(yè)價值的初創(chuàng)企業(yè)，關(guān)注技術(shù)領(lǐng)域包括機(jī)器智能、物聯(lián)網(wǎng)、自然人機(jī)交互、企業(yè)計算。在近四年的時間里，將門創(chuàng)投基金已經(jīng)投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數(shù)科技、迪英加科技等數(shù)十家具有高成長潛力的技術(shù)型創(chuàng)業(yè)公司。