二、問題規(guī)范化

該論文考慮的是如下圖所示的POMDP 問題：系統(tǒng)處于連續(xù)的狀態(tài)－動作－觀測空間中，而系統(tǒng)的狀態(tài)轉(zhuǎn)移除了受到上一時刻的狀態(tài)和動作影響，還由一個離散的隱變量z 決定，而每一時刻的觀測量則由當(dāng)前時刻的系統(tǒng)狀態(tài)以及隱變量共同決定。其中隱變量z 可用于表示系統(tǒng)中不確定性的不同模態(tài)，如旁側(cè)車輛駕駛者的性格、不同行進(jìn)路線的路況、路面的物理狀況等。

對隱變量z 的不同可能性的置信度b（z），我們可以通過如下定義進(jìn)行更新。

問題的最終目標(biāo)是對行為策略π 進(jìn)行優(yōu)化，從而使得累計(jì)損失函數(shù)值 J 達(dá)到最低。

其中l(wèi) 和lf分別為根據(jù)置信度b 加權(quán)平均得到的過程損失函數(shù)和最終損失函數(shù)。由該公式取最優(yōu)行為策略π＊ 后得出的值函數(shù)V 可以表示成貝爾曼方程形式，進(jìn)行遞歸處理。

三、方 法

論文提出了一種新的微分動態(tài)規(guī)劃（DDP）算法，Partially Observable Differential Dynamic Programming （PODDP），可用于解決連續(xù)空間下的POMDP 問題。與一般的iLQG／DDP 算法相似，PODDP 也把流程分為了前向過程（Forward Pass）和后向過程（Backward Pass），并對動作序列進(jìn)行迭代優(yōu)化。

1． 前向過程在前向過程進(jìn)行前，動作序列U ＝ ｛ u0， u1， …， uT－1 ｝ 需要預(yù)先給定。在初始化的前向過程中，一般使用隨機(jī)生成的動作序列，或者通過某些前導(dǎo)知識有規(guī)律地生成動作序列。在此后的過程中，將使用前一次優(yōu)化得到的動作序列，進(jìn)行迭代優(yōu)化。

在確定性系統(tǒng)中，由于狀態(tài)轉(zhuǎn)移過程是確定的，故給定的動作序列將衍生出一條鏈?zhǔn)降臓顟B(tài)序列。但在我們考慮的系統(tǒng)中，由于多模態(tài)不確定性的存在，類比于離散空間下的POMDP 問題，每一個節(jié)點(diǎn)都可以根據(jù)隱變量z 的不同取值可能性，延伸出多個分支，最終形成一個樹狀的軌跡推演，即軌跡樹（trajectory tree），如上圖所示。

為了更直觀地理解，我們可以考慮一個公路上的變道場景。如下圖，我們的汽車（紅色）希望變道到左側(cè)車道，可是左側(cè)車道上已經(jīng)有一輛車了。我們在進(jìn)行軌跡優(yōu)化的時候，將未來可能獲得的關(guān)于旁側(cè)車輛駕駛者性格的觀測納入考慮當(dāng)中，對方可能是合作性格的，也可能是激進(jìn)性格的，這兩種性格分別對應(yīng)兩個不同的模態(tài)。在向前推演的時候，根據(jù)這兩種不同模態(tài)的最大似然值進(jìn)行分支，獲得軌跡推演樹。每一條從根節(jié)點(diǎn)到葉節(jié)點(diǎn)的完整支路對應(yīng)一條可能發(fā)生的軌跡。

2． 后向過程為了對軌跡樹進(jìn)行優(yōu)化，我們首先定義值函數(shù)擾動方程Qt以描述在某一時刻t 下系統(tǒng)狀態(tài)和動作的擾動對值函數(shù)的影響。