這些系統(tǒng)已經(jīng)非常智能，但我們?cè)诖嘶�礎(chǔ)上設(shè)計(jì)了智能用戶界面讓車輛更加定制化以適應(yīng)不同的用戶。虛擬駕駛系統(tǒng)與交通移動(dòng)云連接，控制著車輛。因此，定制化和智能化是自動(dòng)駕駛車輛發(fā)展的兩個(gè)方向。

接下來(lái)討論幾個(gè)駕駛汽車中的應(yīng)用以及福特在自動(dòng)駕駛中的研究。在汽車控制中有自動(dòng)動(dòng)力系統(tǒng)控制、自動(dòng)轉(zhuǎn)向控制和半自主懸架系統(tǒng)這些不同的系統(tǒng)經(jīng)過(guò)標(biāo)定可以實(shí)現(xiàn)舒適、常規(guī)和運(yùn)動(dòng)三種模式之間的切換。

車輛模式的選擇共有27中組合，讓駕駛員在這之間進(jìn)行選擇是一件困難的事，而智能系統(tǒng)則可以基于道路特點(diǎn)和駕駛員的反應(yīng)選擇最優(yōu)的模式，這也是定制化的一個(gè)方面。另一個(gè)重要的應(yīng)用是智能巡航控制，它基于速度曲線尋找最優(yōu)的巡航速度設(shè)置點(diǎn)來(lái)達(dá)到最優(yōu)化燃油消耗的目標(biāo)。

通過(guò)對(duì)數(shù)字地圖的分析、交通標(biāo)志的識(shí)別、道路幾何形狀的辨別系統(tǒng)能夠?yàn)轳{駛者建議最優(yōu)的加減速、檔位，提供最高效的駕駛模式選擇。

此外，分析駕駛員的行為由此生成評(píng)估報(bào)告、根據(jù)車輛在不同時(shí)間頻繁的行車、停車的記錄可以估計(jì)出下一個(gè)目的地。

福特在自動(dòng)駕駛領(lǐng)域的布置和發(fā)展包括投資了 Argo AI 以及成立了自動(dòng)駕駛子公司AV LLC，這兩家由福特所有的獨(dú)立實(shí)體計(jì)劃在2021年前完成研發(fā)并投入生產(chǎn)。

福特研究自動(dòng)駕駛采用的是分層級(jí)的方法，層級(jí)從反射級(jí) Reflexive 到深思級(jí) Reflective。反射級(jí)指的是當(dāng)人們?cè)隈{駛時(shí)不需要思考而下意識(shí)作出的一些舉動(dòng)，Reflective 則是完全相反的，比如人在高速駕駛的時(shí)候會(huì)不斷地思考獲取最佳的決策。

分層級(jí)方法有三個(gè)層級(jí)，Decision Making 曾屬于高層規(guī)劃，基于強(qiáng)化學(xué)習(xí)、博弈論方法；稍低一個(gè)層級(jí)的 Path Planning主要完成避障等場(chǎng)景；沿著規(guī)定好的軌跡行駛則是由最后的 Path Following層級(jí)使用模型預(yù)測(cè)控制完成。

Path Planning 部分使用的是Q強(qiáng)化學(xué)習(xí)方法，強(qiáng)化學(xué)習(xí)通過(guò)最大化累計(jì)收益函數(shù)Q函數(shù)來(lái)獲得最佳決策，此處狀態(tài)為車輛本身以及相鄰車輛的實(shí)時(shí)的橫向和縱向位置，行為是車道保持、巡航速度增減以及左右換道。仿真器用來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)擬合決策Q函數(shù)，該算法提供了狀態(tài)到行動(dòng)的映射，得到的是貝爾曼方程的實(shí)時(shí)解。

強(qiáng)化學(xué)習(xí)近些年變得很火熱尤其是谷歌的 Deepmind 推出了AlphaGo取得了成功，他們提出了 Deep Q Learning（DQN），現(xiàn)在幾乎成了強(qiáng)化學(xué)習(xí)的標(biāo)準(zhǔn)。在DQN算法中，我們建立了一個(gè)人工目標(biāo)于是得到：

y與Q的差值可類比監(jiān)督學(xué)習(xí)中的預(yù)測(cè)值與標(biāo)簽的差值，由此得到的時(shí)域差用來(lái)更新網(wǎng)絡(luò)得到最優(yōu)值。在此基礎(chǔ)上，Deepmind提出了三個(gè)主要的改進(jìn)形成了double DQN，首先是提出適合多層神經(jīng)網(wǎng)絡(luò)的Q函數(shù)；第二他們提出一個(gè)采樣任意的minibatch的方式處理訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)；第三個(gè)則是他們提出了兩個(gè)Q函數(shù)分別為當(dāng)前Q函數(shù)和目標(biāo)Q函數(shù)來(lái)更新網(wǎng)絡(luò)，這些改進(jìn)使得強(qiáng)化學(xué)習(xí)更加穩(wěn)定。

然而，當(dāng)福特直接使用這些方法是發(fā)現(xiàn)訓(xùn)練神經(jīng)網(wǎng)絡(luò)經(jīng)常容易失敗并且訓(xùn)練速度很慢。因此他們加入了一些常識(shí)性的規(guī)則，當(dāng)發(fā)現(xiàn)行為不安全時(shí)，將安全的行為加入網(wǎng)絡(luò)，對(duì)碰撞的判別會(huì)混合到采樣隨機(jī)minibatch中用于網(wǎng)絡(luò)的更新，最終結(jié)果取得顯著性效果。

在強(qiáng)化學(xué)習(xí)中，應(yīng)該不僅僅依賴于對(duì)數(shù)據(jù)這些短期性的經(jīng)驗(yàn)的學(xué)習(xí)，一些常識(shí)性的長(zhǎng)期經(jīng)驗(yàn)規(guī)則的使用也很重要。