本文將分享加州大學助理教授王鑫和王威廉等人在ECCV spotlight的工作。為了實現(xiàn)VLN智能體，不僅需要學習理解語言語義和視覺環(huán)境，同時還要適應(yīng)視覺語言交互情況下的動態(tài)變化，研究人員提出了一種對抗驅(qū)動的反事實思考方法。模型通過學習評價有效的反事實條件來代替采樣充分但信息不足的數(shù)據(jù)，最終形成了一種比隨機采樣路徑方法更為有有效的對抗策略。

視覺語言導航（Vision－and－language navigation， VLN）是機器人基于自然語言指令在3D環(huán)境中進行移動以到達目標的任務(wù)。它不僅需要理解自然語言信息，同時還需要將周圍環(huán)境的視覺信息進行編碼，在語言指令的引導下利用場景的關(guān)鍵特征來向目標位置移動。

為了實現(xiàn)VLN智能體，不僅需要學習理解語言語義和視覺環(huán)境，同時還要適應(yīng)視覺語言交互情況下的動態(tài)變化。這一復雜的任務(wù)所面臨的最大困難在于訓練數(shù)據(jù)的稀缺性。例如在Room－to－Room（R2R）數(shù)據(jù)集中包含了超過二十萬條可能的路徑，但數(shù)據(jù)集中卻只有大約一萬四千條采樣路徑。如此稀缺的數(shù)據(jù)使得智能體在交換環(huán)境中學習語言和視覺任務(wù)的優(yōu)化匹配問題變得十分困難。

而對于人類來說，通常缺乏結(jié)合視覺感知和語言指令來對不熟悉的環(huán)境進行探索的能力，然而人類的思維還是可以利用反事實推理來完善缺失的信息。例如，如果人類按照“右轉(zhuǎn)”的指令但看到了門擋在前面，人們就會自然而然的思考要是左轉(zhuǎn)會遇到什么情況；如果我們停在餐桌前而不是徑直走過，那么指令應(yīng)該是什么樣的呢？我們可以看到反事實推理可以通過探索并考量可能的行為方式（并沒有實際發(fā)生，類似于設(shè)想）來改進VLN任務(wù)的表現(xiàn)。這可以使得主體在數(shù)據(jù)缺乏的場景下通過環(huán)境的引導熟悉（bootstrapping familiarity）和指令與多個行為策略選項中的聯(lián)系來進行有效操作。

反事實思考已經(jīng)被用于多種任務(wù)來增強模型的魯棒性，但還沒有顯式的反事實模型被針對性地用于VLN任務(wù)中。雖然有像Speaker－Follower這樣的方法對訓練樣本進行了增強，但隨機采樣方法太任意了。下圖展示了基于隨機采樣增強數(shù)據(jù)訓練的模型性能隨增強比例的變化，可以看到在60％以后性能幾乎就不再增加。這是由于這些路徑都是隨機采樣的，限制了反事實思考對于數(shù)據(jù)增強的所帶來的提升。

隨機采樣和APS采樣的對比，可以看到隨機手段對性能的提升會遇到瓶頸。

在這篇論文中，研究人員提出了一種對抗驅(qū)動的反事實思考方法，模型通過學習評價有效的反事實條件來代替采樣充分但信息不足的數(shù)據(jù)。研究人員首先引入了模型未知的對抗路徑采樣器（adversarial path sampler， APS）來生成富有挑戰(zhàn)并有效的增強路徑，作為目標導航模型的訓練樣本。在對抗訓練過程中，導航器嘗試著去完成APS生成的路徑并更好地優(yōu)化導航策略，而APS的目標則在于不斷生成更具挑戰(zhàn)性的路徑。這種對抗策略比隨機采樣路徑方法更為有有效。

此外在APS的增強下，模型對于陌生場景和未知場景具有更好地適應(yīng)性，實現(xiàn)基于環(huán)境的預(yù)探索機制。這樣在進入新環(huán)境后，機器人可以首先對其進行預(yù)探索并熟悉環(huán)境，隨后在自然語言的引導下完成任務(wù)。在R2R數(shù)據(jù)集上的結(jié)果表明APS可以被集成到多種VLN模型中，大幅提升已知和未知環(huán)境中的性能。