實(shí)驗(yàn)分析

我們?cè)赟UN RGB－D和Pix3D數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。SUN RGB－D是真實(shí)的場(chǎng)景數(shù)據(jù)集，包含10335張真實(shí)的室內(nèi)圖片，及其對(duì)應(yīng)的房間布局、物體包圍盒和粗糙點(diǎn)云。Pix3D有約400個(gè)較精細(xì)的家具模型，對(duì)應(yīng)著約10000張真實(shí)圖片。要重建出較好的物體三維形狀，我們需要較好的三維GT，所以我們先用Pix3D對(duì)MGN進(jìn)行預(yù)訓(xùn)練。LEN和ODN則在SUN RGB－D上被預(yù)訓(xùn)練，然后將它們與MGN整合在一起，在SUN RGB－D上Fine－tuning。另外，二維包圍盒檢測(cè)網(wǎng)絡(luò) （Faster R－CNN） 會(huì)在COCO上預(yù)訓(xùn)練，在SUN RGB－D上Fine－tuning。關(guān)于詳細(xì)的訓(xùn)練策略、參數(shù)和效率，請(qǐng)查看我們的論文和補(bǔ)充材料。

聯(lián)合學(xué)習(xí)對(duì)三個(gè)子任務(wù)均有影響。我們的方法在三維布局及相機(jī)姿態(tài)（表1）、三維物體包圍盒檢測(cè)（表2、表3）、物體重建（表4）上均達(dá)到了SOTA。

布局估計(jì)：

我們將本文方法與現(xiàn)有的布局理解工作進(jìn)行了比較。如表1所示，對(duì)房間布局、對(duì)象包圍盒和網(wǎng)格進(jìn)行聯(lián)合訓(xùn)練有助于提高布局估計(jì)精度，比現(xiàn)有方法提高了2％。

相機(jī)姿態(tài)估計(jì)：相機(jī)姿態(tài)由R（β，γ）定義，因此我們用GT和估計(jì)出的俯仰角β及橫滾角γ間的平均絕對(duì)誤差來(lái)衡量估計(jì)精度。結(jié)果（表1）表明，聯(lián)合學(xué)習(xí)也有利于相機(jī)姿態(tài)估計(jì)。

表1． SUN－RGB－D三維布局與相機(jī)姿態(tài)估計(jì)的比較。

三維目標(biāo)檢測(cè)：

表2比較了本文方法與現(xiàn)有方法對(duì)各類(lèi)物體的檢測(cè)結(jié)果。比較表明，我們的方法較最新的方法有了顯著的改進(jìn)，并且效果也優(yōu)于現(xiàn)有方法的加強(qiáng)版本。原因有兩方面：一是聯(lián)合學(xué)習(xí)中的全局損失涉及幾何約束，保證了預(yù)測(cè)結(jié)果的幾何合理性；二是ODN中的多邊關(guān)系特征有利于預(yù)測(cè)空間占有（spatia1 occupancy），提升了三維目標(biāo)檢測(cè)的精度。在表3對(duì)物體姿勢(shì)預(yù)測(cè)的比較中，我們使用物體的平移、旋轉(zhuǎn)和縮放誤差作為指標(biāo)。結(jié)果表明，該方法不僅能獲得合理的空間占有率（mAP），而且能獲得更精確的物體姿態(tài)。

表2． 3D物體檢測(cè)比較。

表3． 物體姿態(tài)預(yù)測(cè)比較。

網(wǎng)格重建：

表4中物體形狀重建的比較指標(biāo)為樣本到重建網(wǎng)格的Chamfer距離。結(jié)果表明，本文的剪邊及局部密度策略均可提高平均精度�？赡艿脑�因是使用局部密度可以保持小規(guī)模拓?fù)浣Y(jié)構(gòu)，而且剪邊對(duì)避免錯(cuò)誤的拓?fù)湫薷母�魯棒�?/p>

表4． Pix3D物體重建比較。

通過(guò)圖5在網(wǎng)格級(jí)別的比較可以看出，我們的MGN對(duì)重建結(jié)果拓?fù)浣Y(jié)構(gòu)的控制更優(yōu)秀。圖6也表明，我們的聯(lián)合學(xué)習(xí)方法可以得到合理的整體三維重建結(jié)果。

消融實(shí)驗(yàn)

為了觀察每個(gè)點(diǎn)的重要性，我們對(duì)比了以下幾種網(wǎng)絡(luò)配置：

C0：不使用多邊關(guān)聯(lián)特征（ODN）和聯(lián)合訓(xùn)練（Baseline）；

C1：Baseline＋關(guān)聯(lián)特征；

C2：Baseline＋ 聯(lián)合訓(xùn)練只使用cooperative loss Lco；

C3：Baseline＋ 聯(lián)合訓(xùn)練只使用global loss Lg；

C4：Baseline＋ 聯(lián)合訓(xùn)練（Lco ＋ Lg）；

Full：Baseline＋關(guān)聯(lián)特征＋聯(lián)合訓(xùn)練。

對(duì)比結(jié)果如表5所示。通過(guò)對(duì)比C0 v．s． C4 和C1 v．s． Full可以發(fā)現(xiàn)不管用不用關(guān)聯(lián)特征，聯(lián)合訓(xùn)練對(duì)三個(gè)子網(wǎng)絡(luò)均有提升。C0 v．s．C1 和C4 v．s． Full的對(duì)比說(shuō)明使用關(guān)聯(lián)特征能提高ODN及MGN的效果。C0 v．s． C2 和C0 v．s． C3的比較說(shuō)明Lco 和 Lg對(duì)最終的結(jié)果均有積極影響，如果聯(lián)合使用，效果更佳。我們還發(fā)現(xiàn)Lg隨著目標(biāo)檢測(cè)性能的提高而減小，這與物體對(duì)齊對(duì)網(wǎng)格重建有顯著影響的直覺(jué)是一致的。在SUN RGB－D數(shù)據(jù)集上Fine－tuning MGN不能提升Pix3D數(shù)據(jù)集上單個(gè)物體重建的精度，這反映出物體重建依賴(lài)于高質(zhì)量網(wǎng)格的良好監(jiān)督。以上內(nèi)容說(shuō)明，對(duì)所有子任務(wù)進(jìn)行聯(lián)合學(xué)習(xí)是進(jìn)行整體場(chǎng)景三維理解與重建的一個(gè)可行的解決方案。

表5． SUN RGB－D消融實(shí)驗(yàn)（Scene mesh需乘以10－2）。