Holopix50k發(fā)布: 最多最豐富的雙目數據集大幅提升多個相關任務性能?
由于這一數據集主要集中于針對水平排列相機的立體視覺，而在垂直方向上的視差會影響立體視覺匹配算法的性能，需要去除具有垂直視差的圖像。在這樣的篩選后剩下約60k的圖像對。
垂直視差造成的匹配性能下降，c和d分別是垂直方向上有2像素和5個像素視差下的匹配結果。
由于絕大多數照片是由Hydrogen One拍攝的，其后攝基線只有12mm前攝則為5mm，場景中包含的視差信息應該是處于有限范圍內的，所有研究人員通過視差分析模型去除了包含極端誤差的圖像和立體特征較差的圖像對，最終得到了約50k的立體視覺圖像對。
為了探索數據集的分布，研究人員利用在coco數據集上預訓練的Mask－RCNN目標檢測器對每一對圖像的左圖來進行檢測分析，結果表明其中包含了大量豐富的常見物體，由于這是社交媒體平臺，所以其中會包含很多的人物，共檢測到了約21k個人體實例。此外數據集中還包含了風景和肖像攝影，為數據集貢獻了可觀的多樣性。
Holopix中物體的詞云分布包含了很多常見的物體
定量測評
為了展現數據集的優(yōu)勢，研究人員利用熵、BRISQUE、SR－metric和ENIQA等指標比較了Holopix與現有的數據集，結果如下表所示 ：
除了數據集的數量顯著高于其他數據集外，可以看到其具有最高的SR指標，意味數據集的質量在人類感知下是最高的、熵值第二高意味著圖像中包含的信息也很豐富。
研究人員將數據集按照分辨率分為了HD（720p）和SD（360p）兩個子集，其指標在數據集比較中都處于top2的范圍內。
除了數據集本身的比較外，研究人員還利用這一數據集重新訓練了幾個關鍵的立體視覺任務模型，都得到了大幅的性能提升。
針對圖像超分辨任務，采用了PASSRNet模型進行4x圖像超分辨，在Holopix50k數據集上訓練的結果與Flickr1024上的結果相比具有非常大的性能提升。下表顯示了隨著訓練數據集的增加，得到的模型在不同測試集上的結果也有著顯著提升。
下圖可以看到基于這一大型數據集訓練的結果要明顯優(yōu)于Flickr1024數據集的結果，細節(jié)得到更為豐富的重建：
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
