前言:

在深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)中,人們正在努力提取特征,為各種視覺(jué)任務(wù)輸出有意義的表示。在一些任務(wù)中,我們只關(guān)注對(duì)象的幾何形狀,而不管顏色、紋理和照明等。這就是邊界檢測(cè)的作用所在。

本文來(lái)源于公眾號(hào)CV技術(shù)指南的技術(shù)總結(jié)系列。

更多內(nèi)容請(qǐng)關(guān)注公眾號(hào)CV技術(shù)指南,專注于計(jì)算機(jī)視覺(jué)的技術(shù)總結(jié),最新技術(shù)跟蹤。

問(wèn)題定義

圖1 邊界檢測(cè)

圖1是一個(gè)邊界檢測(cè)的例子,顧名思義,邊界檢測(cè)是從圖像中檢測(cè)對(duì)象邊界的任務(wù)。這是一個(gè)不適定的問(wèn)題,因?yàn)閱?wèn)題設(shè)置本身存在歧義。如圖所示,對(duì)于室內(nèi)房間圖像(左),ground truth(中)定義房間內(nèi)的ground truth對(duì)象邊界,并且預(yù)測(cè)(右)估計(jì)房間的對(duì)象邊界。然而,我們可以看到,估計(jì)的邊界遠(yuǎn)不止是ground truth,包括來(lái)自房間布局、窗簾,甚至沙發(fā)紋理的不必要的邊界線。提取干凈且有意義的對(duì)象邊界并不容易。

原始方法

邊界檢測(cè)的一個(gè)直接解決方案是將其視為語(yǔ)義分割問(wèn)題。在標(biāo)注中簡(jiǎn)單地將邊界為1和其他區(qū)域標(biāo)記為0,我們可以將其表示為一個(gè)二分類語(yǔ)義分割問(wèn)題,以二值交叉熵?fù)p失為損失函數(shù)。然而,它有兩個(gè)原因:高度不平衡的標(biāo)簽分布和每像素交叉熵?fù)p失的內(nèi)在問(wèn)題。

Cross Entropy Loss的局限性

當(dāng)使用交叉熵?fù)p失時(shí),標(biāo)簽的統(tǒng)計(jì)分布對(duì)訓(xùn)練精度起著很重要的作用。標(biāo)簽分布越不平衡,訓(xùn)練就越困難。雖然加權(quán)交叉熵?fù)p失可以減輕難度,但改進(jìn)并不顯著,交叉熵?fù)p失的內(nèi)在問(wèn)題也沒(méi)有得到解決。在交叉熵?fù)p失中,損失按每像素?fù)p失的平均值計(jì)算,每像素?fù)p失按離散值計(jì)算,而不知道其相鄰像素是否為邊界。因此,交叉熵?fù)p失只考慮微觀意義上的損失,而不是全局考慮,這還不足以預(yù)測(cè)圖像水平。

圖2 具有交叉熵?fù)p失的邊界預(yù)測(cè)

如圖2所示。對(duì)于輸入圖像(左),比較了交叉熵?fù)p失(中)和加權(quán)交叉熵?fù)p失(右)的預(yù)測(cè)。右邊的邊界比中間的要好得多,但預(yù)測(cè)的邊界并不干凈,骯臟的草地紋理邊界仍然存在。

Dice Loss

Dice Loss起源于S?rensen-Dice系數(shù),這是20世紀(jì)40年代用來(lái)測(cè)量?jī)蓚�(gè)樣本之間的相似性的統(tǒng)計(jì)數(shù)據(jù)。它是由米勒塔里等人帶到計(jì)算機(jī)視覺(jué)的。2016年進(jìn)行三維醫(yī)學(xué)圖像分割。

圖3 骰子系數(shù)

上式顯示了骰子系數(shù)方程,其中pi和gi分別表示對(duì)應(yīng)的像素預(yù)測(cè)值和ground truth。在邊界檢測(cè)場(chǎng)景中,pi和gi的值為0或1,表示像素是否為邊界,是的時(shí)候值為1,否則值為0。因此,分母是預(yù)測(cè)和ground truth的總邊界像素的和,數(shù)值是正確預(yù)測(cè)的邊界像素的和,因?yàn)橹挥挟?dāng)pi和gi值匹配時(shí)(兩個(gè)值1)才遞增。

圖4 骰子系數(shù)(設(shè)定視圖)

圖4是圖3的另一個(gè)視圖。從集理論的角度來(lái)看,其中骰子系數(shù)(DSC)是兩個(gè)集合之間重疊的度量。例如,如果兩組A和B完全重疊,DSC的最大值為1。否則,DSC開(kāi)始減少,如果兩個(gè)組完全不重疊,則最小值為0。因此,DSC的范圍在0到1之間,越大越好。因此,我們可以使用1-DSC作為骰子損失來(lái)最大化兩組之間的重疊。

在邊界檢測(cè)任務(wù)中,ground truth邊界像素和預(yù)測(cè)的邊界像素可以被視為兩個(gè)集合。通過(guò)利用Dice Loss,這兩組被訓(xùn)練一點(diǎn)地重疊。如圖4所示。分母考慮全局尺度上的邊界像素的總數(shù),而數(shù)值考慮局部尺度上的兩個(gè)集合之間的重疊。因此,Dice Loss在本地和全局上都考慮了損失信息,這對(duì)于高精度至關(guān)重要。

結(jié)果

圖5 邊界預(yù)測(cè)的結(jié)果

如圖5所示。使用Dice Loss(c列)的預(yù)測(cè)結(jié)果比其他方法(d、e列)具有更高的精度。特別是對(duì)于薄邊界,因?yàn)橹挥挟?dāng)預(yù)測(cè)的邊界像素與ground truth薄邊界重疊,并且在其他區(qū)域沒(méi)有預(yù)測(cè)的邊界像素時(shí),才可以減少Dice Loss