在做生成模型時(shí)，用一個(gè)生成網(wǎng)絡(luò)生成了一批圖，為了挑選幾張最好的做demo，可能要花費(fèi)大量的時(shí)間精力。為了解決該問(wèn)題，中國(guó)科學(xué)技術(shù)大學(xué)在讀博士古紓旸等人提出了一個(gè)全新的研究方向：生成圖片質(zhì)量評(píng)估（GIQA）。通過(guò)對(duì)單張生成圖片質(zhì)量的打分，我們可以“一鍵”挑出高質(zhì)量的圖。

本文首次提出對(duì)生成模型生成圖片的質(zhì)量進(jìn)行定量，客觀地衡量這一新的研究課題，并提出了幾種解決方案和一個(gè)數(shù)據(jù)集去衡量這些方案。通過(guò)豐富的實(shí)驗(yàn)證明了這個(gè)課題有了寬廣的應(yīng)用。

這些年來(lái)，深度生成模型取得了巨大的進(jìn)展，誕生了很多有趣的應(yīng)用，然而，并非所有生成的結(jié)果都很完美。如下圖所示，圖中四個(gè)角上的圖片均為StyleGAN在一只貓的數(shù)據(jù)集上生成結(jié)果。在這些圖片中，既有很多高質(zhì)量的貓（右下），也有很多圖質(zhì)量很差（完全看不出來(lái)是貓，左下）。

以往大家為了評(píng)估哪張圖生成的好，往往都是要靠人來(lái)判斷，這需要花費(fèi)大量人力成本。在實(shí)際應(yīng)用中，由于對(duì)于生成圖片的最差質(zhì)量缺少把控，很多產(chǎn)品遭受到了各種質(zhì)疑。基于此，我們提出了生成圖像質(zhì)量評(píng)估（GIQA）這一研究方向，并希望用評(píng)估算法對(duì)生成圖片的質(zhì)量進(jìn)行自動(dòng)的打分。為了實(shí)現(xiàn)這個(gè)目的，我們從基于學(xué)習(xí)的和基于數(shù)據(jù)的兩個(gè)角度提出了三種解決方法，利用這些方法，我們能夠?qū)崿F(xiàn)對(duì)生成圖片的質(zhì)量進(jìn)行打分，同時(shí)實(shí)現(xiàn)很多有趣的應(yīng)用。上圖中展示了我們對(duì)一個(gè)模型的生成圖片進(jìn)行打分的分布結(jié)果，在右下、右上、左上、左下中我們分別展示了模型評(píng)價(jià)的從高質(zhì)量到低質(zhì)量的生成圖片，可以觀察到我們算法評(píng)價(jià)的質(zhì)量基本上和人的評(píng)價(jià)是一致的。

下面將介紹我們是怎么實(shí)現(xiàn)用算法進(jìn)行生成圖片質(zhì)量評(píng)價(jià)的。

基于學(xué)習(xí)的GIQA

我們發(fā)現(xiàn)，在訓(xùn)練GAN的時(shí)候，生成圖片的質(zhì)量會(huì)隨著迭代次數(shù)的增加而變好。一個(gè)簡(jiǎn)單的想法是用迭代次數(shù)當(dāng)質(zhì)量的“偽標(biāo)簽”，通過(guò)監(jiān)督式的學(xué)習(xí)，來(lái)學(xué)一個(gè)打分器，對(duì)生成圖片的質(zhì)量進(jìn)行打分。然而，用迭代次數(shù)當(dāng)質(zhì)量并不精確，我們通過(guò)多個(gè)二分類(lèi)器（Multiple binary classifiers）回歸標(biāo)簽來(lái)平滑去噪，通過(guò)平均這些分類(lèi)器的分?jǐn)?shù)，可以極大的增強(qiáng)魯棒性和泛化能力。我們稱(chēng)之為MBC－GIQA。

數(shù)據(jù)驅(qū)動(dòng)GIQA

我們重新思考質(zhì)量評(píng)估這個(gè)問(wèn)題，發(fā)現(xiàn)“質(zhì)量”很難定義好。生成模型希望能生成服從已有的真實(shí)數(shù)據(jù)分布（real distribution）的圖片，因此，我們認(rèn)為“質(zhì)量”表征的是一張生成圖片和真實(shí)數(shù)據(jù)分布的接近程度。通俗的說(shuō)，就是一張生成圖片有多大可能性來(lái)自于真實(shí)分布。這個(gè)概率越大，表示質(zhì)量越高。因此，另一個(gè)直觀的想法是對(duì)真實(shí)分布直接建模。我們根據(jù)建模是參數(shù)化模型還是非參數(shù)化模型分成兩部分。

參數(shù)化模型：GMM－GIQA

我們將用高斯混合模型（GMM）來(lái)擬合真實(shí)數(shù)據(jù)分布在特征層面的特征。對(duì)于一張待測(cè)的圖片I，我們先提取他特征x，這個(gè)特征x在真實(shí)數(shù)據(jù)分布中出現(xiàn)的概率就表示了該圖的質(zhì)量。