近日

在深蘭科技的官方抖音上

發(fā)布了這樣一個視頻

這是利用人工智能技術(shù)，將電影《魔獸》中的片段轉(zhuǎn)成了動漫的畫面。本就科幻的劇情，在動漫場景下，不禁讓人重回游戲，再次走入兩個世界的種族為了各自的生存和家園奮起而戰(zhàn)的故事……

深蘭科學院的算法專家借助計算機視覺技術(shù)，基于機器學習和生成對抗網(wǎng)絡(luò)（GAN），對圖像進行了風格遷移處理，可將真實世界的圖像直接轉(zhuǎn)換為高品質(zhì)動漫風格。由此，畫師便可將節(jié)省下來的大量時間，用于更多富有創(chuàng)造性的工作，從而產(chǎn)生更大的價值。而經(jīng)典老電影，也可以利用去燥、上色、轉(zhuǎn)動畫等一系列人工智能方法進行處理，來一次二次元的穿越，滿足人們越來越多元化的視覺需求。

真實場景轉(zhuǎn)動畫

1．技術(shù)背景

 漫畫是在日常生活中我們能夠廣泛接觸到的一種藝術(shù)形式。除了藝術(shù)本身之外，它的適用范圍從出版媒體到兒童教育，和其他藝術(shù)形式一樣，很多著名的漫畫形象都是基于現(xiàn)實世界的場景創(chuàng)作的。圖1－1展示了真實照片轉(zhuǎn)換成漫畫的效果。

圖1－1人物變卡通

為什么要把真實場景轉(zhuǎn)換成卡通呢？在現(xiàn)實工作中，使用卡通風格手繪重現(xiàn)現(xiàn)實世界的場景是一個費時費力的工作，而且需要很多專業(yè)的繪畫技能。為了獲得高質(zhì)量的畫面，原畫作者必須仔細繪制每個線條，并對目標場景的每種顏色區(qū)域進行涂色。

目前看來，具有標準特征的現(xiàn)有藝術(shù)編輯軟件和算法無法產(chǎn)生令人滿意的漫畫效果。因此，如果有專業(yè)技術(shù)能夠自動將真實世界的照片轉(zhuǎn)換為高品質(zhì)的動漫風格畫面，對于畫師來說是非常有幫助的一件事：這可以為他們節(jié)省大量時間，讓他們專注于更有意義和創(chuàng)造性的工作。

以藝術(shù)方式對圖片進行處理的研究一直是計算機視覺的熱門方向。此前的傳統(tǒng)方式通常針對特定樣式開發(fā)特定的算法。然而，這意味著需要做出大量技術(shù)上的努力才能做出模仿個人藝術(shù)家的細致風格。而基于機器學習的風格遷移方法，可以通過示例圖片對圖像進行風格化，已經(jīng)引起了很多人的關(guān)注。特別是生成對抗網(wǎng)絡(luò)（GAN）引入了循環(huán)方式訓練，進一步探索并提高了風格遷移的質(zhì)量，GAN的獨特之處在于可以使用不成對照片和風格化圖像進行訓練。

盡管基于學習的風格遷移已經(jīng)有了很多成果，但最好的風格遷移方法仍無法生產(chǎn)具有可接受質(zhì)量的漫畫風格圖像。

究其原因：

首先，漫畫風不是添加紋理和邊界線，而是需要從現(xiàn)實世界圖像的復雜構(gòu)造中高度簡化；

其次，盡管藝術(shù)家之間風格各異，但卡通圖像具有一些明顯共通之處：邊緣清晰、顏色遮罩平滑、質(zhì)地相對簡單——這與其他形式的藝術(shù)作品截然不同。

這次我們要介紹的技術(shù)是清華大學提出CartoonGAN，一個基于GAN的全新照片漫畫化方法。該方法需要一組照片和一組漫畫圖像進行訓練。為了讓訓練數(shù)據(jù)易于獲得，同時獲得高質(zhì)量的結(jié)果，我們不需要讓兩組圖像互相配對或?qū)��?yīng)。從計算機視覺算法的角度來看，漫畫風格化的目標是將照片流型映射到漫畫流型中，同時確保其中的內(nèi)容不變。

2．技術(shù)細節(jié)

2．1 網(wǎng)絡(luò)結(jié)構(gòu)

CartoonGAN作者提出了一個專用的GAN網(wǎng)絡(luò)架構(gòu)，包括生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D，都比較直觀基礎(chǔ)，如圖2－1所示：

圖2－1CartoonGAN的生成器（上）／判別器（下）的網(wǎng)絡(luò)結(jié)構(gòu)

生成器網(wǎng)絡(luò)

生成器網(wǎng)絡(luò)G用于將輸入圖像映射到漫畫流型中。在模型經(jīng)過訓練后，漫畫風格化任務(wù)就可以執(zhí)行了。如圖2－1所示，G從平卷積階段開始，隨后是兩個下采樣卷積模塊，以對圖像進行空間壓縮和編碼。隨后使用相同布局的八個殘差區(qū)塊來構(gòu)建內(nèi)容和流形特征。最后，通過兩個上卷積模塊重構(gòu)輸出的漫畫風格圖像。

判別器網(wǎng)絡(luò)

為了與生成器網(wǎng)絡(luò)形成互補，判別器網(wǎng)絡(luò)D用于判斷輸入圖像是否是「真實的」漫畫圖。由于判斷圖像是否為漫畫是個要求不高的任務(wù)，因此使用D中參數(shù)較少的簡單判別器。與圖像分類任務(wù)不同，漫畫風格鑒別任務(wù)依賴于圖像的局部特征，所以判別器網(wǎng)絡(luò)D被設(shè)計得較淺。如圖2－1所示，在平層之后，網(wǎng)絡(luò)采用兩個步長的卷積塊來降低分辨率并編碼用于分類的基本局部特征。隨后，使用特征構(gòu)造塊和3×3卷積層來獲得分類返回。