pix2pix 與 pix2pixHD的大致分析

目錄

pix2pix與pix2pixHD的生成器

判別器 PatchGAN（馬爾科夫判別器）

1、pix2pix

簡單粗暴的辦法

如何解決模糊呢？

其他tricks

2、pix2pixHD

高分辨率圖像生成

模型結構

Loss設計

使用Instance-map的圖像進行訓練

語義編輯

總結

---

圖像翻譯，指從一副圖像到另一副圖像的轉換?？梢灶惐葯C器翻譯，一種語言轉換為另一種語言。下圖就是一些典型的圖像翻譯任務：比如語義分割圖轉換為真實街景圖，灰色圖轉換為彩色圖，白天轉換為黑夜......

本文主要介紹圖像翻譯經典的模型pix2pix，pix2pixHD,

• pix2pix提出了一個統一的框架解決了各類圖像翻譯問題，
• pix2pixHD則在pix2pix的基礎上，較好的解決了高分辨率圖像轉換（翻譯）的問題，

學習GAN的關鍵就是理解生成器、判別器和損失函數這三部分

pix2pix與pix2pixHD的生成器

生成器的結構是U-net。有的GAN使用的是encoder-decoder模型作為生成器，但是相比之下，U-net效果會更好。因為上采樣時加入了底層的特征信息。假設總共有n層，那么第i層和第n-i層之間有跳躍連接。注意：U-Net的跳躍連接和ResNet的不同，和DenseNet相同，是按通道拼接的。（作者問題：是否可以認為ResNet總是不如DenseNet呢？是不是可以使用ResNet的地方都可以使用DenseNet呢？）

判別器 PatchGAN（馬爾科夫判別器）

不同于直接判斷圖片是否是真實的，PatchGAN會分別判斷N x N個patch是否為真，然后求平均值輸出。L1損失可以使模型學到低頻的特征，PatchGAN的結構可以使模型學到高頻的特征（因為它關注的是局部的信息）。而且，當N比原圖的尺寸小得多時依然有效。

---

1、pix2pix

論文：pix2pix?代碼：GitHub

本文最大的貢獻在于提出了一個統一的框架解決了圖像翻譯問題。

相比以往算法的大量專家知識，手工復雜的loss。這篇paper非常粗暴，使用CGAN處理了一系列的轉換問題。

上面展示了許多有趣的結果，比如分割圖 -->?街景圖，邊緣圖?-->??真實圖。對于第一次看到的時候還是很驚艷的，那么這個是怎么做到的呢？我們可以設想一下，如果是我們，我們自己會如何設計這個網絡。

簡單粗暴的辦法

最直接的想法就是，設計一個CNN網絡，直接建立輸入-輸出的映射，就像圖像去噪問題一樣?？墒菍τ谏厦娴膯栴}，這樣做會帶來一個問題。生成圖像質量不清晰。

拿下圖第二排的分割圖?-->??街景圖為例，語義分割圖的每個標簽比如“汽車”可能對應不同樣式，顏色的汽車。那么模型學習到的會是所有不同汽車的平均，這樣會造成模糊。下圖第三列就是直接用L1 Loss來學習得到的結果，相比于Ground truth，模糊很嚴重

如何解決模糊呢？

這里作者想了一個辦法，即加入GAN的Loss去懲罰模型。GAN相比于傳統生成式模型可以較好的生成高分辨率圖片。思路也很簡單，在上述直觀想法的基礎上加入一個判別器，判斷輸入圖片是否是真實樣本。模型示意圖如下：

上圖模型和CGAN有所不同，但它是一個CGAN，只不過輸入只有一個，這個輸入就是條件信息。原始的CGAN需要輸入隨機噪聲，以及條件。這里之所有沒有輸入噪聲信息，是因為在實際實驗中，如果輸入噪聲和條件，噪聲往往被淹沒在條件C當中，所以這里直接省去了。

其他tricks

從上面兩點可以得到最終的Loss由兩部分構成：

• 輸出和標簽信息的L1 Loss。
• GAN Loss - 測試也使用Dropout，以使輸出多樣化

采用L1 Loss而不是L2 Loss的理由很簡單，L1 Loss相比于L2 Loss保邊緣：即L1生成的圖片更清晰， 注：L2 Loss基于高斯先驗，L1 Loss基于拉普拉斯先驗

GAN Loss為LSGAN的最小二乘Loss，并使用PatchGAN(進一步保證生成圖像的清晰度)。PatchGAN將圖像換分成很多個Patch，并對每一個Patch使用判別器進行判別（實際代碼實現有更取巧的辦法，實際是這樣實現的：假設輸入一張256x256的圖像到判別器，輸出的是一個4x4的confidence map，每一個像素值代表當前patch是真實圖像的置信度。感受野就是當前的圖像patch），將所有Patch的Loss求平均作為最終的Loss。

2、pix2pixHD

論文：pix2pixHD?代碼：GitHub

這篇paper作為pix2pix的改進版本，如其名字一樣，主要是可以產生高分辨率的圖像。具體來說，作者的貢獻主要在以下兩個方面：

• 使用多尺度的生成器以及判別器等方式從而生成高分辨率圖像。
• 使用了一種非常巧妙的方式，實現了對于同一個輸入，產生不同的輸出。并且實現了交互式的語義編輯方式，這一點不同于pix2pix中使用dropout保證輸出的多樣性。

高分辨率圖像生成

為了生成高分辨率圖像，作者主要從三個層面做了改進：

• 模型結構
• Loss設計
• 使用Instance-map的圖像進行訓練。

模型結構

生成器由兩部分組成，G1和G2，其中G2又被割裂成兩個部分。G1和pix2pix的生成器沒有差別，就是一個end2end的U-Net結構。G2的左半部分提取特征，并和G1的輸出層的前一層特征進行相加融合信息，把融合后的信息送入G2的后半部分輸出高分辨率圖像。

判別器使用多尺度判別器，在三個不同的尺度上進行判別并對結果取平均。判別的三個尺度為：原圖，原圖的1/2降采樣，原圖的1/4降采樣（實際做法為在不同尺度的特征圖上進行判別，而非對原圖進行降采樣）。顯然，越粗糙的尺度感受野越大，越關注全局一致性。

生成器和判別器均使用多尺度結構實現高分辨率重建，思路和PGGAN類似，但實際做法差別比較大。

Loss設計

這里的Loss由三部分組成：

• GAN loss：和pix2pix一樣，使用PatchGAN。
• Feature matching loss：將生成的樣本和Ground truth分別送入判別器提取特征，然后對特征做Element-wise loss
• Content loss：將生成的樣本和Ground truth分別送入VGG16提取特征，然后對特征做Element-wise loss

使用Feature matching loss和Content loss計算特征的loss，而不是計算生成樣本和Ground truth的MSE，主要在于MSE會造成生成的圖像過度平滑，缺乏細節。
Feature matching loss和Content loss只保證內容一致，細節則由GAN去學習。

使用Instance-map的圖像進行訓練

pix2pix采用語義分割的結果進行訓練，可是語義分割結果沒有對同類物體進行區分，導致多個同一類物體排列在一起的時候出現模糊，這在街景圖中尤為常見。在這里，作者使用個體分割（Instance-level segmention）的結果來進行訓練，因為個體分割的結果提供了同一類物體的邊界信息。具體做法如下：

根據個體分割的結果求出Boundary map

將Boundary map與輸入的語義標簽concatnate到一起作為輸入 Boundary map求法很簡單，直接遍歷每一個像素，判斷其4鄰域像素所屬語義類別信息，如果有不同，則置為1。下面是一個示例：

語義編輯

不同于pix2pix實現生成多樣性的方法（使用Dropout），這里采用了一個非常巧妙的辦法，即學習一個條件(Condition)作為條件GAN的輸入，不同的輸入條件就得到了不同的輸出，從而實現了多樣化的輸出，而且還是可編輯的。具體做法如下：

首先訓練一個編碼器

利用編碼器提取原始圖片的特征，然后根據Labels信息進行Average pooling，得到特征（上圖的Features）。這個Features的每一類像素的值都代表了這類標簽的信息。

如果輸入圖像有足夠的多，那么Features的每一類像素的值就代表了這類物體的先驗分布。 對所有輸入的訓練圖像通過編碼器提取特征，然后進行K-means聚類，得到K個聚類中心，以K個聚類中心代表不同的顏色，紋理等信息。

實際生成圖像時，除了輸入語義標簽信息，還要從K個聚類中心隨機選擇一個，即選擇一個顏色/紋理風格

這個方法總的來說非常巧妙，通過學習數據的隱變量達到控制圖像顏色紋理風格信息。

總結

作者主要的貢獻在于：

• 提出了生成高分辨率圖像的多尺度網絡結構，包括生成器，判別器
• 提出了Feature loss和VGG loss提升圖像的分辨率 - 通過學習隱變量達到控制圖像顏色，紋理風格信息
• 通過Boundary map提升重疊物體的清晰度

可以看出，這篇paper除了第三點，都是針對性的解決高分辨率圖像生成的問題的。

pix2pixHD筆記_jacke121的專欄-CSDN博客_pix2pixhd