「震撼」這些專業級攝影作品竟然出自谷歌神經網路之手！

1 新智元編譯

機器學習（ML）在許多有明確目標的領域表現優異。存在正確答案或錯誤答案的任務有助於訓練過程，並有助於演算法實現預期的目標，例如正確地識別圖像中的對象，為一種語言到另一種語言提供恰當的翻譯。但是，有一些領域是很難有客觀評價的。例如，一張攝影作品是否美麗是通過它的審美價值來衡量的，這是一個非常主觀的概念。

加拿大賈斯珀國家公園的（專業？）攝影

為了探索ML如何學習主觀概念，我們為藝術創作提出一個實驗性的深度學習系統 Creatism。它模仿專業攝影師的工作流程，遍覽谷歌街景地圖並搜索最佳作品，然後進行各種後續的處理，創造出具有美感的圖像。我們的虛擬攝影師在阿爾卑斯山、班夫國家公園、賈斯珀國家公園、加利福尼亞州的大蘇爾，以及黃石國家公園等地「旅行」，獲取了約40000張全景照片，處理成非常令人印象深刻，甚至接近專業水平的作品——這是由專業攝影師評價的。

訓練模型

雖然「美感」可以使用AVA之類的數據集進行建模，但單純使用它來增強照片可能在美學的某些方面處理不好，例如使照片過度飽和。使用監督學習方法可以適當地學習美學的多個方面，但可能需要一個有標註數據集，這是很難收集的。

我們的方法僅需要一個專業水平照片的數據集，不需要在前/後進行圖像配對，也不需要任何其他標籤。該系統可以自動將「美感」分解為多個方面，每個方面都通過耦合的圖像操作產生的負面例子單獨學習。通過使這些圖像操作保持「半正交」（semi-orthogonal），我們可以通過快速且可分離的優化來增強照片成分、飽和度/HDR水平，以及亮度。

圖：一張全景照片（a）被裁剪成（b），飽和度和HDR增強的（c），以及應用了戲劇性的蒙版（dramatic mask）的（d）。每一步都由已學習的一個美學方面指導。

傳統的圖像濾波器用於產生飽和度，HDR細節和構圖的負面訓練樣本。我們還提出一個名為「戲劇性蒙版」（dramatic mask）的特別操作，這是在學習「戲劇性光線」（dramatic lighting）的概念的同時創造的。負面訓練樣本是通過應用一系列圖像濾波器的組合，在專業級攝影作品上隨機修改亮度，降低圖像的質量產生的。在訓練中，我們使用生成對抗網路（GAN），其中生成模型創造一個mask來為負面樣本修改光線，而鑒別器模型試圖區分被增強的結果和真正的專業級照片。與固定形狀的濾波器（例如暈影）不同，dramatic mask 為照片進行內容感知（content-aware）的亮度調整。GAN訓練的競爭性質導致這些方案能導致好的變化。有關訓練的更多細節請閱讀我們的論文：Creatism: A deep-learning photographer capable of creating professional work（https://arxiv.org/abs/1707.03491）。

結果

我們的系統利用谷歌街景創作的一些作品如下。正如你所看到的，訓練好的美學濾波器（aesthetic filter）的應用創造了一些令人印象深刻的結果（包括本文開頭的那張照片！）：

賈斯珀國家公園，加拿大

因特拉肯，瑞士

Park Parco delle Orobie Bergamasche，義大利

賈斯珀國家公園，加拿大

專業評價

為了判斷我們的演算法是否成功，我們設計了一個類似「圖靈測試」的實驗：我們將 Creatism 的創作與其他各種質量的照片混在一起，並展示給幾位專業攝影師。他們被要求為每個作品評分，評價標準如下：

1. 傻瓜型，不考慮構圖，光線等。

2. 沒有專業攝影背景的普通人拍攝的好照片。沒有什麼藝術性。

3. 半專業級，有藝術價值的好照片。攝影師正走在成為專業級攝影師的路上。

4. 專業級。

下圖中，每條曲線代表專業攝影師給圖像給有某個預測得分範圍的圖像的評價。對於我們的有較高預測得分的作品，有40%的幾率它們被評價為「半專業級」或「專業級」。

有不同預測得分的照片從專業攝影師得到的評價

後續研究

更多 Creatism 的作品：

論文下載：https://arxiv.org/abs/1707.03491

Showcase：https://google.github.io/creatism/

原文：https://research.googleblog.com/2017/07/using-deep-learning-to-create.html

點擊閱讀原文查看新智元招聘信息

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！