選自arXiv，作者：Xudong Liu、Tao Li等，機器之心編譯。

人工智慧技術已被廣泛應用於照片/視頻美顏和顏值打分上了，但其內在的評分機制使用的還是人類制定的規則，基礎來自於一些心理學和生理學研究。如果讓 AI 自行理解人類顏值的意義，我們會不會得到更好的效果？

最近，來自 ObEN 的研究人員就對 AI 眼中的「美」進行了研究，人工智慧的判斷看起來印證了一些學派的理論：長相越女性化顏值越高；在發色方面，男性黑髮最好、女性金髮最好。

值得一提的是，ObEN 是一家位於矽谷的華人創業公司，前一陣還因在春晚推出虛擬主持人而名噪一時。

圖 1：在每個圖像對中，哪張（左或右）更有吸引力？模型提取與吸引力相關的正面/負面特徵，並在不同的身份之間合成特定的高級面部特徵。在每個示例中，左邊是原始圖像，右邊是加工後的圖像（從左到右：小鼻子/大鼻子，男性化/女性化，未化妝/已化妝，年輕/年長）。研究者通過用戶研究進一步調查和驗證了美貌的定義。

人們的顏值對於社會活動的很多方面都有重要影響，從兩性選擇到招聘，再到社會交往過程中，顏值都是決定性的因素之一。面部更具吸引力的人可以獲得更多的約會機會，而與他們約會的人也可以獲得更多的滿足感。社會對於美的追求正變得愈發極端，缺乏吸引力的人可能會面臨壓力。Cash 等人的研究表明，吸引力更高的人更可能找到工作，犯罪嫌疑人的顏值甚至能影響到法官的決定。

幾個世紀以來，對於面部美的研究引起了心理學家、哲學家和藝術學家的興趣，其中大多數人關注人類的感知。美是什麼？心理學家通過調查各種因素來試圖回答這個問題。從對稱和平均，到人格，再到兩性異形，各種理論不一而足。

儘管此事已在心理學界有了廣泛的研究，但計算機對於美會有什麼樣的理解？隨著數碼相機和社交媒體的普及，圖像在社會中有了更多應用，各種美顏技術層出不窮，其中大多數依賴於過去的心理學發現。其中的主要思想是分析低級幾何面部特徵（如形狀比、對稱性、紋理），然後應用機器學習演算法如支持向量機、K-近鄰（K-NN）進行圖像分類和美顏預測。也有演算法以提取局部二值模型（LBP）和 Gabor 等特徵的監督方式訓練自動評分器，在訓練內容中，對於美的評分是由人工評出的。

圖 2：本文方法概覽。

本文沒有使用基於心理學發現的低級面部幾何特徵，而是提出了一種關於面部特徵（如眉毛形狀、鼻子大小、頭髮顏色）與面部吸引力之間相關性的新研究。該研究受到 Leyvand 等人的啟發，他們認為高級面部特徵在美貌評估中起著重要作用。本文的研究受到大數據爆炸和深度學習模型前景的驅動。如圖 2 所示，研究者首先部署了一個深度卷積神經網路來進行面部特徵評估。然後根據兩個含有真實圖像的大型數據集研究高級面部特徵和美貌之間的相關性，再根據統計結果選擇與美貌相關的面部特徵。研究者進一步將其結果與心理學發現聯繫起來，並討論其異同。最後，將上述挑選的面部特徵與生成對抗網路相結合，以生成美化後的圖像。美化圖像展示出吸引人的效果，驗證了本文研究以及之前心理學研究的準確性。

本文主要貢獻如下：

• 使用在兩個標有顏值分數的大型真實數據集上訓練的深度 CNN 來提取面部特徵。
• 首次提出用定量方法客觀地分析美貌和面部特徵之間的相關性，並根據統計數據選擇具有吸引力的特徵。
• 驗證了現有的關於美的心理學研究，並發現了新的模式。
• 將這些面部特徵與 GAN 相結合，生成了美貌的圖像，然後對 10000 個數據點的用戶進行調查，以驗證結果。

論文：Understanding Beauty via Deep Facial Features

論文地址：https://arxiv.org/abs/1902.05380

摘要：關於美的概念，哲學家和心理學家已經爭論了幾個世紀，但大多數定義是主觀和形而上的，缺乏準確性、普遍性和可擴展性。在本文中，我們基於大數據提出了一種關於挖掘面部屬性的美貌定義的新穎研究，試圖以定量的方式客觀地描述美。我們首先部署深度卷積神經網路來提取面部特徵，然後在兩個標有顏值分數的大型數據集上研究這些特徵與吸引力之間的相關性。我們不僅通過統計顯著性檢驗發現了美的秘密，我們的研究結果也完全符合現有的心理學研究，例如小鼻子、高顴骨和女人味比較有吸引力。我們通過生成對抗網路進一步利用這些高級表徵來創建原始圖像。合成後的美貌效果引人注目，並且通過對 10，000 個數據點的用戶進行調查得到了統計學上令人信服的驗證。

3 方法

3.1 數據預處理

在深度訓練之前，數據預處理是更好地進行訓練所必需的。圖像歸一化具有四個步驟：面部檢測、特徵點（landmark）檢測、對齊、剪切。局部約束模型（CLM）用於面部檢測和特徵點檢測。之後如圖 4 所示，提供了 68 個特徵點。給定特徵點標定，眼部位置被設定為 [92, 129]（左眼中心）和 [163, 129]（右眼中心），用於對齊，然後將圖像大小裁剪為 256 × 256。

圖 4：圖像預處理和相應的屬性結果示例

除了圖像預處理，還要對顏值分數進行歸一化處理，因為當每張圖像有多人評分時，會產生一些不一致。所以本文採用多數投票再取平均數的方法來產生最終評分。

3.2 特徵訓練

在本文中，我們採用 GoogleNet 架構來進行特徵訓練。該網路具有 22 層（僅計算了具有參數的層），9 個 Inception 模塊。GoogLeNet 在 2014 年的 ImageNet 大型視覺識別挑戰賽（ILSVRC14）中實現了分類和檢測的最佳水平。該架構擅長使用 1×1 卷積核進行降維，可以在節省計算資源的同時增加網路深度，被稱為 Inception，如圖 5 所示。不同於 ImageNet 分類挑戰賽，其中每個圖像僅作為一個類別，在本文的訓練中，每個圖像及其 40 個特徵被輸入深度架構，最終輸出是與真實值（40 個標籤）對應的多個分類。

圖 5：經過降維處理的 Inception 模塊。

總的訓練過程如圖 3 所示。首先，將圖像和特徵標籤輸入至深度 CNN 並抽取特徵，然後用全連接層進一步處理這些特徵。最後訓練 40 個隨機森林分類器進行特徵評估，最後輸出特徵結果。

圖 3：特徵訓練概覽

3.3 相關性分析

在得到歸一化的美貌得分和 40 個面部特徵之後，下一步是探索美的奧秘——面部特徵與美貌程度之間的相關性。

3.4 特徵遷移

為了定量評估具備/不具備某種特徵的美貌程度差別，我們部署了一個 GAN 來遷移面部特徵。GAN 被定義為一個極小極大博弈，其目標函數如下：

訓練生成器 G 欺騙判別器 D，判別器 D 則嘗試區分生成樣本 G(x, c) 和真實樣本 x。

在實踐中，成功地訓練 GAN 是一項非常困難的任務，不過現在已經有了許多改進。StarGAN 已經在圖像到圖像的遷移任務中取得了令人印象深刻的進展。在訓練中除了使用對抗損失外，還採用了特徵分類 L_cls 和圖像重建損失 L_rec，實現了當前最先進的特徵遷移性能。完整目標函數如下：

本研究中的面部特徵遷移所用架構與《Stargan: Unified generative adversarial networks for multidomain image-to-image translation》中的一致。

4 實驗

表 2：在 Beauty 799 數據集中測試的重要特徵。

圖 6：10K US 數據集中的相關性分析，包括女性分類下的子類，男性分類下的子類和整個數據集。

表 3：在組合數據集中測試的重要特徵。

圖 7：用戶研究結果驗證了本文的假設和相關分析。

5 分析判斷

5.3 美麗的女性特徵

我們不僅能夠通過數據統計得出關於美的客觀定義，而且還有一個有趣的發現，女性化特徵被認為比男性化特徵更有吸引力。從心理學的角度來看，有大量證據表明女性特徵增加了不同文化中男性和女性面孔的吸引力。濃妝和口紅等特徵通常被認為是女性的特徵。因此，從我們的統計結果和心理學來看，這些屬性對吸引力有積極的影響。此外，有一個名為男性化（Male）的性別屬性，從我們的深度模型來看，這個預測在 CelebA 中是令人信服的（95 % 的準確率）。然而，我們發現了一個有趣的結果，一些來自 Beauty 799 資料庫的女性圖像在模型結果中被估計為男性，這表明這些女性有一些男性特徵（男性傾向），並且她們被認為不太有吸引力。此外，根據相關性分析，這種男性化屬性會降低吸引力。這個例子從反面證明了女性特徵可以增加吸引力。

5.4 不一致以及一致的定義

正如之前所提到的，兩個數據集之間有一些本質的區別。因此，得到的定義結果存在一些不一致。我們發現：美國成年人更偏愛黑髮和金髮，這和 Beauty 799 得出的結果是相悖的。這種現象可能是環境影響所致，不同文化中的人可能對頭髮顏色和體型有著不同的偏愛。除了資料庫之間的不一致之外，我們還發現黑髮和濃眉是具有吸引力的男性特徵，但女性並非如此，黑髮和濃眉對女性的美有消極影響。另一個不一致是金髮對於男性和女性美的影響。金髮是女性具有吸引力的特徵，放在男性身上卻並非如此。

儘管在 [21, 41] 中存在一些不一致，但其中對於美的定義也存在一些共同之處。表 3 總結了兩個相對較大的數據集中對美髮揮正面或負面作用的一致特徵。例如，濃妝、高鼻樑、塗口紅等特徵都會提升吸引力（美）。相對的，大鼻子、偏男性化（指女性）、嘴唇微張則會對吸引力產生負面影響。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！