從魯班的視覺引擎談起

最近雲棲社區更新了一篇星瞳關於《魯班視覺引擎》的介紹文章。

視覺引擎的目標是可控視覺內容設計和生成，讓 AI 做設計，使數字內容製造變得高質、 高效、普惠、低成本; 終極目標是「所想，即所見」 ，目前主要探索的應用：圖像設計與生成、 視頻編輯與生成、 圖形建模與生成

部分內容引自星瞳的ppt。

本文從3個方面談談智能設計與視頻廣告的結合：

1 魯班的圖像設計與生成

2 智能設計局限與突破

3 智能設計的4個方向

3.1 應用設計大數據「複製」設計

3.2 特定風格的演算法驅動型設計

3.3 基於圖像的智能排版引擎

3.4 基於pix2pix的生成設計

1 魯班的圖像設計與生成

魯班目前的圖像設計與生成，主要是 banner 類的圖，核心是素材搭配求得最優組合。把 banner 拆解成背景、主體、裝飾等，檢索，然後組合。按圖層拆解設計圖，結構化設計數據，然後檢索「庫存」，按照輸入的布局組裝檢索到的素材，評估及優化素材組裝後的效果，直至最終生成最優的素材組裝結果。

引自星瞳的ppt

A 輸入（顯式輸入）：

圖片：商品主圖

文案：化妝會場5折起……

風格：運動

構圖：左右

配色：黃綠

大小：1125*352

B 特徵化：

image

text

style=sport

layout=LTRI

color=YG

size=3:1

C 規劃：

16*16的特徵圖

D 行動：

256*256

E 調優：

1125*352

F 可視化

2 局限與突破

應用設計大數據，「複製」設計。首先需要準備大量的打好標籤的素材，設計結果取決於素材庫的「庫存」質量。設計過程被簡化為組合素材的過程。所以對應的人類設計師水平是「 P5 」 ？設計是極富創意的過程，除了解決問題，利用設計可以使用的元素，創意性地提出解決方案，是高水平設計的價值所在。所以，魯班也在嘗試像素級生成以及根據主題生成文案，讓 AI 更具有創造力。這方面的探索追求的是設計的從0到1。

3 智能設計的4個方向

這裡 mixlab 總結下智能設計目前的實現方式。

3.1 應用設計大數據，「複製」設計

3.2 特定風格的演算法驅動型設計

GIF

3.3 基於圖像的智能排版引擎

微軟研究院發的一篇論文，專註於雜誌風格封面的版式設計，是基於圖像的 saliceny map 做的自適應布局方案。Mixlab 在去年也專門更新了一篇文章介紹。

3.4 基於pix2pix的生成設計

只要是圖片與圖片之間的轉換，我們都可以嘗試 pix2pix 來生成試試。在《Pix2Pix與人工智慧做設計》這篇文章， mixlab 介紹了 pix2pix 的一些探索應用：

預測影片的下一幀，我們是不是可以把一張圖片變成 GIF 圖；去除馬賽克，隨意放大 BMP 圖片，再也不擔心精度不夠了；通過手繪生成名畫，比谷歌的 auto draw 先進了點，當然還有各種通過手繪生成的東西，比如貓、袋子、鞋子、人物肖像畫；去除圖片的背景，類似於摳圖，也可以採用 pix2pix 的方法進行；生成配色方案，把配色當成圖片，進行圖片的生成，產生新的配色方案；從側臉預測正臉，這樣以後只要隨便拍一張照片，都可以在三維空間中實時建模出來；

本文同時在知乎專欄：《人工智慧+設計修鍊指南》發表。

*

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！