AI不僅能畫畫，還能編和弦了

谷歌大腦（Google Brain）有個Magenta項目，專門研究用TensorFlow和生成式模型來創造藝術作品，包括音樂、繪畫作品等。他們的目的不是取代藝術家，而是為藝術家提供某些自動化協助，比如，編曲家可以用機器智能生成一段和弦。

感覺有點酷！讓我們來看看Magenta項目負責人Douglas Eck是怎樣介紹他們的成果的。

Magenta最近更新的博客文章里，詳細介紹了MusicVAE音樂生成的相關技術細節。

博文鏈接：https://magenta.tensorflow.org/music-vae

最重要的是對潛在空間（Latent Space）的利用，即將高維數據轉換成低維。

如果將一段音樂表示為時序數據，那麼一定是高維的。比如，就單音鋼琴來說，在任何時候，都可以按下或鬆開88個鍵中的一個。我們可以將其表示為90種類型的事件（88次按鍵，1次鬆開，1次休息）。

如果我們忽略速度並用一個16分音符作為時間單位，則兩個4/4排的小節將具有9032種可能的序列（旋律）。如果擴展到16個小節，將會是90256個可能的序列，它比宇宙中的原子數量多很多倍！

可視化來看的話，就是下面這樣。這裡是兩小節隨機的音符。縱軸代表鋼琴上的音符，橫軸代表時間。

但在潛在空間中，這些音符的表示是下面這樣：

潛在空間能夠表示低維空間中真實數據的變化。這意味著也可以通過潛在空間高精度地重建真實的數據。一種常見的模型是自動編碼器（Auto Encoder）。

要生成一段音樂，需要模型學習較長的時間序列中的結構。在這裡用到了一種分層解碼器。

效果是，可以將一段旋律A和另一段旋律B相結合，生成一段「平均旋律」：

也可以用來給樂曲選擇配器。

對藝術創作者來說比較有價值的，是基於這些成果開發的一些小工具，比如下面這個工具，可以自動生成一些旋律，供編曲人員使用：

這個項目組內還誕生了一些有趣的交互作品，比如被寫進「不能錯過的2017年AI圈大事」的SketchRNN。

上面這張圖說的是，基於谷歌開發的一個小遊戲「QuickDraw」，研究人員收集了一批簡筆畫的數據，並用它們訓練了一個模型，可以輸出簡筆畫的圖案。

有趣之處在於，人類的輸入通常是腦洞大開的。

比如看上面的圖片，左側從上往下數第三組圖案，人類輸入了一隻有5根鬍鬚的貓。但是，機器認為一隻「正常」的貓應該有6根鬍鬚，左右各有3根，所以在輸出圖案的時候，就給這隻貓多加了一根鬍鬚。

同理，右上角的「8腿豬」顯然也是超現實的，於是機器給我們畫了一隻正常的，2隻眼睛4條腿的豬。

右側第二組，人類給一個「豬」模型畫了一輛卡車。以為機器會懵逼？沒有。機器輸出了一輛「豬豬卡車

至於右下角輸入牙刷那位，實在是愛莫能助了。不過還是能看出來機器給牙刷加的貓耳朵和鬍子。

你可以通過這個頁面看其他人畫過的一些樣本，也可以點擊Try Demo自己玩玩。首先你需要選擇一個模型，模型載入完畢後，你就可以開始你的表演了，AI會根據你的筆畫輸出一個相應的圖案。

文摘菌粗略看了一下，有100多個模型可以選擇，什麼蝴蝶、火烈鳥、手之類的都能畫。隨機試了一個「菠蘿」模型，效果是這樣的：

黑色的線條是文摘菌畫的，綠色的線條是AI幫忙補全的。

生成簡筆畫和簡單的和弦，AI能實現的這些功能對於藝術家來說還比較基礎，但是在文摘菌看來還是挺神奇的！你覺得呢？

正如Doug在演講視頻中所言，「我可畫不出這麼好的豬豬卡車！」

?

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！