用機器學習創造獨特聲音，谷歌開源NSynth Super

編者按：世界上的樂器種類繁多，但這還不夠。谷歌開發了一種名為NSynth Super的合成器，利用機器學習能夠造出獨一無二的新聲音。今天谷歌將這一工具的代碼開源，看看這個奇妙的「玩具」到底能變出什麼花樣吧。以下是論智對原文的編譯。

什麼是NSynth Super？

NSynth Super是谷歌研究項目Magenta正在進行的實驗中的一部分，該項目的目的是探索機器學習如何幫助藝術家一新方式創作藝術和音樂。

科技在創造新聲音方面一直發揮著重要作用——從聲音的扭曲到合成電音。今天，機器學習和神經網路的進步為聲音的創作提供了新可能。

在過去研究的基礎上，Magenta創造了NSynth（神經合成器）。這是一種機器學習演算法，利用深度神經網路學習聲音的特徵，然後根據這些特徵創造出完全新的聲音。

相比於簡單的將聲音組合起來，NSynth利用原聲音的音色重新合成了全新的聲音，所以你可以聽到一半是笛子一半是西塔琴的聲音。

自從NSynth發布後，Magenta就不斷嘗試開發不同的音樂交互工具，想讓NSynth演算法更容易上手。作為探索的一部分，Magenta與谷歌創意實驗室（Google Creative Lab）合作，創造出了NSynth Super。這是一款開源的實驗性工具，音樂家能通過裡面默認的4種原始聲音生成全新的聲音。現在這款產品的原型正在音樂人圈子裡進行小範圍的實驗，評估他們使用的感受。

NSynth Super是如何工作的？

（視頻請關注公眾號jqr_AI查看）

在這個實驗中，音樂家們在錄音室里錄製了跨15個音的16種原始聲音源，然後將其輸入到NSynth演算法中，用演算法生成新的聲音。然後將生成的超過10萬種新的聲音載入到產品原型中。

每個旋鈕代表四種不同的源聲音，音樂家能通過控制旋鈕選擇不同音色，然後手指在觸摸屏上滑動，將這四種聲音結合起來。

NSynth Super可以通過任何MIDI源播放，例如DAW，音序器或者鍵盤。

NSynth演算法是如何工作的？

根據個人水平、風格不同，NSynth利用深度神經網路生成不同的聲音。NSynth直接從數據中學習，可以讓藝術家直接控制音色和節湊，並能夠手動探索創造新的聲音。

NSynth是一種演算法，可以結合現有聲音的特徵來生成新的聲音。為此，該演算法將不同的聲音作為輸入。

使用自動編碼器，它可以從每個輸入中提取16個時間特徵。然後將這些特徵線性插入創建新的嵌入（每個聲音的數學表示）。然後將這些新的嵌入解碼成新的聲音，這些聲音具有兩個輸入的聲音質量。

完整地介紹可以參見Magenta的博客，數據集合演算法可以在原論文中找到。

如何才能得到NSynth Super？

觸摸屏可發現新聲音

音色選擇鈕

音色調整鈕

和Magenta其他項目一樣，NSynth Super建立在開源庫之上，例如TensorFlow和openFrameworks，目的是讓更多的藝術家、編程者和研究者體驗這一創造性的過程。NSynth Super的開源版本包含所有開源代碼、簡圖和設計模板，都可以在GitHub上下載。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！