Celemony Melodyne 設計者 PETER NEUB?CKER 大叔訪談
文：Mike Senior
編譯：PrincessX
不僅僅是他們在前三個版本的Melodyne軟體中一直處於行業領先地位的單音音高和時間操控技術，而且他們的Direct Note Access（複音分解技術，也就是DNA）演算法也在一定程度上重寫了傳統的工作室規則。這個技術可以讓我們把一個縮混好的多複音音頻文件分解出來，單獨控制它的每一個音符--這也是一個現在他們所掌握的，而他們的競爭對手非常難以企及的一個技術。
在這個成功的軟體背後的主要技術支持就來自於PETER NEUB?CKER，最近借著他們公司周年慶的機會，我在他的家鄉德國的慕尼黑採訪到了他。縱觀這個說話輕聲細語的男人（PETER NEUB?CKER，如圖1）的履歷，客觀的說，一般的職業顧問都很難預計到他會是一個成功的IT創業者：實際上他是一個有時有點嬉皮，喜歡製作樂器，喜歡占星的人，在八十年代初期PETER NEUB?CKER曾經是一個因為貪玩逃課而被學校開除的小學生，而且曾經因為拒絕執行國家的強制服兵役政策和拒絕對社會的服務而險遭六個月牢獄之災，他甚至還在自己家的地下室里建造了一個鍊金術實驗室！
圖1： PETER NEUB?CKER
然而，幾何與音樂似乎一直在PETER NEUB?CKER的生命里佔有重要地位，他最終找到了一個興趣所在，那就是學習和聲學，這是一個解釋數學與音樂之間的關係的學科，並且被維也納的Rudolf Haase教授大力推崇。也正是因為PETER NEUB?CKER對和聲學研究的極大興趣導致了他接觸了電腦，一開始是在Atari平台上，後來又轉到了NeXT電腦平台的CSound上。
在九十年代的中期，由於在NeXT程序設計上的共同愛好，他邂逅了Celemony公司的另一個創始人（現任技術總監職位）的Carsten Gehle，當他們促膝長談時，萌生了Melodyne這個偉大的想法，當時他們立即就做了一個重要的決定，聯手成立一個公司，一起把Melodyne這個軟體推向市場。"我對專業音頻軟體的開發這個領域，究竟是怎麼一回事，可以說是什麼都不懂，而且我可以說是完全低估了從一個原始的想法到一個實際的產品，中間所需要的工作量"，PETER NEUB?CKER率直的承認道。"因此，要不是有Carsten的結構化思維和他的堅實的軟體設計基礎給我帶來的幫助，我很有可能會絕望的嘗到失敗的苦頭"。
從那以後，許多業內的工程師都對Celemony公司的興衰看在眼裡。首先在2001年發表的是一個獨立運行版本的Melodyne軟體；隨後跟進的兩個版本是由Melodyne橋插件整合起來的，帶有標準的MIDI功能和音序功能的Melodyne軟體；然後是一個真實的，多功能為一體的Melodyne插件版本；然後是最近發表的一個版本，在2009年末剛發布的，帶有DNA引擎的Melodyne Editor插件。
深究DNA
PETER NEUB?CKER總是很樂意向我們介紹他的軟體處理演算法是如何工作的，而他已經告訴了我們一些Melodyne軟體的原始工作方式：大致的說來，它將那些周期性的波形元素分離開來，為這些音頻信號創造一系列獨立的快照文件（這方面有一點點像合成器的波表），每個快照代表原始聲音里的一個特定的時間點。這樣我就很快的理解了新一代多複音分解技術的Melodyne Editor演算法在這樣的方式上並不是一個猜想，但必須是一個從零開始開發的艱難工作。"正因為我們無法得到原始聲音的複音狀態（因為聲音都是已經錄成音頻了的）"，PETER NEUB?CKER解釋道。"作為原始版本的Melodyne，我只設計了在時間域上的探測功能，而並沒有在頻率域上設計這個功能，因為我是朝著周期性來考慮的。但是對於多複音的素材，那就是不可能的了，因為對於聲波來說已經沒有周期性了。所以這並不像看上去那麼簡單。你的確可以用現有的技術手段來整體的改變多複音素材，比如人聲編碼合成，但是當涉及到從一個多複音的素材里分離出組成它的每一個單一的音符時，而你只擁有一個帶有豐富的泛音的混合好的文件，這樣決不意味著軟體能告訴你哪一個泛音屬於哪一個音符--換句話說，就是哪一個是基頻哪一個是諧波的問題。而現在最大的難題就是分配某一部分的泛音給某一個單音符，另一部分的泛音給另一個單音符"。
即使面對著許多持有懷疑態度的他的軟體的追隨者，PETER NEUB?CKER還是堅持要主動的尋求開發一個真正的針對多複音的演算法，不過這個進展看起來要比他所預期的要快一些，但依然是一個漫長而艱難的開發過程。"其實並不是編程上有多難，主要還是難在思考"，PETER NEUB?CKER顯得很有壓力。"我原以為，如果一個傅里葉變換能告訴我一個信號的光譜成分，而作為我們，從聽眾的角度來說，能聽清楚那個信號裡面有什麼內容，那麼肯定就會有一種方法能夠將這些組成信號的單獨內容分離開來，如果壓根找不到這種方法，那麼我們至少也能控制這個信號里的一些主要的組成部分"。
解決這個問題的一個關鍵要素在於，開發和研究出一種對於組成音頻的每個獨立音符的探測方法，因為不同的信號中，各種泛音之間的關係就可以跟它們所屬的那些音符相聯繫起來了。"在光譜分析儀上我可以看到任何我要的東西，我也可以用某種方式來詮釋它，但是要把程序設計得像我一樣能分析出我看到的任何東西，我就必須要找到一種方式來告訴軟體程序，這是我需要的目標，這是一個音符，因此我們可以找到那些關係最緊密的組成部分來著手處理。在這個工程里，最艱難的地方是要找出哪些東西是所需要的並且相關聯的，而哪些東西是噪音成分，因為有些時候有可能有一些樂音的音符是我們需要的，但是它可能會比一些噪音更小聲，更安靜。我們平時最關注的有可能是一些高電平的重要的信號成分，而同時又有一些信號不是這樣。如果這時在某些地方存在一些難以聽見的諧波，而你又不能確定這些諧波成分是否屬於這個音符或者那個音符的話，其實倒也不是什麼大問題，因為那些成分已經不那麼重要了"。
串音的問題
當PETER NEUB?CKER在繼續著他的研究工作的時候，他一直被聲音成分的"相關性"問題磨練著。"我最近對於處理多話筒錄製的大合奏音樂特別有興趣。當我們錄製一個樂隊現場演奏的時候，會有一大堆的樂器同時在演奏，而每個話筒里多多少少都會錄進一些其他樂器的串音成分。如果你想在後期處理的時候重新調整某個樂器的音準，你就必須要重新調整這個軌道里其他所有串音信號的音準。舉個例子吧。比如說我所製作的Peter Gabriel的上一張CD，裡面有一首歌的圓號部分他們想讓我來重新調音準。這就是一個非常典型的情況了：他們有五個單獨的圓號手，每個圓號都有它們自己單獨的麥克風，當然，這些軌道裡帶有許多的串音信號。如果你對其中任何一個單獨的軌道進行重新調音準，你就不得不同時以相同的量來手動調整其他軌道里的串音成分"。
"我的想法是如果你要分析每一個不同的麥克風，這個方法可以很好的幫助你完成你的想法，只要每一個軌道里的主聲部都是完整錄下來的就行，並且還可以適當的處理好軌道里的其他串音信號。這種方法不能去除那些串音信號--它只是幫助用戶來虛擬的分離這些信號而已。用戶們只是看到那些他們正在處理的薩克斯風聲音，而那些串音信號是不會被看到的，因為那些串音信號將會被自動的處理好。你只需要抓起那些需要處理的樂器音符然後左右移動它們就可以了，然後軟體自己會知道同時需要調整串音信號里的哪些其他音符。但這個功能現在還在實驗階段--而我們需要為Peter Gabriel的專輯做的事情就是將它混音成一個立體聲的文件然後再重新調整它的音準，這就意味著我們並不用單獨重新調整那些歌曲的每一個部分。但那樣也意味著他們不能重新使用這些單獨的文件來進行一個5.1聲道的環繞聲混音或者作為其他的任何一種用途了"。
在我們與PETER NEUB?CKER討論他對串音問題的處理的看法的時候，他給我播放了一些他作為研究目的使用的一些示例文件，而看上去在他現在的研發階段來說，他的軟體已經能很有效的辨識串音和非串音的信號了。其中最令我印象深刻的例子就是，六個年輕的合唱演員在唱著一段和聲，每個人都有他自己的一支麥克風錄音，而軟體的演算法看上去竟然能夠辨識出軌道中聽起來非常相似的正對著話筒或者非正對著話筒的聲音信號，非常驚人的準確度！
"當然，這個技術還不能應用在Melodyne Editor里，因為這只是針對一條軌道的處理技術，" PETER NEUB?CKER補充道，"因此這個技術應該會在接下來某個版本的Melodyne軟體里出現。Melodyne Studio的一個重要的目標就是，將來可以讓所有的軌道都相互知道其他軌道，並且知道其他軌道里的前後關係。在那個將來的版本里，會有軌道編組的概念，因此你就可以為某些特定的聲部指明關係，告訴軟體，這些聲部是聯繫在一起的，因此它們就可以被放在一起來進行分析了"。
在音符探測和噪音處理技術上的新發展
PETER NEUB?CKER的一些其他方面的研究也涉及到了提高軟體的多複音探測能力和對更富有情感的內部旋律線條的響應能力。"如果你的軟體有更好的對音高曲線的探測功能，"PETER NEUB?CKER說道，"聲音的處理結果往往也會比通常要好一些。一系列具有許多顫音或者滑音成分的音高信息都可以完美的被Melodyne的單複音處理演算法搞定，但是我們的DNA技術現在還無法很好的處理這個類型的聲音，尤其是多複音的環境下--因為這時候的顫音很可能會由多個不同的音符所組成。不過我現在已經在著手研究如何處理單一樂器里的這種處理方法了，因此，我只要突破了其中的一些部分，那麼那些部分的處理結果將會變得更好。因此將來會更少的依賴修複測量的模式，因為我總是集中精力於如何將音符更有條理的辨識出來，比如哪些是音符而哪些是噪音"。
看起來似乎這種探測技術針對那些被限制了頻帶的並且在最低的音符上具有少量基頻的信號會具有更好的效果。PETER NEUB?CKER給我播放的其中一個示例是Caruso在一個完整的管弦樂團的伴奏下演唱的一張非常古老的錄音專輯。儘管在這張專輯裡，Caruso的聲音聽起來幾乎沒有一點基礎頻率，PETER NEUB?CKER的改良的關聯性評估演算法依然可以正確的詮釋出人聲的基頻所在的位置和應有的狀態。"就算你的素材里幾乎沒有基礎頻率--你只聽得到一些泛音"，他解釋道。"如果我打開關聯性評估的功能，你就能立即看到它已經把工作給做完了。這個不一定需要本身存在於素材里的信息，它只是從泛音信息里被重新的構建了出來，當路徑跟蹤處理開始時，你也會發現這些事情已經完成了"。
當我在SOS 2009年十二月號的雜誌里寫文章評測Melodyne Editor的時候，我記得我所批評的其中主要的一點就是Melodyne仍然在試圖努力的對付那些比較難以預料的，音樂信號中的噪音元素--比如說樂器的瞬態信號部分，當你試圖操控音符的時值的時候，通常看起來它們都會以一種難以捉摸的方式響應。對此，PETER NEUB?CKER暗示道將會有額外的一些控制手段加入這個部分，藉助對於他所稱為剩餘信號的獨立操控手段，換句話說就是，保留所有的瞬態信號和其他一切需要的噪音信號，而去除所有的帶有音高信息的信號："在我們推廣了DNA處理引擎以後，兩年多以前，我們並不是非常確定它的用戶界面會是怎樣的，而實際上我們已經減少了它的一些功能,因為我們覺得那些東西的存在會使得整個軟體的處理變得非常的混亂，而我們更需要的是一些來自於用戶方面的意見和經驗，比如用戶們會希望如何拿它來開展工作之類。因此，我們給音符分配了軟體探測到的剩餘信號，因此這樣就不用用戶們去為了這個問題而操心了。儘管我們以後有可能還會在這一方面的處理上，引入另一個級別的處理方法，比如說音頻素材錄進了工作室的關門聲或者一些小的咔噠聲，也會被放進剩餘信號軌道里，因此你就可以有更多的目標來選擇處理了，同時你也可以說我不需要這些元素或者我想要這個部分更大聲一點，或者以此類推運用更多的處理手法"。
一個有趣的事情是，如果你向Celemony的水晶球中間凝視，PETER NEUB?CKER一直渴望指出實際上他們是完全無法保證何時他們的最新研究成果會被應用於最新的Melodyne軟體。"我本人也是在學習中，"PETER NEUB?CKER笑道。"在我們向世人宣布了DNA技術以後，我們經歷了一段非常艱難的日子，而且我們花費了將近兩年的時間來優化軟體使之能達到發布Melodyne Editor的那個程度。這裡面什麼功能可以起作用，而什麼功能無法起作用，我們正在糾結這些實際的問題。我現在正處在一個愉快的境地中，因為當我更多的沉迷於研究所研發工作的時候，我的競爭對手們正在公司里努力的研發某個具體的產品，但我們擁有非常多的想法，存在於我們的研究所里，體現在各種不同的項目和各種程度的研發當中，而這些都是我們不可能有任何信心去說，是否會把某一個技術成果放在某一個更新版本的Melodyne軟體中的。就我個人而言，我是很喜歡開放我個人的想法，坦誠告訴大家我正在做的是什麼東西，但我只是想要防止人們對我的研究成果抱有太大的期待，總覺得我的新成果要發布了，而萬一遇到什麼問題不能發表，或者不能像人們想像中那麼迅速的發表出來"。
先演奏，再作曲
儘管他已經在Melodyne的核心技術研發上努力探索了十多個年頭，PETER NEUB?CKER給人看起來對他自己所從事的研究工作始終保持著一種堅定不移的狂熱的態度，他的強烈慾望驅使他在創造性的研究工作中排除了一切技術上的障礙。"這個技術擁有的潛力實際上是無限的。雖然我總是說，如果你能把握好任何一個音樂元素，那麼它們融合起來就成為了音樂製作與作曲，因此究竟是否需要像傳統方式那樣先作好曲子、再錄音已經顯得沒那麼重要了。你完全可以先錄一些東西下來，然後再看看你是否能夠就著這些東西來進行創作"。
"錄音方面的一個問題是，音樂在某些時候其實是凍結的，而這裡有一個非常決定性的角色分離發生於作曲家和演奏者之間。我們可以改變這些，如果我們給予這些樂器演奏者、或者主唱、或者音樂家們即興演奏的自由權力或者在演奏之後變成一個作曲家--意思是讓他們以他們自己的視角來重新演奏這個作品。也許每一個作曲家對自己的作品都有自己的一些看法（同時我也相信這種看法對於每一個音樂作品來說都是非常重要的）而導致沒有樂手能夠勝任這首作品的演奏？或者也許有一些其他的作曲家過後會說嗷，也許這樣子聽起來又會更好？音樂家其實應該更少的關注技術方面的東西，而應該更注重於如何當好一名音樂家。只要技術可以很好的支持音樂，保證音樂的質量，我始終相信事情只會變得越來越好"。
Melodyne & 再合成
PETER NEUB?CKER："在最原始版本的Melodyne里，聲音的共振峰其實是不會被按照獨立的諧波成分分析出來的，但更多的是按照總體的光譜形態來分析出來。比如說，如果你在老版本的Melodyne里重新調整共振峰，你就會改變共振峰的整個頻譜。而我們現在能夠使用新的分析方法來做到的，就是同時重新給頻譜塑形。對這點我已經做了非常多的實驗性的東西。舉例子說，通常你有一軌單複音的吉他軌道，Melodyne Editor將會選擇Melodic模式，然後將所有的諧波成分進行編組。儘管你可以手動將探測模式轉換到多複音模式下來濫用你的創造力，然後將一些泛音標記為音符--如果你對它們重新調整音高，你就可以得到一個聽起來更像是大鑼的聲音而不是吉他聲。你也可以拿一段真實錄製的長笛素材，然後用這種方法把它變得聽起來像是合成器演奏的聲音，但是由於原始錄製好的長笛樂句已經存在那兒了，那將會比合成器的聲音聽起來更有生命力。這就意味著你可以用這種方法把任何聲音調整成聽起來像合成器一樣的聲音"。
光譜圖
最後是一些光譜分析圖，來自於PETER NEUB?CKER自己的實驗室的分析軟體。圖2表明了一組演唱和聲的男孩的麥克風錄音信號，每六個男孩分配一支麥克風。請注意那些複雜的重重疊疊的麥克風串音信號，這些討厭的串音會讓音符探測的結果非常不靠譜。與不同的麥克風信號做對比，PETER NEUB?CKER發明的原生的"關聯性評估"技術就能夠更令人信賴的，以音符探測為目的的從帶有串音信號的軌道中分離那些我們所需要信號成分，你可以在圖3的光譜分析圖中看到明顯的對比。
圖2：原始麥克風錄音信號
圖3：用"關聯性評估"技術處理後的信號圖
PETER NEUB?CKER最近正在努力為提高Melodyne Editor的DNA音符探測性能，這個功能現在正遇到一些麻煩，那就是在處理多複音素材里的比較深度的顫音的時候。在圖4這個例子里，帶有偽音的弦樂會被探測成由兩個非常簡單的歌劇式的女聲樂句組成的多複音的音頻。這時候手動清除那些不需要的音符已經變得相當簡單，而現在我們的目標是，讓Melodyne可以自動的探測到更接近我們想要的那個程度。
圖4：處理多複音素材的深度顫音
圖5、6是另一組的幾個光譜分析圖，同樣來自於PETER NEUB?CKER的實驗室，它們表明了最新的"關聯性評估"演算法的巨大潛力。圖5的光譜分析圖顯示了一系列直接分析出來的Caruso的老專輯裡分析結果，在這裡面你可以清晰的看到Caruso的人聲音高的輪廓線，但是每個音符的基頻上的低電平都消失了。圖6里的光譜分析圖顯示了關聯性評估功能是如何令人信賴的識別出聲音基頻的成分的。
圖5：以前分析出的人聲音高輪廓線
圖6： 用"關聯性評估"技術處理後的信號圖
廣告：Genelec（真力）40 年科技與藝術的融合之旅
TAG:Midifan |