可穿戴設備在交互音樂中的應用

編者按：

隨著音樂聲學、數字音頻、圖像處理、姿勢捕捉、虛擬現實等跨領域技術的融合發展與應用，音樂的呈現有了交互、可視等更多樣的形式，為人們享受音樂、更好地理解音樂提供便利。本期特設「樂器科藝」專題，介紹中外音樂人在音樂可視化、交互性方面的研究探索。

可穿戴設備（wearable device）指的是能夠穿戴在人體作為一種輔助工具或植入在人體內的智能電子設備。隨著科學技術的飛速發展，可穿戴設備已經被廣泛應用於VR和AR等科技領域，在日常生活、教學、健康醫療、交通通信和社交娛樂領域發揮了重要作用，為人們的生活提供了更多的便利和智能化的服務。

可穿戴設備在數字媒體領域的應用涉及多媒體播放控制、健康參數監控、多媒體設備數據控制、新媒體藝術設計、V R 遊戲設計和娛樂以及智能纖維等，常見的Myo臂環，各式手套，VR、AR眼鏡和頭戴式設備等都是最典型的可穿戴設備。腦電波（Electroencephalography，EEG）感測器、各類在不同功能的交互系統中特別設計的DIY感測器和交互系統等技術的發展，為可穿戴設備提供了更豐富的功能。在藝術創作領域中，可穿戴設備的應用非常活躍。

藝術家們試圖從創新科技中尋找全新的方式演繹其藝術理念和追求，體現藝術和技術的融合。筆者僅就交互音樂領域可穿戴設備的應用，特別是近年來發展起來的利用腦電波感測器進行藝術創作的應用進行闡述。

1 交互音樂領域的可穿戴設備

可穿戴設備對交互音樂的藝術呈現能夠起到極大的輔助和推動作用，並受到越來越多的作曲家、音樂家、舞蹈家和視覺藝術家的關注。它能夠實時拾取數據信息，與表演者融為一體，提供沉浸式的表演體驗，不僅為表演者和觀眾搭建主觀感受與精神感知的橋樑，也使得觀眾能夠更好地對藝術信息進行直接觀察。不論是由廠家設計生產的感測設備，或是藝術家根據作品和表演的需求進行特殊設計的DIY感測器設備，它們都拾取表演者動作過程中產生的數據，並傳輸到計算機程序。

可穿戴設備中「可穿戴」的特點，能夠為用戶提供沉浸式的體驗。對於交互音樂表演來說，人體的運動（movement）和姿態（gesture）信息的輸入數據非常重要。可穿戴設備在交互音樂中的數據應用原理包括動作捕捉（motion capture）、動作追蹤（motion tracking）和數據映射（data mapping）等環節。一方面，感測器被廣泛運用於交互音樂創作和表演，通過實時追蹤人體的動作和加速度等信息，把這些數據傳輸到Max、Pd或Processing等能夠進行實時數據處理的編程環境，將這些數據以聲音或圖像的形式輸出。表演者在舞台上的一系列動作為觀眾提供了更好的交互感體驗，使觀眾能更好地理解表演者的動作及其藝術效果之間的對應關係。有一些藝術家甚至歡迎觀眾使用作曲家提供的可穿戴設備，參與到作品的創作和呈現環節，這也是交互表演的另一種體現形式。由於用戶與感測器融為一體，幾乎感覺不到它的存在，從而能把注意力集中在表演本身。另一方面，使用WiFi或藍牙連接的方式，不僅實現了數據的無線傳輸，還保證了表演者在舞台上的自由度，增加了動作的靈活性，能夠將表演者身體的動作和音樂、視覺影像效果以及其他媒體融為更好的整體。

目前，基於手套設計的可穿戴設備和Myo臂環被廣泛應用在交互音樂的創作和表演中，尤其是腦電波（EEG）感測器能夠更好地傳達和表現表演者的內心世界。

2 基於手套設計的可穿戴設備的應用

手是人們日常生活中最容易接觸和感知到自然世界的器官，基於手套設計的可穿戴設備自誕生至今已有四十多年的時間。這種設備通過檢測手指彎曲度、手指間的壓力、手指間的相對距離、手掌的運動方向和加速度等數據作為交互系統的數據輸入，並且在佩戴它的同時，仍有可能演奏其他樂器。

1976年，伊利諾伊大學芝加哥分院的里奇·賽爾（Rich Sayre）、托馬斯·迪凡蒂（Thomas Defanti）和丹尼爾·桑丁（Daniel Sandin）設計了一款造價低而且重量輕的手套，被稱為Sayre Glove。光源放置在一種可以彎曲的電子管的一側，另一側連接了光電管。每一條電子管都延伸到手指的長度，電子管中會有光通過，當它彎曲時，光的亮度會發生變化，每個光電管的電壓變化與手指的彎曲程度相關聯。他們使用這個手套進行多通道的聲音控制，模擬控制器推子的使用效果。

20世紀80年代早期，麻省理工學院建築機械組（Architecture Machine Group）和媒體實驗室（Media Lab）的研究人員利用帶有基於照相機的LED系統進行動作捕捉和追蹤，在他們設計的手套上鑲嵌了LED燈，通過把最終的信號集中在手部，得到手指的動作信息。這個LED手套在當時只用來進行動作追蹤，並沒有作為控制設備使用。另外還有其他幾種不同的設計，例如由托馬斯·齊默爾曼（Thomas Zimmerman）和其他研究人員共同研發的DataGlove，可以檢測每一隻手上的十個關節和手的位置及方向，它的重量更輕、穿戴更舒適，而且兼容性更強，之後由VPL 研究中心進行商業推廣，被廣泛應用。

麥特爾·托伊思（Mattel Toys）受到DataGlove的啟發，在20世紀80年代中期發明了Power Glove作為遊戲控制器。保羅·迪·馬林斯（Paul De Marinis）受此啟發，他將手套上的彎曲感測器（finger flex sensors）部分保留下來，使其在音樂表演中用手指控制音高、觸發開始和結束的時間點以及保存某一個音樂段落的數據等。1991年，蕾蒂西亞·索娜米（Laetitia Sonami）與迪·馬林斯在奧地利的林茨舉行的電子音樂節Ars Electronica Festiva演出作品《Mechanization Takes Command》時用到了索娜米設計的手套設備，在橡膠手套上放置磁性感測器來觸發信號。一年後，索娜米又在此基礎上設計了帶有五個微動開關和磁感測器的手套，這樣她的左手可以實施完全的控制，並空出右手來控制旋鈕。在荷蘭電子樂器音樂實驗室（Studio for Electro Instrumental Music，簡稱STEIM）駐地創作期間，索娜米設計了著名的「女士手套」（Lady』s Glove），指尖部分嵌入了微動開關，彎曲感測器用來感應手腕和中指的彎曲度，每個手指的感應器都能接收兩組數值，用以辨別手指上兩個關節的彎曲程度。指尖部分裝有磁性感應器，拇指部分裝有磁鐵，可以偵測到每個指尖與拇指的距離。這個設備在食指和拇指上裝有一個壓力墊，在手掌上還有一個超聲波發射器，與腰帶和鞋子里的接收器一起使用。這個設計使表演者能夠通過手腕和手指的彎曲、每個手指之間相對位置的移動、手指之間的按壓、開啟或關閉指尖的微動開關以及手指和身體的相對位置來控制音樂的參數。這個手套的設計使單一手指的運動改變了多種參數的變化，因此能夠對聲音進行多次和多種參數的控制，進而能夠自如地對音樂表情進行控制 。

在托德·麥克弗（Tod Machover）的作品《bug-mudra》（1990）中，他使用Exos DHM設備來控制交互音樂表演中的音樂參數，計算機系統拾取兩位吉他演奏家和一位打擊樂演奏家的聲音，並在表演中對這些聲音進行實時合成。指揮的左手佩戴了DHM，通過它在指揮時進行音色的混合、聲相變化以及多聲道聲音的比例調節。木村麻里（Mari Kimura）也是一位使用手套設備進行交互音樂表演和創作的音樂家。她利用「μgic」感測器提取小提琴演奏中弓法和力度的變化，使用WiFi與計算機進行信號傳輸，並與實時的計算機音樂相結合，獲得了非常有效的演奏效果，這成為她在交互音樂表演中的標誌性創意設計。

3 基於肌電感測器的Myo臂環

許多已經在市面上可購買的可穿戴設備在設計之初並沒有以藝術設計和創作為目的，而是服務於醫學、科技和通信等專業領域，但它們獲取到的人體運動、動作、手勢，甚至一系列生物信息，如心跳、腦電波和肌肉緊張度的信號，都可以通過計算機將這些信息進行讀取、保存、處理，成為藝術創作的重要數據和素材，並實現交互表演。

Myo臂環是由Thalmic Labs設計的可穿戴的動作捕捉和數據控制設備，通過藍牙進行無線控制，與計算機、智能手機或其他電子設備進行數據傳輸。Myo臂環由8個包含肌電圖（EMG）感測器、加速度感測器、陀螺儀和磁力計的九軸慣性測量單元（IMU）組成，通過識別手臂的運動方向、肌肉緊張度、手掌和手指的動作、加速度以及方向等得到大量的數據。它能夠通過OSC協議將獲取的數據傳輸至多種應用程序中，同時為藝術家提供了在眾多編程環境下工作的可能。

由於佩戴方便而且不影響表演者的動作幅度，Myo臂環極大地優化了表演者的沉浸式體驗效果，不僅對樂器演奏家來說非常便捷，對於舞蹈和戲劇演員等需要在舞台上進行大幅度動作表演的藝術家來說，也非常方便。它的優勢還體現在利用它進行人體運動追蹤的信號不受維度的限制，只要在藍牙信號覆蓋範圍內，就可以穩定地拾取並傳輸數據。

SALTO（全稱為Sensory Aerialist eLecTrOacoustic system）是為高空表演而設計的包括Myo臂環、數字聲音合成和電子音樂等模塊的互動式表演系統。克里斯蒂安娜·羅斯（Christiana Rose）及其創作團隊在2016年創作的《Splinter》是為高空舞蹈表演和SALTO系統創作的互動式電子音樂作品（圖1），通過Myo臂環採集數據將高空舞蹈表演者的身體語言轉譯成聲音素材。在這個作品中，儘管由於演員的動作變化和移動而產生動作信息確認的不準確和不穩定的問題，但這種形式為作曲家提供了更多捕捉全方位動作信息的可能性，在技術領域仍然是一種突破。

就讀於伯明翰音樂學院的巴拉迪諾·迪·多納托（Balandino Di Donato）也是熱衷於探索動作追蹤與交互音樂的藝術家，尤其善於使用帶有Myo臂環的交互系統的應用和研究。他與詹姆斯·杜利（James Dooley）共同設計的MyoSpat是一個交互聲音—視覺影像系統（圖2），旨在通過表演者用手勢和動作信息直接控制聲音和燈光效果，增強作品的藝術表現力。MyoSpat 2是根據Myo動作控制作為數據輸入，在Pure Data編程環境進行動作數據識別和聲音—影像處理的更新版本系統。

在這個系統中，Myo Mapper從Myo臂環提取並轉換數據，傳輸到OSC；使用ml-lib（機器學習庫）外部插件在PD（Parallels Desktop）環境中進行動作識別和聲音—影像信號的處理和空間化呈現；用Arduino將序列數據傳輸至DMX來控制燈光的效果。在MyoSpat的資料庫中有六種動作識別設置，手臂的每一個動作都對應一種聲音數據的處理方式，例如音高變化、振幅調製參數和3D空間變化等。埃莉諾·特納（Eleanor Turner）是豎琴演奏家和作曲家。特納在她的作品《The Wood and the Water》中也使用了MyoSpat交互音樂系統進行創作和即興表演，產生了豐富的藝術效果。MyoSpat在其他領域也得到了廣泛應用，例如舞蹈表演和虛擬現實等。

4 腦電波感測器的應用

在過去的幾十年中，醫學、神經學和心理學等領域的研究人員一直致力於腦電波的研究，並取得了顯著的成果。在此基礎上探索使用腦電波信號，成為藝術家進行創作的新技術手段。

截至目前，已有許多公司研發了基於腦電圖描記法（EMG）的生物感測設備，用來獲取人體的生物信息數據，例如Emotiv、NeuroSky、iWinks、MUSE。通過獲取大腦活動中的腦電波，得到表演者在放鬆、冥想或思考等不同情緒狀態下的腦電波數據。

艾爾文·盧西埃（Alvin Lucier）被公認是較早使用腦電波進行創作的作曲家，他在1965年創作的作品《為一位表演者而作的音樂》（Music for Solo Performer）使用了EEG電極檢測表演者在冥想時的alpha腦波，這個腦波信號產生的聲音與舞台上的打擊樂器產生共振，在舞台空間中構成極具戲劇性的效果。表演者的腦電波首先輸出到差分前置放大器，然後進入八組立體聲放大器。舞台上共有16件樂器，包括鋼琴、鼓、吊鑔、金屬垃圾桶和硬紙板等。這些樂器上都安裝了小型的揚聲器，能夠使alpha腦波傳輸到揚聲器時與聲學樂器產生共振，這在當時的實驗音樂領域引起了轟動。圖3所示為2009年9月26日，艾爾文·盧西埃在倫斯勒表演藝術中心演出的海報。

麗莎·朴（Lisa Park）是一位交互裝置藝術家，她的作品多採用人體的生物信息作為交互系統的輸入數據，例如人的心跳和腦電波等。她的交互電子音樂作品《Eunoia》創作於2013年。這個標題在希臘語中被譯為「美妙的思考」，表達對人類五種情感（喜、怒、哀、惡和欲）的思考，這五種情感構成了一個無限的人類情感統一體，也從另一個側面體現了作者對採用腦電波進行藝術創作的追求，力圖使用最直接而美妙的方式體現大腦思考的美感。她使用NeuroSky公司設計的EEG頭戴式設備，獲取大腦的活動數據，包括delta、theta、alpha和beta腦波，同時監測眼睛的活動。這些數據實時進入編程軟體，並以圖示的形式體現出來（圖4~圖5）。在這部作品中，麗莎·朴使用了一種更加清晰可見的方式為觀眾呈現這些腦電波信號所產生的效果。她在5個24英寸的金屬盤裡覆蓋了一層水，並在金屬盤下方分別安裝了15英寸的揚聲器，通過揚聲器與金屬盤的共振，水面呈現出不同的波紋。麗莎·朴將腦電波信號傳輸至實時編程環境Max和Reaktor，生成帶有回聲效果的聲音。水在金屬盤裡的波動取決於聲音的音量、聲相和頻率，這些參數隨著大腦活動和情緒的變化而產生變化。此外，她還創作了許多使用腦電波的互動式音樂和裝置作品，例如《Eunoia II》、《Eudaimonia》以及大型聲音裝置《NUE》等。

2013年，斯坦福大學教授克里斯·舍費（ChrisChafe）與致力於研究痙攣癥狀的約瑟夫·帕維茲（Josef Parvizi）教授合作，將病人的腦電波信號轉譯為音樂。舍費使用了一個接近於女聲的聲音素材，目的是為聽者提供一種更容易接受和理解神經活動的聽覺體驗。他們後來設計了一種可以進行實時監測病人腦電波的設備，能夠在任意時間獲取腦電波信號，他們把這個設備稱為「大腦聽診器」。帕維茲選擇了大腦中一百多個神經元作為信號源，舍費從這些神經元中選擇一部分信息來調製女聲的音高頻率，隨著腦波活動的逐漸頻繁使音高產生相應的變化。與此同時，女聲的音調、音色也在發生改變，每個神經元信號都成為一個演唱聲部，整個音樂呈現出高低起伏和律動的變化。

將腦電波用於音樂創作的這些藝術實踐活動，並不僅僅存在於嚴肅音樂或實驗音樂領域。爵士鼓手威廉·胡克爾（William Hooker）和歌手羅拉·法耶（Lora Faye）把腦電波信號與爵士樂表演相結合，腦電波信號生成的聲音擔任音樂中的一個重要聲部，這成為獨具特色的爵士樂表演方式。

5 結語

托德·溫克勒（Todd Winkler）曾提到：「交互音樂系統使用軟體來控制音樂的各項參數，體現音樂的藝術表現力……人的動作作為輸入信號和數據，也已經被頻繁地應用在交互音樂系統中……將動作數據轉換為音樂信息的方法，為表演者提供了參與感和創造性……這種交互感取決於表演者的自由度和對產生的效果的感知，以及計算機程序對於表演者動作信息的反應和轉譯能力。」使用可穿戴設備進行交互音樂表演，更突出地體現了溫克勒所說的交互音樂靈活性和創造性的特點。

近年來，交互音樂在科技不斷進步的大背景下得到持續的發展，可穿戴設備也在不同領域得到廣泛的應用。可穿戴設備的靈活性和隱蔽性為表演者提供了更大的自由空間，在這種極具沉浸感的表演中，表演者能夠在表演空間內對自身有更明確的感知，將交互音樂表演中的動作姿態與最終呈現的音樂表情融為一體。可穿戴設備在交互音樂中的應用，縮小了表演者與觀眾以及表演者與自身的距離，增強了他們的參與感和沉浸感，極大地拓寬了藝術家的創作手段和工具的可選擇性。當前，這種跨學科的新媒體藝術創作與多媒體形式的合作形式也在快速發展。以上提到的這些可穿戴設備為藝術家提供了探索聲音、畫面、文字和結構等元素的多樣融合方式，並被廣泛應用在交互電子音樂、裝置藝術、舞蹈和戲劇等領域，通過實時地將表演者或觀眾的身體動作信號和生物信息轉換為相對應的輸出信息，極大地增強他們的參與感，並拓展了藝術的表現力。

選自《演藝科技》2018年第5期 亓夢婕《可穿戴設備在交互音樂中的應用》，轉載請標註：演藝科技傳媒。更多詳細內容請參閱《演藝科技》。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！