Ｙ社的ＡＩ鋼琴

譯自：音遊人

為了能讓更多人能使用而持續進化的ＡＩ鋼琴

［前言］

要與誰呼吸一致來演奏的「合奏」，絕對是只有一人無法品嘗到的一種音樂上之喜悅。不過近年來發展出了能夠分析．判斷出人類演奏節奏、聲音強弱或各種變化傾向，而加以配合的ＡＩ技術，使得「就算是只有獨自一人，也能和無人鋼琴一起合奏」這件事逐漸變成了現實。這次我們就想請教Ｙａｍａｈａ公司的前澤陽先生，請他來談談這樣的夢幻技術的開發與進展。

使用ＡＩ來預測人的演奏並且一起合奏的理想

前澤先生是從大學與研究所時代，就開始進行讓機器理解音樂的研究。在進入Ｙａｍａｈａ之後，也參與過可以分析出樂曲節奏與和聲進行的Ａｐｐ、也就是讓機器取代人耳來「抓譜（複製音樂）」的系統。在這之後，開始對機器能參加人類之間的合奏技術感到興趣。

前澤先生說：「我自己雖然也拉小提琴，但進入職場工作後非常忙碌，變得很少有時間能和之前合作過的演奏夥伴合奏。遇到這樣的狀況，好比說就算到了下班後的深夜可以自己一人來演奏時，也還是會覺得此際剛好有個樂團成員在旁邊一起合奏的話，該有多好啊？這就是我一直在思考的事情」。

而這樣的新課題，其實等於就在前澤先生以往研究的延長線上。換句話說，只要能讓機器聽了人類的演奏而進行學習，並且能讓機器推定出人類的演奏是怎麼回事，就是這個技術的關鍵概念。如果機器能理解出人類現在演奏的是多快多慢的速度、多強多弱的音量，並且在下一段樂句開始前預測出該要怎麼配合人類演奏，就能讓機器和人類一起演奏了。而這樣的發想，就成為了ＡＩ鋼琴的基本概念。

實現讓ＡＩ鋼琴進行超越時空共演的理想

前澤先生首先辦到的是２０１６年和東京藝術大學合作開發的「人工智能演奏系統」專案，而應用這個專案所生成的ＡＩ鋼琴，成功地和柏林愛樂夏隆重奏團（Berlin Philharmonic Scharoun Ensemble）之弦樂團員們完成了舒伯特的鋼琴五重奏「鱒魚」（第四與第五樂章）的現場合奏。（參照底下連結）

https://youtu.be/40IRfETlvSs?si=vbUoFXHHc1ao31rb

這個「人工智能演奏系統」是使用麥克風與錄影相機來捕捉弦樂演奏者的演奏與動作，而能掌握住正確的時機來成功完成鋼琴和弦樂的合奏。而且，這個ＡＩ鋼琴的演奏資料（學習資料）是模仿俄羅斯鋼琴大師李希特生前的演奏來製作的，等於是讓柏林愛樂夏隆重奏團和李希特大師「跨越時空共演」呢。

到了２０１９年，加拿大的鋼琴怪傑顧爾德的演奏，也是透過ＡＩ學習的方式「復活」了。在前面的專案（「人工智能演奏系統」）中，其主軸是去偵測人類演奏的時機，而讓ＡＩ配合人類合奏；而這個顧爾德重現專案，則是讓ＡＩ學習顧爾德過去的演奏超過一百小時以上，而完成了能夠重現顧爾德的觸鍵與速度感等等演奏風格的新課題。前澤先生說：「至此為止前，要讓ＡＩ演奏的資料，必須事先學習製作出來才行，而這次的顧爾德重現計畫，則是可以讓ＡＩ看過樂譜後自行『思考』，再配合時機產生出適當的演奏」。

 

除了像這樣可以達成超越時空的豪華共演、或是成功高度重現歷史大師的演奏以外，前澤先生說：「其實ＡＩ鋼琴的真正目標是讓更多人來使用它」。這樣讓更多人來使用的嘗試，則是有２０１８年舉辦的「Duet with YOO」體驗活動、或是２０２１年公開的「Project Sekai（世界） Piano」體驗活動等等，正在一步一步朝向實現目標前進。「Duet with YOO」這個系統，是當你彈奏「小星星」的旋律後，ＡＩ鋼琴可以掌握住彈奏時的強弱與氣氛，產生出符合前面演奏的改編伴奏以進行合奏。至於「Project Sekai Piano」，則是配合彈奏的鋼琴聲，產生出各種不同虛擬歌手的歌聲加入演奏的系統。

有了這樣的系統後，可以期待未來在現場音樂會等演出舞台上出現更多活用ＡＩ鋼琴的實例。

前澤先生說：「例如，或許可以配合浮現於舞台上的虛擬全像影像之動作，一起進行合奏」。另外，以往在現場演出中樂團搭配播放事先預錄好的音樂來合奏時，鼓手必須一面聽著節拍器來抓住預錄錄音的節奏來敲擊，但前澤先生認為：「只要能活用可以捕捉人類演奏特色的ＡＩ系統，應該就可以將演奏時機主導權回歸到人類手上（是ＡＩ配合人類，而不是人類配合錄音）」。

ＡＩ鋼琴和當紅鋼琴演奏家在舞台上共演

而這個可以親眼目睹在舞台上活用ＡＩ的機會也實際出現了。就是２０２２年６月、７月間和當紅鋼琴家、也是YouTuber的Yomii（よみぃ）合作舉辦的「Yomii Zepp Tour」巡迴演出。

同時Yomii也在自己的YouTube頻道中上傳了和前澤先生開發的ＡＩ鋼琴進行比較的影片。這影片除了檢視了ＡＩ鋼琴的可能性以及提升樂趣的方式，另一方面也「吐槽」了ＡＩ系統的弱點，而讓前澤先生跳腳。前澤先生說：「我也會跟著一起參加巡迴演出，親自享受活用ＡＩ技術的樂趣。越是參與更多的嚴酷現場演出，越能獲得貼近演奏家的感觸，對於製作更接近實際音樂家表現的系統有很大的助益，讓我很期待這個可以實際驗證的機會」。

＝＝＝