音楽をデータサイエンスで解き明かす

音楽とデータサイエンスの融合

株式会社ブレインパッド・堀川亮

株式会社ブレインパッド・堀川亮（以下、堀川）　国立音楽大学の概要と三浦先生が考える音楽学という学問、およびその研究内容についての考えを最初に聞かせてください。

国立音楽大学 准教授・三浦雅展氏（以下、三浦氏）　国立音楽大学（以下、国立音大）は歴史の長い大学です。前身の東京高等音楽学院の創立は1926年で、翌々年の2026年は創立100周年になります。「国立音楽大学」として認可されたのは1950年で、そこから数えても70年以上の歴史を持っています。その間に多くの演奏家や作曲家を輩出してきました。

日本には数多くの音楽大学がありますが、国立音大は私立の大学です。一般に音楽大学と聞くと、ピアニストやバイオリニストあるいは作曲家といったいわゆる音楽家を育成する大学だと想像するのではないでしょうか。しかし我々は、音楽に対する学問的な知識や視点が必要であると考えてきました。学問に強い音楽家を育てるのが国立音大の大きな特徴です。

国立音楽大学 准教授・三浦雅展氏

私自身は音大を出ているわけではなく、工学部の出身です。国立音大の方とたまたまご縁があり、2019年4月からお世話になっています。私のような音楽専攻とは違う分野の人間も参画して音楽のことを詳しく勉強し、研究し、教育しています。音楽自体が非常に複雑な複合領域ですので、1つの方面からだけの研究や実践では理解できません。周辺分野の知識も必要なのです。

堀川　今回は、「音楽データサイエンス（以下、音楽DS）」というテーマを深く掘り下げていきたいと思っています。三浦先生には以前から音楽の物理量や心理量のお話はよく伺っていました。それと関連するかどうかはわかりませんが、音楽DSというテーマでコースを始められたと聞き、強い関心を抱いていたのです。まず、音楽DSコースのご紹介をいただけますか。

三浦氏　音大には演奏家や作曲家になりたい人が非常に多く、それを目指す過程できわめて長時間の訓練教育がなされるわけです。しかし私から見ると、そこまで辛抱強く頑張ったことが演奏や創作だけにしか生かされていません。もっと彼ら・彼女らの訓練や知識が「社会に生かせないか」と、最初に考えたのです。

私はこの大学に来る前から音響信号処理といった音楽の情報処理を研究していましたが、常に音楽の専門知識が足りない場面に出くわしてきました。「これは音楽的に見たらどういう特徴だと言えるでしょうか」と聞くと誰も答えられず、結局「音楽ってよくわからないよね」という状況に陥りがちでした。

音楽の知識はほしいのですが、それがなかなか手に入らない状況にいたということです。ところが音大では逆に、音楽の知識は豊富なのにそれをほかに生かせない状況を見たのです。これは音楽と他分野の専門家が相互乗り入れすれば、新しい発見やムーブメントができるのではないかと考えたのです。

近年、データサイエンスが流行り・根付いてきました。これに基づいた研究を音大でやることで、本来音楽だけを目指していた人がそれ以外の新しいオプションを手に入れることができるのではと思いついたわけです。

幸いデータサイエンスは手段がどんどん簡便化し、民主化に向かっています。やがては誰もが使えるスキルになるはずで、ならば音大生にデータサイエンスを学んでもらうほうが現実的だと考え、音楽DSコースを大学に提案をしたのです。学内でいろいろな方に相談したら、興味を持って協力してくださる方がたくさんいて、実現に至った次第です。

参考：国立音楽大学「音楽データサイエンス・コース」を2023年度より開講

堀川　音楽と一言に言ってもかなり広い領域です。データサイエンスが対象にする音楽とはどう捉えたらいいのでしょうか。たとえばブレインパッドでは、お客様の経営課題を解決するために、データサイエンスを駆使しています。しかしビジネスももちろん幅広く、データサイエンスがうまく活用できる領域とそうでない領域があるのです。音楽も演奏、創作、制作、理論などさまざまな分野がありますが、どのあたりが対象になると考えておられるのでしょうか。

三浦氏　まず大枠の話をしますと、音楽の実践はほとんどが手作業なのです。和声理論のように教科書になるぐらい理論化されている領域もありますが、この先生だったらこうするという属人的な領域も大きい。つまりデータにすらなっていない領域が広いので、いったんはデータにしたいという要請がまずあります。データにすれば可視化ができますので、それを見て音楽家が新たな考え方を持つことになり、新しい発見につながることになります。

一例を挙げると、2020年の4月にコロナ禍が始まったころ、楽器演奏が飛沫（ひまつ）を広げていると不安視されていた時期がありました。そこで音響学を専門とする私は、楽器演奏での息の出方を可視化しようと提案したわけです。2020年6月に調査を始めて、9月にプレスリリースを発行しました。

たとえばトランペットなら息が爆発的に飛んでいるのではないかとみんな疑っていたわけですが、私たちも実際はどうなのかわかりませんでした。それを非常に簡単な方法で測定して、楽器ごとに並べてみたのです。楽器ごとの空気流出を可視化することができ、世の中の人もただただ不安だという状態から、こういうことに気をつければいいとわかるようになりました。

この研究を通して、音楽を可視化することに対して興味を持って協力してくれる土壌が国立音大や音楽家にあることを実感できました。また演奏家からもフィードバックがあったのです。私1人で成しえたように見えますが、実際には他の先生方からさまざまな意見をいただいて進めました。たとえばトランペットの先生につば抜きを取ったらどうなるか測定したいと提案していただき、さらに演奏法をいろいろ変えてやってみましょうかという提案をいただきました。そういうさまざまなフィードバックで実現した研究なのです。

堀川　データをもとに可視化していきたいという要望があるということですね。

三浦氏　はい。これまでは属人的な勘と経験でしかわかっていなかったことがデータで明らかになることで、普段の活動がよりクリアになるということです。

堀川　音楽DSコースでは、データサイエンスの技術を身につけることで、今までと違った発展や成長の仕方を目指しているのだと思います。どういったものを目指しているのでしょうか。

三浦氏　大きく2つあります。1つは演奏科学に資することで、これは演奏家が自分自身の演奏を異なる視点で見つめなおすことができるようにすることです。演奏のスキル向上やケガの防止など音楽の実践における何らかの目標を達成しやすくすることが目的です。

たとえば声楽家が歌っているときに、お腹を膨らませたり胸に力を入れたりといろいろな身体の使い方があります。しかし身体の中のことは、目で見ることができません。そこで歌唱時にデータを取って、お腹と胸にどのぐらい力が入っているかをグラフで見えるようにしたのです。

従来は音響波形や歌っている姿を見ながら、「頭の上にエッフェル塔が乗っているのをイメージして」といったアドバイスを先生がしていましたが、少し抽象的と感じる学生も少なくありません。データを使うと身体の動きを完全に可視化できますので、学生の理解が深まることが期待されます。

先生方の達成目標は、限られたレッスン時間の中で学生の欠点を、学生のわかる言葉で伝えて修正することです。それを実現するための研究を先生方と一緒に進めていかないといけません。この研究は、そのための準備なのです。

堀川　たとえば超一流の声楽家と波形を比べてみて、そちらに近づけるようにしていこうという使い方になるんですか。

三浦氏　今のところは比較というよりも、歌っている人自身の身体の使い方を見るだけです。先ほどの動画では、本人が自然と思う状態で演奏してもらっていましたが、もっと力んでもらうと、声に震えが入り、波形も変わります。ちなみに声の評価は現時点では行っていません。あくまでこの身体の動きしか見ていませんが、それでもフレーズの終わりに向かってどのように力を抜いていっているかといった細かい分析ができます。

これを私は「新しい鏡」と呼んでいます。「鏡1枚でお化粧するのに比べて、三面鏡ですると見える部分が増えるでしょう」とたとえると、すぐに理解してくれるのです。演奏自体は変わらなくても、解析する手段が増えるわけですね。

堀川　もう一つの目標は何でしょうか。

三浦氏　もう1つの目標は、先ほども申し上げたように、音楽の知識を持った人が音楽以外の分野で社会貢献ができるようにすることです。私は長らく、音楽配信の推進に仕事として携わっていました。そのときに物理的な信号処理を行ったとしても、それで人の心に響くのかとか、音楽にとってどんな意味があるのかといったことがわからなかったのです。音楽を理解している人たちが、「この音楽はかくかくしかじかです」ということをエンジニアに対して、エンジニアがわかる言葉で話さないといけません。音楽を知らないエンジニアに音楽を伝えてくれるブリッジの役目を果たす人が必要なのですね。そういう人をこの音楽DSコースから輩出したいと考えたのです。

音楽を詳しく知らないけれども、何らかの形で音楽を発信している人たちに取っては、ぜひとも支援をお願いしたい人たちです。音楽そのものだったり、歌詞の意味だったり、音楽と歌詞の関係だったり、そういった特徴を言葉にし、エンジニアなど違う分野の人に説明できる人を音楽DSコースで育成したいのです。

堀川　今までそういった取り組みはなく、データサイエンスを活用することで、初めてそういう道筋が見えてきたのでしょうか。

三浦氏　私の認識では、新しい道筋ですね。とてもニッチな領域かもしれません。ただ音楽の専門家が従来の領域とは違うところで働くという意味では、どこにあるかははっきり見えませんが、実は至るところにニーズがあるのではないかと考えています。

たとえば楽器メーカー、音楽配信会社など音楽に関する何らかのサービスを手掛けている会社や、サイン音（報知音）をデザインしている会社などでニーズがありそうです。音に関わる仕事はけっこう種類があるので、そこで音楽DSを学んだ人が活躍できるようになればいいなと思っています。

音大出身でそのような道に進んだ方も過去にいるかもしれませんが、音楽DSコースは意図的に教育して輩出するルートを作ろうとしています。また今までこれらの仕事に関わってきたクリエーターやエンジニアが感覚的にやっていたことを、データに基づいてできるようにすることもねらいに含んでいます。

音楽教育にサイエンスが導入される意義

堀川　そもそも音楽教育にサイエンス（科学）的なアプローチが入ることによりどのような成果につながるのでしょうか。

三浦氏　科学は迷信や信仰などとは逆の立場で、信じる対象でも崇拝する対象でもありません。それまで迷信や信仰だったものに違う視点を与えるものです。まずそれが前提ですね。

音楽にはさまざまな人がそれぞれの距離感で関わっています。その中には、音楽さえあれば自分も幸せだし、他人も幸せにできるという信仰に近い考え方の人もいます。あるいは音楽家は何をしてもすばらしいという崇拝の対象にする人もいます。一方で音楽以外の仕事をしていて、趣味としてポピュラー音楽やジャズを聴けて、ときどき演奏会に行ければ十分という距離感の人もいます。

ここで科学が世の中にしてきた貢献について考えてみると、1つは主観的なことを客観的にするということ。もう1つは100時間かかっていたことを数時間で、100人でないとできなかったことを1人でできるように合理化するということ。この2つが科学の世の中に対する主な貢献だと思うのですね。それ以外にも知的好奇心を満足させるということがあります。不思議なことを科学の力で完全に解明することで、人々の心が満たされるという面もあります。

データサイエンスが音楽に貢献できることは、知的好奇心を満足させるというよりも、科学がしてきた世の中への貢献と同等のものではないでしょうか。信仰や崇拝対象だった音楽をより客観的なものにする、あるいは指導法を合理化すること安全で効率的なものにするというのが私の考えている方向性です。

堀川　客観視という観点でいえばビジネスでデータ活用する際にも近い考え方があります。自社に都合の良い仮説を立てたいのに、データサイエンスが入ることで客観視されてしまい、そうはいかなくなるということがあります。ファクトが揺るぎない現状であり、それを起点に仮説をたてる必要が出てきます。今までの「数を打てば当たる」というやり方から、データを起点にすることで、再現性や成功確率を高めていけるところにデータサイエンスの価値があります。データサイエンスの導入に際しては、不都合な仮説でも受け入れるという判断をすることがあるのです。

音楽の世界でも、できれば今まで通り勘と経験でやりたいのだけれど、長い目で見れば、データを活用したほうが結局は速い――そのような考え方でデータサイエンスを採用しようとしているのでしょうか。

三浦氏　それに近いことを感じているマリンバ奏者の学生（国立音楽大学大学院博士後期課程の竹下和秀君）がいます。マリンバというのは大きな木琴で、それを4本のマレット（バチ）で演奏します。マレットが2本だけだと2つしか音が鳴らせないので、三和音以上を奏でようと思ったら片手に2本ずつ持つ必要があるわけです。

このマレットの持ち方が演奏家によって違うのですね。さまざまな持ち方が提唱されているのですが、どれが良いのかを検証できているわけではないのです。地域によっても違うし、先生によっても違うのですが、自分が習った先生の持ち方が良いと信じるしかありません。しかしその人の手の大きさや筋肉の柔らかさなどに応じて、演奏しやすかったりケガをしにくかったりする持ち方があるかもしれません。

竹下君が思ったのは、「自分はこの持ち方が良いと信じているけれど、指導する立場になったときに、それをそのまま生徒に教えるのは違うのではないか」ということでした。もっと客観的な教え方はないのかと。

そこで彼はモーションキャプチャーを使って、叩くスピードや強さ、正確性などがマレットの持ち方でどのぐらい変わるかを可視化したのです。それに基づいて生徒に合わせた持ち方の提案ができるのではないかと言うのです。

従来の指導法に疑問を持っていて、それを変えていきたいと考えている人たちにとって科学は必須だと私は考えています。そして竹下君以外にも、同じような考えを持っている人はたくさんいると思うのです。

堀川　今までは1本道なのか2本道なのかはわかりませんが、うまくやれた人が指導者となって目指す方向を示してきました。しかし、その指導者の示した道が別の人にも最適な道なのかはわかりません。それぞれにとって最適な道は、データ分析という科学的手法で探すほうが有効だということですね。

三浦氏　その通りです。それ以外にも私が感じていることがあって、それは音楽の世界は徒弟制度に基づく問題があります。例えば教師から自身の模倣しか要求されないことや、生徒がどれだけ努力をしても模倣に到達しないという問題です。このようなやり方が音楽家の母集団を減らしているところもあるので、それが音楽にとって必要なことかという議論になるのではないかと思っています。今の世代までは良いとしても、将来にわたってやり続けますか、という話です。

多くの音楽家を見てきて感じるのは、みなさん超人的な努力をいとわない人たちということです。音楽指導が効率化されて、10時間かかっていたことが2時間になったとしても、残りの8時間をサボるのではなく、さらに練習のために使う人たちなのです。私たちは演奏家の良い演奏を聞いているだけではなく、求道的な努力を積み重ねている人たちの背中を見ている面もあると思うのですね。10時間のうち1時間しか努力していない人の演奏は、素人にもわかるのですよ。

私は音響学という、音を客観的に分析する学問を専門にやっていたので、音楽の価値が音に存在しないという発言は一見矛盾する話ですが、しかし矛盾とは思っていません。観客は鍛錬を積み重ねている演奏家の背中が見たくて、しかもそのすごさを感じるのです。したがって音楽に科学が取り入れられて、練習が合理化・効率化しても練習量は変わらないことでしょう。

堀川　合理化・効率化でさらなる高みに行ける可能性が出てくるということですね。

三浦氏　私はそう思っています。

堀川　ビジネスの世界では、ノウハウ集や事例などが豊富になってきていて、読んで理解できる領域が広がっています。しかしそれと同じようにやればうまくいくかというとそうではない。実際にやってみて、失敗して、失敗要因がわかるところに、実はノウハウや事例の価値があります。そういうプロセスが大事であって、データサイエンスで効率化される一方で、データを活用することで実は泥くさい道をたどる方向に行くという面もあるわけですね。違う見方をすると、データのおかげで結果につながる失敗ができるということでもあります。結果を検証できる環境でさまざまな試行錯誤ができることが、最終的に会社の強みにつながると考えています。

さきほどの求道的な努力を積み重ねている人たちの背中を見ているというお話を聞いていて、ビジネスの世界でも、成功の裏側でどれだけ失敗してきたかという「背中」が社会や顧客に見えるような世界になると良いなと思います。

三浦氏　なるほど。音楽の世界は、研鑽であり追求です。私が多くの先生方と話をしていても、誰も自分の技量に満足していていません。自分はまだまだ上にいける、いきたいと言う人ばかりなのです。「そこまでの腕があったら、あなた自身が教科書でいいじゃないですか」と私などは思うのですけれども、まったくそうは思っていなくて、さらに高みを追求されています

堀川　起業した方々は成功しても満足せず、いつまでも挑戦を続けているように感じます。そういう人たちにとってデータサイエンスはきわめて価値の高いものでしょう。追求型の人たちと一緒にデータサイエンスをやっていくと新しい価値が生み出されるのではないかと、今のお話を伺って感じました。

三浦氏　ビジネスと音楽の間にいる人は誰だろうと考えたら、楽器職人が思い浮かびます。楽器を作るビジネスですが、感性がかなり重要なのですね。職人としての感性が重要視される世界で、そこにデータサイエンスを導入することで良くなる面もあるでしょうが、感性は守らないといけません。そうしないと良い楽器が作れないのです。楽器といっても工業生産物ですが、感性も重要ということで境界領域ですよね。

三浦氏　商品だけれど商業ではない領域を守らないといけない、そうしないと商品として成り立たない世界があるということです。自動車業界にもあって、高級車ならではのドアを閉める音を守りたいというニーズがあるんですよ。そうなるとドアの開閉音の玄人がいて、この音はこう鳴らないと駄目なのだという、言語化がなかなか難しいところが商品価値になっているということですね。

堀川　言語化は難しいが特徴や価値になっている何かというものがあると感じます。

三浦氏　そういった領域も音楽DSの対象になっていくということです。感性の高い職人もドア開閉音の玄人もいつまでもその会社にいることはなく、後継者にまったく同じ感性が引き継がれるわけではありません。しかしデータサイエンスによってもっと忠実に感性が保存できて、より正確に技術が再現できるようになるかもしれない。したがって、今音楽DSコースで取り組んでいるように、まずはデータ化からということはどの領域でも変わらないと思います。

DOORS　お話は尽きませんが、残念ながらお時間になってしまいました。ここでいったん終了して、後半はゼミの学生さんも交えて、データサイエンスに基づいた研究の実際についてお話を伺いたいと思います。

>>後編へ続く：データから帰ってきたシティポップの流行を探る