対象読者
- コピーしたい曲があるが楽譜が売っていない(バンドスコアは信用できない)
- 耳コピがしんどいので補助ツールを探している
- spleeter、もしくはdeCodaに興味がある。すでに所有している
今回は耳コピ補助ツールの記事です。
ただ普通の耳コピ補助ツール「単体」の記事ではありません。
2つのツールの良いところを組み合わせて、パフォーマンスを何倍にも高める検証を行いました。
spleeterとdeCoda、それぞれどんなソフトなのか
spleeterはAI(機械学習)によって曲を楽器ごとに分割してくれるソフト
spleeterはフリーソフトでありながら、高精度で楽曲をボーカル、ベース、ドラムなどのパートに分けてくれます。
Windows,Mac両対応です。
開発はMIT(マサチューセッツ工科大学)。さすがの技術力で納得のクオリティです。
分割数が選べます。
最小で2stemのボーカルとその他。
最大で5stemのボーカル、ベース、ドラム、ピアノ、その他です。
聴き取りたいパート以外の音が無くなるので耳コピに非常に役に立ちます。
過去に詳しめに記事にしたものがあるのでもっと知りたい方はどうぞ。
githubで配布されているのでダウンロードして使ってみたい方はどうぞ
https://github.com/deezer/spleeter
deCodaは波形を分析してピッチを可視化してくれるソフト
deCodaは楽曲の音を可視化してくれるソフトです。
こちらもWindows,Mac両対応です。
こちらは有料ソフトです。定価で¥6000 ~ 7000です。
年に何回かセールしてそのタイミングでは¥4500 ~ 5500くらいになります。
こちらも耳コピで役に立つのですが、楽器の数が多い曲になると音が多くて表示画面がごちゃごちゃしてあまり使い勝手か良くありません。
こちらも過去に記事にしたものがあるのでより詳しく知りたい方はどうぞ。
この過去記事の時は米津玄師の「Lemon」を解析題材にしました。
開発元のzplaneの公式商品ページリンクを載せておきます。
https://products.zplane.de/decoda
「spleeter」×「deCoda」で期待される「明確な可視化」
ここで閃きました。
deCodaで一括表示させるとごちゃごちゃしてわからなくなるなら、spleeterで先に楽器パートごとに分割しちゃえばいいのでは？そしたら見やすくなるのでは？
手順としては
- 音源入手
- spleeterでパート分割
- deCodaでコピーしたいパート毎に可視化
という感じです。
今話題のLiSA「炎」で試してみた
題材にはLiSAの「炎」を選びました。
オリコン上位を何週にもわたってキープしているので、耳コピ需要も高いと踏んでいます。
パート数も多すぎず少なすぎず。
ピアノも入っている曲なのでspleeterでは最大分割数の5stem(vocal, bass, drums, piano, other)でやってみました。
1.vocal
まず見ていただきたいのはこの見やすさ！
ボーカルパート以外、かなり綺麗さっぱり表示から消えています。
※ちなみにdeCodaは基音を青い影、倍音を黒い影で表示します。
上の画像では「他のパートがちゃんと分離されてる」ことを強調するために、敢えて周波数の低いところから表示させてます。
実際はC3より上から表示させることでより見やすくなります。
歌のラインがかなり見やすいです。どこにビブラートを入れているかまでバッチリわかります。
楽器がさらに増えてハモリパートも入っている1番サビも参考に見せます。
ハモリパートの動きもメインメロに比べて影は霞んでますが表示されています。
メインメロよりハモリパートはコピーが難しいのでかなり助かります。
これをパッと見るだけでも「メインメロに対して下側3度を基準にハモリを作っている」と全体の傾向がつかめます。
点数つけるなら100点中80点くらいの活躍です。
2.bass
ベースもボーカル同様、かなり綺麗に目視することができるようになりました。
低音を聴くのがまだ苦手という人にはかなり助かると思います。
またdeCodaには「オクターブ上の音で表示&再生させる」という機能があるのでベースの聴き取りがさらに容易になります。
ただ残念ながらいわゆるオカズ(8小節に１回くらい入るベースフィルイン)の細かな動きまでは明確に表示されません。
オカズ部分だけはリピート機能とかを駆使して集中して聞き取るしかないと思いますが、長くて1小節とかなので量的にはそこまでしんどくないです。
それも全く手掛かりがないわけではなく、オカズ部分も影があるところはあるのでそれを補完していくように把握できます。
100点中90点くらいの活躍だと思います。
3.drums
ドラムは周波数で「どのパーツを叩いているか」をみることはややしんどいです。
キックとスネアは影が良く出てくれますが、ハイハットやクラッシュシンバル類は眼だけに頼ってるとほぼわかりません。
ドラムパートではボーカルやベースとは違い、ピアノロールビューを活用するよりはウェーブフォームビューとフォーカスモードを使った方が効率的に情報が得られます。
ドラムパートはトランジェントがはっきりしているので「その瞬間にどの周波数がフォーカスの画面に現れるか」を目視することが容易です。
一方でベース同様にオカズ(フィルイン)の細かな動きの中で「どのタムを何回叩いているか」のようなことは目視しにくいです。
とはいえオカズは(以下ベースのとき同様のため略
炎はテンポがゆったりめの曲なので把握しやすいのもありますが、必要に応じてdeCodaの機能でテンポを遅くすることもできます。(逆に速くすることもできます)
100点中70点くらいの活躍です。
4.piano
今までのパートと違い、spleeterの分離の時点であまり出来が良くないです。
聴いてみるとグロッケン、ミュートギター、アコギのアルペジオなどの音もPianoのデータに入っています。
音質もいいとは言えません。
おそらくspleeterのPianoパートの分離機能は日本のポップスのような編成をあまり想定していないのだと思います。
この点は今後のspleeterの改善に期待するところです。
ただイントロから1番Aメロなど、ピアノが印象的な部分はそれなりにいい感じに分離してくれます。
上の画像からわかりますが、deCodaはコードを自動で解析して表示してくれるところもいいところです。
精度がそこまで高いわけではないので頼りすぎは禁物ですが、それなりに助かります。
炎のようなバンドの中にピアノがある編成のような曲では「ピアノの聴き取り補助に使う」と期待するとややがっかりするかもしれません。
一方で「コードを把握する、ついでにピアノの大まかな動きも見ておく」くらいの目的で使うなら使う価値はあると思います。
100点中50点くらいの活躍です。
5.other(その他パート)
炎ではこのパートにグロッケン、バイオリンなどのストリングス、リードギター、バッキングギター、パッドなどが入ってきます。
このまとまりについてはother(その他)という扱いになっている時点で分離性能にあまり多くのことは期待しない方が良いです。
とはいえ、耳コピに使える要素もかなり含まれています。
使い方としては
ボーカル以外のメインメロを楽器が担当している部分、この曲で言えばグロッケンやバイオリンなどのメロディーを把握する
リードギター、バイオリンによるサブメロを把握する
という目的が適していると思います。
deCodaで1番サビに解析をかけてみた画面がこちらです。
今までのパートと比べてもだいぶぼんやりごっちゃりしていて得られる情報が少ないです。
下の方に割とはっきり見えるのはパワーコードを弾いてるバッキングギターの低音です。
せめてバイオリンの旋律部分だけでも見えて欲しかったですが、見分けるのが困難です。
普通に耳で聴いてキーボード叩きながら探した方が速いです。
otherのデータには歪んだギターが入ってしまっているため、ほかパートに比べて倍音がかなり多く含まれており明確に表示できるものが少ないことが原因だと思われます。
spleeterで分離した音源ではボーカル以外のメロディーやサブメロが聴き取りやすくなっているため、耳コピの補助にはなりますが、deCodaでの解析はほとんど意味がないということがわかりました。
このパートに関してはspleeterは活躍できましたが、deCodaは活躍できないことがわかったため100点中0点です。
まとめ 曲の構造を把握するなら分離解析はかなり強力
今回はspleeterでの音源分離とdeCodaの音源解析の合わせ技を試してみたことについて解説しました。
全体で見ると想定していたよりはずっと見やすくなりました。
ロックバンド以上の編成ならば、そのままdeCodaで解析する前にspleeterで分離した方がずっとストレスなく作業できます。
正直deCodaは単体ではそんなにオススメできるソフトではなかったのですが、spleeterとセットで使うなら買って使う価値があると思いました。
spleeterで分離後のパート別結果としては
ボーカル かなり良好 ハモリまでわかる
ベース かなり良好 フィルイン以外わかる
ドラム 割と良好 フィルインとタム類以外わかる
ピアノ 良好でない(spleeterの音源分離が現状イマイチ)
その他パート 不良(spleeterの音源分離はそこそこだが、deCodaの解析がイマイチ)
となりました。
今回はLiSAの「炎」を題材にしましたが、解析する曲の楽器編成などによって解析の度合は変わってくる可能性はあります。
検証してみた感触として、spleeter×deCodaで曲を「完コピ」するのはほぼ不可能です。
ピアノ+ボーカルなど、シンプルな弾き語りなら、かなり楽になります。ほぼ「見えます」。
しかしJ-POPのようなバンド+ストリングス+キーボードみたいな編成では目視でスイスイ採譜するというのは無理です。
バイオリンなどのストリングスセクションや、歪んだリードギターの動きなどはdeCodaにはほぼ映りません。
しかしメロ、コード、リズムの情報はかなり明確に取れるので、弾き語りをオリジナルアレンジで作るなどの目的には活躍します。
今回の記事は以上です。
参考になれば幸いです。
コメント