ピアノの耳コピはもうAIに任せられる。チート級解析フリーソフトByteDance「Piano Transcription」使い方解説

はじめに

対象読者・想定読者

• 楽譜が欲しいピアノ曲があるが、楽譜が売ってない(CDなどの音源はある)
• 楽曲解析したいピアノ曲があるが、1から耳コピはしんどい
• ソルフェージュ練習でピアノ曲を耳コピしたので答え合わせがしたい

この記事でわかること

• Piano Transcriptionとはどんなソフトなのか、何ができるのか
• Piano Transcriptionの使い方 基本と応用

使い方を把握するには英語とプログラミングの知識が必要になるようなソフトです。
しかし安心してください。
この記事では日本語とキャプチャを用いてわかりやすく使い方を解説します。

2023年3月21日現在、Piano Transcription内の音声処理モジュールがアップデートされた影響でプログラムが初期状態では正しく機能しないことが判明しております。
臨時の対応ですが、現在はコードを一文補ってやることで正常に動作します。
アップデート対応が確認出来次第、記事を更新し報告します。

Piano Transcriptionは「ピアノ曲のオーディオデータをMIDIにするソフト」

Piano Transcriptionはピアノ曲のオーディオデータを解析させるとMIDIデータに変換してくれるソフトです。
この時点で意味がわかる人にはこのソフトがどれだけ画期的なのかがわかります。
チート級です。異世界転生主人公です。

開発はTiktokでお馴染みのByteDanceです。

この動画は下の英語部分を読んで意味がわからないと何を伝えたいのかわかりにくいです。
解説すると、実際は録音した演奏と「録音のオーディオデータを基に生成したMIDIデータを再生したもの」を交互に動画に当てています。
ほぼそんなのわからないくらいに正確です。
よく聴くとところどころタイミングのズレを感じたりもしますがかなりの精度です。

利用はなんと無料です。
有料の耳コピ支援ソフトでもここまでしてくれないのに太っ腹過ぎる。

利用環境がやや曲者で、方法が2つあります。

1.PCにPython, PyTorchの環境構築をした後にPiano Transcription本体とffmpegをインストールしてターミナルでコマンド入力して使う
2.Google Colab上で使う

私のM1 Mac miniではPythonがうまく機能しなかったのでこの記事ではGoogle Colabを利用する方法で解説します。
オンライン環境が必須になりますが、PC上に何もインストールしないまま使えるので不審なソフトウェアのインストールを警戒する必要もなく安心です。

使い方解説

手順概要

1. Piano Transcription が使えるGoogle Colab Notebookを開く
2. 解析させたいピアノのオーディオデータをアップロード
3. Notebook内のコードを解析対象のデータに合わせて編集
4. Notebook内のコマンドを順次実行
5. 生成されたMIDIデータを確認
6. 完了！

1.Piano Transcription が使えるGoogle Colab Notebookを開く

公式のGitHubページに移動します。

: https://github.com/qiuqiangkong/piano_transcription_inference

Usageの項目にあるGoogle ColabのリンクからNotebookを開きます。

2. 解析させたいピアノのオーディオデータをアップロード

Google Colab Notebookの右メニューからフォルダ “content”を見つけます。
耳コピしてほしいオーディオデータをアップロードします。
“content”の中に耳コピしてほしいオーディオデータを入れます。

3.Notebook内のコードを解析対象のデータに合わせて編集

ここだけ少し難しいです。
文字の打ち間違いなど無いよう、慎重にいきましょう。

初期状態ではサンプルテストデータのリストの曲に設定されています。
その名称部分 “cut_liszt” の箇所を耳コピしてほしいオーディオファイルの名前に書き換えます。
打ち間違いがあると正常に実行されないので大文字小文字など要確認です。

3.5. 「pip install librosa==0.9.2」をコード2行目に追加 ※臨時対応部分

2023年3月のlibrosaアップデートにより、現在提供されているコード文では正常に機能しなくなってしまいました。
そのため、piano transcriptionのアップデートまでこちらの手順が必要になります。

画像のように

pip install librosa==0.9.2

をコードの2行目に追加しておきます。
これによりデフォルト状態のlibrosaより新しいバージョンのlibrosaをこのプログラム上で使うことができるようになり、この後のエラー発生を防ぐことができます。

4.Notebook内のコマンドを順次実行

ここまでくれば後は楽勝です。

Colab Notebook内のコードを上から順次クリックして実行していくだけです。
※この時3.5.で追加したコードも実行します。

1カ所抜けてるように見えますが、そこは「テスト用のリストの曲のダウンロードを実行するコード」なので今回は使いません。
ちなみに間違って実行してしまっても特に問題ないので安心してください。

5.生成されたMIDIデータを確認

解析が正常に終了すると”content”フォルダ内に曲のMIDIデータが入っています。

右クリックでダウンロードできるので自分のPCにダウンロードして終了です。
お疲れ様です。

検証実験 : 試しに超難しい曲を耳コピしてもらった

今回Piano Transcriptionの実力を試すにあたり、人間が耳コピするとしたらうんざりしそうなくらい難しい曲を選択しました。
著作権切れでないと使えないのでクラシック曲。念の為JASRACのページで確認済。

ショパンの12の練習曲より第4番 嬰ハ短調です。
数多あるクラシックピアノの曲でも難易度は10の指に入る超難曲。
速い、音数多い、臨時記号盛りだくさん。
普通に耳コピすることになったらうんざりするどころか発狂しそうです。

解析によって生成されたMIDIデータをLogic上でピアノ音源を立ち上げ、再生したものがこちらです。

ピアニストの息遣いや収録したホールのリバーブまでは当然ながら再現されていません。MIDIなので。
ざっくり聴いた感じ再現性はやはり高そうです。

検証用に難しい曲を選んだのは良かったのですが、正直難しいやつすぎて私には細部まで確認が難しくなってしましました。

ここまで複雑な曲でもいい感じに耳コピしてくれるので、正常な難易度の曲であればまず問題ないと感じます。

まとめ : ピアノ限定ではあるが耳コピの精度は抜群。

今回の記事ではByteDance「Piano Transcription」の紹介と使い方解説、性能評価を行いました。

まとめとしては

• ピアノ演奏のオーディオデータ(mp3でモノラル)をMIDIに変換してくれる
• 完全無料
• Google Colab経由で使えばソフトウェアのダウンロード不要で安心できる
• 超難曲もかなり高精度にMIDIで再現してくれる

といった感じでした。
無料ですが完全有料級のパワーです。

オーディオをMIDIに変換してくれるのでいろんな使い方ができます。

例えば

• 楽譜が無い曲(あったとしても入手困難な曲)のピッチとリズムを把握する
• ノーテーションソフト(浄書ソフト)を用いてMIDIデータから楽譜を作成する
• ピアノ曲の耳コピを自力でした後に、答え合わせ用として活用する(MIDIデータなら視覚的に比較できる)
• ピアノループ素材の演奏のコードなどを把握する

といったことが思いつきます。

今回の記事は以上です。
お役に立てれば幸いです。

関連情報

使用したピアノ音源(ソフトウェア)について

今回のMIDIデータの再生にはXLN Audioの「Addictive Keys Studio Grand」を使いました。
静謐なピアノの落ち着きみたいな感じはありませんが、華やかではっきりした存在感を持つ音源です。
ポップスやロックといったジャンルの制作をされる方におすすめです。

ノーテーションソフト(楽譜作成ソフト)について

MIDIデータを使って楽譜を作るソフトウェアはいくつかあります。
個人的には「Dorico」がおすすめで私も使っています。
長く本格的に使うことを考えるなら「Finale」一択なのですが、5万円超と高額です。
しかもライトバージョンはMacに対応してません。(フルバージョンは対応済)
Doricoはライト版のDorico Elementsがあり、サウンドハウスならちょうど税込1万円で買えます。
体験版も公式にあるので一度試して見るのもありです。