動画・画面収録向け
MP4 → MIDI コンバーター
MP4 には映像と音声が一緒に入っています。音声を M4A または WAV に書き出してここにドロップすると、編集可能な .mid が返ります。無料、ブラウザ内完結、アップロードなし。
MP4 の音声を MIDI に変換
書き出した .m4a / .wav を入れて、生成ボタンで音符検出を開始
ここに音声ファイルをドラッグ&ドロップ
または
MP4 から書き出した M4A / WAV 推奨。MP3・OGG・FLAC も可 · 最大 50 MB
変換するには音声ファイルを選んでください。
.midのプレビューとダウンロード
まだMIDIがありません
左でトラックを選び、生成してください。.midはここに出ます。
MP4 → MIDI とは?
動画のサウンドトラックを音符データに
MP4 は映像ストリームと AAC 音声ストリームをまとめたコンテナです。ブラウザの Web Audio が扱えるのは音声ストリームだけで、動画コンテナは直接デコードできません。そのため先に編集ソフトで音声を M4A か WAV に書き出し、そのファイルを変換するのが確実です。得られる .mid には音高・タイミング・ベロシティだけが入り、音声も映像も含まれません。
変換後は MIDI エディタを開いて タイミングとベロシティを整え、標準の .mid を DAW や楽譜ソフトへ書き出します。
仕組み
なぜ最初に音声トラックを取り出す必要がありますか?
押さえるべき数値
- MP4 の中身
- 動画トラックと AAC 音声トラックが 1 つのコンテナに。標準 MIDI ファイルはどちらも持たず、音符イベントだけです。
- 必須の手順
- 先に音声を取り出します。Web Audio がデコードするのは音声ストリームで、多重化された動画コンテナではありません。
- 劣化なしのコマンド
- ffmpeg -i clip.mp4 -vn -acodec copy audio.m4a は AAC ストリームを再エンコードせずコピーします。
MP4 はコンテナで、通常 H.264/H.265 の動画トラックと AAC の音声トラックを 1 つずつ格納しています。ブラウザの decodeAudioData は音声データを想定しており、.mp4 全体を渡すと動画コンテナの分離から必要になるため、多くのブラウザが拒否するかエラーを返します。このページが「.mp4 を直接ドロップ」と約束せず、ファイル選択で .m4a を優先表示するのはそのためです。音声の抽出は回避策ではなく必須手順です。
最短なのは ffmpeg -i clip.mp4 -vn -acodec copy audio.m4a です。-acodec copy は AAC のバイト列をそのまま通すため一瞬で終わり、2 回目の非可逆エンコードも発生しません。ffmpeg がなければ、動画編集ソフトの「音声のみ書き出し」(Final Cut、Premiere、DaVinci Resolve)や、スマホで音声をボイスメモとして保存する方法でも同じ .m4a / .wav が得られます。そこから先は他と同じく 22,050 Hz モノラルにデコードされるため、動画が 1080p でも 4K でも、音声が 48 kHz でも 44.1 kHz でも、モデルが見るものは変わりません。違いを生むのは音声トラックの中身だけです。
トラブルシューティング
結果がおかしいときに確認すること
- .mp4 をドロップしても何も起きない
- 選択画面は音声拡張子のみ受け付けます。音声を取り出してから .m4a を入れてください。
- 伴奏だけが文字起こしされる
- 話し声・ドラム・ボーカルがメロディと競合します。楽器だけの区間を切り出してください。
- 取り出したファイルも失敗する
- -acodec copy が非対応コーデックをそのまま通した可能性。-acodec aac で再エンコードするか WAV で書き出してください。
まとめ
抽出は省略できません。-vn -acodec copy が動画から読み取り可能な音声への最速かつ無劣化の経路です。
先に書き出す理由
MP4 の音声が向いているケース
- ピアノロール、プラグインデモ、チュートリアルの画面収録
- スマホで撮った演奏動画(音声を書き出した後)
- 44.1 kHz の AAC でも、単一楽器の明瞭な旋律なら音高検出に十分
- 先に音声を分離すれば、動画コンテナのデコード失敗を避けられる
使い方
動画の音声を 4 ステップで MIDI に
- 01
音声を書き出す
動画編集ソフトで MP4 の音声を .m4a / .wav に書き出します。スマホのボイスメモ書き出しでも構いません。
- 02
ここに入れる
書き出したファイルを選択。50 MB までの音声に対応し、M4A が優先表示されます。
- 03
音符を生成
Basic Pitch がブラウザ内で音高と立ち上がりを検出。音声は端末から出ません。
- 04
整えて書き出す
エディタでタイミングとベロシティを修正し、標準の .mid をダウンロードします。
ほかの変換
別フォーマットも MIDI に
ガイド
MIDI ファイル・楽譜・再生の基礎知識
よくある質問
MP4 → MIDI の FAQ
.mp4 動画をそのまま入れられますか?
確実ではありません。ブラウザは動画コンテナではなく音声ストリームをデコードするため、.mp4 で失敗することがあります。先に .m4a か .wav に書き出してください。
音声トラックの取り出し方は?
多くの動画編集ソフトに「音声のみ書き出し」があります。QuickTime、ffmpeg(ffmpeg -i clip.mp4 -vn clip.m4a)、スマホのボイスメモ書き出しでも作成できます。
動画はサーバーに送られますか?
いいえ。音符検出はブラウザ上の TensorFlow.js で行われ、サーバー側変換もアップロードもありません。
ボーカル入りの曲でもきれいに変換できますか?
ミックスされた素材では音符の過不足が出ます。単独楽器や単旋律の素材を使うときれいに仕上がります。