Stem に分割、またはボーカル抜き出しのツールなど

学生から、音源の分離は簡単にできるのかと質問あって、頑張ればできるしその手のWebサービスがないこともないと答えたんですが、自分があまりそういうことやらないもんでブックマークの中で雑多化してました。
この1年くらいは、AIを駆使して既存の曲を Stem に分離(Extract)するような技術に注目が集まってますよね。

Spleeter

GitHub - deezer/spleeter: Deezer source separation library including pretrained models.
GitHub – deezer/spleeter: Deezer source separation library including pretrained models.

まずは何をおいてもDeezerのSpleeter。とはいえ、まだ誰もが使える形と言いにくい。

We are releasing Spleeter to help the research community in Music Information Retrieval leverage the power of a state-of-the-art source…
楽曲を最大5トラック(ヴォーカル/ドラム/ベース/ピアノ/その他)に分離できる、高速かつ無料のオーディオ分離ツール「Spleeter」が公開。音楽ストリーミングサービス「Deezer」提供。機械学習によって楽曲を分離するツールです 

XTRAX STEMS

XTRAX STEMS | Audionamix
XTRAX STEMS | Audionamix

こちらは早くからこの仕組みに取り組んでいたAudionamix。
全く動向をヲチしてなくて、先日音響系のとある集まりで話を聞いたところによると、サブスクリプション方式にスタイルをシフトしたようです。
試しに使ってみようと思ったら、デモ版が見つかりません。
評判は基本的にさほど悪くないのですが、思ったほど需要がないらしい。

Melody.ml

melody ml
melody ml

アカウント登録してファイルをアップロードし、解析を待ってダウンロードするという方式。
解析が終わるとメールで連絡が来ます。
たまにボーカルトラックのみがアカペラとして抜き出されて共有されているサイトが海外にありますが(≠Isolated Vocal cf. ISOLATED VOCALS – YouTube(https://www.youtube.com/playlist?list=PLAPqjVH8KjWJPpKKOVTriJNieDPUuwuEn))、クオリティ的にはそれとあまり変わらない。もとがMP3ってせいもあるんでしょう、ああいう音として吐き出されます。
でもこれ、Spleeterがバックグラウンドで動いてるんじゃないのかな。あ、ページ下部にBuilt withって書いてますね。

PhonicMind

PhonicMind Vocal Remover | Remove vocals from anything!
PhonicMind Vocal Remover | Remove vocals from anything!

これもアカウント登録が必要で、料金を支払っていない状態だと曲中の一部分がブラウザ上で試聴できるだけ。
機能が気に入ったら曲ごとに一定金額を支払って利用してね、ってシステムですね。
これもまあまあで、決して悪くないけど、完璧ではさすがにない、って感じ。
独自の方式?

Acoustica 7.2

Acoustica | Digital Audio Editor
Acoustica | Digital Audio Editor

一昨日あたりのアップデートでStem Separationの機能が備わったもよう。

Acousticaは、Sound ForgeやWave Lab、RX6等と比べちゃうと物足りなさを感じますが、Macで動作する波形編集ソフトとしては独特でまあまあな部類。
7.2を僕持ってますが、メニュー項目ばかりか、日本語ファイルを開く、日本語のタグが埋め込まれたファイルを開く、日本語でマーカーを打つなどの場面で欧米言語以外に対応する気配がいっこうに感じられません。またそれと関連してキーボードショートカットが誤作動する危険もあるため、日本語環境下で使用することをお勧めしません。

いちおう、リンクをば。

Screenshot of www.pluginboutique.com

Acon Digital “Acoustica”(Plugin Boutique)

動画で確認できるStem Separation機能はどうやらSpleeterを組み込んだもののよう。
Melody.mlやPhonicMindのと比べると(といっても課金して試したわけではない)自由度は高い。まあ、Acousticaは自分で買ったものなので、それくらい出来ないと困るか…。

ボーカル、喋りのみ抜き出すExtract Dialoque
ボーカル、喋りのみ抜き出すExtract Dialoque
Pianoって項目のあるRemix
Pianoって項目のあるRemix

Infinity 4.5

Stem化の括りとは少し違いますが、曲中のボーカルを抜き出して別箇所に縮尺を変えて貼り付けみたいな操作場面を見た記憶があります。メモし損ねてしまったので、もしかしたらこのソフトではないかも…いや、十中八九これだと思うんですけど、なにせ動画が見当たらない。

Infinity 4.5 Is Here! - Hit’n’Mix Infinity
Infinity 4.5 Is Here! – Hit’n’Mix Infinity

その他

ほか、キャッチアップできてないものやチェックできてないもの、ボーカルだけ抜き出すサイトなど。こうした流行りものは、すぐサービス終了して業者にドメインを奪われることがあり、下記リンク先もそうなる可能性があります。くれぐれもご注意ください。