Minifusion
BPBによるとMinifusionなるソフトウェアがBeta版にてユーザーの感想を募っているそう。
ロンドン大学クイーン・メアリー校のPhD、Franco Caspeによるニューラルネットワークを使用したプラグイン方式のソフトウェアで、入力音を別の楽器に置き換える、比較的よく見かけるタイプのものではあります。重要なのはレスポンスの速さと正確性でしょうね（レイテンシーを徹底的に潰すには次のように設定してくださいとのこと; 翻訳は省略）。
- Adjust Your Buffer Size to 128 samples or less. This is the only critical setting that ensures you can comfortably play live with your instrument.
- Windows Users: Use an USB Audio Interface with an ASIO Driver. This allows Windows to work with smaller buffer sizes as mentioned above.
- Take a look at your project’s sample rate. For now, only 44.1 kHz and 48 kHz sample rates are supported (to be extended soon!).
Minifusion
模倣される音色にはBRAVEモデルとされる仕組みが使われているそうで、そのうち(?)ユーザー自身が追加できるようになるかも。
BPBの記事の中で、執筆者Jamesの言っていることは私の認識と非常に近い。
What I’m getting at is that, even as someone slightly skeptical about the terms AI, machine learning, and neural networks in music, it’s how we use the technology that makes the difference.
Minifusion (Beta) is a new live timbre transferring system for macOS and Windows – Bedroom Producers Blog
冒頭に記したように、入力音を別な楽器の音に変えるってのは比較的ありふれたアイディアで、私が初めてこの手の話題に興味を持ったGoogle Magentaだったか、Ableton Liveのデバイスとして配布されていたものがそうだったような記憶があるし、あと今どうなってるのか知らないMawf、Morphoもこれに近い部分があります。
Jamesの弁に私なりの所感を付け加えさせてもらうならば、音を置き換えるとこまでだと、面白いデモンストレーションを考えるにも限界があると思うのです（ピッチが緩いという’穴’にはむしろ活路がありそうですが）。拍手を波の音に変えるとか、紙を破る音を放電（アーク）の音に変えるとか、尺に流動的に対応せねばならない音効の制作には役立つ可能性もあります。
皮肉めいた話にはなっちゃいますが、レイテンシーを発生させるような要素がせめてもう一つ加わらないと「遊び」から「実用性」などもう一歩進んだとこまで発展しにくいんじゃないかなと。手短な例でいえばフォルマント可変とか、人の話し声、もしくは謎の歌詞を伴った歌声として再合成されるとか、サックスであっても一定の音域でしっかりフラジオに切り替わるとか、トロンボーンに置き換えた場合鳴らせないピッチだけきちんと鳴らなくなってくれるとか。
元記事でも少し触れられていますが、現段階ではMIDIギターで出来ることとあまり変わらない。ギターでボディを叩きつつタッピングしたりなどといった奏法がこの一本のソフトウェアで巧みにトランスフォームされるのであれば、ワンマンオーケストラ的な用途に使われる可能性があるかなとは思います。
とはいえ所詮場末の人間である自分の発想は貧困。柔軟な発想を持った方ならば有効な活用法を閃くはず。