昨年少し触れたことのあるNeutoneのAI関連エフェクトプラグイン。方向性が見え始めて、面白いものになりつつあるようです。
とはいえ、現状での自分の理解としては「入力信号を別の楽器に置き換える」というもので、これ自体は以前から同様のものが他にもありました。
興味深く、かつ実用性が高そうなものとしてはMawf。今はDLリンクがリンク切れしており、計画が頓挫したのかもしりません。TikTokの開発会社によるものってことは中国発祥と思われるため、まあお国の方針の転換次第ってのがありがちと理解してますが。
話戻ってこのMorpho、β版を試してみました。使用後フィードバックを送ると割引コードをいただけるようなので、興味ある方は挑んでみてください。
で、インターフェース上のパラメータですが、どうも右側が入力に対するもののようで、一般的なこの手の音楽ソフトの配置とは左右逆のようですね。レイテンシーは少しずつ最適化されてゆくと思いますが、現状リアルタイムはほぼ無理なので、いったん打ち込んだものORリアルタイムレコーディングしたデータを入力として使うことになるでしょう。ゲートやコンプレッションのパラメータは左右で適宜調整するとして、やっぱりいちばん楽しいのは中央部の4つのパラメータ、およびスクショのようにクリックして表示される謎のゲージ。
置き換えられるもの、すなわち参照音源は現在4つだけ用意されており、入力信号の音程は抽出されずダイナミクスのみが捕捉されてトリガーされます。その点ではAIである必然性をあまり感じないのですが、おそらくある程度入力信号の特質を参考にしつつ、参照音源の特定部分が再生されるって流れなのかなと思います（それでもAI以外の手法で実現できそうな気がするけど）。
まだver0.2とのことなので、ここに新たな要素が加わるか精度が上がってゆけば、AIを使用する必然性が見えてくるのでしょう。
音程の抽出は、1から学習のやり直しになると思うので、最後まで実装されないんじゃないかな。