AIを介した多国語歌唱
別段新しい話題でもないようなのですが、いま関わってる案件に絡んでたまたま知り得たもの。
記事タイトルでほぼ言い尽くしちゃいましたが、Dubformerの上記の研究は、たとえば英語詞の楽曲をほかの外国語に翻訳して歌ってくれるものらしい。
1960年代の楽曲、Animals「House of the Rising Sun（朝日のあたる家）」の映像は、つまり過去のものなので歌い直しなどもちろん出来ないし、カラオケ版など…Spleeterを介せば作れるのかしれませんが、とにかくその昔の歌を英語以外にスペイン語、フランス語、ポルトガル語、ドイツ語、イタリア語に翻訳しているらしい。もちろん当人の声で。
Dubformer – AI Dubbing and Voiceover for Media & Entertainment
All-in-one tool: Go global effortlessly with monetization-ready dubbing that sounds like real humans. Cost-effective AI localization.
2年ほど前にHYBEのAI技術（Supertone社による）活用の一環でMIDNATTの楽曲を6言語で制作したというニュースがありました。
HYBE just released a K-pop track sung in six different languages using AI voice technology
いうまでもありませんが、翻訳、それも歌詞の翻訳は、一般的な書籍の翻訳やインタビュー等の翻訳、法律文の翻訳を引っくるめても最上級に難度の高いもの。音律の適合（あるいは歌の節回しにも影響）、ニュアンスや前提知識など厄介な難関がたくさんあるわけですね。
通常の翻訳であれば、今はDeepLの質の低下がかなりアレなのでChatGPTかまたはそれに類するもの、またNotionを使っているのであればNotion AIに頼る（cf. SpliceでSerum 2 LFO pathプリセット配布 – makou’s peephole）ほうが文脈を資料範囲を限定できるので性能がよかったりしますが。
ニュースや映画のセリフの各国語対応、アナウンスの各国語対応などがスムーズに、あるいはもっとスピーディに行われるようになると、手間暇が一気に省けることになりますね。