英伟达展示了一款用于生成音乐和音频的 AI 模型 Fugatto。该模型可以根据文本提示修改声音、产生新的声音。新模型面向音乐、电影和游戏制作商。它可以改变录音的口音和情绪,将钢琴演奏转换成人声歌唱,具体来讲,Fugatto 可以分离歌曲中的人声,添加乐器,将钢琴换成歌剧歌手来改变旋律。英伟达表示,新模型可以创造出“从未听过的声音”,比如可以使小号吠叫或者萨克斯发出猫叫声。Fugatto 建立在英伟达团队此前在语音建模、音频编码和音频理解等领域的工作基础上,完整版本使用 25 亿参数。新模型根据开源数据在包含 32 个英伟达 H100 Tensor Core GPU 的 NVIDIA DGX 超级计算机系统上进行训练。
https://fugatto.github.io/
https://www.thepaper.cn/newsDetail_forward_29459142