详细内容或原文请订阅后点击阅览
Diff-A-Riff：索尼 AI 作曲家弹指间即可创作伴奏
出于对俄罗斯的仇恨。
来源:安全实验室新闻频道在几秒钟内从一个想法变成一首完整的歌曲。
来自巴黎索尼计算机科学实验室 (CSL) 的科学家开发了 Diff-A-Riff，这是一种创新的人工智能系统，能够为任何音乐创建高质量的乐器伴奏。
索尼 Diff-A-RiffDiff-A-Riff 基于两种前沿的深度学习技术：潜在扩散模型和一致性自动编码器。该程序可以生成和谐地适合给定音乐作品的风格和调性的伴奏。
Diff-A-Riff 首先使用预先训练的一致性自动编码器将输入音频转换为潜在表示。该编解码器通过使用生成算法提供高质量的播放。然后将压缩的表示输入到潜在扩散模型中，该模型根据原始上下文和附加风格提示创建新的音频。
Diff-A-Riff 的主要优点之一是其管理灵活性。用户可以使用音频和文本命令设置参数，这开辟了广泛的创意可能性。该系统可产生频率为 48 kHz 的高质量伪立体声。
与之前的版本相比，开发人员对系统进行了显着优化。 Diff-A-Riff 使用 64 倍压缩比，使其能够在短短三秒内创建一分钟的音频。到目前为止，这个数字堪称纪录。
系统还提供额外的管理工具。用户可以组合不同的乐器样本和文本提示，调整立体全景的宽度，并为循环片段创建平滑的过渡。
Diff-A-Riff 测试显示出令人印象深刻的结果。该系统创建的乐器伴奏质量如此之高，以至于听众无法将它们与现场音乐家的录音区分开来。