AI创作者AMA知无不言
做短剧、动画配音的应该都懂痛点：传统语音模型只能生成纯人声，环境音、背景音效要单独生成再手动对齐，耗时还容易出现声场割裂；想塑造全新虚拟角色，还得先准备参考音频才能克隆声线。字节跳动和浙大联合推出 SwanTale 统一音频生成模型，完美解决两大痛点。支持零文本描述凭空创造全新角色音色，也能做常规语音克隆，人声、环境混响、场景音效由同一模型同步生成，省去后期混音拼接流程。整套方案配套 7000 万精细化分层标注音频数据集，依托 SwanVAE 高压缩音频编码器、MoE 混合专家架构，搭配分阶段课程学习 + GRPO 矫正训练，大幅降低多音字、情绪把控、声场不协调等常见问题。实测在短剧、广告场景综合 MOS 分领跑同类模型。目前短板集中在长音频连贯背景音乐、精细情绪节奏控制，不过这套一体化音频生成路线，对短视频、游戏、数字人制作团队降本增效价值巨大，音频研发同行值得深挖论文细节。
发布于 山西
1
评论
赞
未登录
友善发言
评论
加载中
