言犀
京东智能人机交互平台
IndexTTS2 是一个突破性的自回归语音合成模型,由 Bilibili(哔哩哔哩)开发,旨在解决大规模文本到语音(TTS)系统中精确时长控制和情感表达的挑战。该模型在多个方面实现了创新,包括情感与音色的解耦、精确的时长控制、以及基于自然语言的情感控制等。
IndexTTS2 的核心优势在于其能够实现情感与说话人身份的解耦,用户可以独立控制音色和情感,从而实现更灵活、细腻的语音合成。此外,该模型支持多种情感控制方式,包括使用情感参考音频、情感向量控制、情感描述文本控制等。在技术实现上,IndexTTS2 采用了自回归架构,并结合了 GPT 潜在表示和三阶段训练策略,以提升语音生成的稳定性和情感表达的准确性。
IndexTTS2 在多个基准测试中表现出色,包括词错误率、说话人相似度和情感保真度等方面均优于现有模型。该模型还支持多种生成模式,包括固定时长模式和自由时长模式,以满足不同应用场景的需求。
IndexTTS2 是一个在语音合成领域具有重要突破的模型,其在情感表达、时长控制和可控性方面均达到了高水平,为 AI 配音和语音合成技术的发展提供了重要支持。