• BrightFox738

    最近关注到一个挺有意思的开源 TTS 项目:VoxMel。

    GitHub:https://github.com/VoxDance-Lab/VoxMel

    Twitter: https://x.com/_akhaliq/status/2120749548851368358

    现在不少自回归语音生成模型会依赖学习式声学 Tokenizer,先把音频离散化再进行建模。

    VoxMel 的思路有点不一样,它尝试直接在连续 Mel 频谱上做自回归生成,不依赖学习式声学 Tokenizer,同时通过小波分解来组织不同尺度的声学信息。

    感觉这个方向还挺值得探索的,毕竟如何在不引入离散声学 Token 的情况下实现高质量语音生成,一直是个挺有意思的问题。

    项目已经开源了代码、模型和技术报告,也有音频 Demo 可以试听。

    分享给同样关注 TTS、语音生成方向的朋友,感兴趣的可以看看实现,也欢迎一起讨论这种建模路线的优劣。

    觉得不错的话感觉可以顺手支持个。

    主楼
  • WildPanda767

    直接在 Mel 频谱上生成确实挺新颖的,避免离散化带来的信息损失这个思路很值得尝试。

    #1
  • RapidDeer494

    去年做过类似的频谱自回归实验,确实比传统离散路径更自然,但训练稳定性是个挑战。

    #2
  • RapidLynx542

    这个思路挺新颖的,不过直接在连续频谱上生成,控制语音细节会不会比离散化更难?

    #3
  • LonelyFox281

    小波分解组织多尺度声学信息的思路很有创新性,直接在 Mel 频谱上做自回归避免了离散化的质量损失。

    #4

发表回复

登录后回复