最近开源界火爆的ChatTTS，可谓是AI主播的一大福音哈，才开源了3天，就已经有7.4K的star了，说它突破开源天花板，所言非虚啊。
话不多说，先上几个音频，你来听听是真人发音，还是AI：
听完这几个音频，请问你听出这是AI还是真人在说话了嘛？说实在反正我哥们是没听出来
什么是ChatTTS：
官方是这么介绍的：
ChatTTS是专门为对话场景设计的文本转语音模型，例如LLM助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万小时以上的中英文数据进行训练。在HuggingFace中开源的版本为4万小时训练且未SFT的版本.
ChatTTS官方
ChatTTS有什么特点：
官方是这么说的：
1、对话式 TTS: ChatTTS针对对话式任务进行了优化，实现了自然流畅的语音合成，同时支持多说话人。2、细粒度控制: 该模型能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。 3、更好的韵律: ChatTTS在韵律方面超越了大部分开源TTS模型。同时提供预训练模型，支持进一步的研究。
ChatTTS官方
体验一下ChatTTS
体验地址：https://huggingface.co/spaces/Dzkaka/ChatTTS。
打开网址，进入网页时这样的：
页面很简洁，用起来也很简单，基本是一看就懂。最后生成的音频就在最下方的output Audio里,支持下载。我们现在Input Text的框框里输入要AI说的文字：
“兄弟们,太牛了哈,几天不见,这个AI生成的语音已经接近人类真实声音的水平了,怎么样?你听听这个效果到底好不好啊?”
来我们听听效果：
A：你知道杭州的特色美食是什么吗 ？ B: 我不知道啊，你跟我讲一讲好吗?
直接输入对话，我用的是默认设置，你可以通过Audio Seed去改发音人，可以通过Text Seed来换语气，不过它们后面都是筛子，说明是随机抽卡的。目前还不能指定。
我们来听听效果：
因为是同一个音，听起来不明显，但还是有对话的感觉的。我还试了另外一个：
这个听起来也不错，还是挺自然流畅的。
细粒度控制
细粒度控制，ChatTTS能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。
调整前：
听 说 了 吗 ， 咱 们 公 司来 了 一 个 帅 哥， 就 在 隔 壁 办 公 室 ，然 后 走 [uv_break] 我 们 去 瞧 瞧 去。
调整后
听 说 了 吗 ， 咱 们 公 司 [uv_break] 来 了 一 个 帅 哥 [uv_break] ， 就 在 隔 壁 办 公 室 [laugh] ， 然 后 走 [uv_break] 我 们 去 瞧 瞧 去 [laugh] 。
第二段我加入了 [uv_break] [laugh] 这就是停顿和笑声，通过调整这个词来调整韵律特征。它这个语气，笑声等辅助词还有很多的。
翻车情况：
在测试过程中当然也碰到翻车的时候，在翻车时，可以通过粒度控制来调整，翻车情况如下：
输入框内的文字尽量选择全中文,目前项目对于中英夹杂、或者数字混杂的处理效果还不够好,出现吞字、杂音崩坏的几率可能增多。希望后续版本选代改进。
项目官方说明里,提到供技术研究或学术等目的使用,商业和法律用途要联系原开发者,所以请各位使用的时候注意。
常见问题:
我要多少显存? Infer的速度是怎么样的?
对于30s的音频, 至少需要4G的显存. 对于4090D, 1s生成约7个字所对应的音频. RTF约0.65.
模型稳定性似乎不够好, 会出现其他说话人或音质很差的现象.
这是自回归模型通常都会出现的问题. 说话人可能会在中间变化, 可能会采样到音质非常差的结果, 这通常难以避免. 可以多采样几次来找到合适的结果.
除了笑声还能控制什么吗? 还能控制其他情感吗?
在现在放出的模型版本中, 只有[laugh]和[uv_break], [lbreak]作为字级别的控制单元. 在未来的版本中我们可能会开源其他情感控制的版本.
本文链接：https://aipeiyin.cc/peiyin/6.html
嘉兴ai配音多少钱Ai 人声配音ai配音弊端pul ai配音老爹配音aiai配音时间人工ai配音法文ai配音ai配音口音ai文稿配音
网友评论