语音合成是怎么让数字人开口的

你有没有听过那种视频：画面里的人明明在笑，声音却像车站广播，每个字都对，就是没有活气。不少人第一次接触AI数字人，失望就失望在这一点上。画面能修，声音一假，整条片子立刻塌掉。这篇文章不讲代码，只讲一件事：语音合成到底做了什么，才让一行文字变成一个人开口说话。把这条流水线走一遍，你就能判断问题出在哪一环，也就知道哪些效果是现在真的做不到的，哪些只是没调好。

数字人开口，本质是把文字换成空气的抖动

先说结论：数字人并不会说话，它只是把文字换成了一段能播放的音频，再让嘴型跟着音频动。声音在物理上就是空气的一松一紧，喇叭每秒推动空气几千上万次，耳朵把这个振动听成了人声。语音合成要算的，就是「这一秒空气该怎么抖」。行业里管它叫TTS，是text to speech的缩写，翻成大白话就是文字转语音。整条流水线分四步：先把文字读懂、断好句，再把每个字拆成最小的发音零件，然后算出这段声音的配方，最后把配方还原成波形文件。四步像做菜：看菜谱、备料、调比例、下锅。哪一步偷懒，最后端上来的味道都不对。

第一步看着最简单，其实最容易翻车

第一步叫文本分析，行内也叫文本正则化，说白了就是让机器先把人话读懂。它要干三件脏活：断句、定音、翻译符号。断句是判断哪里该停，同一串字停在不同位置就是两个意思。定音是解决多音字，行长来了和银行很长，同一个字读音完全不同。翻译符号是把书面写法换成口语，比如把2026年读成二零二六年，把1.5万读成一万五千，把3-5天读成三到五天。这一步做不好，后面再贵的模型也救不回来，因为模型只会老老实实把错的音念出来。很多数字人念错字，根子就在这一层，跟声音好不好听没关系。

中间两步：拆成零件，再算出一张热力图

第二步是把句子拆成音素。音素是发音的最小单位，可以理解成拼音里的声母和韵母，中文加上声调大概有四百多个音节组合。机器不认识好这个字，但它认识构成这个音的零件。第三步是把音素变成声学特征，常用的一种叫梅尔频谱，你可以把它想成一张热力图：横轴是时间，一秒切成几十上百格；纵轴是音高，从低到高排列；每格的深浅代表某个频率上有多强的能量。人声的亮、闷、沙，全写在这张图里。第四步由声码器把图还原成波形，这一步决定声音干不干净，差一点就会有电流声、发闷、齿音刺耳，好一点的连换气都能带上。

三代技术路线，效果到底差在哪

语音合成不是一天变成现在这样的，大致走过三代。了解这三代，你就明白为什么有的工具听起来像十年前的产品，有的已经很难分辨真假。下表按大致的先后顺序排列，不是精确的时间分界。

现在市面上的新工具基本都在第三代，但一些低价方案还留着第二代的影子，尤其是在需要长时间稳定输出的场景。判断办法不复杂：让它读一段带数字、带英文的长句，再听最后五个字怎么收尾。收得干净利落的，通常不会太差。

怎么听出一段配音是合成的

人耳对合成音其实很敏感，只是说不清哪里不对。有三个地方最容易露馅。第一是句尾，真人说完一句话，音高会自然往下落，合成音常常落不下去，或者拖一个奇怪的尾巴。第二是换气，长句子中间真人一定会吸气，合成音往往一口气说完，听着不累但很假。第三是情绪转折，比如从叙述转到反问，真人会先停顿再变调，合成音通常只是把音量调大。知道这三处，你试听新工具时就有方向了。反过来，做内容时也可以主动利用：把句子写短，在长句中间手动加停顿，重要转折处单独生成一段再接起来，效果会明显好过整篇一次生成。

一句话带走：语音合成决定的是数字人像不像个活人，而它最容易出问题的地方，往往不是模型，是那几行没写好的稿子。建议你现在挑一段自己常说的话，用两个不同工具各生成一遍，重点听句尾和换气，你会立刻明白贵的那一档贵在哪里。