生成式AI是怎么改变数字人的

了解更多

工具简介

生成式AI让数字人从提前做好再播放,变成当场算出来。本文用冲洗照片的比喻讲清扩散模型,说明能接话、能改、变便宜这三个变化,也点出画面不稳、算力更贵的代价,最后给出普通人低成本试错的思路。

早几年的数字人有个硬伤:你问它一句计划外的话,它要么沉默,要么把上一句再念一遍。现在不少数字人能跟你闲聊、能接梗、能临时改口。变化的核心不是它忽然变聪明了,而是生成方式换了:从提前做好再播放,变成当场算出来。这一个转变,把整个行业的成本结构和玩法都改了。

一、以前的数字人,像一张刻好的光盘

早期做法可以概括成三步:写稿、录音、对口型。先把要说的话写成文字,用语音合成念出来,再让画面跟着音频做口型,最后合成一段视频。整个过程是离线完成的,生成一次要几分钟到几十分钟。这样的东西本质是一张刻好的光盘,播的时候只是在放,观众问什么都改变不了内容。所以那时的数字人只适合做录播,一旦进入直播或客服这种要临场反应的场景,立刻露馅。当时行业里评价一个数字人,看的是形象像不像,而不是反应快不快。也正因为这样,那时做一条数字人视频的周期以天计算,一周能出两三条就算勤快,它只能做精品,做不了量。

对比项预生成实时生成
出片速度几分钟到几十分钟一条几乎即时
能否接话不能,内容固定能,跟着输入变
算力成本低高,按并发计

二、扩散模型:从一团噪点里擦出一张脸

生成式 AI 里最关键的一类技术叫扩散模型。它的训练方式有点反直觉:先拿一张清晰的图,一步步往上加噪点,直到变成一片雪花屏;再让网络学着把雪花一步步还原回去。学会之后,你给它一片纯噪声,它就能一步步擦出一张从来没存在过的图。这就像冲洗照片,底片上什么也看不出,药水一泡,影像慢慢显出来。数字人用上这套办法之后,画面不再是从素材库里调取,而是每一帧现场画出来的,所以能跟着说的话变。训练这一步特别费卡,一个模型往往要几千小时的计算量堆出来,这也是为什么真正做模型的是少数团队,而用模型的人可以很多,两件事的门槛完全不在一个量级。

三、三个变化:能接话、能改、变便宜

第一是能接话。因为画面现场生成,输入的文字变了,输出跟着变,不用重新录一遍。第二是能改。想让数字人换一套衣服、换一个背景、笑得更明显,改几个参数重跑一次就行。第三是便宜。过去定制一个形象要几周和几万元,现在用一段几十秒的视频训练,成本降到了几百到几千元的量级。这三个变化叠在一起,才让数字人从展厅里的演示品,变成了能批量使用的东西。

四、代价:不稳定、费算力、会画出不存在的东西

生成式的毛病也很实在。一是不稳定,同一段文字跑两次,出来的表情细节可能不一样,偶尔还会出现手指变形、牙齿糊成一片这类明显错误,行话叫伪影。二是费算力,每一帧都在算,实时生成对显卡的要求远高于播放预录视频。三是最麻烦的一条:它会自信地画出不存在的东西,包括不存在的口型、不存在的情绪,而且画得很像真的。这意味着生成的内容必须有人过目,不能直接发出去。还有一笔隐形成本是返工:十条视频里可能有三四条出现奇怪的画面,要重跑或者剪掉,人工检查的时间往往比生成的时间还长。

五、对普通使用者意味着什么

最实际的意义是试错成本变低了。以前想验证一个数字人账号能不能做起来,得先花钱定制形象、再花时间磨合,做不下去就全打水漂。现在可以用最低档的工具先做十条视频,看数据、看观众反应,再决定要不要加投入。但也要清楚,生成式带来的便利是人人可得的,门槛低意味着同行也低,真正拉开差距的还是选题、脚本和对观众的理解。工具只是把这些想法实现得更快,它不会替你想清楚要说什么。另外提醒一句,很多工具宣传的免费额度只够跑一两条,正式用起来还是按分钟或者按条计费,试之前先看清计费方式,别等到导出那一刻才发现要付钱。

生成式 AI 把数字人从录像机变成了画笔,能画什么取决于你怎么用。如果你的第一条视频还在纠结用哪个模型,方向就偏了。先想清楚这条视频要对谁说什么,再去挑工具,顺序反过来,钱和时间都会白花。