什么是动作捕捉:数字人为什么会抬手点头

了解更多

工具简介

动作捕捉是让真人动作搬到数字人身上的技术。本文讲清它只记录关节角度、不记录长相,拆开光学动捕、视觉动捕、惯性动捕三条路线,再解释抄来的动作为什么还要重新对一遍,最后给你三个盯着脚和手验收的笨办法。

电影片尾的花絮里,演员穿着贴满小球的紧身衣,在一片空地上对着空气比划,监视器里却出现一只正在爬树的大猩猩。这套让真人的动作跑到另一个身体上的技术,就是动作捕捉。数字人抬手、点头、转身,背后多半也是它在起作用。名字听着高深,它其实只做一件事:把人的动作变成一串数字。

一、动捕捕捉的不是动作,是关节角度

人身上有两百多块骨头,能自己活动的关节大约几十个。动作捕捉不去管肌肉怎么收缩、皮肤怎么褶皱,它只记录每个关节在每一刻转到什么角度、处在什么位置。就像给木偶的每个关节都插上一支笔,木偶动一下,纸上就留下一段轨迹;机器把这串轨迹抄下来,再交给另一个身体照着做。所以动捕的本质是抄作业,抄的是角度和时间,不抄长相。也正因为如此,同一段动作数据既能套在运动员身上,也能套在一只卡通猫身上,因为两副身体底下的骨架是同一套结构。

二、光学动捕:一圈摄像机盯着你身上的反光球

最常见的一条路叫光学动捕。演员穿一件紧身衣,身上几十个关键位置贴着小球,球面涂了反光材料。房间四周架十几台甚至几十台专用摄像机,每台都用红外光去照,只认那些亮得像小灯泡的球。任意一台摄像机只能看到球在画面里的方向,看不到距离;但几台同时看,用三角测量的办法就能算出每个球在空间里的准确位置。这跟人用两只眼睛判断远近是同一个道理,只不过机器用了十几只眼睛。这套方案精度高、动作细腻,缺点是贵,而且要专门的场地,不容易搬到户外。还有一个细节容易被忽略:反光球必须贴在骨头的实际位置上,贴歪一指宽,最后算出来的动作就有偏差,所以穿动捕服这件事本身也要有一套固定流程,贴几个点、贴在哪里,都不能临时决定。

三、视觉动捕:不穿紧身衣,一个摄像头也能凑合

第二条路叫视觉动捕,也叫无标记动捕。演员什么都不用穿,站在普通摄像头前就行。机器先用图像识别把人从背景里抠出来,再猜出头、肩、肘、腕这些关键点在哪。它靠的是从海量真人视频里学出来的经验,见过足够多的人走路,就能从轮廓推断姿势。好处是门槛低到一部手机就能拍,坏处是容易猜错:手被身体挡住、衣服太宽松、光线太暗,都会让关键点跳来跳去,动作出现抖动。所以这类方案更适合聊天、短视频这种对精度要求不高的场景。这也是为什么有些手机应用会提示你举着手机绕自己转半圈,多拍几个角度,就是为了减少它猜错的次数。

四、还有第三条路:靠小盒子里的陀螺仪

  • 惯性动捕:身上绑十几个小盒子,盒子里装着陀螺仪和加速度计,靠感知转动和位移来推算姿势
  • 优点是不怕遮挡、能搬到户外,一套设备从几千到几万元不等
  • 缺点是时间一长会漂移,位置越算越偏,通常要配合摄像头做校正

补一句:这三条路经常混着用。比如主体动作靠惯性设备,手指和脸靠摄像头,最后把几路数据对齐到同一条时间轴上。选哪条路,取决于你要的是精细度还是便携性,这两样很难同时占。

五、抄来的动作,为什么还要重新对一遍

拿到动作数据不等于就完事了。真人的胳膊长度和数字人的胳膊长度不一样,直接套上去,手会穿进身体里,脚会浮在空中。所以中间还有一道工序叫重定向,意思就是把同一套动作翻译成适合这具身体的版本:肩膀角度照抄,但手臂摆动的幅度要按比例缩放,落脚位置要重新算,保证脚踩在地上而不是飘着。这道工序做得好不好,直接决定动作自不自然。很多数字人看着像在滑冰,就是重定向没处理好,脚和地面没对上。还有一个麻烦是体型比例:如果数字人头特别大、腿特别短,同一段动作套上去就会走形,有的团队干脆反过来做,先定好动作要好看,再按这套动作去调模型比例。

想判断一个数字人的动作做得行不行,有个笨办法:盯着它的脚和手看十秒。脚有没有踩实、手有没有穿过身体、静止时有没有细微晃动,这三处最容易露馅。动作捕捉是把真人的习惯搬过来,习惯是藏不住的,抄得糙,一眼就能看出来。