丁丁表情背后的故事

原文在小站上，大家多关注啊。
http://site.douban.com/widget/articles/5193059/article/15391763/


丁丁历险记上映了，电影最为观众称道的可能是那虚拟角色逼真传神的表情。
对于捕捉CG技术赞不绝口。
实际上，捕捉并不是表情技术的全部，也不是丁丁表情动画中最为关键的部分。
如果以为我们买套捕捉设备就可以实现丁丁表情动画就更是大错特错了。
本文就详细介绍一下表情动画的技术，满足对技术感兴趣观众的好奇心。

从技术角度讲，角色表情动画系统实际上有三部分组成。
第一部分是运动系统。
第二部分是控制系统。
第三部分是形变系统。
运动系统定义运动的方式，控制系统提供动画师的人机接口，而形变系统则是负责真正的表情形变。
而捕捉系统说白了，不过只是控制系统的输入设备而己。在功能上，可以跟键盘差不多。
对于一个完成表情动画这样复杂的系统来说，输入设备实际不是其中最重要的成份。
因为对角色动画来说，采集数据其实不难，难的是将演员的动作转换到虚拟角色上而不产生不必要的失真。
所以这种转换的技术才是核心。
而输入设备的设计也是取决于转换系统的设计，比如再表情捕捉中，放置多少个捕捉点，位置放在哪里，这都是由后面的处理系统决定的。
一般说来，越是高级的转换系统实际上对输入数据的要求越低。
从理论上讲，最高级的设备可能不需要很复杂的捕捉。
演员只要正常表演，系统看一下录像就可以将虚拟角色的动画合成出来。

CG中这种技术实际上有一个专门的名词，叫rigging。
动作系统叫motion rig,表情系统叫facial rig。
rig这个词不好翻译，国内同行们通常说成是骨架安装，实际理解有些窄。
准确的说，rig 可以理解为脚手架之类的东西，不只有角色rig，实际上摄象机也有rig，甚至在物理仿真中也有rig，以便控制仿真的结果。
静态三维模型之上安装一套机械系统，使动画师能操纵很少的几个控制器就可以控制角色。
表面的起伏完全是由rig自动控制的。


在欧美的工作室中，模型并不是核心资产，但rig是。
一个商业大片中主角的rig可以要花上三年的时间才能完成，而模型一个月就可以了。
高级的工作室不会将rig外包。
rigging实际上是一个非常技术的活，不仅要求理解动画师的易用性要求，更难的是对所有的动画跟形变技术有非常深的理解。
角色rig师还要理解生物系统的力学跟解剖结构。
在国内CGer中，可能很少有人专业作rigging的。
但实际上，如果没有好的rig师，就不会有好的动画师。
因为动画师根本无法控制角色。

理解了rig之后，我们将介绍一下现代的facial rig技术。
这也是丁丁等新一代大片中角色表情的核心技术。

在大片中的动画表情rig大至可以分成四类，在技术上由简到难。
后一代的技术并不是同前一代的技术完全不同，是在前代技术加入新的技术内容。
在制作中的rig实际上也不是一个，一个模型上完全可以装多个rig，在不同的场景中使用不同的。

第一代的技术是skinning技术，也叫蒙皮骨骼技术。
最初只是动作上用。
蒙皮骨赂中的运动系统定义了一个层次结构的作标系，叫骨架。
模型被分成多个部分，每一部分都被定义在一个骨头的作标系中。
如果你转动手的骨架，角色的手就会转。
对于关节部分，通常是表面顶点会被定义在相临的几个骨头中，最终作标是通过加权平均得到的。
这代系统中，rigging师的主要工作就是安骨架，给每个顶点设置混合的权值。
对于表情也可以作，就是加上多个骨骼。

在今天的CG中，游戏还主要是用这套技术完成的，但是电影中己很少用这种技术作表情了。



第二代技术实际上是叫morphy blending。
可以理解为形态混合。实际上riggling师什么也不用做，主要工作都给建模师了。
建模师为同一个角色的不同表情手工建模，然后线性差值。
在代技术在今天的电影中实际上也是使用的，主要是用于只有几个镜头的角色。
游戏中实际上也有部分使用。



第三代技术就是所说的面部捕捉，想法跟原理同morphy blending类似。
低质量的要求就使用几十个点捕捉一个脸模，最高水准的是本杰明巴顿奇事中的技术。
那套技术是在脸上涂料，再打光，采集的数据可以在0.05mm之下的高精人脸。
实际上本杰明这套技术的效果可以非常好，问题是这套技术只能将人脸还原或是将其转换到一张类似的人脸上。
本杰明中试着实现了部分的表情转移，将表情转到不同年纪角色的脸上。
但无法完成更复杂表情的转移，如把男人的表情转到猩猩上。

下面我们要说的就是第四代技术了，起始于也就是海盗系列，史莱克系列，在今天的丁丁和猩猩身上己经基本成熟。
这套技术实际上是建立在两项研究基础之上。
一是解剖学基础的仿真研究。
二是心理学上的表情编码研究。

解剖学方面的研究主要贡献是一套完整的图形肌肉仿真系统。
这套系统最初可能是动画片中最先用的。
动画中最先只使用简化的骨骼，而且按解剖学结构安装了几块主要的肌肉，这样就可以比较真实的反映卡通角色的表情。
这时的骨骼是简化，肌肉的仿真只是简单的计算了在拉伸时保持体积不变。
后业这套技术借着高准度的物理仿真进步了。
今天的骨骼是高精度的，仿真的肌肉数目也大大增强，更重要的是仿真算法，其本上己经是基于材料力学的有限元分析的算法。
不仅可以算出形态，更重要的是要以算出应力大小。
但这只是故事的一部分，我们只是得到了一张真实的人脸肌肉，还不知道怎样驱动它来产生表情。


这个问题是由神经心理学研究解决的。
人的一个表情不是驱动一块肌肉，而是非常有规律的配合驱动一组肌肉。
心理学研究了人各种表情驱动肌肉的规律，研究成果叫FACS，面部驱动编码系统。
FACS中不仅指出了各动表情是驱动哪些肌肉，还指出了如何定义表情的强度和表情的混合规律。
另外FACS的编码主要是依靠action unit点的位置来定义，所谓的action unit实际上可以理解为产生表情肌肉肌键的位置。
因而第四代技术中，采集的是表情，不是脸的形状。
外行觉得面部捕捉很神奇。
对专来人来说，神奇的是采样点如些之少，只有四十八个。


最后我们来说一下第四代表情技术工作流程。
它的rig 是一个至少四层的结构。
它的第一层是一个硬质的头骨模型，上有安有骨架rig。
在这个骨架rig上安有第二层结构，是action unit和action line。也可以理解为线性肌肉模型。
这一二层上安有控制器。

第三层是肌肉模型，每一块肌肉的形状都被准确的再现，并且配置好材料力学参数，被计算机当成三维强性材料处理。
最后一层是表皮层，就是我们平时说的模型，计算机当成二维的弹性材料处理。
这三四层动画师是无需控制的，属于形变层，完全由计算机自动计算完成。
而且三四层中有一个粘连层，处理皮肤在肌肉表面的滑动。

控制器的输入有二种，一种是动画师来做。
工作流程是这样的。
动画师在骨头上摆姿势，在线性肌肉上设置表性。
然后计算机仿真肌肉的形变。
然后计算机仿真皮肌的滑动，并分析皮肤的应力。
在应力大的地方加上皱纹。
这便是动画片中的作法。


另一种自动化的方法则更复杂一些。
演员先作出各种动作，软件进行较正，而后演员表演时，计算机对捕捉来的数据进行处理。
分析其中有哪几种表情，各种表情的强度怎样，形成表情编码。
然后根据FACS推断出不可能被组合在一起的表情，当成噪声去掉。
这部分系统就是其它文中说的solver。
solver其实指的是矩阵求逆软件，因为这些复杂的运算在计算机中最后都会被转化成矩阵运算。

得到表情编码后，加上rig上，就产生了动画。


所以第四代系统中，核心的东西一个是分析表情的程序，一个是后台的facial rig及其处理程序。
捕捉设备实际上无关紧要。



这就是今天表情动画处理的大致流程，对于电影导演来说，今天的电影不是拍出来的，是画出来的。
而对于制作的艺术家来说，今天的CG不是画出来的，是算出来的。
功夫其实都在诗外。



许多读者在知道后可能会对技术有一种望而却步的感觉。
甚至会问，难道拍个动画片值得费这么大劲研究个十几年吗？
商业上值不值是早有定论的。
我要说的研究的意义不只在于拍电影。
实际上电影中用到的技术实际上可能是其它研究中的副产品。
生物力学的研究在医疗特别是手术规划的意义不言而喻。
而表情心理学的研究实际上是智能研究的一部分，实际上solver就是理解人表情的程序。
你可以想象得到不久机器人和电脑就将可以理解人的表情，看得懂人的喜怒哀乐。
甚至我们不应该从应用角度来理解。
其实当计算机生成的表情可以骗过所有人的时候，我们得到的不是一部好看的电影，我们己经对表情，对我们人类自己有了更深的理解。