这篇文章的思想跟Multilinear Autoencoder for 3D Face Model Learning
本质上是完全一样的。将人脸重建看成是一个线性问题,然后求解线性系数和特征向量。而且训练方法也是一样的。分三步:1、预训练encoder;2、预训练decoder;3、训练整个模型。
两篇文章的区别是:该论文用的是3DMM的理论,而上面我提到的那篇用的是高阶SVD张量分解理论。
我们来看看模型结构:
其中 CRes C R e s 就是3DMM中的29维表情系数, CId C I d 则是199维的身份系数。 ΔSRes Δ S R e s 是表情系数×表情特征向量重构出来的一个人脸。 ΔSId Δ S I d 是身份系数×身份特征向量重构出来的一个人脸。两个人脸再加上平均人脸就是最终的3D人脸。
我们再来看看Decoder的网络结构:
就是一个线性乘法。