【PFTrack跟踪】如何使用几何体跟踪变形物体？表情跟踪（图文详解）
- This topic has 25 个回复, 10 个参与人, and was last updated 1年， 7个月 前 by
.
-
-
大家上午好◐▽◑，昨天有V友提到了 PFTrack 的几何体跟踪，今天追光就为大家详细讲讲在 PFTrack 中如何使用几何体跟踪变形物体。我们主要会用到 PFTrack 的 Geometry Tracking 节点，这个节点不仅仅可以跟踪摄像机，也可以用于跟踪运动物体。
在本帖中，我会教大家跟踪一个女演员的头部，而且会在 PFTrack 中允许变形跟踪几何体，以捕捉演员的表情。
可以欣赏这个案例来进一步加强应用范围：
-
下面请跟着我一起操作。
第一步，设置场景。
将片段导入 PFTrack 项目中，并播放查看。无论跟踪什么物体，首先都必须解算片段的摄像机。如果片段的摄像机是静止的，我们可以使用 Edit Camera 节点定义一个摄像机，我们可以在 Utilities 分类中找到该节点；而不是使用跟踪器和 Camera Solver 节点。不过，由于是在 Geometry Track 节点中跟踪定镜头中的物体，这一步可以省略，因为 Geometry Track 节点本身可以创建一个静止摄像机。
在 Geometry Track 节点中设置摄像机
在 Geometry Track 节点中勾选 Moving object，这会告诉 PFTrack 我们将跟踪一个运动物体，由于在节点树中还没有摄像机，所以 Geometry Track 会创建一个摄像机。
如果节点树中已经存在静止或运动的摄像机，Moving camera 复选框会自动勾上。
-
第二步，定位跟踪几何体。
设置好摄像机和场景之后，我们需要导入并定位跟踪几何体。
导入几何体
Geometry Track 节点支持的几何模型格式有 OBJ、FBX、Open Alembic 文件，以及 PFTrack 的内部文件格式。在二楼的练习素材中包含一个 PFTrack 内部格式模型——face.pfm，此模型是适合我们跟踪的片段的。
点击 Load 按钮，然后选择 face.pfm。
刚开始，导入的模型离我们很远，所以只能分辨出它的边缘。
点击 View 按钮重新定位几何体。
定位几何体
开始跟踪前，我们需要手动对为几何模型。选择合适的模型，比如 Transform mode 中的 Translate、Rotate 或 Scale，对模型进行定位。除此之外，我们还可以选择 Fly 模式，在 Fly 模式下，按住 Option／Alt 键，使用左键可以旋转模型，中间可以缩放模型，右键可以平移模型。
更改渲染模式
更改模型在屏幕上的渲染模式可以帮助我们定位几何体。选择 Wire-frame 或 Hidden-line 将只显示边缘，而不是整个几何面部，这样我们可以看见模型的后面。
我们可以使用眼睛、鼻子、嘴和下巴来判断定位是否适合演员的脸。
-
第三步，刚性几何体跟踪。
如果我们只想跟踪演员头部的整体运动，我们可以点击下图所示的跟踪按钮。
本教程的主要目的是通过网格变形来跟踪演员的表情，下面我会详细说到。这里，追光顺带说一下刚性几何体跟踪。为了保险起见，大家可以复制一下 Geometry Track 节点。
复制 Geometry Track 节点
选中 Geometry Track 节点，然后点击节点图下方的复制
和粘贴 
按钮，将新复制的节点连到片段上，并双击激活。
使用顶点权重
此时几何体是刚性的，不会变形，而女演员却在说话，她的嘴和下巴都会动。所以我们需要改变受影响的顶点对整体解算的贡献，这可以通过更改顶点权重来实现。
切换到 Vertex Weights 选项卡并点击 Paint 按钮。
网格的 Render style 将自动改变为 Weights，绿色覆盖区域，表示所有顶点有同样的权重，并100%贡献给生成的跟踪。
使用左键在模型下方涂抹，减少该区域的权重，我们可以在 clip 视图或 perspective 视图中进行涂抹。
涂抹下巴时一定要检查透视图，有些部分在 clip 视图中很难涂到。
处于 Paint 模式时，我们需要按 Command／Ctrl 进行旋转。点击
按钮会绕网格中心旋转，这样在透视视图中更容易导航。
跟踪物体
现在我们就可以跟踪物体了。此时我们可以将 Render style 切回我们想要的类型（如果想的话），然后使用适合的跟踪按钮向前或向后跟踪。
跟踪处理时，我们可以看到网格模型贴在演员的脸上，并且跟随她的一举一动。一定要确保我们跟踪到每一帧。
-
第四步，变形几何体跟踪。
和上一步跟踪女演员头部的整体运动不同，这一步我们跟踪的是女演员的表情，让她说话时模型网格也跟着变形。跟踪变形几何体，我们需要为网格三角形创建变形跟踪组，并指定这些组相对其他网格是如何变换的。
在上一步中追光让大家复制了一个 Geometry Track 节点，此时我们可以回到第一个 Geometry Track 节点。
创建变形组
在 Deformable Groups 选项卡中创建变形跟踪组，点击 Create 按钮创建第一个组。
我们可以双击 Name 列对创建的组重命名，这个组是用来覆盖女主角的下巴的，所以将名字改为 Jaw。
添加三角面到组中
现在我们需要将下巴部位的三角面添加到组中。选中这个组，然后点击
按钮进行涂抹。我们可以在 Cinema 和透视视图中进行涂抹。
将所有下巴部位（不包括嘴唇）的三角面都添加进去。如果涂抹多了，可以点击
按钮，然后涂抹移除。Radius 滑块控制笔刷的厚度。在透视视图中确认clip视图中难以够到的区域，比如下巴后面。
添加三角面时，我们可以按 Command／Ctrl 进行旋转。点击
按钮会绕网格中心旋转，这样在透视视图中更容易导航。
通过勾选下面这列按钮，我们可以控制每个组在跟踪时的变换。
勾选 Lock 列将禁止选中的组在跟踪过程中移动，而 T、R、S 列允许组进行平移、旋转、缩放。通过选择 Move Pivot 或 Rotate Pivot 我们可以调节这些变换的轴心。不过本例用不到。
我们允许 Jaw 组在 x 和 y 方向平移，且绕 x 轴旋转。
创建剩余的组
按上述方法分别为上唇、下唇、额头等部位创建组。记得勾选每个组的变换方式。
我们可以双击 Color 列，为每个组设置不同的颜色。
跟踪变形组
现在我们可以点击相应的跟踪按钮，进行跟踪了。
跟踪处理时，我们可以看到网格模型贴在演员的脸上，跟随头部的整体运动，同时变形组会被单独跟踪。一定要确保我们跟踪到每一帧。
在 Export 节点中导出变形网格到 FBX 时，会自动在导出的文件中生成一个骨骼和皮肤变形。
本帖未经允许不得转载，禁止二次转载，未经书面授权严禁转载，谢谢！
-
-
-
-
-
-
-
-
大佬您好打扰一下，pf跟踪人脸现在有一定成果了，但是在和maya的联动上出现了些许问题（ps：我不太会maya，这部分都是和同事讨论的）
现在我在尝试的是导出fbx之后和maya里完成了骨骼绑定和毛发的模型，进行融合变形来将跟踪好的表情移过去，经过尝试得出的结论是想用这一套做法，那在跟踪的过程中模型的零点就不能动了，所以我就打算直接在maya里对好，然后将摄像机和模型一个个导入进pf，但是同样的镜头，模型，和底部视频，导入pf之后就是有一定的偏差（如图），而且不是只用平移就能对上的，基本等于重新对，虽然可以用orient scene节点，但是感觉又麻烦效率又低，肯定不是正确的做法。
实在是找不到该怎么解决只能来求助下大佬了，想请教下，maya导出的数据为什么到pf这边模型位置就对不上了(如图)，然后就是正常是如何将表情跟踪数据给到工作流的，希望能帮助我解决这两个困扰了很久的问题，谢谢
-
-
-
-
-
- 在下方一键注册，登录后就可以回复啦。
工信部备