什么是跟踪MatchMove？PFTrack/Mocha/3DEqualizer特点

[追光]

大家好，我是追光，最近忙于各种数据系统的开发工作，在排除各种Bug中度过了一阵子，一路升级打怪，终于通关🤗️，今天我们来聊一聊追踪与追踪软件，追踪是一件非常高科技的事物，从其诞生的第一天起就基于图像图像算法的人工智能，其是前沿科技在实际应用中的范例。

先来看个追踪的影片幕后花絮：

什么是追踪？

按字面理解，就是追某个物体（人）或者摄影机的运动轨迹，TA怎么动，我们就怎么动，使两者之间有着相同的轨迹。两个轨迹之间的重合度越高，追踪精度就越高。

平面追踪与三维追踪是什么？

平面跟踪非常好理解，就是追踪视频中影像内的对象（汽车、美女、亦或咖啡桌）在画面中的运动，其只需要追踪物体在空间中运动的X、Y两个轴的坐标。而三维跟踪大多数时候用于反求出摄像机📹在三维空间中的运动，需要求解计算出X、Y、Z三个轴向上的坐标。

---

平面追踪的目的：1、追踪物体平面运动。2、使用四点跟踪替换画面。3、擦除画面中的图像。4、使用动态遮罩扣出画面中的物体。

三维追踪的目的：1、摄影机反求。2、场景测量、重建场景。3、几何体跟踪（比如：使用几何体反求摄影机运动）。4、表情跟踪。5、Moco运动匹配。

---

平面追踪领域的王者–Mocha Pro

一直以来，追踪反求都是一件很重要的事情，多年前偶然看到一个Mocha跟踪替换手的视频，引发了兴趣，简直是太神奇了，可以把拍摄出来的视频里面的车牌号换掉，脸上的痣去掉，替换墙面，甚至…..打开你的想象，几乎无所不能的样子，太神奇了…，看个视频先窥探下：

---

然而好景不长，Mocha是做平面跟踪的软件，在平面跟踪领域强到没有朋友👬，却有很多东西依旧做不了，当摄影机的旋转角度大于45度的时候，追踪精度变得不那么理想，很多时候也只能半手工半自动的追踪，手工替换或擦除。另外，其也无法满足与三维物体的合成，尤其要将摄影机运动下拍摄的运动物体、人等进行追踪替换时候，就达到Mocha平面追踪能力的极限了，这时候涉及到跨领域了—–三维追踪就这样走入了视线。

【Mocha替换实例】Mocha跟踪替换手机屏幕内容【图文详解】

---

“工欲善其事，必先利其器”，选择工具是一件需要非常谨慎的事情，当代的工具是科技思想与尖端技术的合体，学一种工具，其内部的流程思维会慢慢影响你，科学思想与知识也会潜移默化的进入大脑，影响着我们的方方面面。

追光小体会：尽量一开始就选择专业的工具。把自行车骑好了，依然开不了飞机😊，选择对口专业的软件然后深入学习非常重要，不然会在多种软件之间浪费大量时间。

刚开始在查看三维追踪软件时候，无意中看到以下这段话，所以毫不犹豫的选择了Boujou，

在美国的司法界曾经运用於有关地质崩裂调查和灾难现场重建的专案，在这严苛的考验之下，可以用boujou所演算的结果作为呈堂证供与判刑的依据，由此可见 boujou 的准确性是受到一致公认的。

在现在看来，上面的这段话或许只是个误会。影视工业VFX工业流程，讲究的是Pipeline（流水线化），更多时候选择工具也有上下游数据格式交换的考量。So，Boujou很快就被Pass掉了。

---

三维追踪、三维摄像机反求、场景匹配、Moco：

经过大量使用对比，并根据美国、英国影视工业流程，包括全球最主流的VFX公司工业光魔、Weta等横向、纵向对比、精度对比上选择了3DEqualizer。

我们所看过的大片，《魔戒》、《阿凡达》、《变形金钢》《人猿星球》、《星球大战》等，几乎均由3DEqualizer进行追踪，战功赫赫，不止一次拿下Academy Award 奥斯卡奖章（个人认为严谨的叫法是“电影艺术与科学院”奖章），当然，3DEqualizer也是全球所有追踪软件中最贵的，No之一😢，其一个月的租金就可购买整个PFtrack，正式版合50000RMB/年。

3DEqualizer4 R5，3DEqualizer4 R6中做了许多小细节的升级，现在的操控感完全不输PFtrack。

追光个人认为：PFtrack适合工作室与个人，3DEqualizer适合大型项目（电影、VFX项目），其分界线在于3DEqualizer支持分布式集群计算，3DE可以使用多个计算机来当作追踪计算节点，构建成视觉追踪分布式计算集群，所以6K、8K、12K影片的成千上万个镜头也可以实现高速追踪。

而在大多数做VFX短片（100个VFX镜头以下）的工作室，MV，广告领域PFtrack也是随处可见，其清晰的节点流程非常易用简单上手快（若你有节点软件的经验），学习PFtrack并不难。

当你开始了解追踪的原理，以及追踪的流程后，你会发现3DEqualizer、PFtrack，并没有多大差别，功能模块原理都完全一致。

3DEqualizer、PFtrack各自特点：

1、从结果与追踪精度的手工调整，细度而言，常常折服于3DEqualizer，一个几十兆的软件，竟然有这么多细致的各种功能，且非常方便安装Python插件，或者开发，适合于大规模，高精度流程，另外经追光本人实测，3DEqualizer支持 Network Calculation（局域网分布式集群运算），非常适合大规模项目。

2、PFtrack节点软件，流程清晰，操作方便，精度各方面也不差，且所有功能模块都齐全，工作过程看起来非常高端，相对而言使用以及流程成本更低。（尤其开启视频监视器与三维监视器的时候，工作现场颇有几分科幻感）

3、从追踪速度而言，同样机器配置下3DEqualizer追踪速度更快，准度更高。

那时候，常纠结于一个问题：到底选择长期使用3DEqualizer还是PFtrack？

追光个人最期望的：使用3DEqualizer的内核算法，使用PFtrack的节点UI界面，这样流程就足够清晰了。

追光也尝试过将3DEqualizer追踪的点坐标，重写后传递到PFtrack，但两者算法偏差大，大多数时候并不能得到非常好的结果。

3DEqualizer导出2D追踪点|Export Full 2D Tracks

---

追踪是后期工作中需要的知识量最大，涉及多种不同专业领域知识交叉，需要平面图形算法的知识，还需要三维空间位置思想，三维点、线、面的知识，同时也需要大量的前期拍摄知识，对镜头的光学成像原理的理解，算法与编码，还会涉及到镜头物理光学方面的知识。追踪师是VFX工业中衔接现实与虚拟的核心，也称为“隐形特效师”，因为他所做的工作在最终结果中是不可见的。

【拍摄理论】在拍摄前先来了解镜头 追踪师、VFX摄影师必备

---

好啦，之前有不少V友反应追踪的教程有些复杂深奥，不太懂，这次写个基础的，希望大家学得开心😄。

另外，如有疑问，可以跟帖留言，追光会尽己所能，尽快回复大家的。

点击追光的头像可以查看更多精彩教程，点我头像加好友，即可看到持续的动态，把帖子推荐给你的朋友哟～

本帖未经许可严禁转载，转载请注明出处并保留在本站的完整链接，且严禁二次转载，谢谢～

[墨竹舞月光]

大公司还是3de多一些。

[追光]

对的，在电影中3Dequalizer 的应用比较普遍，一方面是追踪精度高，另外一方面是高分辨率的素材对追踪计算的电脑要求非常高，而3DE 支持多个机子组成集群进行分布式追踪，能满足大项目的高效需求，其实这方面之前也有一文章讨论过，刚好补充到这里：

PFTrack,Mocha,Nuke和3DEqualizer 做追踪哪个更好？

[大饼叔叔]

谢谢，找了半天资料，还是您这篇写得最好

[追光]

哈哈，非常感谢认同，NewVFX一直致力于研究计算机视觉、听觉方面的应用。追踪的话，从诞生之初就是人工智能图像识别技术，计算机视觉。包括现在新流行的“元宇宙”概念，也是在视觉听觉交互方面也是基于追踪而成的结果。

追踪的目的是将计算机视觉角度与现实世界完全重合并呈现出来，而元宇宙是将现有互联网+追踪+VR/AR/Mr的形式呈现出来，我们影视制作中是异步处理：就是将不同时间、空间里的万物以及不存在的人或事物混合起来，而元宇宙是实时的将现实的物理空间与三维数字空间合成起来，本质都是完全一样的。

不管是异步处理还是同步处理，都基于一个核心：现实空间与虚拟空间的匹配，也就是视觉追踪。元宇宙的追踪相对比较简单，一般是视觉角度（摄像机）的追踪，而影视的追踪涉及到更加复杂的复合追踪：摄影机在动、物体也在动、甚至表情变化、肢体运动等。

追踪的核心是通过多束光或波发射以及折射的时间差、位置差来计算空间位置的，影视当中偏向于使用可见光/波当作计算媒介，而使用不可见光的追踪应用也非常广泛：雷达、红外等。

说到这里不得不提一下工业光魔这家影视公司，其是一家电影公司，但其也是美国陆军的军事装备技术供应商，因为武器系统依赖于瞄准定位，需要获取目标精确的XYZ坐标，也就是追踪。

补充这部分内容不是将追踪神化，而是尽可能的了解追踪与科技多领域相关的东西，拓展我们的思维。一名优秀的VFX，去开发机器人、自动化设备或者系统，都是能够适应的，这些事物在本质上是同源同根的。

[作者]

帖子