什么是跟踪MatchMove?PFTrack/Mocha/3DEqualizer特点

VFX大学 PFtrack,3DEqualizer,Mocha追踪 什么是跟踪MatchMove?PFTrack/Mocha/3DEqualizer特点

标签: , ,

正在查看 1 条回复
  • 作者
    帖子
    • #67126

      追光
      参与者
      机构认证

      大家好,我是追光,最近忙于各种数据系统的开发工作,在排除各种Bug中度过了一阵子,一路升级打怪,终于通关🤗️,今天我们来聊一聊追踪与追踪软件,追踪是一件非常高科技的事物,从其诞生的第一天起就基于图像图像算法的人工智能,其是前沿科技在实际应用中的范例。

      先来看个追踪的影片幕后花絮:

      video

      什么是追踪?

      按字面理解,就是追某个物体(人)运动,TA怎么动,我们就怎么动,使两者之间有着相同的轨迹。两个轨迹之间的重合度越高,追踪精度就越高。

      平面追踪与三维追踪是什么?

      平面跟踪非常好理解,就是追踪视频中影像内的对象(汽车、美女、亦或咖啡桌)在画面中的运动,其只需要追踪物体在空间中运动的X、Y两个轴的坐标。而三维跟踪大多数时候用于反求出摄像机📹在三维空间中的运动,需要求解计算出X、Y、Z三个轴向上的坐标。


      平面追踪的目的:1、追踪物体平面运动。2、使用四点跟踪替换画面。3、擦除画面中的图像。4、使用动态遮罩扣出画面中的物体

      三维追踪的目的:1、摄影机反求。2、场景测量、重建场景。3、几何体跟踪。4、表情跟踪。5、Moco运动匹配。


      平面追踪领域的王者–Mocha Pro

      一直以来,追踪反求都是一件很重要的事情,多年前偶然看到一个Mocha跟踪替换手的视频,引发了兴趣,简直是太神奇了,可以把拍摄出来的视频里面的车牌号换掉,脸上的痣去掉,替换墙面,甚至…..打开你的想象,几乎无所不能的样子,太神奇了…,看个视频先窥探下:

      video

      然而好景不长,Mocha是做平面跟踪的软件,在平面跟踪领域强到没有朋友👬,却有很多东西依旧做不了,当摄影机的旋转角度大于45度的时候,追踪精度变得不那么理想,很多时候也只能半手工半自动的追踪。另外,其也无法满足与三维物体的合成,尤其要将摄影机运动下拍摄的运动物体、人等进行追踪替换时候,就达到Mocha平面追踪能力的极限了,这时候涉及到跨领域了—–三维追踪就这样走入了视线。

      【Mocha替换实例】Mocha跟踪替换手机屏幕内容【图文详解】


      工欲善其事,必先利其器”,选择工具是一件需要非常谨慎的事情,当代的工具是科技思想与尖端技术的合体,学一种工具,其内部的思维会慢慢影响你,科学思想与知识也会潜移默化的进入大脑,影响着我们的方方面面。

      追光小体会:尽量一开始就选择专业的工具。把自行车骑好了,依然开不了飞机😊,选择对口专业的软件然后深入学习非常重要,不然会在多种软件之间浪费大量时间。

      刚开始在查看三维追踪软件时候,无意中看到以下这段话,所以毫不犹豫的选择了Boujou,

      在美国的司法界曾经运用於有关地质崩裂调查和灾难现场重建的专案,在这严苛的考验之下,可以用boujou所演算的结果作为呈堂证供与判刑的依据,由此可见 boujou 的准确性是受到一致公认的。

      在现在看来,上面的这段话或许只是个误会。影视工业VFX工业流程,讲究的是Pipeline(流水线化),更多时候选择工具也有上下游数据格式交换的考量。So,Boujou很快就被Pass掉了。


      三维追踪、三维摄像机反求、场景匹配、Moco:

      经过大量使用对比,并根据美国、英国影视工业流程,包括全球最主流的VFX公司工业光魔、Weta等横向、纵向对比、精度对比上选择了3DEqualizer

      我们所看过的大片,《魔戒》、《阿凡达》、《变形金钢》《人猿星球》、《星球大战》等,几乎均由3DEqualizer进行追踪,战功赫赫,不止一次拿下Academy Award 奥斯卡奖章(个人认为严谨的叫法是“电影艺术与科学院”奖章),当然,3DEqualizer也是全球所有追踪软件中最贵的,No之一😢,其一个月的租金就可购买PFtrack,正式版合RMB70000。

      3DEqualizer4 R53DEqualizer4 R6中做了许多小细节的升级,现在的操控感完全不输PFtrack。

      追光个人认为:PFtrack适合工作室与个人,3DEqualizer适合大型项目(电影、VFX项目),其分界线在于3DEqualizer支持分布式集群计算,3DE可以使用多个计算机来当作追踪计算节点,所以6K、8K的影片也可以实现高速追踪。

      而在大多数做VFX短片的工作室,MV,广告领域PFtrack也是随处可见,其清晰的节点流程非常易用简单上手快(若你有节点软件的经验),学习PFtrack并不难。

      video

      当你开始了解追踪的原理,以及追踪的流程后,你会发现3DEqualizer、PFtrack,并没有多大差别,功能模块原理都完全一致。

      3DEqualizer、PFtrack各自特点:

      1、从结果与追踪精度的手工调整,细度而言,常常折服于3DEqualizer,一个几十兆的软件,竟然有这么多细致的各种功能,且非常方便安装Python插件,或者开发,适合于大规模,高精度流程,另外经追光本人实测,3DEqualizer支持 Network Calculation(局域网分布式集群运算),非常适合大规模项目。

      2、PFtrack节点软件,流程清晰,操作方便,精度各方面也不差,且所有功能模块都齐全,工作过程看起来非常高端,相对而言使用以及流程成本更低。(尤其开启视频监视器与三维监视器的时候,工作现场颇有几分科幻感)

      3、从追踪速度而言,同样机器配置下3DEqualizer追踪速度更快,准度更高。

      那时候,常纠结于一个问题:到底选择长期使用3DEqualizer还是PFtrack?

      追光个人最期望的:使用3DEqualizer的内核算法,使用PFtrack的节点UI界面,这样流程就足够清晰了。

      追光也尝试过将3DEqualizer追踪的点坐标,重写后传递到PFtrack,但两者算法偏差大,大多数时候并不能得到非常好的结果。

      3DEqualizer导出2D追踪点|Export Full 2D Tracks


      追踪是后期工作中需要的知识量最大,涉及多种不同专业领域知识交叉,需要平面图形算法的知识,还需要三维空间位置思想,三维点、线、面的知识,同时也需要大量的前期拍摄知识,对镜头的理解,算法与编码,还会涉及到镜头物理光学方面的知识。追踪师是VFX工业中衔接现实与虚拟的核心,也称为“隐形特效师”,因为他所做的工作在最终结果中是不可见的。

      【拍摄理论】在拍摄前先来了解镜头 追踪师、VFX摄影师必备


      好啦,之前有不少V友反应追踪的教程有些复杂深奥,不太懂,这次写个基础的,希望大家学得开心😄。

      另外,如有疑问,可以跟帖留言,追光会尽己所能,尽快回复大家的。

      点击追光的头像可以查看更多精彩教程,点我头像加好友,即可看到持续的动态,把帖子推荐给你的朋友哟~

      本帖未经许可严禁转载,转载请注明出处并保留在本站的完整链接,且严禁二次转载,谢谢~

    • #82808

      墨竹舞月光
      参与者
      军士

      大公司还是3de多一些。

正在查看 1 条回复
  • 在下方一键注册,登录后就可以回复啦。
error: 提示:内容受到保护!!