《NewVFX跨地域远程协同制作网络》开发前后的思考
- This topic has 2 个回复, 3 个参与人, and was last updated 1年， 7个月 前 by
.
-
-
大家好，我是追光，直播、远程办公是今年最热的名词，当然本人并非追逐潮流的类型，远程协同剪辑制作的概念是这样的：一个影视项目中，剪辑师在北京、素材管理人员在深圳，合成师在西安，而调色师在国外，音乐人在中国香港，不同地域的创作人都在一个项目工程里协作，每个人都能看到协作的结果。导演也能实时看到大家的工作结果，并实时提出修改建议 使用NewVFX网络让达芬奇实现跨地域协同的流程。这听起似乎有点不现实，因为目前制作软件还没有这样的功能，但写这篇文章的时候，NewVFX已经完成三组基于 Linux 作为底层的 SDwan集群网络构建，并已成功投入在线运作。
以下是我对集群开发经验的反思与总结，希望能对未来的开发者、或愿意使用集群跨地域制作的用户加强理解集群化的概念，内容是个人真实想法与感受，如有偏颇之处，也请提出批评指正，达到共同进步，推动中国影视工业向前发展的目的。
NewVFX 集群开发背景：
追光本人也是制作人，对这种技术概念有着浓厚的兴趣，也期待着 Adobe 或 Apple 能推出这样的服务，结果，这一等就等了小十年，在跨地域协同方面仍然没有称得上“顺手好用”的功能。
这过程中，追光也在学习研究这方面的实现技术，从 Shotgun 到 Ftrack等大规模工业化流程协同工具，再到 Deadline 集群渲染都玩了个遍，才深知远程协同远非是一个软件功能那么简单，其中涉及到底层通讯加密、通讯传输、远程组网，数据库数据交换，中转服务器部署、集群网络组建等等方面，远超出了一个软件的范畴。而且要增加这些功能，一年所产生的运行费用，远比软件贵得多。
视频制作云服务的主要方式： BS 架构
在服务器上部署设备，制作人通过远程操作来完成协同。这种方案有两个致命的地方：
1、每个人都连接远程桌面所消耗的带宽非常大，体验一般。
虽然目前500m、1000M 带宽都很普及，但远程桌面连接已经是跨世代的古老技术，网速的提升适当的提高了远程操作的响应速度、流畅度，这些提升对于影视工业而言仍只是“微进步”，比如：192khz 音频传输质量，<20ms延迟的响应能力，Raw 画质传输显示等，每一项基础需求对远程桌面而言都显得过度“苛刻”。 但”听得准、看得明”，始终是创作人发挥创作的基础，也是硬需求。
2、缺乏安全性。
鸡和鸡蛋都在一个篮子里，一旦服务器被入侵，从素材到工程会被“一锅端”。安全性取决于“运气”还有巨大的防护投入，离实现大规模集群使用还有很远的距离。
3、资源耗费大，无法实现资源合并优化。
整个集群的性能，完全依赖中心服务器的硬件质量，每个用户手中的工作站仅仅具备输入与交互功能，99%的效能被浪费。事实上，许多用户手中持有工作站的性能、质量，远超服务商的装备，且根据自身特点会有许多个性化特点。但 BS 架构不能解决资源融合的问题。
以上这种方案也是阿里云、腾讯云等部署的 GPU 视频工作站解决方案，但这种方案代价过大，从效果而言不算最佳解决方案。
我的思考：BS 架构适合轻型应用，比如网页、数据库、轻数据交互方面已经有着较为成熟的经验。而影视行业属于重型数据产业，从数字影视诞生之初就依赖于现有科技中最大的带宽，最快的硬盘速度，大概20年前，民用网络仅有1M 带宽时候，影视工业就已经在1000M-10000M 带宽上运行，计算渲染也已采用分布式集群，由此可见影视工业底层设施始终在科技最前沿，且在图形计算领域，声音计算领域推动着全球科技进步，而用 BS 架构的民用网络来解决工业化的问题，有点相形见绌，5G 能一定程度提高这种能力，但满足数万兆级别的无限进程实时，产生的通讯费用不可想象。
NewVFX 集群的构建思路 BS/CS 混合架构：
经过反复论证实践我想出了这样的解决方案：
1、素材将始终放置在用户自己的电脑上。一来安全，二来速度，再者没有任何一方能够接触到素材，保障了素材的安全性。
素材存储方式：
素材始终在制作人机器上，如果需要部分工作协同，就将素材发给协作者一份，保证大家路径一致即可。这样就能保证素材的封闭性，不管是NewVFX 还是公共网络都无法接触到素材，保证了素材的安全性与隐蔽性。每个项目中，支持同时使用两套不同的系统协同：比如 Win 与 mac 协同，Mac 与 Linux协同。2、用户使用自己电脑上的软件，而非远程电脑上的系统界面。
自己电脑上的软件速度自然快，不需要网络传输界面，节省带宽的同时，提升了创作人操作体验，这种操作体验取决于创作人按照自己个性化定制的硬件装备或者购买的工作站性能。也能让每一台不同型号的工作站发挥自身的全部潜力，并将这种计算能力成为集群的一部分，实现了集群+用户能力*N 的能力。
3、远程协同仅仅负责处理“变量”，聚焦于处理“微数据”传输协同。
这个概念其实非常好理解，A 在上海，B 在北京两人打开一个工程，数据是一样的，但 A 将素材剪辑了几段，这时候 A 与 B 的数据开始不一样了，所以将 A 新的时间线中有变化部分的数据（可能不到1KB）传输给 B，以实现同步。 几个字节的数据传输起来速度快，占用资源小，在同样带宽条件下能将效率提升成千上万倍。
4、使用隔离加密通道传送“操作变量”，与公网环境隔离开。
为进一步保障数据安全，和传输质量，“专线网络“是不二选择，但专线网络需要特定资质的企业才能申请，而且价格是普通民用网络费用的10-100倍。在此情况下，经过反复研究实践，我们建立了 ”NewVFX集群专线“，只需要 NewVFX 账号即可让 Win、Mac、Linux 接入 NewVFX 专线私有网络，能实现高质量的数字信息交换加密传输。
在专线通道的基础上，又把专线拆分为128个不同模拟硬件连接单元，实现每个制作 Studio 都拥有完全独立的通信通道，保障集群内数据的私密性。
5、制作工程数据库的安全与维护。
数据库在网络环境中运营已是成熟的技术，不管在安防还是运维层面均已经高度成熟，在此基础上，我们将每个网络通信隔离通道对应到 Studio 的数据库，成为隔离体，保障了数据的独立性与私密性。保证只有本工作间的人才能看到制作工程，
6、Virtual Studio（虚拟工作室）组建
这是 NewVFX 提出并实施的最具创造性的方案，当大量创作人接入集群网络后，如何划分区域、网络空间归属，以及所有者权限。这里我们通过虚拟工作室概念来解决了这个问题。为了保障每个虚拟工作室的网络空间隔离，我们不仅仅是做了字面上的标签划分，还通过隔离通讯、隔离网段、隔离网卡、隔离数据库来实现。NewVFX 集群相当于一栋大楼，内部划分成为若干工作区，用户在内部有自己的创作工作间，而每个创作工作间有门牌号、标志，门锁，有钥匙的用户才被允许进入某个工作间。
这样既保障了隔离性、私密性，还方便集群整体管理。这也是在经历太多无法实现的困难，屡次放弃后所找到的最佳方案，也解决了我在构思整个集群架构中对“黑洞一般的存在”的固执，如果一套系统不够隔离、不够安全，那再多的想法都只是“镜中月，水中花”。
追光始终认为：网络空间与领土、海洋、太空等具备完全相同的属性，但与领土最密切的地方在于里面有大量人类活动，在从事生产、交易、服务等方方面面的社会活动。网络空间具有多维能力，许多潜能善待进一步开发、开放。过去几年，追光重组开发完 NewVFX 社区（社交、BBS、文档、短片、大学）的全部模块后，在部署网络过程中发现，网络技术与制作系统有若干可以结合的地方，有待于进一步深度挖掘，‘光桥’也是第一次浅层的跨领域融合尝试。
鉴于个人目前的认知能力，也仅仅局限于工业互联网领域，让网络具备底层生产能力、助力于文化产业发展，始终是我们的愿景。也希望能听到更多不同的建议和意见，我们共同进步。
另外从一名老制作人过渡到一名开发者过程中，开发与尝试的代价的确太大，只要没有成果，再多投入都是零，没有人在意这些中间过程，但这些中间过程来之不易，也期待有这方面开发能力与志愿的用户加入到 NewVFX 集群开发中来，进一步升级完善现有架构体系，以期构建一套成熟高效的工业级底层系统，助力中国乃至世界文创产业的发展进步。
-
- 在下方一键注册，登录后就可以回复啦。
工信部备