《NewVFX架构说明及历程》不敢自满但无比自信

追光简介 @light：姓名：季松斌：云南丽江，现居北京，摩羯座。北京奴那斯传媒创始人，NewVFX社区创始人，独立架构完成NewVFX社区集群网络体系（前端SNS社交系统、基于BBS的公共学习讨论系统、在线视频点播系统、文档系统、大数据分析系统、底层采用分布式Linux集群负载、数据库、并将这些系统无缝集成一体化，构建了完全基于云的Ai自动化站群），并精心培养、训练出一批毕业于传媒大学、北影的高端影视制作人，共同参与社区内容建设。

夫国之魂者，文也，兴，慕之贤圣、屈人远兵、科技扬威。

影视工业远不是娱乐行业那么单纯简单，其以最先进🉐️声光电科技工业作为底层基础；以一国、一民族文化为灵魂；以数字为载体，以传播为目的，中间流程庞大且复杂。也可以这样说，VFX工业是一个国家综合国力的直观表现。

2006年-2015年：在一线从事拍摄、制作、调色、三维、追踪匹配、动力学模拟、激光扫描追踪，音乐制作、音频制作等业务维持工作室的发展。期间积累、研究学习了海量VFX工业流程技术，应用在实践中。

累积完基础知识：英文、网站架构，Linux服务器集群组建、运维、协同、分布式计算网络构建、网络运营、计算机硬件匹配协同、各软件图形运算模块与计算机硬件之间的关系等。

学习并实践前期专业：灯光、镜头、拍摄、各种摄影器材的使用、现场录音、导演、分镜头设计、项目协调。

学习后期并投入生产：剪辑、包装、动画制作、音乐制作、音效制作、追踪与反求、电影合成、粒子力学、动力学、图形图像编码算法等领域。

2014年11月：在一线拍摄制作之余，自行开发建设影视社区网络的第一个版本，并同时推出App版本、网页版，并上线运行，功能用途内容均与用户需求脱离，一年下来注册量仅仅6人（均为奴那斯传媒制作人）。

2015年10月：使用新的母系统，再次开发设计一款精美的视频网站，定调为短视频为主的制作人短片分享网站，于2016年1月1日上线，并投入内容建设，截止到2016年10月，用户量仅为11人（2人为用户，9人为朋友）。

2016年10月：吸取之前两年的经验，进行重新架构与功能模块设计，连续开发调整长达13个月，同时内容创作人员开始尝试分享多种形态的VFX工业流程技术文章。此摸索过程带来大量用户注册，也最终确定了社区网页展现形式与发展方向。

2017年：开始职业化投入内容建设，并确立为将所有模块融合为SNS社交模型的形态。开始完善文档、VFX大学、VFX影视全影视工业流程的内容建设。流量、用户均得到大幅度提升，并开发测试在线数字商店。（推广、自动化方面尝试一年，几乎没有进展）

2017年11月：奴那斯原始创建团队分裂，NewVFX社区创作人员全部离职。在危机重重之中发生了更多不幸运的事情，社区数度完全停止运维。在危机中，创始人独立开发升级站点、创作内容，运维，保持社区存续。（用户量达到300多人）

2018年：辗转于北京、青岛、深圳、广州，社区由创始人独自开发并开始分布式站群设计，引入近百种新技术，包括大数据与智能化接入方面的应用等，使社区能够实现全自动安全防护，言论监控，图形图像安全审查，数据库分离、分片，自动升级架构，横向、纵向全自动扩展升级，并进一步开发社区商店的管理，发货，对账为全自动化无人商店。并在推广方面研究新型方式与方法并构建相应推广体系，全站实现规模化自动化运维、管理、推广、运营，并取得显著成果。（累计13个月）

2018年也创作完成高度专业的体系化内容带来数以万计的专业用户，在自动化与智能化中，社区再次得到重生，由此奠定了“全云化”，“全自动化”，“回归创作本身”的发展方向。

2019年1月至4月，在推广、集群协同、大规模负载、高并发的同时保持高速度方面投入大量新的设备、新的架构体系，重构母系统在功能、数据应用架构上微型个人应用的架构为巨型系统架构

微系统数据库–中型系统–大型可拓展系统–巨型系统。重构数据库结构与应用架构方式为巨型系统微服务架构。

网站运营是一项长期而艰巨的道路，不是一次性的事情，每天都会涌现新的问题，且问题越来越多、投入越来越大的一个过程、是一条真正永无止境、无限升级、无限投入的道路。

2019年4月24日，周三，🌧️：将新用户ID做了随机化Hash处理，更加安全，坚固的用户体系设计。

2019年4月28日，周日，🌧️：重新设计404页面、锁定提示页面，安全性扫描系统升级。提升了安全防护与用户体验。系统设计与运行思想🉐️到进一步升级：系统和新技术是用来服务人本身的，让系统更加贴近人本身的需求，去帮助用户更好的浏览，阅读，学习，交流，去除所有系统本身冰冷的提示，注入人性思想。

2019年5月20日：新增发帖、回帖数学题验证，并增加防护垃圾用户注册云系统。

2019年6月15日，周六：解决社区长期存在的在其他站点微信登陆数据不同步，偶尔出现错误的问题，并精简登陆为集群站内分别登陆为全局统一设置，自动分配分站路径。

2019年6月27日，周四：升级防护系统，增加用户防护并去除商店地址填写（可自动扫描同步微信地址）。

2019年7月3日，周三：开放社区内积分可用于直接消费购买，多个站实现积分实时协同、统计，并在商店新开发单独使用积分进行支付的网关，与微信支付、支付宝支付并列成为第三个支付选项，积分支付受社区设定的汇率控制。

2019年7月10日：新加入两名职业PHP开发人员，Linux工程师（均从事开发11年以上并拥有知名作品）、开始对安全性进行重构，原有系统进行重构，站点架构设计进行重新整理，全面提升防护能力与有害用户评判机制。

2019年7月20日：确定站内共享方式：1、登陆后可查看、下载。2、评论后可查看。3、扫码支付后可查看。4、支付VFX（支付积分可查阅）。四种阅读与下载模式，社区内13个站点间均协同并匹配积分、支付、扫码、登陆等，并完全协同从属于社区基金会，可实时显示社区内资金、商品、数字资源、教程、用户关系之间的各种复杂交互图表，方便社区治理与数据分析。

2019年8月5–8月6日：音乐系统重建内核，与各合作方开始含进度追踪的远程协作，并测试完毕，为商业生态建设铺平技术构建，经各合作方使用，均表示效率极高。

2019年8月10–8月29日：重建完成用户、大数据分析系统，所有代码数据均单独部署，数据精度与准度达到实时可控，精准分析，完全量身定制，放弃使用之前第三方的商业数据分析系统。

2020年2月14日：新增社区动态、文章、视频置顶功能。

2020年7月10日 北京 多云☁️ 小雨🌧️：经过7个月的测试后，开始上线数字商店，包含音乐在线试听，视频预览、数字作品在线版权授权、交易，尝试用于提供音乐、视频素材、软件服务。

同时具备四种功能：1. 在线软件售卖；2. 在线音频试听并可付费授权使用；3. 在线视频预览并可付费下载使用；4. 硬件装备因为涉及到发货、售后等方面的问题，采用直接对接到供应商天猫、京东店的模式。

2020年7月12日 北京 多云☁️ 小雨🌧️：升级训练教学素材的下载模块，从之前的仅仅支持充值后购买，改为可以直接付款，也可以选择充值后购买，充值购买增加折扣优惠，并可以进行VIP会员购买，若用户只想购买当前资源而不使用其他服务，那么可以直接通过微信、支付宝扫码支付。

2020年8月17日 北京 多云☁️ 对站点资源进行重新分类、标签🏷️，更加利于查询分类，按照功能与制作目的进行划分。

2020年8月23日 北京 晴☀️; 重新完善社区公众号的自动回复功能，在微信公众号内可以输入关键字，对VFX大学、资源库查询，因微信限制，目前仅能自动回复一条消息。

2020年8月29日 北京 晴☀️; 修复公众号机器人中的发信设置与原先的SMTP冲突的问题，导致新注册用户无法收到邮件📧验证链接。

2020年8月31日 北京 ☁️; 修复下载管理系统定义的时间与站点时间冲突的问题，会导致用户一旦进入下载中心，会产生8小时误差。
1. 在下载系统中无需再次定义时区，所有时区自动遵循母系统设置。注释子系统中定义时间的代码：

//date_default_timezone_set('Asia/Shanghai');

2. 在Function中增加函数，不再将新用户注册的信息写入数据库，也可以关闭好友、更新资料、头像的动态信息，之前所采用的是记录到数据库前端隐藏，但会导致，信息统计总数无法控制。

2020年9月8日 北京 ☁️：对部分产品进行“页面即价值”概念测试，将融媒体内容、服务、支付都集中到一个页面，页面就是服务窗口的概念进行测试。

2020年10月30日：开始定制开发内部使用的 Linux 桌面制作系统，可高速运行 Nuke，Davinci Resolve、Houdini 软件，并支持 Nvdia 加速，支持多路 CPU、GPU。
2020年11月8日：开始使用 Centos8.2构建工业互联网底层 SDwan 通讯，实现云网融合，跨地域网络融合，跨地域工程交互、并在Linux 服务器群上构建了Davinci Resolve 数据库集群，实现达芬奇跨地域远程协作。

《NewVFX跨地域远程协同制作网络》开发前后的思考

2021年开发进展：

2021年1月1日（凌晨1：30）：NewVFX 光桥正式上线服务，全自动化订购程序可在用户订购后，自动发送光桥账号，达芬奇数据库账号，将网页前端用户管理、订购与工业集群的通讯、数据库管理集成一体。将来会用于自助购买正版软件序列号。

2021年1月14日：重新排版”下载“模块的样式，改为栏目在左侧（符合大多网站排列），并优化了栏目模块，在站内增添推荐图片、视频模块。

2021年1月16日：用户中心增加‘账号绑定’模块，可以绑定多个第三方账号（微信、weibo、QQ、手机），方便用户使用直接扫码登录，另外增加个人简介描述、昵称修改、邮箱修改功能。

2021年1月17日：优化下载模块功能，修复激活码可重复自动购买，并优化前端购买 UI。

2021年2月20日，北京：开始支持在动态中发布音频、视频，并可以自定义设置视频封面，用户可以发布10MB 以内的短视频，发布4张以内的图片、音频，这个功能很像发微博，每个用户都有自己的主页，可管理自己的媒体。

在用户自己的主业上查看、管理媒体

2021年9月22日：北京，阳光晴好：更新了用户中心的支付流程，可以直接升级会员，而非充值后才能进行操作，优化用户在社区内浏览、下载资源，发布动态、回帖的奖励，可以使用奖励的Vcoin兑换为RMB，交换社区内的资源。
开始完善音乐制作，影视音乐制作领域的内容与资源，同时保持对已经发布的资源，保持与国际主要开发工作室同步。

2021年10月20日：北京，阳光晴好：更新了全站内核以及前段页面代码，全面兼容到Ph8.0，同时升级了自有站点统计并出现Bug，（站点统计在2021年10月20日22:00点到第2021年10月21日早12；30出现故障），在修复过程中站点多次短时间失去响应。最终排查出需要在统计设定中禁用SSL端点认证，远程调用统计Cdn问题，于2021年10月21日12:32，站点全部功能全面恢复正常。

2021年11月11日：北京，雪后天晴，☀️：新增规则，开始禁止百度以及其他任何搜索引擎收录站点用户信息，以及和隐私相关的索引数据，并提请删除已被搜索引擎收录的大量信息，加强用户信息保护。

2022年1月26日：北京、多云，今天在常规程序检查测试中发现在VFX课堂中存在一个重要Bug，翻页到第2页之后的页面均为404，影响了在首页查阅资料，已经得到修复。Bug记录：VFX课堂页面需要设置为独立URL页面名，不能与forums相同，会产生链接冲突。VFX课堂的链接为：https://NewVFX.com/School

2022年2月2日：北京、晴天，升级DAta数据系统，出现：#1709 – Index column size too large. The maximum column size is 767 bytes的错误，最终修改Mysql数据库配置中加入：

default_storage_engine = InnoDB
innodb_large_prefix=on
innodb_file_format=BARRACUDA

得到解决，产生问题的原因Mysql5.6不支持大于767长度

2022年2月3日：北京、晴天，再次升级Data系统，并更新misc下的位置信息数据库：GeoLite2-City.mmdb，提升了信息分析精度，提升了响应速度。

2022年3月3日经过对邮件系统的改造，目前的账号注册以及服务邮箱开始使用XXX@newvfx.com的专属邮箱。用户的注册信息，账号问题，都由mail@newvfx.com进行服务，原先的newvfx@nnsgz.com邮箱已停止使用。所有和NewVFX相关的服务均由NewVFX.com提供，不再使用第三方服务器。

2022年5月17日：北京、天气格外好：升级了Sns、BBS程序以及站点核心为国内程序员重开发版本，并升级了数据分析系统。修改了SNS系统首页过滤函数。

重要升级：其中将头像更改为随机生成，并将头像系统更改为国内头像服务商，这是一个伟大的进步，极大的提升了NewVFX站点响应能力以及用户个体标签化体验。

2022年5月25日：北京、天气格外好，修改了动态显示时间，24小时内的动态显示为：XX小时XX分钟前，超过24小时的动态则显示为月-日-年。

2022年5月28日：北京、天气好、高温37度，将JS与CSS的CDN服务更改并切换到自建CDN上，成倍的节约了商业CDN的流量，更加精简高效、节约了大量宝贵资源，为社区进一步持久发展奠定了更多技术基础。贯彻微运行、大服务，在降本增效方面取得一定成果。

2022年6月30日：北京、天气好、高温37度，：头像升级正式完成✅，全面使用自有镜像代替第三方镜像，使得页面响应效率低于0.5s，并提供更加稳定持续的服务。2017-2022年5月均使用海外镜像服务，因多方面原因一直处于不稳定状态又无法解决。2022年5月开始使用国内镜像，速度得到巨大提升，但稳定性仍然不可控。于是开启了自有化部署，虽然成本增加，但持续高速且稳定的用户体验，才是NewVFX关注的核心。这个问题困扰了5年，也终于得到全面解决了，非常开心❤️。头像服务使用自有存储源，并以gravatar.newvfx.com作为专用分发网络。

2023年6-11月22日：北京、已进入深冬。原先站点的开发方向一直是往越来越复杂的方向走，导致后端管理难度远远超过了一般站点的难度，光提供子服务的域名分配接近100个，运营成本也越来越高（一度处于在思考是否关闭的状态）。经过较长时间的思考与对过往历史数据反复分析，最终逐步实施进行简化。截止今天已将集群进一步整合，将子服务总量降低了十倍，使得管理便捷程度大幅提高。目前的存储、下载、视频、音乐的后端服务均采用自有服务器，不再使用第三方服务（高昂的成本），接下来会将更多资源集中到内容以及知识深度方面。

2023年11月23日：北京、寒潮、特冷、大风。持续修复精简后存在的问题，Mysql执行替换，因数据量大，许多执行并未结束或者部分表被跳过，导致部分视频不能播放、图片不能显示，已经找到恰当的解决方式进行全量比对修复。

2024年1月，北京：完成简化后端的工作，开始使用自有本地存储提供对外服务。

2024年5月-9月：内部遇到重大突发事件，站点对新技术、新内容的探索暂时中止。传统服务仍保持正常运行，并正常提供服务。经过9个月实践验证，自有本地存储提供对外服务的方案是可行的、稳定的。站点的运行成本降低数十倍，节省大量网络资源。期间辗转于北京、郑州、洛阳、宜阳、杭州，宁波，进行一些事务信息的采集。主要时间在洛阳。

看生离死别，其实人并不是到了平均寿命才会死，是随时都会且跟年龄无关，珍惜当下，倾听自己。

2024年9月16，洛阳：为进一步提升运行效率，开始进一步进行重新整合，以提供更优质的服务。

2024年9月18，洛阳：回归NewVFX，回归到自己的轨道上来，“尽己所能，帮助他人，共同进步”是NewVFX十年来用行动践行的核心，也是坚如磐石的承诺。行走的路上会遇到许多难题，但从未真正能够阻止我们的道路。真诚感谢信任支持我们的用户，也祝大家安康。

2024年9月30，天津，连续下雨：若呼吸还在，就得前行，成长不只是技术、知识的进步，还有刻骨铭心的痛苦。经历万般痛苦后，带着少年的初心，倾听着自己内心的声音，仍忠于自己最初的梦想。Ai的大门已经敞开，从去年开始就已经将Ai的各种能力融入到工作中，Ai的能力已脱离了工具的范畴。如何用人的思维更精细的与Ai协同是目前在学习与探索的事情，搭建各种Ai场景并用于流程化生产是有趣的事情。

遇到不公的事，有效的处理方式就是公开透明，通过法律和公开透明的方式处理是必要的，且不应该犹豫。

2024年10月4日，北京，阳光晴好：针对安全识别进行升级，提高对请求的时间粒度敏感性，同时将用ip追踪识别请求的方式进一步升级为综合：cookies、设备id、ip以及基础访问行为模式，操作系统版本、浏览器版本、电脑/手机型号等综合信息，这样即使访问者改变了设备、ip位置等，仍可以精准锁定请求源的全面信息，升级后彻底解决了站内某些子服务长期受到攻击的问题。（同时增加了按照省、市、区进行区域拒止/允许访问的功能）

2024年10月5日，北京，阳光晴好：使用自有数据统计追踪系统，对今年NewVFX的访问数据做了一次排除统计：全球访问用户数：2,369,519人，5,219,444 页面访问次数, 3,311,515 唯一页面浏览量，68,715 站内搜索数, 3,498 关键词数量，40,901 下载次数, 28,795 唯一下载次数，34,808 离站链接数量, 30,416 唯一离站链接数量，2 分 31 秒 平均停留时间，平均生成时间0.62秒。

中国国内区域访问地图，访问量排行前五地区：广东、浙江、北京、江苏、上海，区域平米访问密度最高的为北京，其次为广州、深圳、上海。成都、重庆是内陆访问最高的地区，其次是杭州、西安。

2024年10月6日，北京，阴天：于2021年底，禁止了百度的搜索展示，之后也关闭了百度的索引提交。今天开始重新开放了百度搜索的索引。目前站点的主要入口为：Google、Bing以及其他搜索引擎和直接访问的用户。本着以方便用户的角度出发，多种搜索共用，按历史数据📊来看，预计流量会在现有基础上增加一倍。

2025年1月1日：继续进行站点的轻量化，停用了积分、以及前端视频、图片功能，这俩个消耗了大量的数据库资源、流量，降低了网站运行速度，对比多年的数据后进行了优化。优化后将站点的加载速度从11秒提升到了3秒。

Screenshot

2025年1月26日：进一步对加载资源进行优化，将站点平均页面大小从3.7MB，优化到了1MB左右，大多数页面达到了0.7MB，加载资源也进行了按需加载，从平均页面165个到现在的 60个左右，减少了CDN的综合消耗。进一步将页面加载效率提升到了 1.4秒。

2025年2月-3月：北京，在本地搭建了大模型推理环境，并使外网服务器可以调用本地模型。部署了 Qdrant 作为向量数据库，结合 bge-m3 嵌入模型，还增加了网站AI架构，优化Prompt 生成逻辑。整体架构涵盖模型推理、数据存储、API 调用、前端部署等关键环节，使本地AI服务能够高效对接外网业务，实现智能搜索和问答功能，整体已经测试完成，并已小范围公开使用。

NewVFX AI

近期发现问题：因为注册流程存在的问题和bug导致5000多名注册用户未能激活。

2025年5月18日：从整体上重新优化新用户注册机制和流程；1、重新制作了注册页面的排版样式，使其更直观。2、优化了注册提示与流程，让其更简单。3、新增了个人信息是否公开的选项（默认为仅个人可见）。4、完全重构了注册、登录的逻辑。5、用户点击激活链接，激活后无需再次输入账号密码登录，会直接自动登录并进入个人修改头像页面。

2025年5月30日：

1、新建了SSO登录模式，允许跨地域用户同步，跨应用同步，为其他地域新上线的开发模块提供无缝支持。

2、重新构建了下载页面结构，从原先的左中右结构改变为：左文 右侧边框结构，并重新设定了排榜样式，使其看起来更清晰，同时对分类以及总栏目都重新制作。后台在用户管理方面进行了大量改进。同时已经上线测试，无损视频、音频文件托管中心，将原先自用的媒体中心开放给授权用户使用。

3、新开发了小工具：去除从AI生成中去掉所有markdown格式块 或者html格式块的工具，可以瞬间输出纯文本。

2025年5-6月6日：
1、完成论坛回复编辑器的功能调试（解决若干冲突与bug）；更方便用户使用。

2、完成站点图片处理函数的全站测试转换从aq_resizer本地处理切换到原生远程处理，并与云服务API兼容（因太复杂且工作量庞大近8年都无力完成，近期思路变化加AI协助，全部完成并经过大量测试）；

3、末端智能CDN链路建设测试完成，会自动识别文件类型并进行智能化的链路无缝切换。

4、存储系统从服务器存储重构为云动态存储，实现应用程序与附件完全分离，并在增删改除方面实现完全同步。

5、完全重构视频网站后台，实现随手即用，并重新设计了界面和增加大量自动化设计。

6、数据库缓存从memcached切换到redis平台，速度与稳定性提升了一倍，响应速度更快。尤其视频站点速度提升了3倍多。

7、新增电台模块，并进行了适配配置。

8、重构站点 Text Domain配置，并使用Ai翻译po文件，完成字符串翻译5万多条（过去若干年都无力完成的）。

9、升级了下载系统，并进行了定制化重构，符合本专业领域使用。

10、分拆了当前的系统为十几个子系统，均可独立部署应用，并完成大量测试，为SAAS服务构建基础。

其他细节方面的重构不计其数，后端简化到能使用键盘的人就可以快速使用的程度。

总结：Ai在开发方面有着巨大的能力，这种能力在今年3月以后达到一个完全不一样的高度，远超专业程序员的能力，但需要操作者具备很强的底层逻辑能力，AI写作良好的Prompt是

2025年6月7-9日：完全重新构建了NewVFX文档系统：现在的文档响应速度在0.1秒左右，界面以及UI都全部重做。并在接下来独立上线一个开放式图文，用于记录展示这个圈子内有影响力的人物、工作室。

另外将会把当前的站点功能开放给工作室、个人艺术家、制作人、企业等使用，可以使用自己的域名、logo以及精密的统计系统以及可以对接任意一家AI API或者自自有部署大模型，零代码全托管的方式，这个项目已经进行完代码的构建、测试。会在全面准备好后开放～

22025年6月10-20日：
🌐 网络服务部署
• F / N：部署 F 与 N，实现多客户端穿透，支持 Docker 自动运行与批量配置导入。
• 广域网软路由组网：站点融合Server，支持 L2TP/IPsec、Openvpn协议，可通过NewVFX一分钟跨地域组网。

🐳 Docker 容器化
• 构建基于Appple Silicon适配 arm64 的 LNMP 的Doker镜像以及实体Ubuntu镜像（PHP + MySQL + Redis+Nginx以及各种组件），镜像仍在升级进化。
• 实现站点自动初始化与多站目录结构支持。

🚀 网站性能优化
• HTTP/3：通过重新编译Nginx以及组件开始启用 quic，支持 H3 协议。
• Brotli 压缩：与gzip并用，提升整体性能。

2025年6月20-25:对NewVFX视觉的处理逻辑进行完全重构，并对样式中存在的问题进行了重构，解决了需要FoundJS来对页面进行重新定位布局的问题，同时新开发了VTT字幕支持，以及后台上传模块，完全重构了播放逻辑，同时新增植入广告的功能。

Screenshot

2023年11月–2025年6月30:在忘计划中的SAAS服务开发的过程中，发生了足以让个人世界进入暗黑状态的事情，期间停止近一年，于2025年6月30日，最终完成原计划的开发和测试。包含：将站点架构进行拆分并简化，分拆为不同功能的产品提供给其他行业使用，并将本地/线上AI模型API与站点内容同步自动RAG。通讯方面：自动化组网是从2020年开始研究并投入使用的远程剪辑、调色、制作系统中进行分拆，将自动化组网进入可应用状态。建立自己的存储、计算、分发节点是一直进行的事情，各大云厂商高昂的存储、计算、已经资源分发成了继续拓展的最大阻碍。而如今这一切都研发测试完成，下一步将建立自己的服务器群，给站点和其他使用我们程序的机构、公司提供服务。休息俩天，然后开始整理和发布新提供的服务。