使用Deadline组建分布式集群渲染农场 Nukex,Houdini渲染设置详解

VFX大学 Houdini FX中文社区 使用Deadline组建分布式集群渲染农场 Nukex,Houdini渲染设置详解

标签: ,

正在查看 29 条回复
  • 作者
    帖子
    • #37209

      追光
      参与者
      机构认证

      在我们使用nuke,Aftereffects,houdini,maya等等的软件做一些复杂制作的时候,经常遇到的问题就是渲染需要大量时间,而客户稍微需要改一下,又需要重新渲染,浪费了巨量的时间。

      手里有多台机子,如何都能用上让速度得到提升?

      很多时候我们手里是有一台以上的电脑的,比如说我们一台电脑渲染一个工程所需要的时间是120分钟,我们手里有三台配置相同的电脑,是不是可以让效率提升3倍呢?  答案当然是肯定的,可以。那我们如何操作呢?

      集群渲染的工作原理,就是把渲染任务分配给多台PC机来完成,也就是将任务分配给多台机子分别完成,比如A机渲染第一帧,B机同时渲染第二帧…..

      国内最专业的影视人社区

      来自国际最前沿的技术, 分享一线实战经验

      null

      扫描二维码,关注NewVFX社区

    • #37210

      追光
      参与者
      机构认证

      组建集群渲染的系统有多种,我们自己经常使用的是Think box 发行的Deadline,那今天我们就来教大家如何使用Deadline来组建自己的集群渲染小农场。


      必备条件:
      一 硬件:需要2台以上的电脑(Mac,pc,linux)

      二 软件:需要每台电脑都安装都相同版本的软件插件(必须完全一致)nuke,Aftereffects,houdini,maya,并且安装在每台同一路径。

      建议两种方法:

      1 使用磁盘阵列或者将某台机子设置为专用的挂载硬盘的机子并将软件安装到上面。(优点:能快速组建并保持一致性)

      2 当然也可以每个节点上都单独安装一遍,这样的速度更快。(安装起来比较麻烦)

      三 需要设定其中一台机子为master端,并安装deadline,master版本DeadlineRepository。(Master是可以同时作为Clinet存在的)

      提示:安装的时候 serve设置:Mac系统 port:26060@NewVFX.com 为master节点的账号

      重要:master安装的目录需要设置为共享文件夹并设置读写权限为开放。也就是让别的Slave节点可以正常访问Master。

      四 在每台slave上安装 Client软件。

      然后我们的小集群就组建好了。

    • #37211

      追光
      参与者
      机构认证

      很多问题往往出现在组建好了之后 ha h 😛  ,各种ping不通,各种Slave节点不在线,总体归结为网络无法连接造成的。

      追光根据最常见的问题做了3点总结(各种孽之后的总结):

      1 防火墙没有关闭.(确保每台机子之间都能ping通)

      2 Server也就是Mster服务端共享权限没有全部开发。

      3 server端ip问题,最好是给每台机子手工分配ip

    • #37213

      追光
      参与者
      机构认证

      Nuke使用deadline渲染集群的提交任务说明:「在任何一台机子上都可以提交任务的」

      Nuke在deadline中默认安装的版本与我们实际使用的版本不一致的情况下,我们需要在Serve上更改软件设置中Nuke的路径为我们电脑中实际使用版本的路径。

    • #37220

      追光
      参与者
      机构认证

      Houdini使用Deadline集群渲染的任务提交说明:

    • #37882

      vfxadmin
      参与者
      军士

      @1 先生,你会使用deadline吗?遇到一些问题需要请教你,卫星lly121591673

      • #37883

        恬的卫士
        参与者

        遇到的具体问题直接发上来吧,有特殊提示的您截图上来,我在Mac,win系统组建过。可以把问题总结下发上来的。

      • #37884

        恬的卫士
        参与者

        遇到的具体问题直接发上来吧,有特殊提示的您截图上来,我在Mac,win系统组建过。可以把问题总结下发上来的。

    • #47836

      余味飘进
      参与者
      军士

      磁盘阵列?是把安装路径指定到上面吗?

      • #47839

        追光
        参与者
        机构认证

        可以用这个方式安装 多磁盘的话 在速度支撑得上的情况下 可以集中安装。 但某些视频软件的“和谐安装”可能会麻烦一些,比如 Nuke houdini 之类的

    • #47842

      余味飘进
      参与者
      军士

      真希望能看到具体部署的步骤和过程,那样就相当于又学习啦  不过还是感谢您这边做的这么多的分享

      • #47843

        追光
        参与者
        机构认证

        以前也参考了大量资料 折腾了1个多月 因为在使用中又会出现各种问题 具体的部署过程 连拍视频估计都很困难 在不同环境 不同系统 不同的渲染软件上出现的问题 也不尽相同,而且问题出现的时间 也不一定会在什么时候。出现的核心问题 在linux,mac win上 我都测过这几年。方法基本上是上述的了,再详细也就是遇到的问题了。 一套系统从搭建到测试完美,全兼容各种制作软件是一个漫长的过程。需要针对性的来解决啦 😄 以后遇到的问题可以发上来,一起解决。 我主要是AE,houdini,nuke,这三个软件的集群渲染~~~比较深入一些 共同进步
        如果搭配的问题中遇到的问题,您发上来,我这边也可以测试的,共同来解决 🤝

    • #47855

      余味飘进
      参与者
      军士

      请问更改软件路径是在哪里更改,我一直找不到图上的那个界面

    • #47864

      余味飘进
      参与者
      军士

      找到了 得用超级用户才有权限去更改

      • #47889

        追光
        参与者
        机构认证

        对的 哈哈 在每台机子上都可以获取下超级用户权限 非主机上默认是用户权限

    • #49034

      COCO
      参与者
      军士

      楼主大大一直链接不到。。。。

      • #49057

        追光
        参与者
        机构认证

        这个问题的原因是网络没有ping通
        1 检查服务端与客户端的防火墙
        2 直接用命令行工具 ping 对端计算机
        3 客户端上所设置的服务端IP是否正确

        这个是比较常见的问题,
        首先保证网段一致能ping通。
        其次是其他的制作机器上安装的软件路径要一致。
        再三就是视频工程目录,渲染目录必须是所有电脑都能有读写权限。

    • #54135

      178****0747
      参与者
      军士

      求助

    • #54136

      178****0747
      参与者
      军士

      Error: Caught exception: [‘ File “C:/PROGRA~1/SIDEEF~1/HOUDIN~1.633/houdini/python2.7libs\\hou.py”, line 41434, in render\n return _hou.RopNode_render(*args, **kwargs)\n’, ‘OperationFailed: The attempted operation failed.\nError: Error saving geometry for: /obj/cacheGeo/file1\n’]
      在 Deadline.Plugins.PluginWrapper.RenderTasks(String taskId, Int32 startFrame, Int32 endFrame, String& outMessage, AbortLevel& abortLevel)

      遇到了这种错误,不知道是什么原因

      • #54137

        追光
        参与者
        机构认证

        缓存到磁盘的时候,不能写入。你看下共享的盘里,写权限是否设置妥当。另外Deadline的版本,尽可能升级到最新版,不然与Houdini的代码不兼容。建议升级到最新版试试。

        • #54143

          178****0747
          参与者
          军士

          检查过了,权限都是可以读写和修改的,deadline的版本。。。。公司统一的,我也没办法更改。哎,难受

        • #54960

          186****3210
          参与者
          军士

          我也遇到这个问题了,原来是能渲的,现在有少数机器出现这个错误了。请问有没有具体的解决办法?

        • #54962

          追光
          参与者
          机构认证

          Deadline所兼容的软件版本是有限定的,看了一些官方的解释:
          1 在所有机器都正常的情况下,不要升级软件,系统。

          2 在出现问题后,所有软件升级到最新的版本,用少量节点进行测试,测试正常后再批量安装。

          3 检查正常的节点,并记录配置,以同样的方法去检查不正常的节点的设置差异。

          部分机器出现这个问题的原因:检查下软件版本是否全部一致,是否具有完整的读写权限,我目前在用的版本中都没有出现任何问题,搭配Nuke 11,houdini 16使用。

        • #54965

          186****3210
          参与者
          军士

          十分感谢你能回答我的问题,软件都是一致的。完整的读写权限是指下图中Users的权限么

        • #54966

          追光
          参与者
          机构认证

          Guest 的权限,将所有节点设置为无需登录直接可以访问,然后设置共享盘的 Guest权限为全部控制,全部选上。

    • #55305

      深遊
      参与者
      军士

      可以调用多台电脑渲染一张图吗

    • #55307

      骑小猪翱翔
      参与者
      军士

      请问可以将deadline集合到nuke里吗?

      • #55323

        追光
        参与者
        机构认证

        可以,但是只是针对9.0版本的Nuke,等整理好会发布出来,直接将Deadline 整合到Nuke内部的代码,敬请关注 😄

        • #55395

          骑小猪翱翔
          参与者
          军士

          期待!

        • #55396

          骑小猪翱翔
          参与者
          军士

          请教个问题呀,我的deadline看不到新节点了,分组时找不到新的机器节点,怎么设置呢?

    • #55459

      余味飘进
      参与者
      军士

      请教个问题呀,大神,用deadline渲染的时候开机的时候不输入用户名和密码 可以实现渲染任务吗?我试了一下 没反应,能否指点迷津

       

    • #55731

      光光
      参与者
      军士

      大佬,为啥我渲染输出的文件是一串符号打不开  求解答

      • #55732

        追光
        参与者
        机构认证

        渲染出来的格式是由你在主体软件中决定的(Ae,Nuke,Maya…中),你可以单独在软件中先做渲染测试,测试好了后再使用Deadline进行提交。Deadline不会对视频格式进行处理:其工作核心原理是将渲染范围分配给不同机器,并帮助我们按下渲染键,其只是分配渲染任务,并不参与任何软件本身内核的渲染:比如格式,内容。

        测试的方法:在所有分布式节点正常以后进行如下测试:
        1· 在软件中渲染到共享目录。(可测试出网络共享目录是否具有完整的读写权限)。

        2· 开启一个节点,使用deadline提交任务。(测试启用的节点是否接受到任务)。
        小技巧:如果不能渲染,则开启所有节点并提交任务,看是否所有节点都有问题。排查出是全部节点的设置问题还是当前节点才有问题。

        3· 如果某个节点由问题,就不使用deadline,直接使用主体软件渲染到网络共享磁盘,查看是否正常。

        分布式集群的组建测试方法心得,纯个人的操作方法,分享出来供大家参考。也欢迎将个人折腾的记录发布上来,共同探讨。

    • #56011

      光光
      参与者
      军士

      哥 我渲染出来的工程一直是空的文件夹

      • #56012

        追光
        参与者
        机构认证

        不使用deadline,直接用软件打开工程渲染了测试下,回帖中有我测试的方法,你都可以试试,检测一下。这个软件其实并不难呢,网络要通,读写权限够就好了。跟在单独一台机器上渲染的原理是完全一样的,继续测试吧 哈哈,按照我上面的方法。有重要情况了,可以截图上来看一下。

    • #56909

      elliot
      参与者
      军士

      linux环境搭建服务端,在哪儿起服务呢

      [root@test_s Thinkbox]# ls
      DeadlineDatabase8 DeadlineRepository8
      [root@test_s Thinkbox]# cd DeadlineRepository8/
      [root@test_s DeadlineRepository8]# ls
      api balancer cloud draft jobs plugins reports settings uninstall Uninstall Deadline Repository 8.desktop
      backup bin custom events jobsArchived pythonsync scripts submission uninstall.dat vmx
      [root@test_s DeadlineRepository8]# cd bin
      [root@test_s bin]# ls
      Linux Mac Windows
      [root@test_s bin]# cd Linux/
      [root@test_s Linux]# ls
      bin.zip DeadlinePythonUtils libMagickCore.so.1 python
      Couchbase.dll deadlinesandbox.exe libMagick++.so.1 PythonNet-license.txt
      deadlinebalancer.exe deadlineslave.exe libMagickWand.so.1 Python.Runtime.dll
      deadlinecommandbg.exe deadlinewebservice.exe libNativeThinkboxUIC++.so.1 Python.Runtime.dll.config
      deadlinecommand.exe franticx.dll libNodeViewC++.so.1 tileassembler64
      deadline.dll ICSharpCode.SharpZipLib.dll libPluginManager.so UI
      deadlinelauncher.exe libHalf.so.6 libQtCommercialChart.so.1 Version
      deadlinelicenseforwarder.exe libIex.so.6 MongoDB.Bson.dll xidle
      deadlinemonitor.exe libIlmImf.so.6 MongoDB.Driver.dll
      deadlineproxyserver.exe libIlmThread.so.6 Newtonsoft.Json.dll
      deadlinepulse.exe libImath.so.6 Npgsql.dll
      [root@test_s Linux]# pwd
      /opt/Thinkbox/DeadlineRepository8/bin/Linux

      • #56910

        elliot
        参与者
        军士

         

        在工具栏,桌面都没相关的图标。

        • #56919

          追光
          参与者
          机构认证

          是使用 管理员权限账号登陆的吗? 一般不显示的情况为管理权限不足。

    • #64677

      小冷
      参与者
      军士

      我们公司是做效果图渲染的  有30台电脑 配置不一  然后又一台双子星服务器2687v2的 一台渲染机2683v3的  能组成一个小型渲染农场吗  具体要怎么操作  我这边有个Thinkbox Deadline 8.0.13.3的破解版本  从一开始安装就不会弄  请问能加下qq远程帮助吗 或者上门来操作 您收费怎样呢

      • #64678

        追光
        参与者
        机构认证

        你好,非常抱歉刚刚才能回复。集群渲染系统可以跨系统在win、Mac、Linux之间同时组建。为方便组建难度,我们尽量使用同种系统来搭建。另外对硬件配置没有特别严格🉐️要求,每个机子只要能正常运行软件即可。

        目前社区暂时没有提供收费服务,可以考虑,敬请关注社区。

    • #64819

      参与者
      军士

      帮忙看下这种渲染错误问题。已经确保每台电脑都是通的,插件一样。用个简单的没有插件材质的test文件测试了下,是可以分布式渲染的。工程文件在每个单独的电脑上用max渲染也没问题。

      • #64823

        追光
        参与者
        机构认证

        建议分配任务的时候不要每台机子分配一帧,而是每台多分配点,另外,分别一台一台的试~~

    • #68171

      .dsa
      参与者
      军士

      追光大佬,我使用的是houdini  hqueue。今天弹出一串代码

      Accessing “C:\PROGRA~1\SIDEEF~1\HOUDIN~1.258\bin\hython” …
      Loading .hip file \\localhost\hq/cs.hip.
      ERROR: Cannot find file \\localhost\hq/cs.hip

      我检查以后。找不出问题。

      • #68173

        追光
        参与者
        机构认证

        问题诊断初步判断:共享文件夹没有写入权限。

        尝试解决问题的方式:

        1.在Windows防火墙中手动为端口5000和5001创建入站和出站规则,保证服务器和客户端(在所有计算机上)之间的通信可以正常连接。

        2.使用IP地址将客户端连接到服务器,看下能否连通,以避免网络中可能出现的名称不能解析的问题。

        3.在安装文件中尝试修改路径指向。在hqserver.ini中修改变量:

        hqserver.sharedNetwork.path.windows = \\ XXX \ SHARE
        hqserver.sharedNetwork.mount.windows = \\ XXX \ SHARE

        hqserver.sharedNetwork.path.windows =
        在某些情况下,也可以设置为空能解决cant find file的问题。

        4.不要忘记将HQ ROP内的目标HFS设置为Houdini的安装路径(不然无法正确启动houdini Hq,也会导致错误)

        5. HIP中的导入可能加载很慢(从驱动器/挂载的共享读取的文件)。3.建议使用//将网络共享路径更改为 XXX/共享,而不是使用驱动器号。

        可以在houdini内设定一个简单的渲染,进行测试渲染正常后,再使用HQ提交至队列。

         

    • #68172

      .dsa
      参与者
      军士

      可以麻烦指点一下吗

    • #68174

      .dsa
      参与者
      军士

      感谢大佬这么及时的回复我。感谢!

      我们是在于局域网搭建的这么个小型农场,因为有其他软件的问题所以防火墙是必须打开的。不过有给软件设置通过防火墙。端口也设置完毕。IP在安装之前已经互通完毕。文件共享的权限也已经调试过,HFS设置有试过两种。1:直接$HFS,调用本地houdini路径。2,就是您说的这种指定路径。唯一没有使用的是您所说的将网络共享路径更改为XXX/共享。感谢您的回答!我试试最后这一处,再给您回复。

    • #68175

      .dsa
      参与者
      军士

      你好,结果还是找不到文件路径。其中有一个意外测试,就是$HFS,和指定路径!因为我是2台电脑,一台是服务器加客户机,另一台是客户机。如果我ROP设置写$HFS,那我服务器加客户机能够读取到文件,但是指定路径的话就都不能读取

      • #68177

        追光
        参与者
        机构认证

        Houdini Hq集群的使用资料的确非常稀有,指定路径是直接使用绝对路径读取,写入,是相对绝对直接的定位文件的方式~~,在houdini的变量里面有尝试设置吗?

        这样吧,我把整个HQ的官方用法发布上来,包括测试方法细节这类的(英文版),文档不多,建议你翻译下也给社区一份。因为这种东西不研究并操作到你这个阶段,即使老外也翻译不了~~整理好后我@你。

    • #68178

      .dsa
      参与者
      军士

      很感谢您的支持!翻译过后,我测试完毕。事情告一段落,会将您的资料和我自己在官网上翻译的。以及自己过程当中所得放社区来

      • #68179

        追光
        参与者
        机构认证

        非常好,现在已经在吭哧英文版的了~~虽然速度很快但是排版起来比较慢,发布上来了~~这些是标准搭建流程,还有针对性的问题这方面,我正在整理。针对你的这个问题肯定是权限问题,你可以暂缓一下,之后会有针对这个问题的具体解决办法流程,也会发上去。

        Houdini HQ集群渲染文档英文版

    • #68187

      .dsa
      参与者
      军士

      很感谢您的支持!和您说一声,我的问题已经在官方资料上得到解决。我会尽快抽时间将其分享到社区。您的这些资料我另抽时间去翻译整理。再分享到社区,再次感谢追光大佬的支持!

    • #70263

      Faded
      参与者
      军士

      使用Deadline联机渲染必须软件全部都是英文版么,跨多系统安装没有问题吧,例如Win10,Win7,Win2003,这种多版本系统可以吗?使用Deadline渲染。

      • #70264

        追光
        参与者
        机构认证

        Deadline 没有渲染的功能,其只是执行分配渲染任务给系统里安装的 Ae,Nuke,Maya,Houdini 等软件的工作。他本身没有渲染引擎,仅仅是分配任务。 如果AE,Nuke,Maya 同一个版本号都支持安装在Win10 ,Win7上就可以。(估计是没有)

        跨系统的主要用途是跨平台,比如 Nuke10.1v1 版本是同时支持 linux,win10,Mac 这三种系统的,那么就可以使用 Deadline 来分配任务给多个不同平台的同一个软件的同一个版本来使用。

        • #70265

          Faded
          参与者
          军士

          安装的软件是MAX是中文版可以使用么

        • #70269

          追光
          参与者
          机构认证

          可以使用,多个软件是同一个版本号,相同的安装路径,相同的读取写入权限,相同的插件就可以~~

        • #70270

          Faded
          参与者
          军士

          感谢大佬,我去测试了,有问题再回来请教大佬

    • #70866

      小玉
      参与者
      军士

      我安装了几台机器,但开始几分钟还能渲染,过一会就不能渲染了变黄了”stalled”。看意思是被禁止啥的。但我不知道在哪里改回来。求指教一下

      • #70868

        追光
        参与者
        机构认证

        使用 deadline 分配任务得时候,每次分配一台试试~~,然后看单独一台时候得渲染情况,是否输出帧,cpu 得运行情况~~,插件是否完全一致~~多测试下~~,每台都正常后再提交任务给多台。

    • #71372

      将夜
      参与者
      军士

      大佬你好!我这边是农场架构都已经搭建好,maya也能正常渲染,但是想要把slave分成多个模块,分开渲染nuke,houdini之类的,该怎么分呀?

      • #71373

        追光
        参与者
        机构认证

        提交任务的时候,指定哪些 Slave 即可。每组不同的任务提交给不同的 Slave 机组,就可以实现Maya,Houdini,Nuke 同时在不同的机组之间渲染。文章中所写到的提交任务单上面有非常详细的参数,您可以对照再深入学习下~~,遇到问题可以继续跟进噢~~加油~

        • #71405

          将夜
          参与者
          军士

          谢谢大神!以前用过的都是分好的,现在自己搞,找不到这个slave机组在哪里设置呀!有截图吗? 感谢感谢

        • #71409

          追光
          参与者
          机构认证

          在提交任务面板的Machine list指定使用哪些集群,Cpu limit里面可以限定使用多少颗CPU进行渲染,不管是Houdini,Nuke,Maya还是AE都可以在提交任务面板进行设定。

        • #71411

          将夜
          参与者
          军士


          大神我是要多分几个这个,在哪里设置?

正在查看 29 条回复
  • 在下方一键注册,登录后就可以回复啦。
error: 提示:内容受到保护!!