使用Deadline组建分布式集群渲染农场 Nukex,Houdini渲染设置详解

NewVFX社区最新动态 VFX大学 Houdini,Maya,C4d社区 使用Deadline组建分布式集群渲染农场 Nukex,Houdini渲染设置详解

标签: ,

该话题包含 41 个回复,有 13 个参与人,并且由  追光1 月, 3 周 前 最后一次更新。

  • 作者
    帖子
  • #37209

    追光
    参与者
    机构认证

    在我们使用nuke,Aftereffects,houdini,maya等等的软件做一些复杂制作的时候,经常遇到的问题就是渲染需要大量时间,而客户稍微需要改一下,又需要重新渲染,浪费了巨量的时间。

    手里有多台机子,如何都能用上让速度得到提升?

    很多时候我们手里是有一台以上的电脑的,比如说我们一台电脑渲染一个工程所需要的时间是120分钟,我们手里有三台配置相同的电脑,是不是可以让效率提升3倍呢?  答案当然是肯定的,可以。那我们如何操作呢?

    集群渲染的工作原理,就是把渲染任务分配给多台PC机来完成,也就是将任务分配给多台机子分别完成,比如A机渲染第一帧,B机同时渲染第二帧…..

    国内最专业的影视人社区

    来自国际最前沿的技术, 分享一线实战经验

    null

    扫描二维码,关注NewVFX社区

  • #37210

    追光
    参与者
    机构认证

    组建集群渲染的系统有多种,我们自己经常使用的是Think box 发行的Deadline,那今天我们就来教大家如何使用Deadline来组建自己的集群渲染小农场。


    必备条件:
    一 硬件:需要2台以上的电脑(Mac,pc,linux)

    二 软件:需要每台电脑都安装都相同版本的软件插件(必须完全一致)nuke,Aftereffects,houdini,maya,并且安装在每台同一路径。

    建议两种方法:

    1 使用磁盘阵列或者将某台机子设置为专用的挂载硬盘的机子并将软件安装到上面。(优点:能快速组建并保持一致性)

    2 当然也可以每个节点上都单独安装一遍,这样的速度更快。(安装起来比较麻烦)

    三 需要设定其中一台机子为master端,并安装deadline,master版本DeadlineRepository。(Master是可以同时作为Clinet存在的)

    提示:安装的时候 serve设置:Mac系统 port:26060@NewVFX.com 为master节点的账号

    重要:master安装的目录需要设置为共享文件夹并设置读写权限为开放。也就是让别的Slave节点可以正常访问Master。

    四 在每台slave上安装 Client软件。

    然后我们的小集群就组建好了。

  • #37211

    追光
    参与者
    机构认证

    很多问题往往出现在组建好了之后 ha h 😛  ,各种ping不通,各种Slave节点不在线,总体归结为网络无法连接造成的。

    追光根据最常见的问题做了3点总结(各种孽之后的总结):

    1 防火墙没有关闭.(确保每台机子之间都能ping通)

    2 Server也就是Mster服务端共享权限没有全部开发。

    3 server端ip问题,最好是给每台机子手工分配ip

  • #37213

    追光
    参与者
    机构认证

    Nuke使用deadline渲染集群的提交任务说明:「在任何一台机子上都可以提交任务的」

    Nuke在deadline中默认安装的版本与我们实际使用的版本不一致的情况下,我们需要在Serve上更改软件设置中Nuke的路径为我们电脑中实际使用版本的路径。

  • #37220

    追光
    参与者
    机构认证

    Houdini使用Deadline集群渲染的任务提交说明:

  • #37882

    vfxadmin
    参与者
    军士

    @1 先生,你会使用deadline吗?遇到一些问题需要请教你,卫星lly121591673

    • #37883

      恬的卫士
      参与者

      遇到的具体问题直接发上来吧,有特殊提示的您截图上来,我在Mac,win系统组建过。可以把问题总结下发上来的。

    • #37884

      恬的卫士
      参与者

      遇到的具体问题直接发上来吧,有特殊提示的您截图上来,我在Mac,win系统组建过。可以把问题总结下发上来的。

  • #47836

    余味飘进
    参与者
    军士

    磁盘阵列?是把安装路径指定到上面吗?

    • #47839

      追光
      参与者
      机构认证

      可以用这个方式安装 多磁盘的话 在速度支撑得上的情况下 可以集中安装。 但某些视频软件的“和谐安装”可能会麻烦一些,比如 Nuke houdini 之类的

  • #47842

    余味飘进
    参与者
    军士

    真希望能看到具体部署的步骤和过程,那样就相当于又学习啦  不过还是感谢您这边做的这么多的分享

    • #47843

      追光
      参与者
      机构认证

      以前也参考了大量资料 折腾了1个多月 因为在使用中又会出现各种问题 具体的部署过程 连拍视频估计都很困难 在不同环境 不同系统 不同的渲染软件上出现的问题 也不尽相同,而且问题出现的时间 也不一定会在什么时候。出现的核心问题 在linux,mac win上 我都测过这几年。方法基本上是上述的了,再详细也就是遇到的问题了。 一套系统从搭建到测试完美,全兼容各种制作软件是一个漫长的过程。需要针对性的来解决啦 😄 以后遇到的问题可以发上来,一起解决。 我主要是AE,houdini,nuke,这三个软件的集群渲染~~~比较深入一些 共同进步
      如果搭配的问题中遇到的问题,您发上来,我这边也可以测试的,共同来解决 🤝

  • #47855

    余味飘进
    参与者
    军士

    请问更改软件路径是在哪里更改,我一直找不到图上的那个界面

  • #47864

    余味飘进
    参与者
    军士

    找到了 得用超级用户才有权限去更改

    • #47889

      追光
      参与者
      机构认证

      对的 哈哈 在每台机子上都可以获取下超级用户权限 非主机上默认是用户权限

  • #49034

    COCO
    参与者
    军士

    楼主大大一直链接不到。。。。

    • #49057

      追光
      参与者
      机构认证

      这个问题的原因是网络没有ping通
      1 检查服务端与客户端的防火墙
      2 直接用命令行工具 ping 对端计算机
      3 客户端上所设置的服务端IP是否正确

      这个是比较常见的问题,
      首先保证网段一致能ping通。
      其次是其他的制作机器上安装的软件路径要一致。
      再三就是视频工程目录,渲染目录必须是所有电脑都能有读写权限。

  • #54135

    178****0747
    参与者
    军士

    求助

  • #54136

    178****0747
    参与者
    军士

    Error: Caught exception: [‘ File “C:/PROGRA~1/SIDEEF~1/HOUDIN~1.633/houdini/python2.7libs\\hou.py”, line 41434, in render\n return _hou.RopNode_render(*args, **kwargs)\n’, ‘OperationFailed: The attempted operation failed.\nError: Error saving geometry for: /obj/cacheGeo/file1\n’]
    在 Deadline.Plugins.PluginWrapper.RenderTasks(String taskId, Int32 startFrame, Int32 endFrame, String& outMessage, AbortLevel& abortLevel)

    遇到了这种错误,不知道是什么原因

    • #54137

      追光
      参与者
      机构认证

      缓存到磁盘的时候,不能写入。你看下共享的盘里,写权限是否设置妥当。另外Deadline的版本,尽可能升级到最新版,不然与Houdini的代码不兼容。建议升级到最新版试试。

      • #54143

        178****0747
        参与者
        军士

        检查过了,权限都是可以读写和修改的,deadline的版本。。。。公司统一的,我也没办法更改。哎,难受

      • #54960

        186****3210
        参与者
        军士

        我也遇到这个问题了,原来是能渲的,现在有少数机器出现这个错误了。请问有没有具体的解决办法?

      • #54962

        追光
        参与者
        机构认证

        Deadline所兼容的软件版本是有限定的,看了一些官方的解释:
        1 在所有机器都正常的情况下,不要升级软件,系统。

        2 在出现问题后,所有软件升级到最新的版本,用少量节点进行测试,测试正常后再批量安装。

        3 检查正常的节点,并记录配置,以同样的方法去检查不正常的节点的设置差异。

        部分机器出现这个问题的原因:检查下软件版本是否全部一致,是否具有完整的读写权限,我目前在用的版本中都没有出现任何问题,搭配Nuke 11,houdini 16使用。

      • #54965

        186****3210
        参与者
        军士

        十分感谢你能回答我的问题,软件都是一致的。完整的读写权限是指下图中Users的权限么

      • #54966

        追光
        参与者
        机构认证

        Guest 的权限,将所有节点设置为无需登录直接可以访问,然后设置共享盘的 Guest权限为全部控制,全部选上。

  • #55305

    深遊
    参与者
    军士

    可以调用多台电脑渲染一张图吗

  • #55307

    骑小猪翱翔
    参与者
    军士

    请问可以将deadline集合到nuke里吗?

    • #55323

      追光
      参与者
      机构认证

      可以,但是只是针对9.0版本的Nuke,等整理好会发布出来,直接将Deadline 整合到Nuke内部的代码,敬请关注 😄

      • #55395

        骑小猪翱翔
        参与者
        军士

        期待!

      • #55396

        骑小猪翱翔
        参与者
        军士

        请教个问题呀,我的deadline看不到新节点了,分组时找不到新的机器节点,怎么设置呢?

  • #55459

    余味飘进
    参与者
    军士

    请教个问题呀,大神,用deadline渲染的时候开机的时候不输入用户名和密码 可以实现渲染任务吗?我试了一下 没反应,能否指点迷津

     

  • #55731

    光光
    参与者
    军士

    大佬,为啥我渲染输出的文件是一串符号打不开  求解答

    • #55732

      追光
      参与者
      机构认证

      渲染出来的格式是由你在主体软件中决定的(Ae,Nuke,Maya…中),你可以单独在软件中先做渲染测试,测试好了后再使用Deadline进行提交。Deadline不会对视频格式进行处理:其工作核心原理是将渲染范围分配给不同机器,并帮助我们按下渲染键,其只是分配渲染任务,并不参与任何软件本身内核的渲染:比如格式,内容。

      测试的方法:在所有分布式节点正常以后进行如下测试:
      1· 在软件中渲染到共享目录。(可测试出网络共享目录是否具有完整的读写权限)。

      2· 开启一个节点,使用deadline提交任务。(测试启用的节点是否接受到任务)。
      小技巧:如果不能渲染,则开启所有节点并提交任务,看是否所有节点都有问题。排查出是全部节点的设置问题还是当前节点才有问题。

      3· 如果某个节点由问题,就不使用deadline,直接使用主体软件渲染到网络共享磁盘,查看是否正常。

      分布式集群的组建测试方法心得,纯个人的操作方法,分享出来供大家参考。也欢迎将个人折腾的记录发布上来,共同探讨。

  • #56011

    光光
    参与者
    军士

    哥 我渲染出来的工程一直是空的文件夹

    • #56012

      追光
      参与者
      机构认证

      不使用deadline,直接用软件打开工程渲染了测试下,回帖中有我测试的方法,你都可以试试,检测一下。这个软件其实并不难呢,网络要通,读写权限够就好了。跟在单独一台机器上渲染的原理是完全一样的,继续测试吧 哈哈,按照我上面的方法。有重要情况了,可以截图上来看一下。

  • #56909

    elliot
    参与者
    军士

    linux环境搭建服务端,在哪儿起服务呢

    [root@test_s Thinkbox]# ls
    DeadlineDatabase8 DeadlineRepository8
    [root@test_s Thinkbox]# cd DeadlineRepository8/
    [root@test_s DeadlineRepository8]# ls
    api balancer cloud draft jobs plugins reports settings uninstall Uninstall Deadline Repository 8.desktop
    backup bin custom events jobsArchived pythonsync scripts submission uninstall.dat vmx
    [root@test_s DeadlineRepository8]# cd bin
    [root@test_s bin]# ls
    Linux Mac Windows
    [root@test_s bin]# cd Linux/
    [root@test_s Linux]# ls
    bin.zip DeadlinePythonUtils libMagickCore.so.1 python
    Couchbase.dll deadlinesandbox.exe libMagick++.so.1 PythonNet-license.txt
    deadlinebalancer.exe deadlineslave.exe libMagickWand.so.1 Python.Runtime.dll
    deadlinecommandbg.exe deadlinewebservice.exe libNativeThinkboxUIC++.so.1 Python.Runtime.dll.config
    deadlinecommand.exe franticx.dll libNodeViewC++.so.1 tileassembler64
    deadline.dll ICSharpCode.SharpZipLib.dll libPluginManager.so UI
    deadlinelauncher.exe libHalf.so.6 libQtCommercialChart.so.1 Version
    deadlinelicenseforwarder.exe libIex.so.6 MongoDB.Bson.dll xidle
    deadlinemonitor.exe libIlmImf.so.6 MongoDB.Driver.dll
    deadlineproxyserver.exe libIlmThread.so.6 Newtonsoft.Json.dll
    deadlinepulse.exe libImath.so.6 Npgsql.dll
    [root@test_s Linux]# pwd
    /opt/Thinkbox/DeadlineRepository8/bin/Linux

    • #56910

      elliot
      参与者
      军士

       

      在工具栏,桌面都没相关的图标。

      • #56919

        追光
        参与者
        机构认证

        是使用 管理员权限账号登陆的吗? 一般不显示的情况为管理权限不足。

  • #64677

    小冷
    参与者
    军士

    我们公司是做效果图渲染的  有30台电脑 配置不一  然后又一台双子星服务器2687v2的 一台渲染机2683v3的  能组成一个小型渲染农场吗  具体要怎么操作  我这边有个Thinkbox Deadline 8.0.13.3的破解版本  从一开始安装就不会弄  请问能加下qq远程帮助吗 或者上门来操作 您收费怎样呢

    • #64678

      追光
      参与者
      机构认证

      你好,非常抱歉刚刚才能回复。集群渲染系统可以跨系统在win、Mac、Linux之间同时组建。为方便组建难度,我们尽量使用同种系统来搭建。另外对硬件配置没有特别严格🉐️要求,每个机子只要能正常运行软件即可。

      目前社区暂时没有提供收费服务,可以考虑,敬请关注社区。

  • #64819


    参与者
    军士

    帮忙看下这种渲染错误问题。已经确保每台电脑都是通的,插件一样。用个简单的没有插件材质的test文件测试了下,是可以分布式渲染的。工程文件在每个单独的电脑上用max渲染也没问题。

    • #64823

      追光
      参与者
      机构认证

      建议分配任务的时候不要每台机子分配一帧,而是每台多分配点,另外,分别一台一台的试~~

抱歉,回复话题必需登录。

error: 内容保护中 !!