三维实时云渲染平台解决方案

百新教育评价研究中心 2016-06-20 23:27:31  

 

分类专栏: 应用软件推荐与应用 文章标签: 渲染集群 解决方案

“异构混合平台三维实时渲染网格”中的“混合平台”是指由Autodesk Maya、Autodesk 3DS Max等三维建模软件组成的混合数字内容产品开发环境,“异构”是指渲染节点、控制节点和文件服务存储节点服务器(共享资源文件服务器)运行在Linux操作系统上,而渲染作业提交节点运行在Windows操作系统平台上。

这里重点阐述异构混合开发平台三维实时渲染网格平台的构建方法,其中,混合平台是指Maya和3DS Max组成的混合数字内容产品开发环境,异构是指网格计算节点、文件服务存储节点运行在Linux操作系统平台上,而渲染作业提交节点、控制节点运行在Windows操作系统或Linux操作系统平台上。

由于Autodesk 3DS Max软件不能运行在Linux操作系统上,而Autodesk Maya可以很好地运行在Linux操作系统上,所以我们计划采用下面几种设计方案来构建异构混合开发平台三维实时渲染网格平台:

(1)采用可以在Linux操作系统上运行,并与Autodesk 3DS Max兼容的(独立)渲染器,如mental ray standalonefor 3DS Max等构建Autodesk 3DSMax的渲染节点,而不使用Autodesk 3DS Max开发软件自带的扫描线渲染(Scanline rendering)工具做渲染器,这样就不需要在Linux渲染节点上安装Autodesk 3DS Max;Autodesk Maya渲染节点采用Linux操作系统,既可以与Autodesk 3DS Max使用同一个渲染器进行渲染,也可以使用Autodesk Maya软件自带的渲染工具做渲染器。

(2)Autodesk 3DS Max的渲染节点采用Windows操作系统,使用Autodesk 3DS Max自带的扫描线渲染(Scanline rendering)工具做渲染器,或使用与Autodesk 3DS Max的渲染工具做渲染器,如mental ray standalone、RenderMan,而Autodesk Maya渲染节点采用Linux操作系统。

(3)构建基于Linux的Maya渲染农场,其中,渲染节点采用Linux操作系统、渲染器采用Autodesk Maya自带的渲染器,或可运行在Linux操作系统上并与Autodesk 3DS Max与Autodesk Maya兼容的渲染器。研究Autodesk 3DS Max与Autodesk Maya兼容的模型文件格式及其动画文件格式,如FBX,在Autodesk 3DS Max输出这些与Autodesk Maya兼容的文件,通过将其提交到基于Linux的Maya渲染农场上进行渲染处理,从而完成相应的渲染作业;或者在Autodesk FBX Converter、Autodesk FBXAutodesk FBX SDK等的基础上编写一个可以将3DS Max渲染作业提交及其模型与动画文件格式转化同时完成的集成软件,通过这个软件用户只需提交渲染作业一个操作就可以同时完成文件格式转换与渲染作业提交的任务,从而使用户不会因为需要自己转换文件格式而浪费时间。这实际上是一种共享渲染器的实现方式。

(4)通过虚拟化技术,如wine、虚拟主机技术等使Autodesk 3DS Max及与其兼容的渲染器(如Autodesk 3DS Max自带的扫描线渲染器等)运行在Linux操作系统上,从而通过虚拟化技术构建异构混合开发平台三维实时渲染网格平台。

方案评价指标:系统稳定性、渲染效率、渲染效果

第1节  三维实时云渲染平台需求分析

采用Platform公司的LSF HPC和LSF MultiCluster实现在校园网格环境下的用户管理、作业调度、资源管理和监控等功能。

网络与教育技术中心的核心设备有64位的MPP(massively parallel processing,大规模并行处理) Linux集群系统,包括16台64位AMD双CPU服务器,提供约1000亿次的计算能力,存储能力达到7TB。教育信息技术工程研究中心目前拥有1500亿次计算服务的64位高性能计算机群,2TB以上的存储能力。物理科学与技术学院核心设备有29个结点Dell服务器集群(57个至强CPU),提供约3000亿次的计算服务,存储能力达到11TB。化学学院核心设备有37个结点PC集群(64个CPU)和SGI服务器(24个CPU),提供约3500亿次的计算服务,存储能力达到1TB。对上述四个单位的计算资源进行整合将得到总数超过5000亿次的计算能力和20TB的存储能力。

但是特别是AMD和INTEL平台的混用容易出现问题,如在渲染同一任务时,AMD平台和Intel平台渲染出来的同一个画片,其色彩亮度和饱和度可能会出现不一致的情况。而且,由于混合渲染的方式,渲染结果都混合在了一起组成电影序列,很难在后期进行整理,出现这样的情况就只能重新渲染了。

所以这里一定要清楚学校现有网格平台的详细配置情况!!!!!如每个集群系统所采用的CPU的类型、型号、数量等。

1.1校内已有PlatformLSF HPC的体系结构

图1-1-1  校内PlatformLSF HPC体系结构及其工作原理示意图

体系结构说明及其工作原理:

(1)用户通过客户端电脑(UserComputers)将作业提交到LSF集群系统,通过控制主机(LSF Scheduling Master)实现工作流管理与资源调度,从而将用户提交的作业分配给集群中的计算节点(ComputeNodes)进行处理;计算节点将作业处理的结果存放在文件服务器(File Server)上,用户可以从文件服务器相应目录下载作业处理的结果。官方所给的体系结构如下图所示:

图 Platform LSF HPC体系结构(Platform公司培训资料)

1.2校内LSF网格计算平台体系结构及其工作原理

图1-1-1  校内Platform LSF网格计算平台体系结构

体系结构说明及其工作原理:

(1)用户通过客户端电脑(UserComputers)将作业提交到LSF网格计算平台,通过主控主机(LSF ClustersScheduling Master)将作业分配到网格平台中的某个LSF HPC,然后在通过该集群的控制主机(LSF Root)将作业分配给集群中某个计算节点进行处理,再利用Platform LSF MultiCluster实现不同LSF集群之间的作业调度与资源共享,从而将用户提交的作业分配给网格中的某个LSF集群计算节点(ComputeNodes)进行处理;计算节点将作业处理的结果存放在该LSF集群的文件服务器(File Server)上,用户可以从该文件服务器相应目录下载作业处理的结果。

注意:Platform LSF MultiCluster软件只能实现不同LSF集群之间的作业调度与资源共享。

2. 武汉数字媒体工程技术有限公司三维渲染集群及其现有计算资源

3. 渲染引擎(render engine)、渲染器(renderer)与集群渲染管理软件(rendering management system)的异同

参见第8章第1节“4. 渲染农场的基本构成”部分

4. 设计的基本思想

从经济学的角度来分析,提高资源的利用率可以减低设备因科学技术的进步而造成的无形磨损,从而节约企业运营资金、加快资金周转,提高企业的利润。另一方面,三维渲染网格平台的设计要以数字媒体科学与技术的发展趋势为导向,如三维建模技术、虚拟现实技术、三维程序设计等,要充分考虑三维渲染网格平台功能的可扩展性与实用性,以最恰当的投资获得最佳的效益。

由于数字媒体公司与学校已有LSF与Muster等软件,重点要考虑在现有基础上进行相应的研究与开发,在充分利用现有资源的基础上完善并改进三维渲染网格与学校计算网格,投入较少的资金获取最大的效益。而且,需要在实施三维渲染网格平台项目的同时,需要研究三维渲染网格平台的功能扩展及其应用,以充分发挥已有资源的作用,实现其应有的经济效益与社会效益。

鉴于以上考虑,渲染农场的构建需要考虑以下几个问题:

(1)构建渲染农场的目的与用途

(2)已有的相关建设基础

(3)渲染农场功能的可扩展性,如是否支持现有的主流三维建模与编辑软件、高性能计算能力

(4)单机拓机是否影响整体网络性能

(5)能否支持静帧分割渲染?(EnFuzion和Muster支持面片渲染)

(6)二次开发的难以程度

(7)建设成本与投资预算的差额

(8)渲染农场的实用性,如操作简易,相关工作人员经过短期的培训都即可很容易地使用。

(9)渲染农场的维护成本及其难易程度

   5. 异构混合平台三维实时渲染网格平台软件的选择

   这里主要依据上面所提到的构建渲染农场时需要考虑的几个问题,并结合相关专业人士的实践经验进行分析、比较,从而做出相应的选择。

  (1)数字媒体公司构建的渲染农场在满足本单位的渲染的同时,需要为相关行业提供专业的渲染服务及其技术服务,而且是解决数字媒体相关行业发展问题的基础研究平台;

    (2)校内已使用Platform公司的LSF HPC和LSF MultiCluster构建了网格计算平台,数字媒体公司已建成具有一定渲染能力的Muster渲染集群。再次建设需要将现有的资源进行科学合理的整合,以实现资源的充分利用,为企业的发展以及相关科研工作提供高性能计算平台。

(3)虽然Frantic Film Deadline渲染管理软件几乎支持所有的三维建模与编辑软件,包括开源软件Blender与Pixie,但是它主要是基于Windows平台的(虽然3.0以后的版本也有相应的Linux版本),其稳定性不及具有悠久研发历史的Enfuzion,而且Deadline还处于开发阶段,是一个不成熟的软件产品,而且在2.7版本中出现了因占用了95%以上的CPU资源而导致Deadline Monitor窗口不能启动的问题。虽然Virtual Vertex Muster与Pipeline FX Qube!都支持Linux平台,但Virtual Vertex Muster只有渲染节点可以运行在Linux操作系统平台上,而Muster渲染农场的文件服务器与主控节点只能运行在Windows操作系统平台上,这对于需要大量存储文件的渲染工作来说,其提交渲染任务与获取渲染结果的性能将会受到很大的影响。此外,Pipeline FX Qube!对Linux操作系统的版本有比较严格的要求,不利于其功能的扩展。

   (4)Virtual Vertex Muster由5个人组成的小公司负责其维护与研发,用户使用手册极其简单,对于Muster渲染集群的维护与二次开发都将带来严重的影响;而且,Muster主要适用于小型数字媒体开发公司,当节点数目超过50之后,其性能与稳定性明显下降。Axceleon Enfuzion的开发商Axceleon公司是一家专门从事高性能计算研究和软件开发的公司,已有30年网格计算研究,不仅可以实现与现有网格计算平台的集成。同时,Enfuzion最多可以支持1000个节点,而且随着节点数目的增加,整个集群的性能会成线性增加; EnFuzion允许透明地集成定制的应用程序,API支持大部分编程语言,如C、C++、Java、Perl、Python 和shell 脚本等编程语言,而且其使用手册与二次开发参考资料非常齐全并容易获取,非常适用于通过二次开发与研发使用。此外,加拿大蒙纳士大学(Monash University)(为EnFuzion提供研发支持),美国耶鲁大学(Yale University),格里菲斯大学(Griffith University)和 University of Chile等都是EnFuzion的应用研究机构。

(5)虽然Axceleon Enfuzion的价格比较贵,但是选用免费的Linux才操作系统可以节省购买Windows操作系统所要付的成本,选用Enfuzion构建渲染农场的总成本相对会比较低。另一方面,选择用Enfuzion做集群管理软件,可以为其构建良好的科研平台,为公司的可持续发展奠定良好的基础。

(6)随着数字媒体科学与技术的发展,三维实时建模、实时仿真、三维程序设计、三维视频、三维网络技术的研究与应用需要良好的高性能计算环境。Axceleon Enfuzion软件不仅可以满足当前异构跨平台实时渲染的要求,也为将来数字媒体企业的发展奠定了良好的基础——只需终端应用程序的开发即可创建良好的高性能网格计算平台,满足将来数字内容产品开发的新需求,如三维实时建模、三维动态仿真、三维网络应用等。

(7)选用mental ray standalone做独立渲染器,是因为主流三维建模软件Autodesk 3DS Max与Autodesk Maya都已经内置了mental ray渲染器,一般渲染用户对mental ray功能及其使用比较熟悉,符合易用性的要求。mental raystandalone 3.7不仅可独立于三维建模软件,而运行在Linux、Mac X、Windows操作系统上,不受三维建模软件所运行平台的限制,而且mental raystandalone 3.7是一个比较成熟的渲染器。虽然V-Ray Standalone 1.5也可以独立于三维不同的三维建模软件,运行在 Linux和Windows操作系统平台上,但由于Autodesk 3DS Max与Autodesk Maya中并没有集成V-Ray渲染器,许多用户对于V-Ray渲染器并不是很熟悉,需要经过专门的学习或培训才能熟练使用它;另一方面,与mental ray standalone 3.7相比,V-RayStandalone 1.5还不是一个成熟的渲染器,V-Ray standalone 1.5不能直接用来渲染.mi格式的模型文件,而必须将文件导出为指定的文件之后才可以提交到渲染渲染节点进行渲染,而mental ray standalone 3.7就不需要进行这样的转换格式操作。所以,这里选用mental ray standalone做独立的渲染器比较实用。

综上所属,我们选用Axceleon Enfuzion做渲染集群管理软件,选用mental ray standalone做渲染(mental ray standalone集成了渲染器与渲染引擎)、Linux操作系统做渲染节点以及主控主机与文件服务器的操作系统来构建可以同时用于Autodesk 3DS Max与Autodesk Maya渲染的异构三维实时渲染网格平台。

第2节  三维实时云渲染平台的体系架构

当前校内网格计算平台采用Platform公司的LSF和LSFMultiCluster软件实现在校园网格环境下的用户管理、作业调度、资源管理和监控等功能,而数字媒体公司的渲染农场计划采用Axceleon公司的EnFuzion渲染管理软件来构建一个分布式并行渲染集群。

整体方案设计的前提是同时具备Windows版本和Linux版本的以下软件:Platform LSF,Platform LSF MultiCluster,Axceleon EnFuzion及其渲染管理插件。其中,Platform LSF和EnFuzion都支持Linux与Windows平台。鉴于以上情况,我们设计了以下两种实现三维实时渲染网格的方案:

(1)利用MultiCluster、EnFuzion网格管理软件中一种两种实现校内的4个LSF HPC和数字媒体公司的EnFuzion渲染农场(分布式并行渲染集群)之间的作业调度与资源共享(如图1-1所示)。这种方案实现的条件是LSF与EnFuzion可以在同一个集群中协调工作,包括以下两种情况:一是用LSF做集群资源的管理软件,用EnFuzion做渲染管理软件,使用Platform LSF Multicluster软件实现不同集群之间的作业调度与资源共享;一是用LSF做计算集群的资源管理,用EnFuzion做渲染集群资源管理,使用Platform LSF Multicluster软件实现计算集群(安装了EnFuzion渲染节点软件的LSF HPC)之间的作业调度与资源共享,使用EnFuzion构建一个分布式并行渲染集群,其节点分别是校内的4个LSF HPC(安装了EnFuzion渲染节点软件)、数字媒体公司的刀片服务器、图形工作站、普通电脑等。根据以上两种异构集群之间作业调度与资源共享方式的不同,可以有两种不同的实现方式(如图1-1-1与图1-1-2所示)。

(2)如果第一种方案无法实现(即在EnFuzion构建的分布式并行渲染集群中,其渲染节点不能为LSF HPC时,也就是说不能用Platform LSF软件做EnFuzion渲染农场中渲染(集群)节点的资源调度时),就只能在构建数字媒体公司EnFuzion渲染农场(分布式并行渲染集群)的基础上,采用数字媒体公司渲染用户直接向校内LSF HPC上提交渲染作业的方式构建一个渲染网格系统,从而实现当数字媒体公司无闲置的渲染资源时,通过人工的方式(半自动作业调度的方式)将作业分配到校内的网格平台上进行处理。(如图2-1所示)。

2.1 异构跨平台三维实时渲染网格平台与计算网格平台的总体架构(方案一)

图1-1  AxceleonEnFuzion渲染农场与LSF PHC构成的异构跨平台三维实时渲染网格体系结构

体系结构说明及其工作原理:

(1)黄色的线条表示光纤,黑色的线条表示普通网线;图中左边的图形工作站、普通电脑、实时建模等为数字媒体公司的数字内容产品创作用户提交渲染作业的客户端,图中右边的图形工作站、普通电脑等为校内网格计算用户提交计算作业的客户端。

(2)此网格平台按照其功能可以分为2大部分:一是利用Platform LSF Multicluster软件以及校内网络中心、工程中心、物理学院、化学学院的LSF HPC与数字媒体公司的LSF HPC构建的高性能计算网格平台;一是利用Axceleon EnFuzion、Platform LSF软件以及校内网络中心、工程中心、物理学院、化学学院的LSF HPC与数字媒体公司的LSF HPC、图形工作站、普通电脑构成的异构跨平台三维实时渲染网格平台。其中,数字媒体公司的LSF HPC是在HP刀片服务器的Windows平台上安装Platform LSF软件实现该集群的作业调度,同时在这个服务器上安装Axceleon EnFuzion以实现其作为渲染节点与计算节点的功能。如果不能这样实现,就只能按照第二种方案组建分布式并行渲染集群并人工调用校内计算网格机型三维渲染作业。这里要考虑数字媒体公司安装有EnFuzion渲染管理软件的LSFHPC中的控制主机(Root Computer)的位置与作用,这个控制主机是否可以作为由5个LSF HPC与一个图形工作站构成的异构跨平台实时渲染网格的主控机,还是只能作为数字媒体公司EnFuzion渲染农场(分布式并行渲染集群)的控制主机?

(3)异构跨平台集群(LSF PHC与EnFuzion分布式并行渲染集群)之间的调度与资源共享,这里是通过Platform LSF MultiCluster与Axceleon EnFuzion中的某一种软件(包括LSF的插件及插件编程等方法)来实现。因为这样既要满足数字媒体公司实时三维渲染的要求,又要满足学校科研中高性能计算的要求;

(4)图中的数字媒体公司的LSF(或EnFuzion) HPC是利用数字媒体公司的HP刀片服务器构建的一个用来做并行渲染集群(节点),这个节点是一个使用Axceleon EnFuzion(或Platform LSF)软件构建的一个三维实时渲染集群(节点),该节点主要用于3DS Max、After Effects等不支持Linux平台的三维建模软件与三维动画编辑软件的实时渲染以及实时建模时所需要的高性能计算。

(5)数字媒体公司的刀片服务器上安装Windows操作系统是因为目前有一些三维建模与三维动画编辑软件还没有相应的Linux版本,即还没有移植到Linux平台上,如3DS Max等。虽然通过Wine软件可以实现在Linux OS上安装Photoshop等软件,但由于Wine软件本身还处于开发阶段,不能将所需要的所有软件都通过Wine技术安装在Linux OS上。虽然通过虚拟机技术(VMware、Virtual PC 、VirtualBox等软件)可以实现在Linux OS安装仅支持Windows OS运行环境的软件,但这样做的做法因不能与客户机操作系统很好地结合在一起,具有其很多不足之后,这里不考虑采用这样方式。

在数字媒体公司增加新的刀片服务器之前(即三期工程实施之前),现有的HP刀片服务器上安装Windows OS,主要用于3DS Max等仅能在Windows OS上运行的三维建模与三维动画编辑软件。对于Maya等支持Linux OS的三维建模软件的渲染作业主要利用学校内部现有的LSF HPC来进行处理。随着数字媒体公司对渲染农场要求的不断增加,在三期工程中可以扩建为2个刀片服务器组。其中,一组安装Linux OS,主要用于支持Linux运行环境(包括通过Wine技术可以在Linux OS上运行的软件)的三维建模与三维动画编辑软件,如Maya;另一组安装Windows OS,主要用于支持Windows运行环境的三维建模与三维动画编辑软件,也可安装既可在Linux OS上运行又可在Windows OS上运行的软件。

注意:LSF软件是否可以在Windows OS上运行,或者学校现在只购买了可以在Linux OS运行的版本,这个直接影响着数字媒体公司刀片服务器上所安装的操作系统。

2.2 异构跨平台集群之间的调度与资源共享

校内的网格计算平台是利用Platform LSF Multicluster软件将4个LSF HPC连接而成的一个网格计算平台;数字媒体公司的渲染农场(Render Farm)是使用利用Axceleon EnFuzion软件、LSF(或EnFuzion) HPC、多个图形工作站与普通电脑构成的一个分布式并行渲染集群。其中,校内的LSF HPC上安装操作系统是Red Hat Enterprise 4.0,数字媒体公司渲染农场(Render Farm)的服务器上安装的既有Windows OS,也有Fedora core 9 OS,这里的“异构”指的是集群服务器上操作系统的不同。

这里设计了以下两种实现这些异构集群之间的调度与资源共享方案:一种是使用LSF Multicluster(或EnFuzion)单一软件实现异构集群之间的资源调度与共享;另一种是使用LSF Multicluster与EnFuzion软件共用实现异构集群之间的资源调度与共享,其中LSF Multicluster软件用于在校内4个LSF HPC与数字媒体公司LSF(或EnFuzion) HPC的基础上构建一个5个集群的网格计算平台,Axceleon EnFuzion软件用于在校内4个LSF HPC与数字媒体公司LSF(或EnFuzion) HPC、图形工作站、普通电脑的基础上构建一个由5个高性能集群与许多图形工作站、普通电脑组成的异构跨平台三维实施渲染网格(或者称为分布式并行集群渲染系统)。第一种方案可以将数字媒体公司的图形工作站和普通电脑也作为网格计算平台的计算节点,但第二种方案的计算节点只能是LSF(或EnFuzion) HPC。

2.2.1 LSF Multicluster(或EnFuzion)单一软件实现异构集群间的作业调度与资源共享(方案1)

图1-1-1  利用LSFMulticluster(或EnFuzion)实现异构集群间的作业调度与资源共享

体系结构说明及其工作原理:

(1)用Platform LSF MultiCluster或Axceleon EnFuzion实现异构集群(LSF PHC与EnFuzion分布式并行渲染集群)间的作业调度与资源共享,这里是在Platform LSF MultiCluster(包括LSF的插件及其编程)与Axceleon EnFuzion中选择一种软件来实现,这样既能满足三维实时渲染的需求,又能满足高性能计算的需求。这里采用的实际上是一种“高性能集群复用技术”,同一个集群既可以用于三维实时渲染,又可以用于高性能计算,是一种理想的实现方案。但是,这要求LSF与EnFuzion可以在同一个集群中协调工作,即在LSF HPC的计算节点机上安装EnFuzion服务器端软件,同时要能够使用Platform LSFMultiCluster或Axceleon EnFuzion实现异构集群(LSF PHC与EnFuzion分布式并行渲染集群)间的作业调度与资源共享。

(2)其中,选择Platform LSF MultiCluster(包括LSF的插件及其编程)来实现LSF HPC与EnFuzion分布式并行渲染集群之间的作业调度与资源共享是最理想的解决方案,因为这样只需要购买Axceleon EnFuzion三维渲染管理软件。在数字媒体公司的刀片服务器上安装Platform LSF软件之后,通过服务器上的CPU资源调度即可实现数字媒体公司的分布式并行渲染集群(渲染农场中的部分资源,不包括利用数字媒体普通电脑与图形工作站,为3DS Max等不支持Linux OS平台的三维建模与三维动画编辑软件构建的分布式并行渲染集群)与华师校内4个LSF HPC集群的调度与资源共享,从而将数字媒体公司的分布式并行渲染集群与华师校内4个LSF HPC集群连成一个更大的网格计算平台。

(3)各个集群可以设置网格计算(渲染)平台中的其他集群用户调用自身CPU资源的优先权限(优先级别),以保证每个集群在满足本单位正常使用之后才将空闲的IT资源分配给需要调用网格平台中其他集群资源的集群用户。也就是,每个集群是优先考虑给自己的用户提交的作业处理提供资源,只有当集群本身有空闲的资源时,才将空闲的资源分配出来等待其他集群终端用户的调度。当其他集群终端用户因自己所处的集群没有空闲的资源可以使用时,才通过网格控制节点在其他集群中查找可以供自己使用的资源,这时有空闲资源的集群才被网格平台中的其他集群用户调用,发挥集群间作业调度与资源共享的作用。

2.2.2 LSF Multicluster与EnFuzion软件共用实现集群之间的资源调度与共享(方案2)

图1-1-2 利用LSF Multicluster和EnFuzion软件实现异构集群间的作业调度与资源共享

体系结构说明及其工作原理:

(1)由于从学校到数字媒体公司使用两条光纤是不划算的,从学校到数字媒体公司之间只需一条光纤连接即可。在数字媒体公司可以利用一个交换机连接到相应的服务器与电脑上即可,从而实现数字媒体公司渲染农场与校内LSF HPC之间通过光纤连接。所以,在学校到数字媒体公司的光纤上接了一个交换机。

(2)在数字媒体公司的刀片服务器上安装Windows操作系统、LSF、EnFuzion的服务器端(渲染/计算节点)软件,在校内的LSF HPC的计算节点上安装EnFuzion的服务器端软件,通过EnFuzion主控机实现数字媒体公司刀片服务器渲染节点与校内LSF HPC计算节点之间的作业调度与资源共享。同时,校内计算网格的主控机可以通过Platform LSF Multicluster实现数字媒体公司刀片服务器节点与校内LSF HPC计算节点之间的作业调度与资源共享。

(3)工作原理:数字媒体渲染用户向EnFuzion渲染农场(分布式并行渲染集群)提交渲染作业之后,首先在数字媒体的刀片服务器与图形工作站上查询空闲的CPU资源,如果有足够的空闲资源处理当前的渲染作业,就使用这些资源来完成。否则,即没有足够的空闲资源处理当前的渲染作业,就通过LSF Multicluster软件在校内网格(4个LSF HPC)中寻找空闲的CPU资源来处理数字媒体公司渲染用户提交的渲染作业。

2.3 数字媒体公司基于Axceleon EnFuzion分布式并行渲染集群的体系结构

2.3.1 Axceleon EnFuzion渲染农场工作原理示意图

图1.2.1  Axceleon EnFuzion渲染农场工作原理示意图

2.3.2 AxceleonEnFuzion渲染农场体系结构示意图

图1.2.2  Axceleon EnFuzion渲染农场工作原理示意图

备注:

(1)在Axceleon EnFuzion渲染农场中,三维部与二维部的图形工作站主要安装Windows OS,同时安装3DS Max等不支持Linux OS的三维建模与动画编辑软件,他们是渲染农场中3DS Max等不支持Linux OS渲染作业的渲染节点。公司的HP刀片服务器上安装Linux OS与Maya等支持Linux OS的三维建模与动画编辑软件,是Maya等支持Linux OS的渲染作业的渲染节点。如果三维部与二维部的图形工作站构建的3DS Max等不支持Linux OS渲染作业的渲染节点不能满足日常开发需要的时候,可以在新增加的服务器上安装Windows OS,重点处理3DS Max等不支持Linux OS的渲染作业,同时也可以处理Maya等支持Linux OS的渲染作业。

(2)三维部与二维部的图形工作站、后期编辑所使用的非线编辑系统在没有进行渲染作业而且有空闲资源的使用,就是渲染农场中一个等待分配3DS Max等不支持Linux OS渲染作业的渲染节点。当这个图形工作站的用户需要提交作业时,该用户提交的渲染作业可以在集群中其它空闲的图形工作站与普通电脑上寻找资源进行处理,集群可以调度集群中其它的图形工作站与普通电脑的空闲资源以进行该用户想集群提交的渲染作业。这样,集群中的图形工作站在不同时间内既是渲染节点,也是渲染作业提交终端。

(3)由于不同型号CPU处理同一个渲染任务,最后的渲染结果是不一样的。所以,需要根据节点所使用的CPU型号的不同(如AMD、Intel等),将渲染节点进行分组,以便用户将同一项目的渲染作业提交到同一类型CPU的渲染节点进行处理,以保证整个项目的渲染结果是一样的。这样,就不会因渲染节点所使用的CPU型号不同,造成整个产品画面的色彩度和饱和度不一致的问题,达到最佳的渲染效果。

(4)项目素材共享平台与Axceleon EnFuzion3D渲染农场的文件服务器在物理上共享一个服务器,以节约资源。项目素材共享平台的体系结构及其功能参见(第13章数字内容产品开发项目管理系统)。

2.4 利用Platform LSF Grid与EnFuzion组建网格平台(方案二)

图2.1 LSF Grid与EnFuzion渲染农场组建的网格平台示意图

体系结构及其工作原理:

(1)这种方案是在上述两种方案无法实现的背景下,数字媒体公司利用EnFuzion三维渲染管理软件构建渲染农场(分布式并行渲染集群)的同时,利用校内现有的LSF网格平台进行Maya等支持Linux OS平台的软件进行渲染作业。通过EnFuzion软件、利用数字媒体公司现有的图形工作站与普通电脑构建分布式并行渲染集群用于3DS Max等不支持Linux OS平台的三维建模与三维动画编辑软件的渲染作业处理。在这种设计方案中,并没有软件自动实现校内LSF HPC与数字媒体公司EnFuzion渲染农场间的作业调度与资源共享。实际上,这种方案是在数字媒体公司利用刀片服务器、图形工作站和普通电脑构建了一个EnFuzion渲染农场(分布式并行渲染集群)的同时,数字媒体公司渲染用户在数字媒体公司EnFuzion渲染农场中无空闲计算资源处理自己要提交的渲染作业。

(2)工作原理:在日常工作中,数字媒体公司渲染用户主要使用本地的EnFuzion渲染农场处理渲染作业。当本地的EnFuzion渲染农场没有可以供自己使用的计算资源时,系统会给要提交渲染作业的用户一个信息,提示用户“当前渲染农场中没有空闲的计算资源可以使用,请您稍后再试或者提交到校内网格计算平台进行处理”。这时,渲染用户在成功登录校内某个LSF HPC之后,可以将渲染作业通过网络提交给校内的LSF HPC上进行处理;当渲染作业完成之后,系统将渲染成品保存到“LSF FileServer”这个文件服务器上,用户可以登录这个服务器得到渲染结果。这样,就可以通过部分人工干预的方式实现数字媒体公司EnFuzion渲染农场与校内计算网格间的作业调度与资源共享,实现一个可以满足用户进行三维实时渲染的“网格”平台。

但是,由于校内的LSF HPC的操作系统为Linux,所以渲染用户只能向校内计算网格提交支持Linux OS的三维建模软件的渲染作业,如Maya。

2.5 此异构混合平台三维实时渲染网格平台的优势及其不足

(1)能够有效地满足当前三维数字内容产品设计与制作过程中的渲染问题;

(2)可以在此基础上开发基于网格的高性能计算平台,为三维网格渲染平台的功能扩展奠定基础,以便利用三维扫描仪进行三维模型的实时构建。

(3)Intel解决方案中提到的“EnFusion可以实现单线程软件充分利用多核处理器的解决方案”,这说明了EnFusion的优势。同时,EnFusion可以提供高性能计算平台,为以后渲染农场的功能扩展奠定良好的基础。不要再为更换软件或者是系统的重建而浪费资金,只需要进行相应的软件正常升级与添加一些硬件设备即可充分满足公司的各种发展需求,如实时建模技术与虚拟摄影棚的使用。

(4)使用EnFuzion软件作为集群之间资源调度的软件,也就是使用EnFuzion软件将三个LSF集群与使用EnFuzion渲染管理软件做的render farm连接成一个网格计算平台。

优点:资源的利用效率比较高,不需再升级Platform LSFMultiCluster软件,只需要更新EnFuzion软件即可,可以节约一些资金。

这样导致的问题是:已经购买的Platform LSF MultiCluster软件的闲置问题。同时,肯能容易造成不同集群之间不能互联的故障,网格平台出现故障的时候,两个厂商之间相互推卸责任的现象。

(5)对学校已有的网格系统不进行改造,只是将学校现有的网格计算平台视为一个整体(即一个集群),使用EnFuzion将已有的“集群”与公司的渲染农场连接成一个新的网格平台。这样做的原理是,当公司需要使用

这样好处是:可以保证学校资源的良好运行,不损坏学校现有的系统,即使公司这个的集群出现了问题,也不会对学校内部的网格平台带来影响,从而保证学校内部网格计算平台的正常运行。

这样导致的问题是:网格管理软件的重复投资,而且双方都面临升级的问题,而且升级之后能不能再这样做,还是一个问号。

(6)由于公司现在主要使用的是Maya这个三维编辑软件,可以不实现学校网格资源与渲染农场的双向共享,但是公司可以通过已建成的Maya渲染网格系统使用校内的网格资源。Render farm是利用公司现有的刀片服务器、图形工作站、普通电脑等资源,使用EnFuzion构建的一个并行集群渲染系统。只需要购买EnFuzion渲染管理软件即可,硬件不要新的投资,等到有资金的时候只需要购买相应的硬件即可。

优点:资源的充分利用,而且功能扩展简易,而且EnFuzion可以满足高性能计算的需要,为将来的实时三维建模技术与虚拟摄影棚技术的应用奠定基础。

不足:不能让学校共享公司的渲染农场的计算资源。

(7)就集群之间互联的问题还要考虑两个网格厂商之间的责任问题,如果网格系统出现问题,厂商之间相互推卸责任怎么处理的问题。所以,要考虑使用同一套软件比较好。

第3节  基于Muster的渲染农场的构建

由于现在已经拥有LSF、LSF MultiCluster、Muster软件,现在将网格管理软件LSF MultiCluster更换为EnFusion可能性不大,而且这样做也不能保证可以实现LSF PHC与Render Farm之间的资源共享与现有4个LSF PHC能够构成网格计算平台。为了充分利用现有的资源,根据当前公司的实际情况,可以把三维网格渲染项目的实施分为以下三个阶段:

3.1建设目标及其主要任务

对于可以在Linux OS 平台上运行(包括通过wine技术可以在Linux OS上运行的软件)、并且公司现有的Muster版本支持的三维建模软件、二维动画软件及其动画合成编辑软件,如Maya、Photoshop、Flash、Premiere等,使用学校现有的LSF PHC作为渲染节点,通过向学校的网格计算平台提交作业来实现三维网格渲染。也就是说,在现有系统的基础上增加一些Muster支持的渲染软件。

另一方面,不支持Linux OS 平台的三维建模软件及其三维动画编辑软件,如3DS Max、Premiere等,利用公司现有的HP刀片服务器与Windows XP OS构建一个基于Windows XP平台的三维集群渲染平台。当然也可以将公司的刀片服务器安装Maya等三维建模软件,将其也作为Maya等软件的渲染节点,这个根据公司的具体需求来具体确定。

图1 Muster渲染农场的体系结构

3.2基于Muster的三维并行渲染集群的体系结构

图3-1 基于Muster的三维并行渲染集群的体系结构

体系结构及其工作原理:

(1)数字媒体公司的HP刀片服务器上安装Windows操作系统、Muster、3DS Max、After Effects等可以在Windows平台上的软件,构建基于Muster的并行集群渲染系统,主要用于3DS Max、After Effects的渲染,当然也可以用于Maya的渲染,但为了充分利用现有的资源,减轻数字媒体公司HP的负载,数字媒体的HP刀片服务器暂时可以不提供Maya的渲染功能,而将其转移到工程中心的LSF HPC上进行完成。

(2)在使用学校内部的LSF HPC进行Maya的渲染时候,图中的设计是校内的每一个LSF HPC对应一个文件(或批处理服务器),为了便于管理,应该研究如何使用同一台服务器实现这四台服务器的功能。

(3)工作原理:利用数字媒体公司的刀片服务器作Muster渲染农场的渲染节点,用户自己使用的图形工作站是Muster渲染农场的作业提交终端,在文件服务器上可以安装数据库管理系统(如创意素材管理平台)对渲染成品进行管理。同时,当用户本地Muster渲染农场中无足够的空闲资源处理用户要提交的作业时,用户可以通过登录校内某个LSF HPC将渲染作业提交到校内的计算网格平台上进行处理,处理后的渲染成品存储在数字媒体公司“LSF File Server”这个文件服务器上。

注意

(1)Muster是采用P2P(peer-to-peer,对等计算)技术实现的,不能构建大规模的网格渲染系统,即不能实现在几个HPC之间调度资源的功能。

(2)Muster渲染农场的文件服务器及其控制主机只支持Windows操作系统,具体参见《Musteruser manual》

3.3实施的意义

可以充分利用现有的资源解决公司日常工作的实际需求,并且不需要在软件(及其现有软件的升级)与硬件方面进行任何再投资。没有必要再对已有的Muster软件进行升级,这样可以节省一些资金以便为二期工程的实施贮备足够的资金。

第4节  基于Axceleon EnFuzion的混合平台并行渲染集群及其应用

4.1期工程的建设目标及其任务

    随着各种软件的不断升级,当公司需要对现有的三维建模与三维动画制作软件进行升级的时候,或者是一期工程已经不能在满足公司数字内容产品设计与制作的需求的时候予以落实。

购买Axceleon公司的EnFuzion渲染管理软件,在公司的刀片服务器上安装Linux OS与可以在Linux OS 平台上运行(包括通过wine技术可以在Linux OS上运行的软件),将其作为Maya等三维建模与三维动画编辑的渲染节点。同时,将公司的图形工作站、闲置的电脑以及普通员工的电脑作为不支持Linux OS 平台的软件(如3DS Max)的渲染节点,利用这些电脑在屏保、午休、周末与节假日休息的时间进行渲染,而且不影响这些图形工作站、电脑的正常使用。

(研发内容)在公司渲染农场中的文件服务器上增加一个素材管理数据库系统(文化创意素材共享平台)。通过利用EnFuzion渲染管理软件提供的API接口,在Linux OS上利用C/C++/Java编程语言开发一个文化创意素材共享的(跨平台多媒体)Oracle数据库系统。实现三维模型的渲染成品(这里指的是最后做成的、将要在动画中使用的渲染模型,渲染过程中不满意的作品不执行这个操作,即不需要存入数据库中)在获取的同时,直接存入这个数据库,而不是存放在文件服务器的一个制定目录下。同时,也用户可以在自己的电脑上上传、检索(普通的属性检索)、更新、删除其中的素材。这样做的好处是可以节省素材的存储空间,同样一个三维渲染模型不需要存放在两个数据库系统中,有利于系统的集成。

注意:这样设计会不会影响模型的获取速度,这是一个值得研究的问题。如果这样对渲染结果的获取有很大影响就要试验将数据库从这个渲染农场中独立出来的时候,整体上能不能比上面的方案节省时间、空间与人力,提高效率。试验之后在决定采用那种方式进行使用。同时,继续使用一期工程建设好的利用校内网格计算平台进行三维渲染的功能,即通过向校内网格计算平台提交任务来进行渲染。

这里主要阐述异构混合平台三维实时渲染网格2期工程——构建能够满足当前公司三维实时渲染需求的混合平台并行渲染集群(Mixed-Platform Render Farm)的技术实现问题。

4.2 混合平台并行渲染集群的工作原理

异构混合平台三维实时渲染网格1期工程主要是基于Windows XP和CentOS Linux操作系统,利用Axceleon EnFuzion 9.1、Metal Ray Standalone 3.4 renderfor 3DS Max 8.0(也可使用集成于Autodesk3DS Max中的Metal Ray做渲染器)、Metal Ray Standalone 3.7 for Maya 或RenderMan for Maya render(RenderMan for Maya只能运行在Windows和Mac OS X操作系统,暂时不支持Linux操作系统,但Metal Ray Standalonefor Maya或Autodesk Maya建模软件支持Linux操作系统平台)、AutodeskMaya和Autodesk 3DS Max软件,构建混合平台并行渲染集群(Mixed-PlatformRender Farm)。其系统的体系结构如下图所示:

图1.1  基于EnFuzion 9.1的混合平台并行渲染集群(渲染农场)

如上图所示,1期工程建设的混合平台并行渲染集群(Mixed-PlatformRender Farm)主要用来完成Autodesk Maya 7和Autodesk 3DS Max 8的渲染作业,采用Metal Ray Standalone 3.4和RenderMan for Maya分别做Autodesk 3DS Max 8和Autodesk Maya 7的渲染器,渲染管理软件采用Axceleon EnFuzion 9.1。渲染任务提交客户端主要运行在Windows XP操作系统平台上,渲染节点主要运行在Linux操作系统平台和Windows操作系统平台上。其中,渲染服务器组安装CentOS Linux与Metal Ray Standalone 3.7 for 3DSMax,以及WindowsServer与RenderMan for Maya(Metal Ray Standalone 3.7 for Maya);为节约成本、充分利用已有的资源,三维部的图形工作站和培训部的PC机安装Windows XP与Autodesk 3DS Max,在需要大量渲染资源来处理3DS Max的渲染作业的时候,可以采用晚上空闲的图形工作站与PC机进行3DS Max的渲染任务。这样,集群中的图形工作站在不同时间内既是渲染节点,也是渲染作业提交客户端。

由于不同型号CPU处理同一个渲染任务,最后得到的渲染作品画面的色彩度和饱和度是不一致的,为达到最佳的渲染效果。这里根据渲染节点所使用的CPU型号的(如AMD、Intel等系列),将渲染节点分为AMD渲染服务器组、Intel渲染服务器组、同一型号CPU的图形工作站构成的渲染节点组、同一型号CPU的普通个人PC构成的渲染节点组这4个渲染节点组。这样,只要同一个数字内容产品开发项目的模型渲染工作是在同一个渲染节点组进行处理的,就可以保证该项目中所有画面的渲染效果是完全一致的,而不会因渲染节点所使用的CPU型号不同影响整个数字内容产品的整体质量。

Axceleon EnFuzion渲染集群中的共享资源文件服务器(Shared Repository File Server)上存放的资源包括渲染用户提交的三维模型源文件、渲染完成之后的渲染成品、渲染作业需要的纹理和材质。为了统一、方便地管理项目素材,可以实现项目素材数据库与渲染集群共享资源文件服务器的集成。这样,渲染用户客户可以直接调用项目素材数据库的三维模型源文件到渲染节点进行渲染处理,而且渲染集群可以自动将渲染结果保存在项目素材数据库中。

利用安装在渲染集群控制主机上的BXEIM的智能客户端,可以实现渲染作业状态的实时报告给作业提交用户。在渲染作业完成时,安装在渲染集群控制主机上、可以获取集群工作状态的BXEIM智能客户端获取该工作状态信息及其工作提交者的相关信息(如姓名、EIM帐号等),通过EIM服务器将渲染工作的状态信息发送给相应的渲染作业提交用户,如“您提交的渲染作业已成功完成,请您及时处理!”;渲染用户收到这条即时提示信息之后,可以通过EnFuzion的客户端将渲染结果下载到本机,或者直接上传到项目项目开发管理平台的项目素材数据库中,同时数据库保存该模型的创建时间、文件大小、创建者个人信息、所用电脑的IP地址。在渲染作业错误的时候,渲染集群同样将渲染任务出错的信息,通过“EIM智能客户端——EIM服务器——EIM用户客户端”的方式发送给渲染作业的提交者。这样,渲染用户可以及时得到渲染作业的处理情况,并采用相应的措施,如渲染出错时重新提交渲染任务、渲染完成时下载渲染结果等。

建议:如果不追求渲染节点一定要安装在Linux操作系统上,为节省成本,可以只是购买Axceleon EnFuzion 9.1集群渲染管理软件。采用这种方案来构建混合平台并行渲染集群:采用AxceleonEnFuzion 9.1做集群渲染管理软件;采用3DS Max 8.0内置的MetalRay做3DSMax的渲染器,采用Pixar’s RenderMan for Maya  2.0做Maya的渲染器(也可使用Maya内置的Metal Ray做渲染器);采用Autodesk Maya7和Autodesk3DS Max 8做三维建模软件。渲染节点运行在Windows Server平台上(因为RenderMan for Maya 2.0仅支持Windows和Mac OS X操作系统平台,暂时不支持Linux操作系统),共享资源文件服务器与控制主机运行在CentOS Linux平台上,渲染客户端主要运行在Windows XP平台上。

如果希望渲染节点一定要安装在Linux操作系统,就只能使用Metal Ray Standalone做3DS Max和Maya的渲染器,而不能使用RenderMan for Maya做Maya的渲染器。

4.3 构建混合平台并行渲染集群所需资源

4.3.1 软件资源

操作系统:服务器端采用CentOS Linux 5(免费)/RedHat Enterprise Linux(RHEL) 5(收费)、Windows Server 2008,客户端主要使用Windows XP

渲染管理软件:Axceleon EnFuzion 9.1(按物理CPU个数收费)

渲染器:Metal Ray Standalone 3.7 for 3DSMax(独立版)、RenderMan for Maya (或Metal Ray Standalone 3.7 for Maya)(按物理CPU个数收费)

三维建模软件:Autodesk Maya 7、Autodesk 3DS Max 8

EIM软件:Openfire(XMPP EIM Server)+智能XMPP EIM客户端+二次开发的Spark(EIM Client)

注:CentOS(The Community Enterprise OperatingSystem,社区企业操作系统)是将RedHat Enterprise Linux(RHEL) 发行的源代码从新编译一次,形成一个可使用的二进制版本,并且提供免费的yum升级服务,版本跟随RHEL,在使用上与RHEL没有大的区别。

4.3.2 硬件资源

刀片服务器+图形工作站+PC机+交换机

4.3.3 人力资源

1期工程中混合平台并行渲染集群的构建无需新增工程技术人员,现有研究生即可胜任此任务。

4.4 主要开发任务及建设时间期限

4.4.1 混合平台并行渲染集群涉及的关键技术

(1)利用EnFuzion 9.1 API连接XMPP EIM智能客户端,实现渲染集群状态的实时跟踪

(2)利用EnFuzion 9.1 API实现项目素材数据库与共享资源文件数据库(服务器)的互联

4.4.2 混合平台并行渲染集群构建的主要任务

(1)利用EnFuzion、Metal Ray Standalone等构建混合平台并行渲染集群

(2)利用EnFuzion 9.1 API连接XMPP EIM智能客户端,实现渲染集群状态的实时跟踪

(3)利用EnFuzion 9.1 API实现项目素材数据库与共享资源文件数据库(服务器)的互联(可选)

(4)培训相关渲染用户如何科学有效地使用基于EnFuzion、Metal Ray Standalone、RenderMan for Maya的并行渲染集群。

4.5 混合平台并行渲染集群的优点

(1)可以充分利用现有硬件资源,如刀片服务器、图形工作站、闲置的PC机等;

(2)渲染节点使用Linux操作系统,有很好的稳定性与性能保证;

(3)采用Metal Ray Standalone做独立渲染器,采用Axceleon EnFuzion 9.1做集群渲染管理软件,可以提高渲染集群的稳定性与性能,得到很好的渲染结果;

(4)采用现有的即时通信客户端作为集群渲染状态的信息提示工具,在不增加新软件的同时能够为渲染用户提供很好的集群状态跟踪方式。

(5)利用Sun公司的zone操作系统虚拟化技术,可以在混合平台渲染集群的同一个渲染节点同时处理3DS Max与Maya等多种渲染作业,从而有效地提高资源的利用效率。

(6)扩展性

采用数据库的方式实现共享资源文件服务器的功能,并将其与项目素材数据库的互联,实现相关渲染素材直接存入项目素材数据库,而不需要将素材先下载到本机,然后再上传到项目素材数据库保存,可以节省许多人力与运营成本。

只要增加相应的硬件设备,该渲染集群就可以很容易地扩展为异构混合平台三维实时渲染网格,在满足公司正常业务的同时,为其他相关行业提供有偿渲染服务。

4.5.1 混合平台三维实时渲染集群的功能特性

(1)通过EIM系统实时跟踪、提示用户所提交的渲染作业处理状态,如完成、出错等;

(2)渲染节点分为AMD渲染服务器组、Intel渲染服务器组,可以同时进行3DS Max和Maya的渲染作业;

(3)支持Maya Software Render、Mental Ray以及RenderMan提供的Tile Render(单帧分割渲染技术),允许将一帧画面分割成若干画面进行渲染;

(4)支持渲染图像的缩略图浏览以及动画序列播放功能。

(5)全自动的负载均衡和容错,支持在执行过程中断点续做功能 ;

(6)允许透明地集成定制的应用程序,支持C/C++、Java、Perl、Python 和shell 脚本等编程语言;

(7)通过The Foundry公司的光学流插值技术,可以很容易修复丢帧或损坏的帧。 

第5节  Deadline渲染农场的设计与实现

                             ——使用盗版软件构建渲染农场

这里主要阐述使用可以获得的盗版软件,如渲染集群管理软件Deadline、Maxwell Render、mentalray standalone、开源Blender与Pixie Render等构建一个3DS Max渲染农场,以通过实验的方式更加清楚地认识渲染农场的基本架构及其工作原理,从而构建基于Linux的3DS Max渲染农场奠定基础。

5.1 Deadline渲染农场的体系结构及其工作原理

图1  Deadline渲染农场的体系结构

(1)注意:许可证服务器(license server)与Deadline Repository既可以安装在同一台电脑上,也可以分别安装在两台不同的电脑上。虽然Deadline的许可证服务器(license server)可以安装渲染农场中的任何一台电脑上,但在Deadline渲染农场的安装手册中,建议将许可证服务器(license server)与Deadline Repository安装在两台不同的电脑上。

5.2 构建Deadline渲染农场的基础

这里主要介绍一些构建Deadline渲染农场时,工程师所需要具备的一个专业基础知识与基本技能,以便顺利完成Deadline渲染农场的构建。

5.2.1 申请Deadline试用版

(1)申请网址:http://software.primefocusworld.com/software/products/deadline/download/

(2)MAC地址的获取方法:单击“开始-运行”,在弹出的运行对话框中输入命令:# cmd,在弹出的DOS对话框中输入命令:# ipconfig/all,即可显示本机网卡的MAC地址(主机的host ID)。

5.2.2 申请并安装mental ray standalone试用版

(1)申请网址:http://www.mentalimages.com/1_7_1_direct/index.html

注意:这里提交之后可能会提示您错误信息,但是对方是可以收到您的申请的。同时,您需要提高有关您公司的相关信息,mental images公司才会给您提供mental ray standalone试用版软件。

(2)mental ray standalone renderfarm could be on any OS platform. 3Dsoftware such as Maya, 3D Max or XSI create .mi files. The .mi files then canbe sent to the renderfarm for processing. This is a very common workflow. There is no technical issue.(mental images公司销售人员通过邮件[email protected]回复)

5.2.3 下载并安装开源Blender

(1)Blender下载地址:http://www.blender.org/download/get-blender/

(2)Python下载地址:http://www.python.org/

5.2.4 配置UNC路径(UNC path)

如果文件夹属性—共享栏中的“网络共享与安全”这一项功能没有安装时,显示如下图所示的信息,

这时是不能其他计算机是不能访问这台计算机(包括这台计算机的文件)的,需要点击超链接“网络安装向导”完成网络安装之后,这里就变成如下图所示的情况:

这时,右击某一个文件夹,在弹出菜单中选择“属性”,在该文件夹属性对话框的共享栏中,只要选中“在网络上共享这个文件夹”即可将这个文件夹共享,从而使网络中的其他用户可以访问这个文件夹。同时,也可以在共享名一项中输入这个共享文件夹的共享名。

在文件浏览窗口工具菜单栏的“工具—文件夹选项-查看”的高级设置对话框中,取消“使用简单文件共享(推荐)”这一项的勾选,这样在共享某一个文件夹的时候,就可以设置这个文件夹共享之后,仅自己指定的某一些特定的用户才可以方位该共享的文件夹,而不是网络中的所有用户都可以访问这个共享的文件夹。

5.2.5 安装并配置VNC(Virtual Network Computing)

这里安装的是RealVNC 4.2汉化版,在渲染节点(Deadline Slave)安装VNC Server,在主控主机(Deadline Repository)上安装VNC Viewer,以便管理员对每个渲染节点进行远程管理。

5.2.6 安装并配置SMTP 服务器

这里使用WinWebMail软件创建电子邮件服务器,WinEasyMail官方主页:http://www.51webmail.com/

5.3 Deadline渲染农场的软件安装

5.3.1 网络环境的测试与完善

(1)系统要求:Deadline渲染农场对操作系统有较高的要求,客户端需要是没有被修改过的正式零售版本WindowsXP系统,而不能是被修改过的番茄花园等版本的Windows;渲染节点和主控主机(Deadline Repository)需要安装Windows Server版的Windows操作系统,因为Windows XP Professional最多允许 10 台不同的计算机通过网络同时连接,此限制包括所有传输和共享协议的资源的组合。

(2)为了使渲染农场中的电脑可以相互访问,需要完成以下两项设置:

● 右击桌面上的“我的电脑”图标,在弹出的属性对话框的“远程”栏中选中“允许用户远程连接到此计算机”项,点击“确定按钮”。

● 右击某一个文件夹,在弹出的属性对话框的共享栏中,“网络共享与安全”这一项功能没有安装时,即显示如下图所示的信息,

这时需要点击超链接“网络安装向导”完成网络安装之后,其他电脑才可以对这台电脑进行访问,“网络安装向导”安装完整之后,这里就变成如下图所示的情况:

这时,右击某一个文件夹,在弹出菜单中选择“属性”,在该文件夹属性对话框的共享栏中,只要选中“在网络上共享这个文件夹”即可将这个文件夹共享,从而使网络中的其他用户可以访问这个文件夹。同时,也可以在共享名一项中输入这个共享文件夹的共享名。

(3)测试渲染农场中的计算机间是否可以成功访问

标记渲染节点(Deadline Slave)、许可证服务器(License Server)、文件服务器(Deadline Repository)和渲染作业提交客户端(Deadline Client)的IP地址,

在运行命令中输入命令:ping[IP地址]-t

测试这4台电脑之间是否可以相互访问,否则就找出相应的问题予以完善。若这些电脑之后可以相互访问,就在每台电脑上共享某一个文件夹,然后在其它电脑上通过UNC路径,即打开一个浏览器,在地址栏中输入:\\[IP地址]\[文件夹名1]\[文件夹名2] ,如\\172.16.129.214\FranticLicenseManager进行访问,看是否可以顺利访问,如果不能,就找出相应的问题,并进行完善。

(4)

5.3.2 基础平台的构建(网络的安装与配置)

(1)在渲染作业提交客户端(Deadline Clients),安装.NET Framework 1.1、Microsoft Visual C++ 2005 Redistributable(仅使用3DS Max软件时需安装)以及3DS Max 8.0、开源Blender 2.45等数字内容产品开发软件(3D Application Software);

(2)在所有的渲染节点(Deadline Slaves),安装3DS Max 8.0、Blender 2.45(其作用主要是使用这些软件自带的渲染工作在渲染节点做渲染器),以及mental ray standalone 3.4、Maxwell Render 1.5、Pixie Render等独立的渲染器。

(3)相关/参考文件(ReferenceFiles)-Store On TheNetwork

It is recommended that all reference files to be used in your scenesbe placed on a network share (preferably a server), which can be accessed via aUNC path or a mapped network drive.

Scenes can still be created and submitted locally, providing thatany references made are to files on the network only.

将场景中使用的所有相关/参考文件(如材质、灯光、模型等)存放到网络中的一个服务器上,以便所有用户都可以通过UNC路径或者映射网络驱动器。

(4)Output Files(输出文件)-Save To The Network

All output should be saved to a network share as well (preferably aserver), which can be accessed via a UNC path or a mapped network drive.

(5)远程管理(Remote Administration)——安装RealVNC软件

During the Deadline Repository installation, you will be asked ifyou would like to enable Remote Administration. This feature allows you tocontrol all the slave machines remotely from a single machine, includingstarting and stopping the slave application, configuring the license server,and running arbitrary command line applications on each machine.

After installing Deadline, you can enable or disable RemoteAdministration from the Deadline Monitor. In Super User mode, selectTools->Repository Options.

这里主要安装RealVNC软件,并测试是否安装成功。

(6)安装SMTP服务器(DeadlineEmails)

Deadline uses email (in addition to NetSend) to notify users whentheir jobs have succeeded or failed. Email can also be used to notify systemadministrators of corrupted jobs in the queue. It is recommended that an SMTPserver be setup so that you can make use of these features.

After installing Deadline, you can configure the email notificationsettings from the Deadline Monitor. In Super User mode, selectTools->Repository Options.

这里安装的SMTP服务器是WinWebMail 3.7.6.1。

(7)实现渲染节点(Deadline Slave)在开机时自动启动功能

如果需要渲染节点(Deadline Slave)在系统登录时自动启动,可以按照以下步骤在每个渲染节点修改注册表(Theseare the steps to setup your slave machine registry to login):

  ● Download auto_login.reg

  ● Edit the file to use the username and password you wish to;

  ● Login to the slave as thespecified user, then double-click on this file to run;

  ● The next time you restart themachine, it should login automatically as the specified user;

3.2 安装步骤

(1)安装并配置Deadline Repository

The repository machine is the computer that will function as thestorage location for all jobs that are submitted to the Deadline Network RenderManager.

repository path:\\172.16.129.144[IP地址]\DeadlineRepository[被共享的文件夹名]

The Repository Setup Wizard is used to modify the repositorysettings, and is launched automatically after installing a new repository. Ifyou wish to run the application yourself, navigate to the bin folder in therepository and run RepositorySetupWizard.exe.

(2)安装Deadline许可证服务器(License Server)

Note that you do not have to install the license server on the samemachine that the Deadline Repository is installed on.

注意:您没有必要将Deadline许可证服务器(license server)与Deadline Repository安装在同一台电脑上,也就是说许可证服务器(license server)与Deadline Repository既可以安装在同一台电脑上,也可以分别安装在两台不同的电脑上。所以,Deadline许可证服务器(license server)可以安装在渲染农场网络中的任何一台电脑上。

(6)安装Deadline客户端(Deadline Client)

The Deadline Client software must be installed on all machines thatwill be used for rendering,and the Deadline Client must be installed with Administratorprivileges.

After installation of the Deadline Client is complete, the DeadlineLauncher icon should appear in the Task Bar, and you will be prompted to choosewhether to start the Deadline Slave application.(Deadline客户端安装成功之后,Deadline启动图标将出现在任务栏中,而且您将被提示是否启动Deadline渲染节点应用程序。)

渲染节点与渲染客户端可以是同一台电脑。

(7)插件与任务提交脚本配置(Plugin and Submission Script Configuration)

They can be configured from the Deadline Monitor while in Super Usermode by selecting Tools -> Configure Plugins.

(8)Deadline网络配置(Deadline Network Configuration)

4. Deadline渲染农场的配置

5. Deadline渲染农场的使用

6. Deadline 3.1渲染农场状态跟踪功能及其实现

6.1 远程控制

(1)远程桌面连接(Remote Desktop Connection,简称RDC)

通过操作系统自带的远程桌面连接实现对渲染节点的控制。

(2)VirtualNetwork Computing (VNC)软件

通过VNC软件,如TightVNC,RealVNC等,实现对远程计算机的控制。

6.2 SMTP电子邮件服务功能

Deadline uses email (in additionto NetSend) to notify users when their jobs have succeeded or failed. Email canalso be used to notify system adminstrators of corrupted jobs in the queue. Itis recommended that an SMTP server be setup so that you can make use of thesefeatures.

在Deadline农场中安装一个SMTP电子邮件服务器软件之后,当系统出现以下几种情况时,给渲染农场管理员发一份邮件,以通知系统管理员相关信息。

(1)用户提交渲染作业失败;

(2)渲染作业处理超时;

(3)某个渲染作业完成;

(4)电源管理:渲染农场中的某一台电脑的电源突然关掉时;

(3)渲染节点管理:当某一个渲染节点停止工作时,系统便给管理员发一个通知;

(4)用户可以将渲染过程中,系统出现的相关问题通过邮件通知系统管理员。

6.3 缺点

(1)需要安装多个第三方软件工具,才能实现简单的渲染农场状态的跟踪;

(2)交互性不友好,用户必须通过邮件才能查看或发送应的信息,有时会因用户查看不及时而造成相应的损失。

第6节  3DS Max render farm for Linux

                                  ——基于Linux平台的3DS Max渲染农场

6.1 基于Linux平台的3DS Max渲染农场的体系结构设计(基于Linux平台的3DS Max渲染农场构建方案)

1.1采用可以在Linux操作系统上运行,并与Autodesk 3DS Max兼容的(独立)渲染器构建Autodesk 3DS Max的渲染节点,而不使用Autodesk 3DS Max开发软件自带的扫描线渲染(Scanline rendering)工具做渲染器,这样就不需要在Linux渲染节点上安装Autodesk3DS Max。

The other renderers that work on Linux aren't work with Max files.They're generally working with exported files. For example, if you want torender a Max file on V-Ray for Linux, you have to use the "standaloneexporter" to export your Max file to a V-Ray specific file. Then thestandalone version of V-Ray (which runs on many different platforms) can renderit without needing to tie into Max.

It's the same thing for the other renderers as well. If you want torender on a platform that doesn't support Max, you need to export to arenderer-specific file that is independent of Max. Once you've done that,you've completely sidestepped how backburner works. You could write backburnerfor Linux (and it probably does exist for the high-end apps like Inferno) butwithout Max for Linux, you wouldn't be able to render Max files. Perhaps the3rd party companies could write plugins for backburner allowing you to usetheir Linux rendering engine through backburner, but without a Linux version ofMax, you'd still need to export to the rendering-engine specific file format.

(1)采用mental ray与3DS Max 8文件的兼容性要比3DS Max 9好,所以采用mental ray standalone for 3DS Max文件的渲染器时渲染3DS Max文件时,采用3DS Max 8进行实验。

Compatibility:Important Note on Version Compatibility

Please consult the chart below to see which version of mental rayStandalone is compatible with your Autodesk 3D software.

使用 mental ray 独立版软件快速轻松地渲染大量数据,mental ray独立版3.4可以通过命令行界面独立于autodesk Maya运行。

3ds Max mental ray UI: In 3ds Max, when the mental ray renderer option is selected, theRender Scene dialog provides a set of features and options specific to themental ray renderer. This option allows for Distributed Bucket Rendering, anonline method of rendering using many computers on the same frame with thatframe shown in the 3ds Max viewport.

(2)Autodesk FBX与Autodesk FBX SDK

网址:http://usa.autodesk.com/adsk/servlet/index?siteID=123112&id=8224901

Autodesk FBX是平台不受限制的免费三维创作与交换格式,能让您访问大多数三维供应商的三维内容。FBX 文件格式支持所有主要的三维数据元素以及二维、音频和视频媒体元素。

The latest version of the 3ds Max FBX plug-in (2006.11) delivershigher levels of interoperability between Autodesk 3ds Max and Autodesk Maya/Autodesk MotionBuilder software. FBX delivers a particularly high level ofinteroperability between Autodesk Maya, Autodesk 3ds Max, and AutodeskMotionBuilder – enhanced with each release.

(3)Autodesk FBX Converter

FBX Converter lets you convert OBJ, DXF, and other 3DS files to theFBX file format, and vice versa. This means you can transfer yourentertainment, design, or visualization project data from one 3D application toanother – including any professional 3D animation package.

Improved compatibility with Autodesk Maya via the FBX file format in3ds Max 9.

(4)在Autodesk 3DS Max输出可以在Autodesk 3DS Maya内置版本的mental ray中进行渲染的文件格式,将这些源文件提交到基于Linux的Maya集群上进行渲染。

1.2 通过虚拟化技术,如wine、虚拟主机技术等使Autodesk 3DS Max及与其兼容的渲染器(如Autodesk 3DS Max自带的扫描线渲染器等)运行在Linux操作系统上,从而通过虚拟化技术构建基于Linux操作系统平台的Autodesk 3DS Max渲染集群。

We've got backburner manager and Autodesk 3DS Max’s scanlinerenderer running on linux through wine,but that is was HIGHLYunstable, and should just be smarter to find a Linux replacement for yourneeds.

1.3 采用类似网格计算的方法来进行3DSMax三维作品的渲染,即在客户端将需要进行渲染的文件打包成一个在Linux系统上执行的文件,将这个文件通过计算网格的客户端直接提交到计算节点通过计算的方式完成渲染作业,并返回渲染结果。

方案评价指标:系统稳定性、渲染效率、渲染效果

6.2 构建3DS Max渲染农场的软件

2.1 与3DS Max兼容的渲染器

这里主要介绍可以在Linux平台下运行,并与3DS Max兼容的渲染器。

2.1.1 Scanline rendering(扫描线渲染——3DS Max内置的渲染工具)

The default rendering method in 3DS Max is scanline rendering.

2.1.2 mental ray standalone for3DS Max

中国代理商:北京中科希望软件股份有限公司,官方网址:http://autodesk.hope.com.cn/about.aspx

根据mental ray® Standalone的用途,主要有以下几种:

(1)mental ray standalone for 3DS Max

(2)mental ray standalone for Maya

Whatis mental ray Standalone for Maya or 3ds Max?

mental ray® Standalone is an offline rendering product co-developedby mental images and Autodesk Media & Entertainment. It works independentlyof Maya or 3ds Max software through a command-line interface, or acts as thefoundation of your distributed rendering solution when used with Autodesk®Maya® or Autodesk® 3ds Max®. mental ray Standalone is used primarily whenadditional rendering capabilities are required beyond the built-in mental raycapabilities of other Autodesk applications. mental ray is typically used in arender farm setup and can be used to supplement and accelerate interactiverendering (for example, Maya software’s interactive photorealistic rendering).

(3)mental ray standalone for Softimage

(4)mental ray satellite(3dsmax8或maya开发软件中集成的mentalray渲染器)

这里重点探讨mentalray standalone 3.4 for 3DS Max在Linux操作系统下的使用方法。

2.1.3 BlueCherry(主要适用于3DS Mx8

BlueCherry是专门针对Max中的Mental ray渲染器所开发的Max脚本插件。它简化了Mental Ray渲染器的设置流程,将复杂的Mental ray参数简化为一些复选框和滑块条,你只需简单的滑动滑块条就可以决定全局光或是焦散等渲染效果的质量高低。同时它还集成了自动生成阳光功能和自动调用预设HDRI作为环境光等功能。由于BlueCherry将Mental Ray的渲染设置傻瓜化,所以比较推荐初学者使用。

注意:BlueCherry 1.5 是针对3ds max8开发的,所以经过测试它在3ds max8下工作的很好,但如果安装到3ds max9中它的某些功能可能会出现问题,再加上3ds max9中的Mental Ray本身就在易用性上作了不少改进,所以不推荐大家在max9中安装BlueCherry。

网址:http://usa.autodesk.com/adsk/servlet/index?siteID=123112&id=6861804

2.1.4 Maxwell Render(Render Engine,强大的独立渲染器,可以在Linux上运行)

官方主页:http://www.maxwellrender.com/

2.1.5 V-Ray Standalone(EnFuzion 9.0支持

如果价格合理可以采用这个软件,但是没有集成到3DS Max中,渲染者要专门学习这个软件的操作才可以熟练使用。

2.1.6  FinalRender

2.1.7  Brazil R/S(Windows only,EnFuzion 9.0支持

6.3 基于Linux平台的3DS Max渲染农场的实现

6.3.1 mental ray standalone的安装方法

(1)如果是再次安装mental ray standalone软件,就需要在“开始->管理工具->服务”对话框中,停止“SPM License Server”、“Ray345Server”、“RaySat_3dsmax8Server”服务。如果是第1次安装mental raystandalone软件,是不需要执行这项操作的,因为没有安装过mental ray standalone软件的话,是没有这些项目的。

(1) Run myr-mr345-win32.exe, Choose Complete in the Setup Type Screen.(运行myr-mr345- win32.exe安装文件, 在 Setup Type Screen窗口中选择安装方式。)

(2)On the license screen chooseLicense, On the license type screen choose Floating Server.(在license screen 窗口选择License,在license type窗口选择Floating Server。A floating license lets several users run mental ray from anycomputer on the same network.)

(3)On the install or request a license screen choose Request Licenseand set these:(在安装的时候遇到license screen 窗口选择RequestLicense and set these.)

Dongle is attached to: choose an open COM port here(Dongle项选择一个打开的端口COM1或者COM2.)

Dongle type: SI0(Dongle 类型选择SI0)

Click Next. (This will take a few minutes and will complain aboutnot finding the server. Ingore the message. )

点击Next按钮。(这将会花几分钟然后机器将会报告找不到服务器,但不用管这个提示信息,继续下面的操作。)

(4)Add SPM_HOST to your windows environment variables and set variablevalue to be your computer name.(右击“我的电脑”,在弹出的属性对话框的“高级”选项卡中,点击环境变量按钮,将系统变量SPM_HOST 的值修改为您的计算机名。),如下图所示:

(5)Copy the spm-kf, spm-config.ini, spmd.exe and SI from our crack intoyour C:\WINDOWS\system32\SPM directory. Overwrite.(从补丁文件夹中拷贝spm-kf,spm-config.ini,spmd.exe 和SI四个文件文件到渲染器安装目录C:\WINDOWS\system32\SPM 目录下,以覆盖掉原有文件。由于spm-kf是一个系统文件,解压缩之后要看到这个文件,就需要在文件浏览器的菜单栏中选择“工具->文件夹选项->查看->高级设置->隐藏文件和文件夹->显示所有文件和文件夹”。)

(6)Check the data in the spm-config.ini so that your COM port is rightand your path to the spm-kf and log are right.(检查 spm 的数据-config.ini 确保你的 COM 端口、spm-kf 、log事件报告文件的路径是否引用是否正确,破解文件中默认的COM端口是COM1。)

(7)Reboot. The first time you reboot, it will complain about the dongletime. Click yes to reset it. Everything is good now.(重新启动系统,第一次重新启动时,系统会提示dongle,在弹出的对话框中单击确定按钮重新设定即可。)

(8)安装完成之后,在我的电脑->计算机管理->服务和应用程序->服务选项对话框中,找到“SPM License Server”这一项,手动启动这一项服务,如果能够正常启动而没有提示无法获取许可证等错误信息时候,表示其许可证安装成功。

如果可以成功获取许可证信息,在MS-DOS命令窗口中运行命令:mentalrayrender –version,或运行命令:mentalrayrender –v。如果出现mental ray standalone的版本信息,表示mental ray standalone安装成功。在MS-DOS命令窗口中运行命令:mentalrayrender xxx.mi,即使用mental ray standalone渲染3DS Max导出的场景文件xxx.mi。

注意:Windows XP系统下,从DOS默认的目录下切换到起到目录,要使用命令:cd ..而不是cd [目录名]。

6.3.2 从3DS Max中导出.mi文件的方法

文本(ASCII).mi文件包含了 mental ray 场景描述信息,mental ray 渲染器能够用来渲染 3DS Max 输出的场景。在用 mental ray 渲染器进行渲染时,可以导出到文本(ASCII).mi 文件。(还有一种二进制 .mi 格式,但3ds max 中的 mental ray 渲染器不会生成这种格式)。

在3DS Max中,可以在“渲染场景(Rendering)”对话框->“处理(Processing)”面板->“转换器选项(Translator Options)”卷展栏中指定要导出的 .mi 文件的名称和存储位置。

0. 基本设计思想

we would like to design a render farm of mental ray nodes to performbatch rendering of .mi files during nightly hours. We want to keep the renderfarm independent from 3D modeling tools which create the file (i.e. XSI, Maya,3ds max, etc.)

you need shader libraries from each of the installed versions ofyour other apps. Ie, the standalone will come with that vendor's shaders only.

使用Sun Grid构建Blender渲染集群

主页:https://blender.dev.java.net/

The goal of this project is to bring Blender to the Sun Grid ComputeUtility.Blender is an integrated suite of tools enabling the creation of abroad range of 3D content with the singular benefits of cross-platformoperability.

第7节  三维实时云渲染平台的构建

7.1 三维实时云渲染平台——3期工程建设目标

根据公司的业务需求,适当增加公司渲染农场的硬件并升级相应的软件系统,实现渲染农场的更新。在此基础上,利用EnFuzion软件、LSF与LSF Multicluater提供的reference和API,研究如何实现异构集群之间资源的共享与调度,构建一个基于异构集群(LSF集群与EnFuzion分布式并行集群渲染系统)的跨平台三维渲染网格。可采用EnFuzion或者LSF Multicluater插件(或者中间件)技术实现不同集群之间的资源调度与任务分配。

(1)完善1期工程建设的混合平台并行渲染集群系统的功能,修补其中的Bug

(2)完成异构混合平台三维实时渲染网格以及并行文件系统(GPFS)的构建

(3)实现项目素材数据库与共享资源文件数据库(服务器)互联的优化

根据AxceleonEnFuzion软件提供的相关API编程接口与Reference(参数),通过渲染农场中正在处理的渲染作业的提交者的ID(及其可以在相应职员个人信息数据库中获取的该职员的姓名、腾讯通、电子邮箱等联系方式、计算机名等)、渲染作业处理的时间等,将相应的三维模型源文件与渲染成品通过用户的添加操作直接提交到使用跨平台编程语言开发的数字创意素材共享平台中,从而实现数字创意素材共享平台数据库中文件的实时自动化更新。同时,可以很方便地记录该素材的相关信息,如创建者姓名、联系方式、IP地址、创建与更新日期,使用者姓名、联系方式、IP地址、使用日期、修改建议等信息,并可以将使用者的修改建议、提出修改建议这的相关信息等直接通过BXEIM客户端发送给该模型创建者,以便建模师或渲染师等相关负责人及时进行修改。

这时,三维实时建模技术可能已经比较成熟,可以投入日常使用。这时,就需要在原有EnFuzion分布式并行集群系统的基础上实现高性能计算的功能,从而使实时三维建模系统不仅可以利用网格计算平台来实现复杂数据的实时处理功能,而且可以实时得到渲染后的三维模型,以便及时根据所得到的结果进行相应的调整,从而得到比较理想的三维模型。而且可以解决虚拟摄影棚中,三维场景的实时跟踪与匹配对高性能计算的要求。

7.2三维实时云渲染平台的新增功能

(1)完善渲染状态的实时报告功能

当用户提交作业成功时,在用户终端(该渲染作业提交者)弹出一个对话框提示用户“作业提交成功,正在处理中”,若提交作业失败,则在用户终端弹出一个对话框提示用户“提交失败,请重试!”并给出相应的错误分析信息;

当某一用户提交的渲染作业在处理过程中出现错误并需要重新提交时或者渲染作业树立完成时,就触发一个事件,以通过BXGIM V1.0(自主研发的一种基于网格的跨平台即时通信软件)向提交该渲染作业的用户发送即时提示信息,并将该信息保存到数据库中。该用户可以通过点击当前(托盘上显示的信息)弹出的信息提示对话框来查看该信息的详细情况,以后也可以使用自己的的帐号与密码登录到数字创意素材共享平台中的信息管理数据库系统来查看针对自己的相关信息;同时,在用户端有一个相应的基于B/S或者C/S架构的提示信息管理软件来实现对提示信息的管理,如发布信息、删除信息、更新信息等,以便建模工程师、渲染工程师、动画编辑师之间即时交流有关模型加工处理方面的信息(如文件名、文件提交者、修改建议及其建议提出者的相关个人信息),实现数字内容产品开发项目管理的数字化,以便相关人员即时对模型进行修改与完善、提高工作效率,可考虑其在基于无线城域网的环境下应用及其优点。

(2)通过AxceleonEnFuzion软件相应的API编程接口与相关参数,将需要保存到创意素材共享平台数据库的模型源文件与渲染成功后的作品,通过在渲染农场的Web用户界面中点击“保存到数据库”按钮等操作将相应的模型与作品保存到数据库中。同时,用户可以通过创意素材共享平台的用户界面对保存到数据库中进行添加、更新、删除、检索、下载等操作。这属于AxceleonEnFuzion软件的二次应用开发,它可以有效地弥补EnFuzion渲染农场中将有关渲染的文件保存到文件服务器相应目录下的不足——在渲染结束后,用户再难以对文件服务器中的文件进行删除、下载等操作,而只有对相应模型与渲染成品再次进行入库、整理等操作才可以方便地使用这些模型或者渲染成品。

如果Axceleon EnFuzion软件没有提供实现上述方案的API编程接口或者参数,文化创意素材共享平台就可以采用C/S的架构模式来实现。这样,三维模型及其相应渲染成品的管理就通过单独的界面对数据库系统进行添加、更新、删除、检索、下载等操作,以实现三维模型源文件及其渲染成品的有效管理。

7.3 云渲染公共服务平台(Grid Render Center,简称GRC)——4期工程建设目标

网格渲染公共服务平台(Grid Render Center,简称GRC)是在异构混合平台三维实时渲染网格基础上,开发的一个面向普通渲染用户的分布式跨平台渲染服务管理系统,主要用于为Internet环境下的三维渲染用户提供渲染服务,是异构混合平台三维实时渲染网格的一个应用管理系统。其功能如下:

(1)运行在Linux(2.6及其更新内核的版本)、Unix、Windows XP、Mac OS平台上;

(2)用户登录注册,修改联系方式、付款方式、密码、用户类型等个人信息,查看个人帐号中剩余的费用;

(3)申请注册的用户经系统管理员审核之后,在试用期限内可以进行试用10分钟;

(4)付费用户可以提交自己的渲染作业,渲染成功之后GRC系统通过即时通信软件BXEIM,向给用户发送一条系统自动生成的提示信息,如“您提交的作业已渲染完成,请您及时下载,谢谢您选用GRC平台!。”等。

(5)系统根据用户提交作业的文件类型、大小、渲染方式、运行时间等因素,按照不同的权重来计费;用户成功下载渲染成品之后,系统自动扣除相应的费用。

7.4实施的意义

利用EnFuzion渲染管理软件可以将普通联网电脑作为渲染节点的优点,充分发挥公司现有计算机资源的效用,提高资源的利用率。从经济学的角度来分析,提高计算机设备与软件的利用率可以避免或减少因设备与技术升级更新所导致的固定资本的无形磨损,加快资金周转,节约预付资本,获得更多的利润。

有效的实现了数字创意素材管理与员工绩效管理的集成,将现有的各种系统构成了一个有效的、科学写作的大系统,可以节约许多人力、物力与财力。充分利用先进的科学技术实现数字内容制作手段与方法的革新,同时大幅度提高生产的效率与效益,提高企业的影响力与市场竞争力。

附录:并行(共享)文件系统应用案例

——GPFS技术在中央电视台制作业务系统的应用

中央电视台采用了“GPFS+千兆以太”的网络存储架构来实现各种业务数据的存储及传输,这在中央电视台以至国内广播电视行业内均属先例。该网络存储架构的传输链路完全基于千兆以太技术,并通过以太捆绑技术充分保证传输带宽和传输安全。经实际运营阶段的观察,其性能满足系统原设计预定指标并存在相当的扩展裕度。

1.GPFS及其框架

基于AIX或Linux操作系统的并行文件系统(GPFS)允许使用者共享分布在多个节点和多个磁盘上的文件。它允许并行的应用程序同时从GPFS节点组(nodeset)中的任何节点访问相同或不同的文件(节点组nodeset被定义为一组运行相同版本GPFS的节点)。

图 GPFS的基本架构

2.GPFS的优点及其特性

2.1高性能的并行文件系统

GPFS文件系统的设计目标就是使数据分布在一个集群中的所有节点上,允许应用程序通过标准的UNIX文件系统接口来访问数据。大多数的UNIX文件系统被设计在单一服务器环境下使用,在这一环境下,增加文件服务器也不会提高特定的文件存取的性能。GPFS被设计成通过将I/O分布在多个硬盘提高性能,通过日志和复制的方式提高可靠性,和通过增加节点的方式提高系统的可扩展性。基于其特性,可以将其应用到中央集中存储架构当中,这就使得我们的系统能够承担成千上万的高码率并发冲突。将服务器以及存储本身的节点连接起来的技术,使得广播电视行业用户在视音频制作的时候可以应用本身的高吞吐量和高数据。

2.2虚拟化的分区

经济频道节目制作业务系统在设计中要求采用开放标准的存储架构,使得系统可以支持层级存储。本系统中设计了节目在线制作存储区、媒体资产在线缓冲区和基于数据流磁带库的近线存储区。

而GPFS分区化管理在存储本身是逻辑化的,而非物理化。数据文件的存储位置和数据文件本身位置指针关联,这就使得数据文件根据工作流模式在分区间进行迁移的时候,并不是真正数据拷贝迁移,而是数据文件本身位置指针内容的改变。

虚拟化分区将数据文件本身和工作流程的关系分离,意味着不需要在存储管理流程设计的时候把工作流程和数据文件紧紧的捆绑起来,不需要因为迁移管理服务器的服务器主机性能、网络带宽限制或者安全等因素制约,而增加成本。并且在GPFS存储的两级数据迁移效率得到大幅提升。

2.3冗余性

GPFS在文件结构表上对于存储数据本身和文件系统本身是共存的结构,这一特点使得访问和锁定对于节点永远是可用的,所以基本不存在单点故障的可能性,其安全性和可靠性在文件系统级别上已经能够得到保证。

2.4同质性

客户端无论是NIFS系统或者是苹果的AFP系统的文件协议,或者是CIFS的系统,对于GPFS这样的文件系统来讲都是等同性的,所以它们可以用同样的结构访问GPFS文件系统。

2.5缓存管理

每一个GPFS的节点都有独立的缓存管理空间,使得不同客户端通过不同的节点访问时,都有自己的缓存空间,令访问速度大大提高。

2.6支持SANergy客户端

同时支持SANergy和非SANergy客户端。三系统实际运行状态如图3所示。

3.建设过程中注意事项

3.1线缆的选购和铺设

GPFS节点使用六类线捆绑(不是光纤)连接交换机。需要注意:由于视音频制作业务要求数据响应的实时性,因此对于以太网络电气性能指标较高。在大型存储和服务器集中部署的情况下,虽然以太链路测试指标符合国际标准,GPFSNODE到交换机之间的以太链路依然容易受到电磁干扰,视音频流数据的传输就存在丢包或者延时。通过测试和实际使用,建议将该段的以太链路采用成品屏蔽六类线直连替代(中间不经过线架),并且最好做好线槽屏蔽工作。

3.2微码的匹配问题

GPFS存储系统的微码包括两个方面:硬盘本身的firmware以及GPFS本身的firmware。如果硬盘组中的各硬盘firmware不一致,或者GPFS的firmware不适配,都会造成数据读写的不稳定。在系统试运行阶段,曾出现视频数据传输抖动现象,造成了用户无法进行正常的编辑和下载工作。在经过一系列的分析处理、IBM工程师在对系统作了相应版本升级之后,系统的传输效率得到明显的改善,数据从核心到客户端的传输正常平均延时小于70ms。

因此建议在系统调试阶段一定要注意硬盘组firmware的一致性,以及选择成熟稳定的GPFS服务器firmware版本。

你可能感兴趣的:(3D,GIS,大数据,分布式)