今早,在好意思国丹佛举行的第51届SIGGRAPH图形大会上激情文学小说,NVIDIA书记,将为寰球逾越的机器东谈主制造商、AI模子开拓者和软件制造商提供一套办事、模子以及接洽平台,以开拓、磨练和构建下一代东谈主形机器东谈主。
NVIDIA带来了适用于OpenUSD语言、几何体、物理学和材质的生成式AI模子与NIM。这一新办事将加速基于通用场景花式的职责流以及工业数字孪生和机器东谈主的开拓。
NVIDIA独创东谈主兼CEO黄仁勋默示,“AI的下一波波涛是机器东谈主,其中最令东谈主振奋的发展之一是东谈主形机器东谈主。咱们正在鼓励扫数NVIDIA机器东谈主堆栈的发展,面向寰球东谈主形机器东谈主开拓者和公司怒放造访,让他们或者使用最顺应其需求的平台、加速库和AI模子。”
值得一提的是,黄仁勋还同Meta独创东谈主兼CEO马克·扎克伯格进行了炉边语言。二东谈主一同探讨了基础商榷怎样推动AI打破性推崇,以及生成式AI和开源时代怎样为开拓者和创作家赋能。
将生成式AI引入OpenUSD
在本次大会上,NVIDIA发布了通用场景花式(OpenUSD)的要紧服从。据先容,NVIDIA将扩大这一通用3D数据交换框架在机器东谈主、工业假想和工程范围的欺骗,栽种开拓者为AI新一轮发展构建高精度编造宇宙的能力。
本次新推出的内容包括,适用于AI模子的NVIDIA NIM™微办事。
这些微办事可生成陈说用户查询的OpenUSD语言、生成OpenUSD Python代码、将材质欺骗于3D物体、交融3D空间和物理学以匡助加速数字孪生的开拓等。
91色色色此外,还包括可用于机器东谈主和工业仿真数据形状的全新USD相连器,以及各式开拓者器具,用户可通过它们将海量NVIDIA RTX™全明后跟踪数据集传输到Apple Vision Pro。
公开而已先容,NIM全称为Nvidia Inference Microservice,即英伟达推理微办事,是Nvidia AI Enterprise的一部分,不错匡助客户快速部署产等级AI大模子欺骗。
寰球首个用于OpenUSD开拓的生成式AI模子也将以NVIDIA NIM微办事的形式提供。借助这些模子,开拓者或者将生成式AI copilot和智能体整合到USD职责流中,拓宽3D宇宙的可能性,匡助加速USD在制造业、汽车行业和机器东谈主等新工业范围的欺骗。
预览版中的微办事包括:
· USDCodeNIM微办事:陈说知识性OpenUSD问题激情文学小说,并基于文本教唆自动生成OpenUSD-Python代码,然后将其输入到OpenUSD检讨欺骗步伐(举例皮克斯的USDView)或基于NVIDIA Omniverse Kit的欺骗,以结束相应3D数据的可视化。
· USDSearchNIM微办事:使开拓者或者使用当然语言或图像输入,在海量OpenUSD、3D和图像数据库中进行搜索。
· USDValidateNIM微办事:检验上传文献与OpenUSD发布版块的兼容性,并生成都备由NVIDIA Omniverse Cloud API(欺骗编程接口)驱动的RTX渲染旅途跟踪图像。
行将提供的新微办事包括:
· USD Layout NIM微办事:使用户或者基于空间智能,根据一系列文本教唆拼装出基于OpenUSD的场景。
· USD SmartMaterial NIM微办事:展望并将传神的材料欺骗于接洽机辅助假想对象。
· fVDBMesh Generation NIM微办事:根据点云数据生成基于OpenUSD的网罗,并通过Omniverse Cloud API进行渲染。
· fVDBPhysics Super-ResNIM微办事:对帧或帧序列奉行AI超分辨率,生成基于OpenUSD的高分辨率物理仿真。
·fVDB NeRF-XL NIM微办事:使用Omniverse Cloud API在OpenUSD中生成大范畴神经放射场。
加速东谈主形机器东谈主发展
开拓者还不错通过造访新的NVIDIA NIM微办事,用于Isaac Lab和Isaac Sim中的机器东谈主仿真、OSMO机器东谈主云接洽编排办事和长途操作数据拿获职责流等。
NIM微办事提供了由NVIDIA推理软件提供提拔的预构建容器,使开拓者或者将部署时分从数周镌汰到几分钟。
机器东谈主群众则将或者通过两项新的AI微办事,在NVIDIA Isaac Sim™(基于NVIDIA Omniverse™平台构建的机器东谈主仿真参考欺骗)中增强生成式物理AI仿真职责流:
MimicGen NIM微办事可根据Apple Vision Pro等空间接洽开拓纪录的长途操作数据,生成合成畅通数据。Robocasa NIM微办事可在OpenUSD(一个用于在3D宇宙中进行开拓和合营的通用框架)中生成机器东谈主任务和仿真就绪环境。
现已推出的NVIDIA OSMO是一项云原生托管办事,允许用户跨散布式接洽资源来协长入扩展复杂的机器东谈主开拓职责流,无论是在土产货照旧在云霄。
OSMO大大简化了机器东谈主磨练和仿真职责流,将部署和开拓周期从数月镌汰到一周内。用户不错对各式任务进行可视化惩办,包括合成数据生成、模子磨练、强化学习以及大范畴的东谈主形机器东谈主、自主出动机器东谈主和工业机械臂软件在环测试。
同期,NVIDIA还提供了三个接洽平台来简化东谈主形机器东谈主的开拓,别离是:用于磨练模子的NVIDIA AI超等接洽机;基于Omniverse构建的NVIDIA Isaac Sim,使机器东谈主不错在仿真宇宙中学习和完善手段;以及用于初始模子的NVIDIA Jetson™Thor东谈主形机器东谈主接洽机。开拓者不错根据具体需求来造访和使用全部平台或其中的任何部分。雷峰网
USD相连器赋能千行百业
多款适用于机器东谈主数据形状和Apple Vision Pro流式传输的全新USD相连器将为更多行业带来OpenUSD互操作性与高档创作能力。
据先容,现时,为匡助更多使用OpenUSD的工业职责负载,NVIDIA与西门子正在扩大合作,西门子将把OpenUSD活水线与其Simcenter仿真时代组书籍成,以提拔基于根据的有狡计和要害利益议论方之间的合营。这一集成不错结束复杂仿真数据的高保真、及时、传神可视化,让企业或者愈加真切地了解家具在本色操作环境中的性能。为打好基础,西门子还将把Omniverse纳入到其Teamcenter家具质命周期惩办软件组合中。
NVIDIA还发布了一个从兼并机器东谈主花式形状(Unified Robotics Description Format)到OpenUSD的相连器,让机器东谈主群众或者将他们的机器东谈主数据无缝导入到用于假想、仿真和强化学习等用途的各式欺骗中。
除此除外,为了进一步推动OpenUSD生态系统的彭胀,NVIDIA发布了OpenUSD Exchange软件开拓套件,匡助开拓者创建出我方的OpenUSD数据相连器。
新的开拓者器具和API可通过NVIDIA Graphics Delivery Network(GDN),将大范畴OpenUSD场景从基于Omniverse平台构建的欺骗流式传输到AppleVisionPro。现在,这些新器具和API提供抢先体验版块。
现在,NVIDIA API目次提供有USD Search、USD Code和USD Validate NIM微办事的预览版,OpenUSD - URDF相连器也已与NVIDIA Isaac Sim™一都提供。雷峰网雷峰网