谷动谷力

标题: NVIDIA推出实时文生3D AI模型“LATTE3D” [打印本页]

作者: 鸣涧    时间: 2024-4-12 16:20
标题: NVIDIA推出实时文生3D AI模型“LATTE3D”
编译/VR陀螺

日前,NVIDIA的AI研究团队在GTC活动中宣布推出一种新的AI生成模型“LATTE3D”。

该模型被称作“虚拟的3D打印机”,可以在一秒钟内将文本提示转换为“可用于标准渲染应用程序流行格式”的3D模型,并随时部署在视频游戏开发、广告、设计项目以及包括VR/AR在内的任何需要虚拟环境的应用程序中。

LATTE3D会根据文本提示为创建者提供不同的3D模型选项,选定的对象可以在几分钟内进行优化,以实现更高的3D模型质量。用户可以将优化后的模型导出到诸如NVIDIA Omniverse等的图形软件应用程序或平台中,从而实现基于通用场景描述的3D工作流程和应用程序。


NVIDIA推出实时文生3D AI模型“LATTE3D”
图源:NVIDIA

据NVIDIA介绍,LATTE3D使用NVIDIA A100 Tensor Core GPU进行训练,并在该公司的演示中实现了在单个NVIDIA RTX A6000上运行。这意味着LATTE3D在单个GPU上运行推理时几乎可以实时生成3D模型。

英伟达人工智能研究副总裁Sanja Fidler对此表示:“一年前,人工智能模型需要一个小时才能生成LATTE3D质量的3D视觉效果,而目前这一水平已经被提升到了10-12秒。通过LATTE3D,我们可以让各行各业的创作者实现近乎实时的文本到3D生成。”

训练数据方面,除了3D形状之外,LATTE3D还对使用 ChatGPT生成的各种文本提示进行了训练,以提高模型处理用户可能想出的各种描述特定3D对象的prompt的能力,例如输入不同犬科物种的提示都可以生成对应犬类品种的外形。虽然研究人员目前仅在两个特定的数据集(动物和日常物品)上训练LATTE3D,但未来或许可以使用相同的模型架构添加更多训练数据类别。

NVIDIA推出实时文生3D AI模型“LATTE3D”
图源:NVIDIA

作为一个研究项目,LATTE3D目前仍处在开发阶段,根据NVIDIA的说法,该项目不局限于3D模型,未来或许还将扩展到“文本生成4D”或“3D动画生成”领域。

来源:blogs.nvidia





欢迎光临 谷动谷力 (http://bbs.sunsili.com/) Powered by Discuz! X3.2