2分钟建模 AI框架GauHuman：实现高质量3D人体快速重建和实时...
本帖最后由 sunsili 于 2024-1-11 21:21 编辑2分钟建模 AI框架GauHuman：实现高质量3D人体快速重建和实时渲染
**划重点:**
-南洋理工大学与商汤科技的S-Lab团队推出GauHuman，基于Gaussian Splatting实现高质量3D人体快速重建和实时渲染。
- GauHuman在1~2分钟内完成建模，每秒渲染高达189帧，超越了现有方案，应用前景广泛，涵盖游戏、电影、虚拟现实等领域。
-通过SMPL参数和神经网络，GauHuman有效处理单目人体视频，快速生成高质量3D数字人，开创了3D人体建模新局面。
1月11日 消息:南洋理工大学与商汤科技的S-Lab团队近日发布了一项令人振奋的研究成果，推出了基于Gaussian Splatting的高效3D人体建模框架，被命名为GauHuman。该框架在快速重建和实时渲染方面取得了显著的突破，为数字领域的人体建模提供了高效解决方案。
GauHuman的主要特点之一是其在短时间内完成3D人体建模的能力。通过利用Gaussian Splatting技术，该框架仅需1到2分钟即可完成对单目人体视频的建模，这一速度远远领先于现有的方案。不仅如此，GauHuman还实现了高达189帧每秒的实时渲染，为用户提供更加流畅和逼真的体验。
这一框架的应用前景也非常广泛，覆盖了游戏、电影制作、虚拟现实等多个领域。用户只需提供一段单目人体视频以及相应的相机参数和人体动作体形参数（SMPL），即可在短时间内完成对3D数字人的高质量建模。这使得GauHuman在数字创意领域具有巨大的潜力，为创作者提供了更灵活、高效的工具。
GauHuman的建模框架基于Gaussian Splatting，并受到了之前人体神经辐射场（Human NeRF）的启发。通过对标准空间下的3D人体进行建模，再利用线性蒙皮算法(Linear Blend Skinning，LBS)将其转换到目标空间，GauHuman有效地解决了传统方法中的一些难题。在优化算法方面，GauHuman通过3D高斯球的初始化、分裂/克隆/合并操作以及剪枝等手段，进一步提高了建模效率和质量。在实验中，GauHuman在ZJU_MoCap和MonoCap两个单目人体数据集上进行了比较，与多个先进的3D人体重建方法相比，包括NB、AN、AS、HumanNeRF等，GauHuman在PSNR、SSIM和LPIPS指标上表现出色，验证了其在性能上的卓越。
研究团队表示，虽然GauHuman已经取得了显著的成果，但仍存在一些待解决的问题，如如何从3D高斯中提取人体mesh以及从单目视频中恢复3D人体的细节等。不过，他们对GauHuman的未来发展充满信心，同时已经将代码完全开源，鼓励广大开发者共同参与，共同推动这一领域的研究和创新。
**参考链接:**
https://arxiv.org/abs/2312.02973
[项目主页]https://top.aibase.com/tool/gauhuman
[代码开源]https://github.com/skhu101/GauHuman
页:
[1]