Pixal3D 通过像素对齐技术提升图生 3D 保真度,为游戏资产制作提供高细节低修改成本的方案。
AI 已经能从一张图片生成 3D 模型了,但生成出来的模型,到底能有多像原图?
比如一张披萨图片,上面的各种配料能不能准确还原?一座漂亮的风车小屋,那些复杂的装饰和纹理能保留下来多少?
清华大学、腾讯 ARC 和惠灵顿维多利亚大学合作开发的 Pixal3D,就是专门解决这个问题的。
它采用了一种像素对齐技术,把原始图片中的特征映射到三维空间,让图片里的细节与生成的 3D 几何结构建立更直接的对应关系。
视频里拿 Pixal3D 和 Hunyuan3D 3.1、TRELLIS 2 做了对比。披萨、风车小屋、人物雕像、帆船等复杂模型,纹理、装饰和结构细节的差异都很直观。
项目已经开源,支持:
单张图片生成 3D 模型,导出 GLB 文件
多视角图片联合生成,进一步还原物体的三维结构
低显存运行模式
在线 Demo,直接体验生成效果
我觉得这项技术很适合游戏资产制作,尤其是独立游戏开发。
现在用 AI 生成一个 3D 模型已经很快了,但模型生成之后,经常还要花不少时间修复形状、补充细节、调整贴图。
如果能在生成阶段就尽量保留原图的复杂结构和材质细节,后期的修改工作就可能少很多。
以后制作游戏里的建筑、道具、装饰物,甚至复杂角色,完全可以先设计一张满意的概念图,再利用这类技术快速转成 3D 资产。
我更期待的是,这种高保真图生 3D 技术能和 AI 游戏开发工作流结合起来,让一个人也能高效制作出大量风格统一、细节丰富的游戏资产。
GitHub:https://github.com/TencentARC/Pixal3D
https://x.com/cutetoxicguy/status/2119799674177740865/video/1
来源:黑箱之外 · x.com