通过代码重构替代传统资产生成,提供可编辑的3D模型构建新思路。
🎮 如果有一个 AI 编程代理,仅使用 Three.js 代码就能从参考图像中重建几乎任何对象,会怎样?
无需下载的 3D 模型。无需摄影测量法。无需网格生成 API。
介绍 img2threejs,这是为 Claude Code、Codex、OpenCode 及其他编程代理设计的开源技能。
它将对象和角色重建为完全程序化、可编辑的 3D 模型,并使用 TypeScript 编写。
这与普通的图像转 3D AI 有何不同。
传统模型生成的几何体随后会被导入 Blender 或游戏引擎中。
img2threejs 生成的是一个构建几何体的程序。
一个模型可以包含:
▪️ 基本形状和自定义程序化表面。
▪️ 参数化曲线和测量的几何轮廓。
▪️ 程序化材质和着色器。
▪️ 带有命名枢轴点的分层对象部件。
▪️ 动画关节、连接点和碰撞几何体。
▪️ 角色的骨骼和蒙皮系统。
生成的模型是一个 http://THREE.Group 工厂。
你可以修改其比例,对各个组件进行动画处理,并通过编辑普通代码来改变其外观。
但 AI 如何实现视觉准确性呢?
该代理遵循结构化的重建工作流程。
1. 分析参考图像
识别比例、主要形态、轮廓和可识别的细节。
2. 规划几何体
将对象分解为多个部分,并选择合适的程序化表示方式。
3. 生成模型
编写创建形状、材质和组件层级的 TypeScript 代码。
4. 渲染与比较
从匹配的相机角度捕获生成的对象。
5. 改进
识别视觉差异,并优化代码,直到模型通过质量检查。
该过程包括针对几何体、视觉相似性和动画行为的具体验证关卡。
画廊展示了这项技术能达到的高度。
该项目包含了以下实时示例:
▪️ 风格化的热带岛屿。
▪️ 机械物体和车辆。
▪️ 详细的程序化武器。
▪️ 具有关节部件的人形角色。
▪️ 交互式游戏场景。
每个示例都直接在浏览器中运行,并且可以检查其生成的源代码。
这在哪些地方会有用?
▪️ 程序化游戏环境。
▪️ 交互式网站。
▪️ 产品配置器。
▪️ 轻量级 3D 插图。
▪️ 带有可编辑参数的动画就绪对象。
这里存在重要的权衡取舍。
输出结果不能保证与参考图像完美匹配。
复杂的有机形状和照片级逼真的表面可能难以用程序化几何体重现。
生成过程还高度依赖于编程代理的视觉推理能力及其检查渲染结果的能力。
但背后的理念非常强大。
与其生成另一个 3D 资产,不如生成知道如何构建它的代码。
这将 3D 重建变成了一个可编辑的软件工程问题。
💻 https://github.com/img2threejs/img2threejs
#ThreeJS #AICoding #3DArt #OpenSource
来源:CuteGuy☣️ · x.com