将腾讯混元3D模型封装为MCP服务,使AI编程代理能自动化处理游戏资产管线。
🎮 使用本地 AI 模型,直接从 Claude Code、Cursor 或终端将单张图片转换为带纹理的 3D 游戏资产。
认识 MCPBytes Image-to-3D,这是一个基于腾讯混元3D 2.1(Hunyuan3D 2.1)构建的免费开源 CLI 和 MCP 服务器。
它不是另一个新训练的 3D 模型。相反,它将现有的生成式模型打包成一个完整的流程,供 AI 编码代理实际使用。
它能做什么?
给它一张物体的 PNG、JPEG 或 WebP 图片。
该工具会自动:
▪️ 去除背景:使用 U²-Net 隔离主体,或保留现有的透明度蒙版。
▪️ 重建几何体:使用 Hunyuan3D 2.1 从参考图中生成 3D 网格。
▪️ 生成 PBR 材质:创建基础颜色和金属粗糙度纹理。
▪️ 清理网格:焊接顶点,移除不相连的碎片,并将物体归一化为单位尺寸。
▪️ 定位资产:将模型放置在地面上,以 +Y 轴为向上方向。
▪️ 优化用于网络:生成单独的 GLB 文件,包含 Draco 压缩的几何体和 WebP 纹理。
▪️ 创建预览:自动从六个方向渲染模型,包括正面、背面、侧面、顶部和底部。
输出不仅仅是一个单一的 3D 文件。
你会得到:
▪️ model.glb:带有 1024px PBR 纹理的完整几何体。
▪️ model.web.glb:适用于浏览器和引擎的压缩版本。
▪️ model_preview.png:六视图预览表。
▪️ 单独的预览图像和相机元数据。
▪️ 生成设置、时间、校验和以及来源记录。
最后这一点对于自动化资产管道特别有用。
并且它通过 MCP 工作。
将服务器连接到 Claude Code、Cursor 或其他兼容的 AI 客户端,然后让它根据参考图生成一个 3D 对象。
代理可以调用 create_3d_model_from_image,检查生成的预览,并在更大的工作流程中使用结果文件。
无需手动 GUI 交互。
性能和硬件:
开发者在 NVIDIA A40 上测量了两种模式:
▪️ 简化模式:40K 面片,512px 绘制视图,峰值显存 28.2GB,耗时 203 秒。
▪️ 完整模式:120K 面片,768px 绘制视图,峰值显存 41.2GB,耗时 386 秒。
两项测量均包含大约两分钟的模型加载时间。
要求:
▪️ Linux 或通过 WSL2 的 Windows。
▪️ 至少 32GB 显存的 NVIDIA GPU。
▪️ 兼容 CUDA 12.8 的驱动程序。
▪️ 约 19GB 用于模型权重,另加 16GB 用于 Python 依赖项。
一条命令安装:
uvx --python 3.12 --torch-backend=auto mcpbytes-image-to-3d chair.jpg
没有强大的 GPU?还有一个云选项。
添加 --cloud 将任务发送到 MCPBytes 服务器。
▪️ 注册时赠送 300 个免费积分。
▪️ 经济级生成:30 积分。
▪️ 高质量:100 积分。
▪️ 最高质量:150 积分。
云端处理需要 API 密钥。本地模式不会上传你的图片。
另一个有趣的细节:可复现性。
开发者报告称,相同的参考图、随机种子、设置和 GPU 会产生逐字节完全相同的输出。
这对于可重复的资产生成很有用,尽管尚未确定不同硬件之间的可复现性。
重要限制:
▪️ 背面和底面是推断出来的,而不是从实际观察中重建的。
▪️ 模型不会自动绑定骨架、密封或准备好用于 3D 打印。
▪️ 包装器使用 AGPL-3.0 许可证,而腾讯的模型许可证有单独的限制,包括对欧盟、英国和韩国的地理排除。
为什么这很重要:
有趣的发展不仅仅是从图像生成 3D 对象。我们已经有这种能力有一段时间了。
它是让整个流程对自主开发代理变得可用。
想象一下 AI 游戏开发工作流程,它创建一个对象,生成其 3D 资产,检查多个视角,并通过工具将其导入项目。
MCPBytes 为该工作流程提供了一个实用的构建块。
💻 https://github.com/MCPBytes/mcpbytes-image-to-3d
📖 https://mcpbytes.com/docs/image-to-3d-model
#GenerativeAI #GameDev #MCP #OpenSource
来源:CuteGuy☣️ · x.com