该模型通过生成Three.js代码实现本地运行,为端侧3D场景构建提供了可修改的新路径。
🚀 一个拥有 40 亿参数的 AI 模型正在学习仅通过代码构建令人惊讶的详细 3D 世界。而且你可以在本地运行它。
独立开发者 CCORE 发布了 Qwen3.5-4B-3D-Coder 的早期预览版,这是阿里巴巴 Qwen3.5-4B 的一个专用微调版本,旨在用于通用编程和交互式 3D 场景生成。
有趣的部分在于?它生成的是实际的 Three.js 代码,而不是图片或视频。
你用自然语言描述一个场景,模型就会编写在浏览器中渲染该场景所需的 HTML 和 JavaScript。
尽管只有 40 亿参数,早期的示例展示了令人惊讶的复杂环境。
🏗️ 它能生成什么?
开发者已经演示了:
▪️ 建筑环境:日本寺庙、传统房屋、村庄和详细的建筑物
▪️ 自然场景:日本花园、盆景树、景观和漂浮环境
▪️ 体素世界:具有复杂空间布局的基于方块的环境
▪️ 详细物体:家具、自行车、机械组件和电子产品
▪️ 奇幻环境:龙骑士定居点、塔楼、平台和互连结构
▪️ 动画场景:具有运动的物体,例如旋转雷达天线和闪烁的灯光
▪️ 通用代码:该微调版本也针对更广泛的编程任务,而不仅仅是 3D 生成
示例包括樱花寺花园、日落村庄、体素发射场、装订工作室、Intel LGA 3647 插槽和龙骑士巢穴。
🧠 它是如何工作的?
这不是直接预测网格的传统文本到 3D 模型。
相反,它使用 Three.js(用于在浏览器中渲染交互式图形的 JavaScript 库)编写程序化 3D 场景。
生成的代码定义了几何形状、材质、光照、相机、对象放置和场景行为。
这意味着结果可以像普通 Web 项目一样进行检查、修改和扩展。
基本工作流程不需要 Blender 集成、MCP 服务器或单独的 3D 生成服务。
作者目前建议使用 Three.js 0.160.0 核心模块生成自包含的 HTML 文件,而不使用其他库。
⚡ 足够小,适合本地推理
目前有两个 GGUF 版本可用:
▪️ Q4_K_M:2.71 GB,4-bit 量化
▪️ Q8_0:4.48 GB,8-bit 量化
▪️ 基础模型:Qwen3.5-4B
▪️ 许可证:Apache 2.0
你可以使用兼容的本地推理工具,如 LM Studio、llama.cpp 或 Ollama。
例如,使用 Ollama:
ollama run http://hf.co/ccore/Qwen3.5-4B-3D-Coder:Q4_K_M
一个重要的设置细节:在 LM Studio 中禁用多令牌预测 (MTP),因为开发者报告称默认设置会导致生成问题。
📈 模型仍在改进中
开发者一直在训练过程中更新发布的检查点。
据报道,10 月 27 日的检查点提供了:
▪️ 更高质量的生成场景
▪️ 更好的单次成功概率
▪️ 更连贯的空间构图
▪️ 修复了早期模型层的问题
作者还一直使用固定的提示词和种子比较检查点,评估视觉质量以及生成的场景是否实际运行。
但有一个重要的区别:这些是初步的开发者评估,而不是独立的编码基准测试。
⚠️ 它仍处于实验阶段
该模型可以产生令人印象深刻的场景,但它并不始终可靠。
▪️ 某些生成结果包含 JavaScript 错误,包括重复的变量声明。
▪️ 复杂场景可能需要多次尝试或手动修正。
▪️ 它生成的是程序化的 Three.js 几何图形,而不是生产就绪的 Blender 网格或 CAD 文件。
▪️ 其通用编码能力尚未通过全面的公开基准测试得到确立。
▪️ 展示的示例并不能保证每个提示词都能达到相同的质量。
📦 接下来是什么?
开发者计划发布:
▪️ 完整的 FP16 模型权重
▪️ 额外的量化版本
▪️ 训练数据集
▪️ 比较模型检查点的技术报告
在此预览之时,公共仓库中包含 Q4_K_M 和 Q8_0 模型。
💡 为什么这很重要
小型编码模型历来在复杂的空间推理和长而互连的代码生成方面表现不佳。
CCORE 正在探索专门的训练能否将相对微小的模型推向更远的地方。
而且其影响不仅仅局限于 3D。
想象一下,在不依赖庞大云模型的情况下,在本地生成交互式网站元素、游戏原型、程序化环境、教育模拟或视觉演示。
一个 2.7 GB 的模型文件就能生成整个交互式 3D 场景,这对于本地 AI 来说是一个相当有趣的方向。
🔗 模型、示例和下载:
https://huggingface.co/ccore/Qwen3.5-4B-3D-Coder
#Qwen #LocalLLM #ThreeJS #AIcoding #OpenSourceAI
来源:CuteGuy☣️ · x.com