跳到正文
endy· 来源· @geniusendy · X·· 4 小时前精选AI 评分70
推荐理由

通过构建3D RPG实测Reason Machines的自主编码能力,揭示其在代码生成与端到端可靠性间的差距。

正文 · AI 翻译

我用构建一个3D RPG的方式测试了reason agent——以下是哪些地方奏效、哪些地方出了问题

当你可以给一个自主编程agent一整个3D奇幻村庄去操心时,为什么还要用一个基础落地页来测试它呢?

我让@reasonmachines用three.js给我构建一个俯视角RPG,而这个小实验最终让我对reason machines、他们正在构建的东西,以及AI编程agent仍有成长空间的地方有了很多了解。

如果你还没接触过他们,reason machines是一家YC支持的初创公司,正在打造reason——一个专为真实软件工程工作设计的自主编程agent。

它不只是告诉你该怎么做,而是能检查代码仓库、编写代码、运行命令、调试问题、测试应用,并使用完成任务所需的工具。

除了编程之外,它还让你可以连接外部应用、设置周期性工作流、在云机器上运行会话,甚至让不同的AI agent相互协调。

我想看看这些有多少能转化为实践。

-- 实验:

我给reason下了一个相当有野心的提示词(使用reason的默认模型):

build a top-down fantasy rpg in three.js with houses, pathways, npcs, companions that follow the player, enterable buildings with multiple floors, and furnished interiors.

基本上,就是一个微型的交互式奇幻世界。

在reason推进构建的过程中,吸引我注意的不只是代码生成,而是能够看到调试过程。

第一次浏览器预览遇到了WebGL问题,于是reason用一种替代渲染方案绕过了它。

接着是环境缩放问题、渲染调整,以及弄清楚当玩家走进建筑时建筑应该如何变透明。

我没有干等一个黑盒式的最终输出,而是能真正看到它在尝试什么、什么失败了,以及它如何恢复。

当你交给agent的东西比单个组件更大时,这种可见性非常重要。

最终,它交付了brackenmere——一个出人意料地迷人的低多边形小村庄,有树木、小路、一口村井、NPC、一支冒险者队伍、一个小地图、移动控制,以及一个名为“bring the lantern home”的任务。

考虑到我只描述了想要的体验并让reason负责实现,这已经相当不错了。

当然,当我真正开始探索村庄时,事情变得有点超自然了。

我的角色悬浮在地面上,移动感觉很奇怪,一些建筑交互也不太对。

但在玩笑背后,这里有一个真正的工程教训:

- 让agent生成看起来能用的软件,和让软件在人类实际接触时真正能用,是两件非常不同的事。

agent可以编写代码、运行检查并报告成功,却仍然遗漏那些你一与应用交互就立刻显而易见的明显问题。

说实话,一个干净的预览还不够,我想知道按钮是否有效、移动是否合理、应用能否承受意外输入,以及它是否真正符合最初的提示词。

reason在这里承担了大量繁重工作。剩下的差距是端到端的可靠性。

在游戏构建之后,我花时间探索了平台的其余部分,而reason在这里变得更加有趣。

1. 云计算机:

你不需要在笔记本电脑上运行一切,而是可以启动一个包含你的代码仓库、依赖项和工具的云环境,然后在你离开时让agent继续工作。

你还可以在本地和云环境之间切换,并随时检查实时会话。

2. reason network:

通常,如果你在一个项目上使用claude code,在另一个项目上使用codex,又在别处使用pi或opencode,这些agent会生活在完全隔离的孤岛中。

reason network是一个开源协调层(与reason agent本身分开),让受支持的agent能够相互发现、交换消息,并跨机器协调工作。

我真的很喜欢这种方法,因为agentic工作流的未来可能不是所有人都转向一个模型、一个IDE或一个harness。

人们已经有自己喜欢的工具,所以帮助这些工具协作,和构建另一个独立agent一样有用。

它还凸显了我经常思考的关于编程工具的一点:

- 模型给你智能,但harness决定这种智能能多有效地转化为真实工作。

两个运行完全相同模型的agent,可能因为它们的工具、上下文管理、错误恢复和验证方式不同,而给你截然不同的结果。

3. reason loops(周期性工作):

我还想测试Reason能否处理计划性工作,而不需要我每天开始一个新聊天。

我让它设置每天早上9点(UTC+1)生成一份每日AI新闻报告,涵盖重大AI公告。

在就日程配置来回沟通了一会儿之后,reason创建并启用了这个loop。

对于每日技术研究、代码仓库监控或问题分类之类的事情,定义一次工作流并让它按计划运行是非常实用的。

请注意,我验证了loop已创建并启用,但我还没有测试多份每日报告随时间推移的质量,也没有对完整的agent-to-agent协调工作流进行端到端压力测试。

所以我就说到这里,因为我不想把“功能存在”和“功能经过实战检验”混为一谈。

-- 我对reason machines的最终看法

我真心对reason在一个屋檐下整合了这么多东西感到印象深刻,从把一个有野心的three.js RPG提示词变成可玩原型,到将云执行与多agent协调(network)和计划性工作流(loops)配对。

我接下来想看到的是更强的端到端验证、更好的交互式试玩测试,以及当任务没有完全完成时更清晰的报告。

在这一点上,对我来说,AI编程agent的大问题不是它们能生成多少代码,而是我们能在多大程度上信任它们妥善完成任务。

我肯定会继续试验reason,尤其是云工作流和agent协调。

但在我们走到那一步之前,reasonmachines,请解释一下为什么我的角色在飞。😭

我有一整个村庄要探索,而重力显然已经辞职了。

总之,我录制了完整的演示过程——包括构建过程、我探索的平台功能、loop测试,以及可疑的角色物理。

顺便说一句,这不是赞助内容——只是构建、测试、弄坏东西,并分享我学到的东西。

在https://reasonmachines.com免费试用,并BYOK

来源:endy · x.com