GPT-6 Astra 通过直接修改权重重新编程其他 AI 模型

无需通常的分步数学优化训练过程。根据实验的不同，Astra 直接使用数字列表，或利用编程工具以及测试运行的反馈。

研究人员将这种方法称为“权重空间编程”：与其昂贵地重新训练 AI 模型，不如让语言模型像机械师一样调节各个旋钮。

Astra 仅通过查看模型的原始数字即可识别游戏

在多项实验中，研究人员将训练好的网络的原始权重输入 Astra，并询问这些网络学到了什么。Astra 正确识别出某个网络本应玩四款电脑游戏中的哪一款。它还识别出了图像生成器生成的基本形状，尽管它将填充形状与轮廓混淆了。它也正确匹配了小语言模型的训练语言——无需访问训练数据，也无需具备运行模型的能力。

在另一项测试中，Astra 需要判断两个经过微调的语言模型中哪一个被训练为总是与用户保持一致。仅从权重来看，它起初无法区分两者。只有当 Astra 还被允许观察模型在处理文本时的注意力分布时，它才能在所有三对模型中正确识别出阿谀奉承的模型。

从零开始构建的模型击败了经过训练的竞争对手

Astra 更进一步：它完全无需训练，仅基于游戏规则和源代码，为旨在玩三款简单电脑游戏的模型生成了权重。据研究人员称，这些模型在超过一亿轮的训练中表现优于采用标准方法训练的模型。在 Breakout 游戏中，Astra 的模型平均得分为 517 分，而经过训练的基线模型仅为 25 分。在另外两款游戏中，Astra 落后于训练时间最长的版本。

对于 9x9 棋盘上的围棋游戏，Astra 编写了一个拥有约 150 万个参数的网络的权重。在 50 次测试迭代的预算下，网络每轮最多进行 128 场练习对局，随后 Astra 对其权重进行修正，最终击败了一个在约 2000 万场对局上训练的同等规模模型。

针对特定问题的修复，而非全面重新训练

最实用的实验涉及语言模型 Qwen3.5-0.8B。Astra 的任务是提升其数学能力，使用编码环境和 50 次测试迭代进行练习问题评估。评估在 Astra 从未见过的独立问题上进行。

Astra发现了一个问题，而Qwen自身的模型文档早已对此发出警告：即模型陷入思考循环，不断重复相同的文本而无法得出答案。随后，Astra仅调整了全部权重中0.016%的部分。结果：在MATH-500基准测试上的准确率从7.9%跃升至48.1%。指令遵循能力从21%提升至62%。不过，思考循环并未被完全消除，仍有三分之一的响应达到了最大文本长度限制，而此前这一比例为93%。

对于几乎不会陷入此类循环的较小模型（Gemma 3 270M），Astra未能产生任何可测量的改进。

研究人员怀疑 Astra 能够移除 Qwen 模型中抑制现有能力的阻塞，但通过仅重写单个权重，无法添加模型从根本上缺乏的技能。

旧闻还是新范式？

AI 先驱 Jürgen Schmidhuber 在 X 上评论称该方法“老生常谈”，并指向他自己在 1990 年代的工作。Khattab 回应说他们引用了那些论文，这些论文“远远领先于时代”。他表示，新的方面在于当今的语言模型能够在人类语言和网络数值之间进行翻译的程度。

研究人员认为，他们的方法在直接对模型权重进行安全审计，或在不进行昂贵再训练的情况下有针对性地改变行为等方面具有潜力。他们也承认，这些能力仍然有限。下一步，他们计划建立一个用于系统性测量的基准。实验日志已发布在 GitHub 上，编辑后的 Qwen 模型已发布在 Hugging Face 上。