Adobe发布EditAgent：用量化指标辅助大模型提升图像编辑质量

Adobe 研究人员构建了一个用于图像编辑的 AI 智能体，它将通用编辑器与专用工具配对使用。标准语言模型会利用测量数据比较结果，并选出最佳的一个。

用于图像编辑的 AI 智能体会将复杂请求拆解为多个步骤，并且通常会用相同的工具重试失败的步骤，同时由另一个模型通过目测来判断输出结果。

Adobe Research 和 UC San Diego 的研究人员希望借助 EditAgent 改变这一现状，据一篇新论文介绍，该系统的工作方式更像 Photoshop 中的专业人士。它为每项任务挑选合适的工具，并用确凿的数字将结果与原始版本进行比较。

Overview graphic comparing typical agentic image editing with EditAgent across three columns: Action Space, Observation Space, and Result. The top row shows repeated attempts with the same tools, while the bottom row shows parallel candidates from General, Local, Tone, and Style tools, judged by an off-the-shelf VLM using evidence in a single call. — 与其反复重试同一个编辑器，EditAgent 会并行生成采用不同方法的候选结果，并由未经修改的语言模型一次性对所有候选进行比较。| 图片来源：Adobe

通用编辑器在许多任务上表现不佳

在对 600 次图像编辑进行的盲测中（由五位专业人士评估），通用编辑器 Flux-2-Klein-9B 有 42.7% 的情况未能产生可用的结果。专用工具解决了其中约三分之二的失败案例，尤其是在锐化、旋转和缩放方面。对同一编辑器进行更多重试几乎没有帮助。

研究人员还测试了代理是通过逐步细化结果还是并行生成多个变体来获得更好的效果。迭代细化会累积小错误，因为每一轮都基于已经修改过的图像。在78.5%的比较中，专业人士更倾向于从原始图像生成的并行变体，在这些比较中他们选择了其中一方。该代理所需的评估传递次数减少了一半。EditAgent正是基于这两项发现构建的。

硬数据使标准模型成为更好的评判者

EditAgent分步骤规划请求，并在每一步中将通用编辑器与匹配的专业工具进行对抗。然后，一个标准的语言模型在一次传递中比较所有变体。

Architecture diagram of EditAgent using the example of extinguishing a candle flame. Planner, Step Analyzer, and Router select methods from the Capability Pool. Three candidates are generated in parallel with close-ups and change maps as evidence, and a VLM accepts candidate 3. Below, the steps Remove Flame, Add Smoke, and Adjust Lighting follow in sequence. — EditAgent将请求分解为有依赖关系的步骤，并为每个步骤生成多个候选方案。语言模型根据验证数据挑选出最佳方案。| 图片：Adobe

对于每种变体，模型都会获得一份验证记录，其中包含编辑区域的特写、变更区域的变化图以及亮度和色彩的测量统计数据。在一个示例中，照片本应被轻微提亮。数据显示，通用编辑器过度曝光并使其色调偏暖。而专用工具则保持在规格范围内。

Two examples of verification data. Top: a Removal Specialist and a General Editor remove a smiley patch from a checkered shirt, with the close-up revealing a blurred plaid pattern from the specialist. Bottom: a General Editor and a Photometric Operator brighten a dark still life, with measured brightness, clipping, and color shift values shown beneath. — 特写和测量的图像统计数据揭示了仅凭观察整张图片时语言模型会忽略的错误。| 图片：Adobe

研究人员在包含600次编辑的基准测试中验证了这一点。裁判模型需要从多个候选结果中选择最佳结果，并统计其选择被专业人士评为可用的图像的频率。作为对比，他们运行了如 EditScore 等基于人类对图像编辑评分进行微调的模型。

在没有验证记录的情况下，所测试的七种语言模型均无法匹敌最佳微调模型。有了验证记录后，这七种模型都超越了所有微调模型。Qwen3.8-27B 做出正确选择的频率为 81.3%，而 EditScore-72B 为 74.8%。对研究人员而言，这表明裁判模型所见的内容可能比其训练方式更为重要。

Dot plot of Winner-Set Hit@1 for seven Qwen and Gemma models, each with and without evidence, compared to fine-tuned evaluation models EditScore and EditReward. With evidence, scores rise by 6.3 to 9.3 percentage points, with Qwen3.8-Flash-Next reaching 82.8 percent. — 在验证数据上，每个测试的标准语言模型的表现均优于最强的微调评估模型 EditScore-72B（准确率为 74.8%）。| 图片：Adobe

每轮操作后，EditAgent 还会检查后续编辑是否意外撤销了之前的更改。在论文的示例中，指令“让更多自然光进入”使之前磨砂的窗户再次变得透明。该代理发现了冲突并进行了修复。

Editing sequence of a bathroom in four images. In round 1, the window is frosted. In round 2, adding more daylight makes the glass clear again. The History Check catches the violation and restores the frosted glass while keeping the brighter lighting. — 每轮操作后的后置检查确保后续编辑不会无声地撤销之前的更改。| 图片：Adobe

EditAgent 在三个基准测试中改进了开源编辑器 Qwen-Image-Edit-2511 和 Flux-2-Klein-9B，并超越了其他七个 AI 智能体。在 EdiVal 基准测试中，其第三轮编辑中的 Qwen 变体略微超过了商业模型 Seedream 4.0 和 GPT-Image-1.5。但该智能体所需的计算量约为单个编辑器的十倍，且其性能取决于接入的工具。

该智能体会生成用于训练更快编辑器的数据

研究人员还将 EditAgent 用作数据来源。由于该代理仅保留经过验证的结果，它生成了约 26,000 个训练示例。在该数据上微调的编辑器在三个基准测试中均表现更好。另一方面，由 FLUX 直接生成的训练数据实际上使 FLUX 的表现变差。这种权衡可能使得该代理的高计算成本在长期来看是值得的。

Adobe 于 6 月在 Photoshop、Premiere 及其他 Creative Cloud 应用中加入了 AI 智能体，最初以公开测试版形式推出。用户描述自己的需求，智能体则负责处理各个具体步骤。这些智能体能否正确选择工具并检查自身输出，是一个直接关系到 Adobe 已发布产品的问题。此后，Black Forest Labs 替换了论文中测试的通用模型：新的 Flux 3 Image Klein 拥有 56 亿参数，比 Flux 2 Klein 更小，但在 Black Forest Labs 的内部测试中，其得分高于所有其他开源模型，甚至高于商业版 Flux 2 Pro。

AI 新闻去伪存真——由人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 通讯、每半年一次的独家“AI Radar”前沿报告、完整档案访问权限以及评论区的访问权限。