问题
做 GUI agent / computer-using agent 的开发者和研究者在干净基准上的成绩很好，但一到真实环境就崩：RealGUINoise 的实验显示界面噪声会“degrade task performance”、“redirect agents' action trajectories and increase their propensity for unsafe behavior”；BACKDROP 测得叠加权限覆盖、注入文本、越界请求、静默写失败四种危害后平均通过率从 69.5% 跌到 31.3%，最强模型跌幅最大（96.6% → 56.0%）。团队缺的不是模型能力，而是能在上线前系统性暴露这些失效模式的工具和数据。
目标用户
GUI agent / computer-using agent 的开发团队和研究者（信号中的“developers and researchers building GUI agents”、"builders and researchers deploying task-executing agents"）。市场偏小众：主要是 agent 创业公司的工程团队和研究实验室，但属于 agent 落地必须跨过的门槛环节。付费能力和意愿目前没有证据。
解决方案
- 噪声注入库：在真实或合成的 GUI 环境中注入干扰（弹窗、布局变化、注入文本、权限弹窗、静默失败），覆盖 RealGUINoise 42 类噪声中最常见的一批
- 危害场景回放：把 BACKDROP 式四类危害（authority overrides、injected text、boundary requests、silent write failures）做成可复现的测试用例
- 轨迹级评测报告：不只报 pass/fail，还对比 agent 行为轨迹与金标轨迹的偏离度和安全违规点
- 合成轨迹生成（后期）：借鉴 AutoGUIWorld 思路，用图像生成器 + planner 合成训练轨迹，直接补充修复后的训练数据
为什么是现在
2026 年 10 月同期出现三项关键进展：AutoGUIWorld 证明可以用图像生成器作为视觉世界模型“without deploying or running the corresponding software environments”低成本合成轨迹；RealGUINoise 首次把 42 类真实界面噪声纳入统一跨平台评测；BACKDROP 量化了真实危害下 agent 通过率暴跌（69.5% → 31.3%）。问题被明确量化、合成数据的成本路径刚打通，是从研究走向工程工具的窗口期。
MVP 范围
第一版只做 web 平台：噪声注入器（弹窗、注入文本、权限覆盖、静默写失败等 RealGUINoise 中的高频噪声类型）+ 任务回放评测 + 轨迹偏离度报告，对接 1-2 个主流 agent 框架。不做桌面/移动平台支持，不做自动训练数据合成（那是 AutoGUIWorld 路线，工程量远超 MVP），不做模型本身微调。
风险
- 需求未经付费验证：信号全部来自论文发布，没有真实付费方，可能是研究需求而非商业需求。
- 被基准作者商业化：RealGUINoise / BACKDROP 团队最了解失效模式，可能自己推出工具。
- 平台依赖：噪声注入依赖浏览器/OS 自动化层，平台（如浏览器 CDP 接口、OS 权限模型）变动会破坏注入器。
- 头部模型厂商内化：如果 agent 框架厂商（如上述 7 个被测框架）把稳健性评测做成内置功能，第三方工具空间被压缩。
已有产品
| 产品 | 定位 | 价格 |
|---|---|---|
| RealGUINoise | 学术基准：42 种界面噪声下评测 GUI agent 的稳健性与安全性行为 | — |
| AutoGUIWorld | 学术数据合成框架：用图像生成器作为视觉世界模型合成 GUI 交互轨迹（79,266 条样本） | — |
| BACKDROP | 学术评测集：在真实世界危害（权限覆盖、注入文本等）下测试 agent 可靠性 | — |
信号证据
这张卡片依据的原始讨论。摘录保持原文，点“原文”查看上下文。
arXiv cs.HC10月1日新能力
“Our experiments show that these noises not only degrade task performance but also substantially redirect agents' action trajectories and increase their propensity for unsafe behavior.”
GUI agents fail under real-world interface noise, and existing benchmarks lack a unified framework for evaluating robustness, safety, and trajectory behavior across platforms.原文
arXiv cs.CL10月1日新能力
“Across 3,678 variants and 16 models, , the average pass rate falls from 69.5% to 31.3% once all four hazards are present; the strongest models fall furthest (Claude Fable 5.1 from 96.6% to 56.0%).”
Agent capability measured in clean benchmark worlds drops sharply when everyday real-world hazards (authority overrides, injected text, boundary requests, silent write failures) are present.原文
Hugging Face · Daily Papers10月1日新能力▲ 181 条评论
“We introduce AutoGUIWorld, a data generation framework that combines the visual priors of image generators with the task knowledge of a planner to synthesize GUI interaction trajectories without deploying or running the corresponding software environments.”
GUI agents lack diverse training trajectories because coverage is limited by the software environments that must be deployed and run.原文