问题
部署带有记忆模块的陪伴型 agent 的开发者，面临一个隐性失效问题：记忆层可能从未真正执行 accumulation 步骤，却在静默状态下运行。信号中的研究发现"两个产品中的三个记忆层里有两个从未执行过其 accumulation 步骤"，而用户仍然给记忆能力打出中位数以上的评分并信任 agent 的自我描述。这类 bug 不会报错、不会影响表面体验，因此极难被发现。开发者无法验证 agent 关于记忆、理解、关系变化的自述，因为证据藏在系统内部机制里，而非用户可见的行为中。
目标用户
开发和部署带有记忆/个性化模块的 AI agent 的开发者与团队，尤其是陪伴类、长期记忆类产品。市场规模取决于这类产品的数量，属于新兴但快速增长的小众群体；信号来自 arXiv 人机交互研究，样本仅为少数产品（含 Lita），规模判断置信度低。
解决方案
- 实现记录采集：agent/SDK 形式埋点，记录 memory 层各步骤（写入、accumulation、检索）的实际执行次数 - 自述声明解析：扫描产品文案、agent 输出中的能力声明（如"我会记住你"），生成声明清单 - 三方对照审计：将声明 vs 实现记录 vs 用户评分逐条比对，输出 supported / contradicted / unresolved 的审计报告 - CI 集成：作为回归测试门禁，memory 层静默失效时在发布前报警
AI 的角色：用 LLM 解析非结构化的自述文案与产品页面声明，并辅助生成人类可读的审计结论；核心判定逻辑基于确定性代码路径分析，不依赖模型猜测。
为什么是现在
信号显示学术界刚刚演示了可行的审计方法——"an audit procedure that sets an agent's self-description against its users' judgements and its implementation records, reporting each claim as supported, contradicted, or unresolved"——但尚无产品化工具，先做的人可以把研究流程固化为开发者工具。注意：证据仅来自单一研究，时间窗口的判断置信度低。
MVP 范围
做： - 对单个 agent 代码库做静态检查，标记 memory 层是否真的执行了 accumulation 步骤 - 抓取 agent 的 self-description 文案，列出其声明的能力清单 - 输出一份审计报告：每条声明标记为 supported / contradicted / unresolved
不做： - 不做用户主观判断的采集面板（论文中的 users' judgements 部分） - 不做自动修复 - 不支持分布式/多 agent 编排场景
风险
- 需求真实性存疑：证据来自一篇学术研究，而非付费用户或社区抱怨，可能只是研究问题而非商业问题 - 市场天花板：记忆型 agent 尚在早期，潜在买家基数可能很小 - 被平台吸收：agent 框架厂商可能把审计能力做进官方调试工具 - 接入成本高：每家 agent 的记忆实现差异大，工具需要深度适配才能给出可靠结论
信号证据
这张卡片依据的原始讨论。摘录保持原文，点“原文”查看上下文。
arXiv cs.HC10月1日痛点
“Participants endorsed stylistic claims, withheld endorsement from relational ones, and rated memory at or above midpoint, while two of three memory layers had never executed their accumulation step.”
Memory layers in deployed companion agents can silently never execute their accumulation step while users still rate memory highly and trust the agent's self-descriptions.原文
arXiv cs.HC10月1日新能力
“We demonstrate an audit procedure that sets an agent's self-description against its users' judgements and its implementation records, reporting each claim as supported, contradicted, or unresolved”
AI companion agents make self-descriptions (memory, understanding, relational change) that users cannot verify because the evidence lives in the system's machinery, not in behavior or user experience.原文