问题
用 AI 编码工具(ChatGPT、Claude Code 等)开发的独立开发者和小团队发现,让同一个模型既写代码又审代码有系统性盲点。V2EX 上有开发者总结:『写代码的和审代码的,不能是同一个模型』,并指出换成不同模型交叉审查能持续发现 P0/P1 级缺陷。此外,Hugging Face 论坛上有研究者观察到,对工件只有部分访问权限的模型会『编造它们未见过内容』——这意味着审查模型拿到的上下文不完整时,结果本身就不可靠。目前的替代做法是手动在两个工具之间复制粘贴代码做交叉审查,费时且没有留下结构化的审查记录。
目标用户
使用 ChatGPT、Claude Code 等 AI 编码工具的独立开发者和小团队(尤其重视缺陷分级和审查留痕的团队)。市场规模目前只能定性判断:AI 编码工具用户基数大且在增长,但愿意为『再加一层审查』付费的比例未知,证据偏薄。
解决方案
- 跨模型审查编排:自动检测本轮改动由哪个模型生成(或手动指定),改用另一个模型家族(如 Claude 写 → GPT 审)审查,避开同模型自审盲点
- 结构化缺陷分级:审查输出按 P0–P3 分级,附文件、行号与理由,而非自由文本
- git 集成:审查结果写入 git 历史 / PR 评论,形成可追溯的审查轨迹
- 上下文完整性控制:只喂审查模型实际可见的代码,并在上下文不全时显式标注『无法验证』,降低编造风险
AI 角色:AI 既是被审查对象也是审查者;产品的核心是编排多个异构模型互相校验,并对审查上下文做工程化控制。
为什么是现在
- 多个可用且能力接近的编码模型(ChatGPT、Claude Code、Sonnet 等)同时存在且各有盲区,使『异构模型互相校验』第一次变得低成本可行
- 学术界最新结果显示幻觉检测仍是未解难题(阿拉伯语 QA 上最优系统泛化时 AUC-ROC 仅约 0.77),单模型自校验路线短期内难有突破,工程化的交叉审查是务实替代
- 开发者社区已开始自发总结『写码与审码分离』的实践,但还没有工具固化这套流程
MVP 范围
做:
- CLI / git hook,对当前分支 diff 自动调用与写代码不同的模型进行审查
- 审查结果按 P0–P3 分级,作为 note/comment 写入 git 历史
- 支持配置「写码模型 / 审码模型」组合(如 Claude 写、GPT 审,互换亦可)
不做:
- 不做自动修复或自动合并
- 不做通用幻觉检测(阿拉伯语 QA 等场景)
- 不做完整代码库审计,只审增量 diff
风险
- 在位者风险:ChatGPT、Claude Code 等可能直接内置『换一个模型审』功能,吞噬独立工具的生存空间
- 平台依赖:核心价值依赖第三方模型 API 的能力与定价,模型升级可能改变审查行为
- 技术风险:信号 1 提示部分上下文的审查模型可能编造缺陷(false positive)或漏报,需要控制喂给审查模型的上下文完整性
- 验证不足:『持续发现 P0/P1 缺陷』目前只是单个开发者的经验之谈,效果需自行评测
已有产品
| 产品 | 定位 | 价格 |
|---|---|---|
| ChatGPT | 在位编码工具,用户目前在其上手工做审查,未来可能内置交叉审查 | — |
| Claude Code | 信号 2 中用户的主力编码工具,同模型自审即当前问题的来源 | — |
信号证据
这张卡片依据的原始讨论。摘录保持原文,点“原文”查看上下文。
V2EX · 分享创造10月2日讨论0 条评论隐含付费意愿
“写代码的和审代码的,不能是同一个模型。”
让写代码的 AI 和审代码的 AI 分开(不同模型交叉审查)能持续发现 P0/P1 级缺陷,同模型自审有盲点。原文
arXiv cs.CL10月1日新能力
“The results of Task 1 demonstrate that hallucination detection remains challenging. On the Task 1 test sets, the top-ranked systems achieved AUC-ROC scores of 0.7717 for Subtask 1.1 (REGLAT) and 0.7670 for Subtask 1.2 (NAMAA).”
Hallucination detection in Arabic question answering remains unsolved, with top systems reaching only ~0.77 AUC-ROC under generalization to unseen questions and LLMs.原文
Hugging Face 论坛 · Show and Tell9月21日讨论▲ 77 条评论
“There is also a small, uncontrolled observation (n = 5) that models with partial access to the artifact fabricated what they had not seen while models with no access reported accurately;”
对小工件有部分访问权限的模型会编造它们未见过内容,而完全没有访问权限的模型报告准确。原文