多模型评委的独立性审计与门控工具包

机器学习流水线建设者越来越多地把多个模型当作评分器或评委来使用，但正如 Hugging Face 论坛讨论指出的："Diversity of implementation is not independence of error"——共享特征和训练数据的多评委存在相关性错误，违背了多数评委设计中关于错误独立的假设。同时，构建准入/审核流水线的开发者还面临评委失败时如何处理的问题：失败的评委应视为未同意，弃权需要作为一等结果被计量，而不是被静默忽略。这些团队目前缺乏现成工具来度量评委独立性和搭建带法定人数逻辑的门控流水线，只能自己拼装。

在 AI 产品或 ML 流水线中使用多个模型作为评分器、评委或准入审核的开发者和团队，包括构建内容审核门控、模型评测、reranking 的工程师。从信号看这是一个技术先进但规模偏小的群体（论坛帖互动量低：7 分 7 评论），属于利基开发者市场。

• 评委相关性审计：对一组已标注任务，测量各评委两两之间的错误相关性，输出 "独立性仪表盘"，直接回应 "Diversity of implementation is not independence of error" 的质疑
• 小型开放模型面板编排：内置本地运行 qwen2.5:7b、llama3.2:3b、gemma2:2b 的评委面板，也可混接 API 模型，降低多评委成本
• 法定人数与弃权语义：把弃权作为一等结果计量，支持 "失败评委视为未同意" 的故障关闭模式
• 蒸馏分类器支持：允许用蒸馏出的小分类器替代部分语义评委，压缩成本
• AI 的角色：被审计的对象本身是 AI（LLM-as-judge），工具的核心是用统计方法量化这些 AI 评委的错误独立性

小型开放模型（qwen2.5:7b、llama3.2:3b、gemma2:2b）已足够便宜到可以本地组成多评委面板，而资本正加速流向小型任务专用决策模型公司——TypeSafe 一周内先完成 $200M 融资，又传出以 $10B+ 估值融资 $1B+，说明 "AI 做评委/决策" 正成为基础设施级需求，配套的独立性与可靠性工具存在窗口期。

第一版做一个开源 Python 库：接入本地小型模型（qwen2.5:7b、llama3.2:3b、gemma2:2b）和 API 模型，跑一组评测任务后输出两两错误相关性矩阵、弃权率与法定人数下的准确率曲线，并支持故障关闭语义。不做：分布式 GPU 推理网络、可验证推理证明、链上结算、训练数据层面的去相关。

• 商业化风险：信号显示用户付费意愿为 none，此方向更可能先以开源库形式获客，变现路径不明。
• 在位者风险：TypeSafe 正以 $10B+ 估值融资 $1B+，资本正向小型决策模型公司集中；Hugging Face 生态也可能内置类似评测工具。
• 技术风险：错误相关性的度量依赖高质量 ground truth 数据集，用户如果没有标注数据，工具价值会打折扣。
• 需求强度风险：痛点评分仅为 3，多数团队可能选择忽略相关性问题而非付费解决。