问题
构建多 LLM 系统的开发者需要从候选池中挑选模型团队，但目前"team composition 只能依赖启发式方法"（arXiv cs.CL）。同时，模型同质化会造成"虚假多样性"——"several systems appear to offer independent perspectives while returning the same familiar default"（arXiv cs.AI），让看似独立的多模型方案实际输出趋同。缺一套可计算、可解释、可优化的互补性度量，是这一环节的核心痛点。注意：两条信号均为学术论文（capability 类），真实用户付费意愿与使用规模尚无证据。
目标用户
构建多 LLM 系统（multi-agent、多模型路由、模型集成）的开发者与工程师，以及评估 LLM 多样性的研究人员。目前主要是前沿研究人群，属于早期小众市场，商业化规模待验证。
解决方案
- 离线模型剖析： 对候选池中每个模型跑标准化任务套件，建立质量与错误模式画像
- 互补性指标计算： 用误差去相关（error-decorrelation）与预测分歧（predictive-divergence）信号量化模型间的真实差异
- 团队组合搜索： 将组队形式化为质量-互补性组合优化目标，用贪心搜索输出推荐团队
- 同质化检测： 借鉴 CHOIR 式概念显著性分析，标记看似独立实则输出趋同的模型组合
AI 的角色： 被剖析的对象本身就是多个 LLM；工具用统计与聚类方法分析它们的错误相关性，AI 同时也可用于自动生成剖析任务与解释报告。
为什么是现在
两条 2026-10 的 arXiv 信号显示互补性度量方法刚刚出现：一条提出了基于异质性的团队选择框架（可计算、可解释、可优化的互补性指标），另一条（CHOIR）提供了测量模型间真实多样性的方法。这些新能力让原本只能靠启发式的组队决策第一次有了可工程化的度量基础。
MVP 范围
做：
- 支持用户接入候选模型池（API key 或本地模型）
- 在内置基准任务套件上跑离线剖析，产出各模型的质量画像
- 计算两两误差去相关与预测分歧信号
- 贪心搜索输出推荐团队组合及可解释的互补性报告
不做：
- 不做运行时的多模型编排或路由执行
- 不做生产环境监控与告警
- 不做通用 LLM 评测排行榜（只聚焦组队互补性）
风险
- 研究风险： 指标有效性依赖论文方法在实际模型池上的复现效果，可能不如启发式可靠
- 市场风险： 信号全部来自学术论文，无真实付费用户证据，多模型组队可能仍是小众研究行为而非工程刚需
- 成本风险： 离线剖析需对每个候选模型跑大量评测，API 与算力成本随模型池规模线性增长
- 被上游吞并： 模型厂商或编排框架（如多 agent 编排工具）可能内置团队选择功能
已有产品
| 产品 | 定位 | 价格 |
|---|---|---|
| CHOIR | 学术度量框架，测量跨模型/提示/人格的概念显著性以评估 LLM 多样性，与组队选择工具部分重叠，但非面向开发者的产品。 | — |
信号证据
这张卡片依据的原始讨论。摘录保持原文，点“原文”查看上下文。
arXiv cs.AI10月1日新能力
“Open-ended LLM homogeneity can create false plurality when several systems appear to offer independent perspectives while returning the same familiar default.”
Open-ended LLM homogeneity can create false plurality when several systems appear to offer independent perspectives while returning the same familiar default.原文
arXiv cs.CL10月1日新能力
“existing approaches lack complementarity metrics that are computable, interpretable, and optimizable, leaving team composition to rely on heuristics.”
Existing approaches lack complementarity metrics that are computable, interpretable, and optimizable, leaving LLM team composition to rely on heuristics.原文