问题
构建分类、请求路由或 Agent 决策链路的开发者，此前只能调用通用大模型 API：标准 GPT-6 Luna 走 API 要 1.6 秒，而 OpenAI 新发布的 Decisions API 用定制版 Luna 在 150 毫秒内完成同样的决策，快约 10 倍。但 Decisions API 目前仅 limited preview，且完全绑定 OpenAI 生态。信号显示创业公司正在“用开源权重自建定制模型以降低成本、减少对 OpenAI/Anthropic 的依赖”，Clement Delangue 认为 Jev 引发的热度说明“市场对专用模型（而非越来越大的通用模型）存在巨大潜在需求”。
目标用户
在通用大模型 API 上构建分类、路由、Agent 决策链路的 AI 创业公司和应用开发者，尤其是对成本敏感、担心被 OpenAI/Anthropic 锁定的团队。市场规模只能定性判断：信号称存在“巨大潜在需求”，但无用户量或收入数据佐证。
解决方案
- 选择题式决策 API：开发者预设问题和固定选项，模型对输入文本返回结构化分类、路由目标或 Agent 下一步动作
- 开源权重微调：用小规模开源模型针对分类/路由任务蒸馏或微调，换取低延迟与低单位成本
- 推理层优化：量化、prompt 缓存、预热（pre-warming）等手段把端到端延迟压到与 Decisions API 同一量级
- 自托管优先：Docker 一键部署，数据不出用户环境，直接回应“减少对 OpenAI 依赖”的诉求
AI 的角色即产品本身：一个专门为多选分类/路由优化的小模型，而非通用大模型加提示词。
为什么是现在
- Decisions API 把“多选题式决策”这一接口范式刚刚确立：150ms vs 标准调用 1.6 秒（快约 10 倍），证明超低延迟结构化决策技术上已可行
- 行业风向变化：信号称创业公司正转向开源权重自建定制模型，以降成本、减少对 OpenAI/Anthropic 的依赖
- Decisions API 仍是 limited preview，尚未全面开放，是替代方案切入的时间窗口
MVP 范围
第一版：
- 提供单一 REST API：开发者定义问题和固定选项，输入文本（图像可后置），返回结构化分类/路由结果
- 基于开源小模型微调 + 量化/缓存等推理优化，目标延迟在数百毫秒内
- 提供自托管（Docker 一键部署）与托管 API 两种形态
第一版不做：
- 图像输入（先做纯文本）
- 复杂 Agent 编排，只做“选择题式”决策
- 与竞品对标的内部工作流功能
风险
- 平台依赖反转：本机会本质是“去 OpenAI 依赖”，但 OpenAI 已用一周冲刺上线 Decisions API（含 prompt caching、pre-warming 等优化），价格可能随时下探，压缩替代品空间
- 技术风险：150ms 级延迟需要端到端推理优化，小团队自研难度高，且需持续跟随开源权重迭代
- 验证不足：现有信号全部来自发布/能力类新闻，缺少真实用户在 Reddit/HN 等处的抱怨帖，痛点强度（pain: 3）为推断值
- incumbent 风险：OpenAI 内部已在用 Decisions API 做支持分类和工作流，会持续打磨；Jev 等专用模型也在抢占同一需求
已有产品
| 产品 | 定位 | 价格 |
|---|---|---|
| Decisions API | OpenAI 官方方案：150ms 完成分类/路由/Agent 下一步决策，但目前为 limited preview，且绑定其生态 | — |
| Jev | 专用低延迟推理模型，被信号引用为专用模型潜在需求的证据 | — |
信号证据
这张卡片依据的原始讨论。摘录保持原文，点“原文”查看上下文。
Latent Space9月30日新品发布
“Given that we were the first Jev podcast, we particularly focus on the unusually fast sprint on the Decisions API:”
OpenAI shipped a Decisions API for low-latency structured decisions in an unusually fast one-week sprint, already used internally for support classification and workflows.原文
Latent Space9月30日新能力隐含付费意愿
“Decisions API gives near-instant multiple-choice classification and routing on GPT-6 Luna over text and images.”
OpenAI's Decisions API provides near-instant multiple-choice classification and routing on GPT-6 Luna over text and images.原文
爱范儿9月30日新品发布
“在官方公布的案例里，Decisions API 在 150 毫秒内就能输出结果，而通过 API 调用的标准 GPT-6 Luna 是 1.6 秒，前者大约快了 10 倍。”
OpenAI 发布 Decisions API，用定制版 Luna 模型在 150 毫秒内完成分类、请求路由或 Agent 下一步决策，比标准 GPT-6 Luna 的 1.6 秒快约 10 倍。原文
TLDR AI9月30日新品发布隐含付费意愿
“Users define questions and possible answers, and the model classifies content, routes requests, or chooses an agent's next action.”
OpenAI's Decisions API (powered by GPT-6 Luna) lets users classify content, route requests, or choose an agent's next action, now in limited preview.原文
Latent Space9月22日新能力隐含付费意愿
“@ClementDelangue argues the excitement shows there is large latent demand for specialized models rather than ever-larger generalists.”
Startups are increasingly building custom models on open weights to cut cost and reduce dependence on OpenAI/Anthropic, and specialized low-latency inference models (like Jev) show large latent demand.原文