自托管 LLM 玩家的任务级模型路由代理

在 Open WebUI 和 AnythingLLM 上自托管多个本地/外部模型的用户，无法为不同任务分配不同模型：Open WebUI 的内置子代理"currently inherit the model used by the active parent chat"，被迫使用昂贵的父会话模型；后台任务"only lets you specify 1 local and/or external model to cover all tasks"，用户要么用小模型导致 web search/retrieval query 质量差，要么用会话模型做标题生成"overkill and slow"；AnythingLLM 用户连接两台 Ollama 服务器时必须在设置里手动切换。痛点是成本浪费、速度慢和手动操作的摩擦，但均为 pain 2 的中低强度问题。

自托管 Open WebUI / AnythingLLM 的个人开发者和团队管理员，通常同时运行多个本地模型（如 DeepSeek R1 + 小型任务模型）或多台 Ollama 服务器。这是一个随本地 LLM 自托管兴起而增长的小众开发者群体，规模有限但技术活跃。

核心是一个 OpenAI 兼容的模型路由代理，插在自托管 UI（Open WebUI/AnythingLLM）和多个模型后端之间：

• 任务级路由规则：按任务类型（标题生成、web search query 生成、子代理等）指定目标模型，每条规则可选"Current Model"回退
• 多实例 provider 管理：同一 provider 的多个服务器（如两台 Ollama）可同时在线，按工作区/线程路由
• AI 在其中的角色：代理利用规则而非模型本身，可内置智能默认（自动探测任务类型并匹配最便宜够用的模型）
• 成本/延迟看板：显示每类任务的实际 token 消耗和响应延迟，让省钱效果可见

信号显示自托管用户已普遍同时运行多个本地与外部模型（如 DeepSeek R1 与小型任务模型并存），模型选择空间变大，才产生了"不同任务该用不同模型"的精细化路由需求；此前单一模型时代不存在这个问题。但这些请求都是 2025 年中至今的功能请求，尚无产品级响应，时机成立但紧迫性一般。

第一版：本地部署的 OpenAI 兼容代理，支持 (1) 按任务类型（标题生成、搜索 query 生成、子代理）配置目标模型；(2) 每条规则支持"Current Model"透传选项；(3) 同一 provider 多实例（如两台 Ollama 服务器）的命名管理与按工作区路由；(4) 简单的规则配置文件或 Web 设置页。不做：不做聊天 UI 本身、不做 RAG/知识库、不做模型训练或量化。

平台依赖是最大风险：三个需求都指向 Open WebUI 和 AnythingLLM 自身，属于其路线图内的功能补齐，一旦官方实现（Open WebUI 已有相关 issue 在讨论），独立产品价值归零。付费意愿为零、pain 偏低，商业化路径不明。技术上需兼容多家 provider 的 API 差异（本地 Ollama、外部 API、DeepSeek R1 等）。