问题
推荐系统团队正在把 LLM 组件（生成式用户画像、CoT 推理、多模态融合）引入生产推荐器，但多篇研究显示这些组件不是对所有用户都有效：信号 5 指出 "Aggregate profiles are consistently stronger under habitual consumption"（约五分之四人口），LLM 画像只对探索型用户更好；信号 1 指出无差别的模态融合 "brings in uninformative cues and impairs recommendation quality"；信号 2 发现引入 CoT 并不总能提升推荐效果。团队需要判断在哪个环节、对哪些用户启用 LLM 能力，而不是全量替换现有模型。目前的做法是简单启发式或不路由，信号 3 显示学习式门控在同等相关性代价下优于启发式和随机路由。
目标用户
流媒体/内容/电商平台中负责推荐系统的工程师和算法研究员（信号 1–5 的 target_user 均为此类团队）。市场规模偏窄：这是面向大中型平台推荐团队的 B2B/开发者工具，潜在客户数量少但技术预算高。小团队或无推荐业务的公司没有此需求。
解决方案
一个开源的推荐 LLM 混合路由层（middleware/eval 工具包）：
- 学习式服务路由门控：为每个用户/请求在协同序列模型与 LLM 画像驱动模型之间做二选一路由，带可调的 novelty–relevance 阈值（信号 3：NDCG 损失 5% 预算下 Novelty@10 提升 6.5%）
- 消费模式推断：根据交互历史推断 habitual / exploratory 模式，只对探索型用户启用更贵的 LLM 路径（信号 5）
- 行为线索路由：用交互节奏、item 重复、热门倾向等线索指导计算分配（信号 4）
- 离线评测框架：对比路由策略 vs 全量融合 vs 启发式路由的标准化评测，输出权衡曲线
AI 角色：LLM 用于生成用户画像和语义对齐，学习式门控（可用轻量分类器或 LLM agent）决定路由决策。
为什么是现在
2026 年 10 月同期出现多篇 arXiv cs.IR 论文，分别证明了：LLM 生成画像对探索型用户优于聚合嵌入（信号 5）、学习式门控优于启发式路由（信号 3）、按查询自适应选择模态优于静态融合（信号 1）、按会话行为分配计算优于统一处理（信号 4）。LLM 画像生成成本下降且效果已达生产可用，'LLM 只该服务一部分流量'这一结论刚刚被系统性地验证，为路由层工具创造了时间窗口。
MVP 范围
做： 离线路由评测框架 + 学习式门控模块。
- 输入：两个候选模型（协同/序列模型 + LLM 画像驱动模型）在公开数据集或合作方离线日志上的打分结果
- 实现：基于信号 5 的消费模式推断（habitual vs exploratory）+ 信号 4 的行为线索（交互节奏、重复、热门倾向）训练门控
- 提供 novelty–relevance 权衡的调节接口，复现信号 3 式的对照实验
不做：
- 不训练新的基础推荐模型或生成式推荐器
- 不做线上实时 serving、AB 平台和监控体系
- 不做多模态融合（信号 1、2 属于相邻但更偏研究的方向）
风险
研究风险：门控收益在论文数据集上成立，未必迁移到各平台自己的流量分布。
数据依赖：效果验证必须有真实交互日志，小团队拿不到，公开数据集说服力有限。
买方自建倾向：目标用户是大平台推荐团队（快手已在内部推进 OneRec 系列），通常选择自研而非外购。
需求证据薄弱：五个信号全部来自 2026-10 的 arXiv capability 论文，没有用户付费或使用痛点信号，本质上是研究方向而非已验证的市场需求。
信号证据
这张卡片依据的原始讨论。摘录保持原文，点“原文”查看上下文。
arXiv cs.IR10月1日新能力
“Aggregate profiles are consistently stronger under habitual consumption, which characterizes approximately four-fifths of the population, while LLM-generated profiles are stronger for exploratory users whose subsequent interactions diverge semantically from their history.”
LLM-generated user profiles from unstructured interaction history can outperform aggregate embeddings for exploratory users in production streaming recommendation, but not for habitual users.原文
arXiv cs.IR10月1日新能力
“We propose RouteRec, a sequential recommender that uses observed session behavior as the routing criterion.”
Sequential recommendation models process all sessions identically, ignoring behavioral differences that could guide computation allocation.原文
arXiv cs.IR10月1日新能力
“At an overall NDCG-loss budget of 5\%, the learned gate increases Novelty@10 by 6.5\% while routing 12.5\% of users, outperforming simple heuristic and random routing policies at comparable relevance cost.”
Researchers showed that selectively routing users to LLM-generated profiles within a production recommender can boost novelty without hurting relevance, suggesting a capability for hybrid recommendation serving.原文
arXiv cs.IR10月1日新能力
“However, our preliminary works found that introducing reasoning CoT does not always improve the recommendation performance.”
Introducing chain-of-thought reasoning does not always improve recommendation performance, motivating models that better align item Semantic IDs with natural language reasoning.原文
arXiv cs.IR10月1日新能力
“in which case indiscriminate modality fusion brings in uninformative cues and impairs recommendation quality”
Existing multimodal recommender systems rely on static modality fusion, which can bring in uninformative cues and impair recommendation quality when different queries need different modalities.原文