面向本地多智能体会话的推理引擎

越来越多开发者在本地硬件(Mac/Linux/Windows)上运行 AI 智能体，但现有推理引擎都是为数据中心批处理或单会话设计的。信号原话："Sessions are long, several often run at once, and you still want to use your computer for other things"。具体痛点：多个并发智能体会话无法高效共享 prefix cache，导致显存/内存浪费；长会话占满资源后电脑无法正常干别的；"no inference engine worked for our use case"。现有引擎(llama.cpp、vLLM、SGLang 等)在批量吞吐、兼容性、硬件特化之间被迫取舍，没有一个为本地智能体工作负载而设计。

在个人电脑上跑本地模型智能体的软件开发者，特别是同时开多个智能体会话(编码智能体、自动化智能体)的重度用户。市场规模定性判断：随着智能体工作流普及和本地模型质量提升，这是快速增长但尚未被专门引擎服务的开发者细分群体；单条 Launch HN 获得 191 分、97 条评论，说明关注度较高。

核心是一个面向本地智能体工作负载的推理引擎：

• 多会话并发调度：多个长时智能体会话动态共享内存，空闲会话自动降资源
• 共享 prefix cache 的混合分页注意力(hybrid paged attention)：并发会话复用相同系统提示词/上下文前缀，不牺牲单会话性能
• 设备端内核自调优：根据用户硬件自动选择和优化 kernel，兼顾性能与兼容性
• 跨平台支持：Mac / Linux / Windows 一套引擎

AI 的角色：既是被优化的对象(本地 LLM 推理)，也可用于自动化 kernel 调优(信号 3 中评论者对"coding agent optimizes the kernels so the local model runs continuously better"的设想表现出强烈兴趣)。

三个信号共同指向的时机变化：1) 智能体(Agent)工作负载爆发式增长，会话长、并发多，与单轮问答时代的推理模式完全不同；2) 开发者出于隐私和控制正在把工作流迁回本地模型("We increasingly wanted to run it on local models")；3) 现有引擎(llama.cpp、vLLM、SGLang)全部诞生于批处理/单会话时代，没有为本地智能体重新设计过内存模型——这是一个明确的技术代际空档。

做

• 支持 macOS(Apple Silicon)与 Linux 单机，能同时运行多个长时智能体会话
• 多会话间共享 prefix cache，避免重复计算
• 动态内存分配：会话空闲时释放资源，用户可正常使用电脑做其他事
• 提供与 llama.cpp 的基准对比脚本，验证并发场景下的性能优势

不做

• Windows 支持、多机分布式、数据中心批处理场景
• 自动内核调优的完整自动化(先做手工优化的核心 kernel + 配置模板)
• 训练或模型服务托管

竞争风险(最高)：llama.cpp/Ollama 开源且免费、社区庞大，只需补上多会话内存调度这一层就可能覆盖同样需求；被上游吸收后独立产品价值归零。 商业化风险：本地推理工具用户习惯免费开源，signals 中无付费意愿证据，闭源收费难度大。 技术风险：跨 Mac/Linux/Windows 三平台内核级适配工作量大；自优化 kernel 调优的稳定性难保证。 性能承诺风险："up to 2x faster than llama.cpp" 这类基准在真实智能体负载下未必可复现，易被社区 benchmark 打脸。