Intel 集显用户的本地 LLM 运行时

在 Intel 机器上跑本地 LLM 的开发者发现 Ollama 不支持 Intel Arc 独显和 Iris Xe 集显（"Add support for Intel Arc GPUs"），也不会自动调用 Intel 的 OpenVINO 推理后端（"It would be great if ollama could automatically default to OpenVINO on Intel systems"）。结果是他们的 Intel GPU 硬件被闲置，推理只能落在 CPU 上，速度和功耗都吃亏；三个 issue 合计超过 150 条评论和两百多热度，说明这不是个别人的抱怨。

在 Intel 平台（Iris Xe 集显或 Arc 独显）上尝试用 Ollama 运行本地 LLM 的开发者；从 issue 热度（77/95/96 分，合计 160 条评论）看是一个真实但中等规模的细分群体——大量轻薄本和主流台式机用户只有 Intel 集显，是被 CUDA 生态排除在本地 AI 之外的人群。

• 硬件自动检测：识别 Intel CPU/GPU（Iris Xe、Arc），默认启用 OpenVINO 后端加速推理
• Ollama 兼容 API：复用现有 REST API 和模型拉取习惯，已有 Ollama 工作流可零改动迁移
• 一键模型转换：把 GGUF/常见开源模型（LLaVA、Llama 系）转换为 OpenVINO IR 格式并预编译
• 性能可视化：显示 CPU vs GPU 推理速度、显存占用，让用户直观看到集显的价值 AI 的角色：这是 AI 基础设施工具，产品本身服务本地 LLM 推理，不直接调用云端 AI

本地跑开源模型的需求在 2023 底至 2024 初集中爆发（三个 issue 都产生于 2023-12 到 2024-03，且热度持续走高），而主流工具链围绕 CUDA 构建，Intel 硬件用户被系统性落下；Intel 官方的 OpenVINO 后端已经存在，缺的只是把它接入 Ollama 式的易用工具链，集成窗口正在打开。

第一版：一个本地推理运行时（可基于 Ollama/llama.cpp 分支或 wrapper），通过 OpenVINO 后端在 Intel Iris Xe 集显和 Intel Arc 独显上运行常见开源对话模型（如 LLaVA、Llama 系列）；自动检测 Intel 硬件并默认启用 OpenVINO；提供与 Ollama 兼容的 API/CLI，让现有脚本无缝迁移。不做的：不做模型训练或微调、不做云端托管、不做 AMD/NVIDIA 多厂商后端、不做图形化聊天界面。

在位者风险最大：这些需求本质是 Ollama 的 feature request，官方随时可能在主线加入 Intel GPU/OpenVINO 支持，届时第三方分支价值归零；平台依赖：深度绑定 OpenVINO 和 Intel 驱动版本，兼容性维护成本高；商业化薄弱：目标用户是习惯了免费开源工具的开发者，三个信号均无付费意愿；硬件碎片化：Intel 集显/独显型号繁多，测试矩阵大，小团队难以全覆盖。