问题
信号 6 指出真实痛点:大量 "legacy and GUI-only software that do not provide an API, command-line interface, or MCP integration",即许多中小企业仍在用无接口的老旧桌面软件,人工重复点击操作流程。信号 5 也指出业务任务往往需要 GUI、代码、MCP、API 多种方式组合,而现有模型大多只会一种界面。2026 年 9 月底 DeepSeek Harness、Meta Muse、GitHub Copilot 三家在三天内相继发布桌面 Agent / computer-use 能力,说明底层能力刚就绪,但通用工具未针对具体行业软件做适配——用户拿到的是"能点屏幕的模型",而不是"能稳定跑完我家那套老 ERP 流程的方案"。
目标用户
仍在使用无 API 老旧桌面业务软件的中小企业操作员/老板(财务、贸易、零售、物流等),以及为他们做本地化交付的 IT 服务商。市场规模定性判断:中国大量小微企业依赖本地部署的老财务/进销存软件,存量可观,但需逐个行业验证。
解决方案
核心功能:
- 垂直软件适配库:针对特定老旧桌面软件(财务、进销存、行业客户端)预先调好的操作流程模板,而非让用户从零描述任务
- 流程录制与回放:用户演示一遍人工操作,Agent 将其转为可重复执行的 GUI + 代码 + API 混合流程(对应信号 5 的多界面组合思路)
- 定时/触发执行:常驻后台按计划跑批(对齐信号 1、2 的桌面常驻形态)
- 人工审批断点:在敏感步骤(提交、付款类操作)前暂停等待确认(对齐信号 6 的 user approval 机制)
- 执行审计日志:截图 + 操作记录,方便出错追溯
AI 角色:computer-use 模型负责读取屏幕、点击控件、填写表单;本地小模型(如语音输入、界面元素识别)降低常驻成本。
为什么是现在
2026 年 9 月 28 日至 10 月 1 日四天内集中出现能力拐点:Hugging Face 发布能同时操作 GUI、代码与 MCP/API 的统一 Agent 模型(Holotron 系列);DeepSeek Harness 提供开箱即用的 Windows/macOS 桌面安装包(信号 1、3);GitHub Copilot 上线 computer-use 可操作无 API 的老旧软件(信号 6)。这意味着底层能力刚刚从开发者终端工具变为普通人可用的桌面形态,垂直适配层出现空档。
MVP 范围
第一版只支持一个垂直场景(例如 Windows 下的老旧进销存/财务软件):录制一次人工操作 → 生成可复用的自动化流程 → 定时/触发执行 → 执行截图回放供人工核对。明确不做:通用桌面助手、跨平台(先只做 Windows 或只做 macOS)、自研底层 computer-use 模型(调用现有模型 API)、无审批的静默执行敏感操作。
风险
平台依赖:computer-use 依赖底层模型能力(信号 5 提到的 Holotron/Opus/Qwen 及 DeepSeek),模型定价或接口变更直接冲击成本。在位者风险:DeepSeek Harness、GitHub Copilot 已免费或低价提供通用桌面 Agent,若它们做垂直模板市场,小团队优势会被抹平。可靠性风险:GUI 自动化对软件版本更新、弹窗、分辨率极其敏感,失败率高会迅速摧毁付费意愿。安全与合规:Agent 代人操作业务软件涉及财务数据与误操作责任,需要完整的审批与回放审计机制,否则企业不敢用。验证风险:本卡证据以厂商发布为主,真实付费需求尚未被用户帖子证实,应先做客户访谈再投入开发。
已有产品
| 产品 | 定位 | 价格 |
|---|---|---|
| GitHub Copilot | 已支持用 computer-use 操作无 API 的 GUI-only 与老旧桌面软件,是开发者侧自动化的强在位者 | — |
| DeepSeek Harness | 官方桌面常驻 Agent,开箱即用,覆盖文档/表格/PDF 处理与定时任务,是通用桌面 Agent 的直接竞争者 | — |
| Meta Muse | 消费级桌面多步任务助手,可连接桌面应用并配置权限,覆盖类似的本地自动化场景 | — |
信号证据
这张卡片依据的原始讨论。摘录保持原文,点“原文”查看上下文。
GitHub Changelog10月1日新能力
“This expands the tasks Copilot can help automate, including workflows in legacy and GUI-only software that do not provide an API, command-line interface, or MCP integration.”
GitHub Copilot can now interact with desktop applications on a user's behalf, enabling automation of workflows in legacy and GUI-only software that lack APIs, CLIs, or MCP integration.原文
The Rundown AI10月1日新能力
“Now, give Muse a task like: “I want to sell my computer monitor. Check local marketplace listings every day for similar HP monitors and log them to a spreadsheet so I can learn to build the best listing””
Meta Muse Desktop can run multi-step local tasks, e.g. monitoring marketplace listings daily and logging them to a spreadsheet, using connectors to desktop apps with configurable permissions.原文
爱范儿9月30日新品发布
“原本面向开发者的插件式 Agent 工具由此增加了安装向导,用户可以在桌面端处理文档、表格、PDF 和代码任务,并查看生成文件及代码改动。”
DeepSeek Harness 首次提供 macOS 和 Windows 桌面安装包,让普通用户可在桌面端处理文档、表格、PDF 和代码任务。原文
爱范儿9月29日新能力
“其中语音输入功能还需要下载一个本地的语音识别包,包含模型、运行时和下载缓存,大小为 1 GB 左右。”
桌面版内置基于 SenseVoiceSmall 的语音输入插件,语音识别快速且准确,但需下载约 1 GB 本地语音识别包。原文
爱范儿9月29日新品发布隐含付费意愿
“不同于之前需要通过终端来部署安装,现在 DeepSeek 官方就提供了开箱即用的安装包。”
DeepSeek 推出 DeepSeek Harness 桌面端,从终端部署变为开箱即用的安装包,可常驻本地后台定时执行任务。原文
Hugging Face Blog9月28日新能力
“Most agentic models are trained for one interface only: GUI-focused models are blind without a screen, while models that prefer tool calling are stuck in front of an application that has no API.”
Most agentic models are trained for one interface only, while a single business task can require combining GUI, code, MCP and API approaches.原文