Vercel 实验室 10 月底放出一个开源小工具,刚更新到 v1.2.0,单日就涨了两千多星。它解决的是个老得掉渣的尴尬:我们已经能让 AI 写代码、写文章,却还在用最笨的办法让它"动"电脑。

这个工具叫 agent-desktop。它不截图、不猜坐标,直接读操作系统给视障用户准备的"无障碍树",拿到一份带精确引用的结构化界面清单,让 AI 照着清单操作。一条 npm install -g agent-desktop 就能装,总星已经破了 1.5 万。11 月 4 日的 GitHub 热榜,它一度冲到第 2。势头够猛,值得认真看一眼。


01.

一条老路被掀了

让 AI 操作电脑,过去一年的默认做法是"看屏幕办事":每隔两秒截一张全屏图,丢给视觉模型,让它算按钮的像素坐标,鼠标再慢吞吞挪过去。界面一缩放、分辨率一变、深色模式一开,点偏是常态。每次截图还要吃掉一大块视觉上下文,token 烧得肉眼可见。

Claude 的 Computer Use、OpenAI 的 Operator 走的都是这条"截图派"路线。agent-desktop 的官方说法是"agent-browser,但是给你的整台电脑"——它把眼睛换成了系统底层的无障碍接口:macOS 的 AX API、Windows 的 UI Automation、Linux 的 AT-SPI。这些接口本来是给读屏软件用的,天然知道每个按钮叫什么、能点还是能填。

把 agent-desktop 和 Anthropic 截图流、OmniParser 视觉流拉到同一台电脑实测:无障碍树流单步只要 15–45 毫秒,截图流要 2.5–4.2 秒,视觉检测流也要 0.8–1.8 秒。


02.

它怎么"看"懂电脑

机制其实很干净。你让 Agent 跑一条 snapshot,它返回一段 JSON,每个可交互元素都带一个短句柄(比如 @e8)。Agent 直接说"点 @e8""在 @e3 填字",系统调用底层焦点事件触发,全程不挪物理鼠标。

它还加了一个很务实的防呆设计:界面一旦变了,旧句柄立刻返回 STALE_REF(引用已过期),逼着 Agent 重新看一遍。这从机制上挡住了"按钮早没了还在硬点"的误删事故。

目前三种让 AI 操作电脑的路线,差异已经分得挺清楚:

路线

代表方案

单步耗时

主要短板

截图派

Anthropic Computer Use、OpenAI Operator

2.5–4.2 秒

慢、贵、界面一变就点偏

视觉检测派

OmniParser

0.8–1.8 秒

同名按钮多时易误触,吃显卡

无障碍树派

Vercel agent-desktop

15–45 毫秒

只认暴露了无障碍树的应用

零截图带来的不只是快,更是把"看屏幕"这道最贵的环节直接砍掉。

token 账也很直观。官方自称在密集的 Electron 应用上能省 78%–96% 的读取消耗,因为不再反复传整屏图。


03.

到底省在哪

说点能落地的场景。假设你要让 Agent 每天例行把一份报表从某个桌面软件导出、填进表格、再发到群里:截图流每步等 2 秒以上,还偶尔点错重来;agent-desktop 拿到结构化清单,十几毫秒一步,默认无头模式不抢你的鼠标焦点,你正常用电脑,它在旁边并行干活。

它支持 macOS 13+、Windows 10 1809+、Linux(Ubuntu 24.04+),x64 和 ARM64 都有原生二进制。三平台都走 MCP,Claude、Cursor 这类支持 MCP 的编辑器能直接接。还顺手提供了 C 库 FFI,要低延迟的可以进程内直调,不必每次起一个 CLI。

最狠的一点:默认无头模式不抢鼠标焦点,你正常用电脑,Agent 在旁边并行干活。

它和 agent-browser 形成互补——一个管浏览器,一个管整台桌面,"AI 从只能看图猜,真正迈向能像人一样理解界面结构并精准操作"。


04.

三处硬边界

别把它当成万能遥控器。读了五篇实测和官方文档,有三处边界得先认清楚。

1自绘界面它读不到

无障碍树只记录控件属性,读不到颜色、位置和视觉内容。遇到用 Canvas 自绘的网页游戏、部分没遵循系统规范的工业老软件,或者企业微信这类自绘 UI,树里往往只有一个空壳容器,拿不到里面的具体按钮。这种时候它保留了按需截图命令做兜底,但已经退回视觉路线了。

2网页不是它的活

官方说得很干脆:网页自动化还是 agent-browser 的事。agent-desktop 只管桌面原生应用,不碰浏览器里的网页内容(Chromium、Electron 应用里的网页,它会开 DevTools 端口交给 agent-browser)。

3它还太年轻

项目 2026 年 2 月才起步,10 月底才正式 1.0。仓库里上百个 Issue 还在持续打磨边缘场景。它自己不是 Agent、不内置任何大模型,只当"手和眼睛"——脑子得由你自己的 Agent 出。

真正该问的不是"它能不能替代谁",而是"你电脑里那些重复到吐的桌面操作,值不值得交给它"。


05.

谁该现在上手

天天和 Claude Code、Codex 这类编程 Agent 打交道的开发者:一条命令接上,立刻给本地 Agent 加桌面自动化能力,批量整理文件、跨应用搬数据、RPA 式验证,一个 CLI 全包。

企业用户:无障碍树方案天然适配无障碍合规,而且每次操作都能落 trace 追踪,审计友好。

普通玩家:配合 MCP 接进桌面 AI 助手,"帮我把所有通知关了""把这个窗口挪到副屏"变成一句话的事。

Vercel 这次没造新模型,也没端出黑盒产品,而是把"让 AI 操作电脑"拆成了一个干净、可组合、能嵌入现有工作流的能力层。截图猜坐标的时代未必马上结束,但至少,有人把另一条更便宜、更稳的路铺好了。

agent-desktop(Vercel Labs,AI Agent 桌面操控层)

GitHub:https://github.com/vercel-labs/agent-desktop

Logo

openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构

更多推荐