Vercel 开源黑科技 agent-desktop:扔掉截图猜坐标,Anthropic 的 Computer Use 还香吗?
Vercel 实验室 10 月底放出一个开源小工具,刚更新到 v1.2.0,单日就涨了两千多星。它解决的是个老得掉渣的尴尬:我们已经能让 AI 写代码、写文章,却还在用最笨的办法让它"动"电脑。
这个工具叫 agent-desktop。它不截图、不猜坐标,直接读操作系统给视障用户准备的"无障碍树",拿到一份带精确引用的结构化界面清单,让 AI 照着清单操作。一条 npm install -g agent-desktop 就能装,总星已经破了 1.5 万。11 月 4 日的 GitHub 热榜,它一度冲到第 2。势头够猛,值得认真看一眼。
01.
一条老路被掀了
让 AI 操作电脑,过去一年的默认做法是"看屏幕办事":每隔两秒截一张全屏图,丢给视觉模型,让它算按钮的像素坐标,鼠标再慢吞吞挪过去。界面一缩放、分辨率一变、深色模式一开,点偏是常态。每次截图还要吃掉一大块视觉上下文,token 烧得肉眼可见。
Claude 的 Computer Use、OpenAI 的 Operator 走的都是这条"截图派"路线。agent-desktop 的官方说法是"agent-browser,但是给你的整台电脑"——它把眼睛换成了系统底层的无障碍接口:macOS 的 AX API、Windows 的 UI Automation、Linux 的 AT-SPI。这些接口本来是给读屏软件用的,天然知道每个按钮叫什么、能点还是能填。
把 agent-desktop 和 Anthropic 截图流、OmniParser 视觉流拉到同一台电脑实测:无障碍树流单步只要 15–45 毫秒,截图流要 2.5–4.2 秒,视觉检测流也要 0.8–1.8 秒。
02.
它怎么"看"懂电脑
机制其实很干净。你让 Agent 跑一条 snapshot,它返回一段 JSON,每个可交互元素都带一个短句柄(比如 @e8)。Agent 直接说"点 @e8""在 @e3 填字",系统调用底层焦点事件触发,全程不挪物理鼠标。
它还加了一个很务实的防呆设计:界面一旦变了,旧句柄立刻返回 STALE_REF(引用已过期),逼着 Agent 重新看一遍。这从机制上挡住了"按钮早没了还在硬点"的误删事故。
目前三种让 AI 操作电脑的路线,差异已经分得挺清楚:
| 路线 | 代表方案 | 单步耗时 | 主要短板 |
|---|---|---|---|
| 截图派 | Anthropic Computer Use、OpenAI Operator | 2.5–4.2 秒 | 慢、贵、界面一变就点偏 |
| 视觉检测派 | OmniParser | 0.8–1.8 秒 | 同名按钮多时易误触,吃显卡 |
| 无障碍树派 | Vercel agent-desktop | 15–45 毫秒 | 只认暴露了无障碍树的应用 |
零截图带来的不只是快,更是把"看屏幕"这道最贵的环节直接砍掉。
token 账也很直观。官方自称在密集的 Electron 应用上能省 78%–96% 的读取消耗,因为不再反复传整屏图。
03.
到底省在哪
说点能落地的场景。假设你要让 Agent 每天例行把一份报表从某个桌面软件导出、填进表格、再发到群里:截图流每步等 2 秒以上,还偶尔点错重来;agent-desktop 拿到结构化清单,十几毫秒一步,默认无头模式不抢你的鼠标焦点,你正常用电脑,它在旁边并行干活。
它支持 macOS 13+、Windows 10 1809+、Linux(Ubuntu 24.04+),x64 和 ARM64 都有原生二进制。三平台都走 MCP,Claude、Cursor 这类支持 MCP 的编辑器能直接接。还顺手提供了 C 库 FFI,要低延迟的可以进程内直调,不必每次起一个 CLI。
最狠的一点:默认无头模式不抢鼠标焦点,你正常用电脑,Agent 在旁边并行干活。
它和 agent-browser 形成互补——一个管浏览器,一个管整台桌面,"AI 从只能看图猜,真正迈向能像人一样理解界面结构并精准操作"。
04.
三处硬边界
别把它当成万能遥控器。读了五篇实测和官方文档,有三处边界得先认清楚。
1自绘界面它读不到
无障碍树只记录控件属性,读不到颜色、位置和视觉内容。遇到用 Canvas 自绘的网页游戏、部分没遵循系统规范的工业老软件,或者企业微信这类自绘 UI,树里往往只有一个空壳容器,拿不到里面的具体按钮。这种时候它保留了按需截图命令做兜底,但已经退回视觉路线了。
2网页不是它的活
官方说得很干脆:网页自动化还是 agent-browser 的事。agent-desktop 只管桌面原生应用,不碰浏览器里的网页内容(Chromium、Electron 应用里的网页,它会开 DevTools 端口交给 agent-browser)。
3它还太年轻
项目 2026 年 2 月才起步,10 月底才正式 1.0。仓库里上百个 Issue 还在持续打磨边缘场景。它自己不是 Agent、不内置任何大模型,只当"手和眼睛"——脑子得由你自己的 Agent 出。
真正该问的不是"它能不能替代谁",而是"你电脑里那些重复到吐的桌面操作,值不值得交给它"。
05.
谁该现在上手
天天和 Claude Code、Codex 这类编程 Agent 打交道的开发者:一条命令接上,立刻给本地 Agent 加桌面自动化能力,批量整理文件、跨应用搬数据、RPA 式验证,一个 CLI 全包。
企业用户:无障碍树方案天然适配无障碍合规,而且每次操作都能落 trace 追踪,审计友好。
普通玩家:配合 MCP 接进桌面 AI 助手,"帮我把所有通知关了""把这个窗口挪到副屏"变成一句话的事。
Vercel 这次没造新模型,也没端出黑盒产品,而是把"让 AI 操作电脑"拆成了一个干净、可组合、能嵌入现有工作流的能力层。截图猜坐标的时代未必马上结束,但至少,有人把另一条更便宜、更稳的路铺好了。
agent-desktop(Vercel Labs,AI Agent 桌面操控层)
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐


所有评论(0)