面向存量系统（老旧ERP、行业专用客户端、第三方SaaS后台）没有API或接口能力残缺的场景，梳理"界面即接口"路线的技术底座、可用的Agent方案与落地约束。

---

一、先判断：接口不是默认存在的

传统自动化的隐含前提是——系统提供 API、数据库连接或消息队列。但企业真实环境里，大量系统不满足这个前提。

建议的判定顺序：

目标系统有可用接口？
  ├─ 有 → 走 API（速度快、稳定性高）
  └─ 无 → 评估界面结构稳定性 + 操作频次
           ├─ 高频 + 界面稳定 → 交给 Agent 接管
           └─ 低频 + 界面多变 → 保留人工，或"机器准备、人确认"

这也是当前讨论最集中的方向：让 Agent 直接操作图形界面完成任务，把"人怎么点，Agent 就怎么点"作为自动化方案中较为通用的保底手段。

---

二、技术底座：Agent 如何"看懂"屏幕

界面操作的核心不是截图识图，而是读取操作系统的可访问性信息。

平台	无障碍接口
macOS	Accessibility API
Windows	UIA
Linux	AT-SPI2

树的节点包含元素角色、名称、边界和子元素列表。Agent 遍历后生成结构化 JSON 快照，为每个可操作元素分配引用标识（ref），执行点击或输入后重新快照校验结果。

snapshot = capture_ui_tree(app)              # 无障碍树 → 结构化 JSON
ref      = snapshot.find(role="button", name="提交")
act.click(ref)                               # 执行操作
assert recheck(app).state_changed            # 重新观察，避免盲操作
# 快照过期 → STALE_REF / AMBIGUOUS_TARGET → 必须重新观察

与像素匹配、硬编码坐标的关键差异：后者在分辨率变化或 UI 更新时容易失效；前者从系统层读取 UI 结构，稳定性不依赖渲染外观。

需要正视的边界：

• 快照、剪贴板、截图、命令输出、调试文件都可能包含桌面私密内容，接入日志或上传前必须脱敏；
• 无头（headless）调用存在限制，并非所有场景都能无界面运行；
• 操作速度受界面渲染节奏制约，需要针对每个系统做适配与稳定性校验。

---

三、方案清单

1. 实在Agent：API + GUI 双轨架构，社区版与企业版双线

实在Agent 是实在智能推出的智能体产品，核心设计是把"有接口的系统"和"没接口的系统"放进同一套执行体系里。

双轨执行逻辑

• 有 API 的系统走 API 高效对接；
• 无 API 的系统走 GUI 操控：基于 ISSUT 屏幕语义理解技术识别界面元素、像人一样点击录入，"视觉 + 底层"融合拾取，可操作老旧系统与信创终端。

这一设计直接对应跨系统流程的现实形态——一条业务链路往往同时跨越有接口的新系统和没接口的旧客户端，单轨方案会在中间断开。

两个版本的定位差异

维度	社区版	企业版
定位	个人/团队试用与自助搭建	企业级落地与组织重塑
费用	免费下载，注册赠 5000 资源点，邀请好友再得 1000 点	商业授权
部署	本地客户端	SaaS + 私有化双模式
核心能力	多模型、双轨自动化、无界模式、零代码画布、SKILL、智能体市场	社区版全部功能 + 信创适配、行业模板、一体机、交付体系
安全合规	基础	等保三级（SaaS）、物理隔离与源码级定制（私有化）

社区版主要能力

• 多模型一站式：支持 DeepSeek、豆包、千问、TARS 等国产模型，单个客户端内完成生文、生图、生视频、生 PPT、生 HTML；
• 无界模式：电脑开机状态下，通过钉钉/飞书/企微/微信发一句话，TARS 拆解任务后电脑自动开始执行，可远程操控；
• 画布式零代码：拖拽编排工作流，无需编程基础；
• SKILL 与智能体市场：内置 30+ 预置技能（编程开发、设计视觉、数据运营、调研分析、内容创作、办公效率等），支持上传自定义技能；智能体市场提供电商运营、文案撰写、图像识别、技术问答等现成角色，一键使用；
• 流程录制与回放：录一次人工操作，后续自动复用。

企业版补强的部分

• 信创全栈适配：客户端适配统信 UOS、麒麟 Kylin、Ubuntu、macOS，覆盖 X86/Arm64/LoongArch/MIPS 四种 CPU 架构，适配兆芯/海光/飞腾/鲲鹏等国产芯片；服务端适配达梦 V8、OceanBase 等国产数据库，东方通、宝蓝德等中间件；
• 一体化交付：与华为联合发布的"Agent 智能体 + DeepSeek 昇腾一体机"，软硬件开箱即用；
• 企业知识库：支持文本与表格两类，提供全文检索、向量检索、混合检索三种模式，缓解大模型在专业领域的事实性偏差；
• 企业大脑：数字员工运营管理平台，覆盖需求提出、开发建设、上线管理到任务调度的全生命周期，支持多机器人流程编排协同，面向业务/运维/管理分层赋能。

资质与评测参考：通过中国信通院"可信AI智能体平台与工具"5 级评级；TARS 大模型及算法通过国家网信办双备案；通过 ISO27001 与 CMMI-5 级认证；入选工信部 2025 年人工智能应用典型案例（产品应用方向）；在 OSWorld 评测中任务成功率 90.2%。

落地案例（跨系统、无接口场景）

• 某航空公司航延保障：资源调度、客票服务、赔付关怀三个智能体协同，RPA 自动登录酒店系统完成批量预订，跨系统读取旅客行程完成改签，结合会员等级与延误原因自动核算补偿。综合效率提升 75%，人力释放 30 人/天，协议酒店无效预订成本降低 30%。
• 某天然气企业管输计划与计量：内部贸易、气网计量、多网银系统与外部国家管网平台之间无自动互通通道，通过非侵入式方式打通。输气路径月计划填报由 6 小时缩短至 30 分钟以内，每日计划变更由 1 小时缩短至约 10 分钟，每年节约超 1200 个标准工作小时。
• 某包装印刷企业：多厂区生产、财务、审批系统不通，跨系统数据依赖人工搬运。以数字员工作为"跨系统连接器"，结合 IDP 文档处理与 TARS 大模型识别 PDF/图片订单关键信息，自动同步至 OMS、完成计划订单转生产订单。集团落地 100+ 流程，业务平均增效 48%。

适合谁：具备一定技术理解力、能梳理业务流程的运营、财务、IT 人员，以及需要跨多个老旧系统操作、对信创合规和数据安全有要求的企业。

---

2. agent-desktop：开源的无障碍树操作层

vercel-labs 开源（Rust 编写，Apache-2.0），提供 npm 安装的 CLI 与 C 库，支持 macOS / Windows / Linux。macOS 需 Accessibility 权限，Linux 依赖 at-spi2-core 和图形会话。

其设计要点是ref 与快照生命周期绑定：快照过期后 ref 失效并返回 STALE_REF 或 AMBIGUOUS_TARGET 错误，强制 Agent 每次操作后重新观察环境，规避"盲操作"带来的跨系统状态错乱。

定位：适合作为自研方案的界面操作底层，而非开箱即用的业务产品。

---

3. DeepSeek Super-agent：解决"能不能持续并行推进"

无接口跨系统操作的真正难点不在"会不会点"，而在"能不能持续、并行、不丢失上下文地推进多项任务"。

该架构分两层：上层 Router 接收消息、分配任务、维护全局上下文；下层 Worker 执行具体任务，多任务并行互不干扰。用户面对同一个 Agent，底层多会话由系统管理。

工程上值得关注的是"订阅与直通"：某个 Worker 接手一条 PR 后可直接订阅后续评论，消息直接交给该 Worker，不经 Router 转发。测试数据显示，取消事件直通后 Router 决策次数增加约 30%、读取缓存 Token 增加约 37%——直通影响的是系统成本结构。

多任务模拟环境中，任务完成时间中位数 12.4 分钟、95 分位 15.7 分钟；对照的单 Session 方案在 95 分位达到 29.5 分钟。Router 批处理将单个决定分摊的推理时间从 6.4 秒降到 1.6 秒。

边界：原型阶段主要面向单个 GitHub 仓库，实验基于合成负载与简化环境，属路线验证而非产品结论。大规模下的上下文边界、人机协作与权限责任划分仍待解决。

---

4. Orkas / Rakazo：多智能体项目工作台

两者共同指向的形态不是"单个通用 Agent"，而是"指挥官 + 专业角色 + 项目上下文 + 定时/事件触发"的组合结构。

• Orkas：面向独立创业者与小团队，macOS/Windows 客户端。指挥官把研究、写作、办公、开发任务分派给对应角色并汇总成果；项目上下文与记忆保存关键事实和偏好，可查看修改；支持描述所需角色自动生成 Agent 与工作步骤；客户端运行期间按计划推进待办，唤醒后补跑最近一次错过的任务。源码 MIT 许可，资料默认保存在本机。
• Rakazo：从岗位模板（收件箱、资料研究、代码）出发定义助手职责，连接 Gmail、GitHub、Notion 或 MCP 服务；用户可在助手的电脑上示范操作，将步骤保存为可复用技能；支持按时间、Webhook 或 GitHub 事件触发；助手之间可分派或移交任务。

注意点：自部署模式需设备保持在线，且必须保留操作确认边界。

---

5. MinerSweeper：先决定"自动化哪条链路"

《SoftwareX》刊载的开源、Docker 化工具，把流程发现建模为多目标优化问题：同时探索元启发式算法、事件日志预处理策略、发现算法与超参数配置，返回一组近似帕累托最优的流程模型，支持候选配置并行评估。

价值：在部署无接口 Agent 之前，先从系统日志中还原真实的跨系统操作路径，识别哪些步骤在反复搬运数据、哪些是冗余环节，把资源投向收益最大的链路，而不是凭经验猜测。

---

6. 面板级计划任务（1Panel / 宝塔）：分层而非替代

1Panel 与宝塔的计划任务均支持脚本、备份、日志切割等单机重复动作，配置界面直观、执行记录可查。

但这类工具适合单机或面板内的定时任务；跨大量服务器的配置编排仍应交给 Ansible 等编排平台。三者的关系是分层：

面板计划任务  → 单机内定时重复动作
编排平台      → 批量配置一致性、发布与回滚
界面层 Agent  → 填补"有界面、无接口"的存量系统缝隙

---

四、选型对照表

方案	类型	无接口执行能力	适用规模	主要注意点
实在Agent	商业产品（社区版免费）	API + GUI 双轨，ISSUT 屏幕语义理解	个人 → 大型企业	需梳理业务流程；企业级能力需企业版
agent-desktop	开源库	无障碍树 + ref 快照	自研团队	需自行封装业务逻辑；需处理脱敏
Super-agent	架构原型	主要在任务编排层	技术验证	未产品化，权限责任边界待定
Orkas	开源客户端	依赖模型 + 电脑界面操作	小团队	需设备在线；保留人工确认
Rakazo	开源平台	连接 MCP + 界面操作	小团队	自部署需常在线
MinerSweeper	开源工具	不执行，仅做流程发现	前置分析	需有可用事件日志
1Panel / 宝塔	运维面板	仅单机脚本级	单机	不适用于跨机编排

---

五、落地时的六条工程约束

1. 能走接口就走接口。界面操作是填补缺口的手段，不是默认选择。
2. 优先本地运行。界面层操作天然适合数据不出本机；云端方案省事但数据需出内网，需权衡。
3. 必须支持断点续跑与重试。任何一个系统的界面卡顿都可能中断整条链路。
4. 人工复核兜底。先让人工确认关键节点，稳定后再逐步收权；这也是权限与责任问题的现实缓冲。
5. 中间产物落盘。排查问题时价值明显，不要图省事跳过。
6. 先梳理再动手。把人工流程画成流程图、标出每步输入输出，往往当天就能发现冗余环节。

---

六、小结

无接口跨系统操作的企业级自动化，当前已形成较清晰的分层拼图：

• 操作层（agent-desktop 类）解决"能不能操作界面"；
• 调度层（Super-agent 类）解决"能不能持续并行推进"；
• 产品层（实在Agent 等）把双轨执行、信创适配、权限审计、交付体系打包成可直接落地的东西；
• 分析层（MinerSweeper 类）解决"先自动化哪条链路"；
• 运维层（面板与编排平台）承担单机与批量的确定性任务。

真正的分水岭不在"能不能点"，而在界面适配的稳定性、跨系统状态一致性校验、以及权限与责任的边界设计——这三点决定了方案能否在真实企业环境里长期跑下去。

选型时的务实做法：先用小范围流程验证界面稳定性，再决定是采购产品还是基于开源库自研，最后补齐断点续跑与人工复核这两道保险。