LayoutSee 标志

你好，我是 LayoutSee

让 Agent 感知视图，触摸界面。SEE THE LAYOUT · TOUCH THE SCREEN

向下探索
For Developers

开发者的布局工作台

投屏操控、视图树、XPath、诊断，在一个窗口里完成。

 For Agents

Agent 的视图感知 MCP

12 个内置工具把 Android 真机交给 AI，看得见、摸得着。

快速上手

三步，把真机接进工作流。

  1. 01 下载桌面版 Apple Silicon 与 Intel 双架构 DMG，拖入 Applications 即用。
  2. 02 连接 Android 真机 开启开发者选项与 USB 调试，插线授权后自动发现设备。
  3. 03 交给 Agent 在 MCP Tab 复制配置，粘贴进 Claude / Cursor / Comate 即可开工。

设备接入依赖 adb：brew install android-platform-tools，也可在设置中指定已有路径。

从看见，到动手

抓取页面 → 读取结构 → 定位元素 → 操作设备 → 再次验证。

  1. 01 感知 文本、resource-id、父子层级、边界与交互属性一起读取；截图保留视觉上下文，视图树提供结构证据。
  2. 02 定位 按文本、描述、resource-id 或 XPath 查找，拿到短引用 ref，把一句「点登录」落到当前快照里的具体控件。
  3. 03 触摸 用 tap、swipe、input_text 操作真机，再抓取新快照验证结果；只读模式与操作审计让过程可控。
  4. 04 诊断 重叠、遮挡、越界、热区过小、文本截断、隐形可交互——六类问题返回涉及节点与量化证据。

人也有同一张工作台

点画面，树上定位；选节点，画面高亮。

LayoutSee 工作台：手机画面、控件属性与视图树联动，选中元素的边界在画面中高亮
设备工作台：手机画面、设备控制栏与应用操作面板
投屏操控实时镜像
布局智能面板：带 ref 与坐标的语义摘要，以及六类布局诊断入口
语义摘要低 token
MCP 面板：按设备提供端点、可复制的客户端配置与工具列表
MCP 接入按设备端点

交给 Agent

12 个内置工具，9 读 3 写；每台在线设备都有独立 SSE 端点。

感知页面 01

一次抓取，页面骨架与细节都在

capture_layout get_layout get_layout_summary

定位控件 02

把一句话落到当前快照里的元素

find_element query_xpath

检查布局 03

六类问题，量化证据

diagnose_layout

操作真机 04

只读模式可拦截，操作全审计

tap swipe input_text

补充上下文 05

设备信息、前台应用与截图

get_device_info get_current_app get_screenshot

开启只读模式后，写操作会被拦截；页面变化后应重新抓取，使用新快照中的 ref。配置在设备工作台的 MCP Tab 复制，粘贴到支持 MCP 的客户端即可。

更新日志

新版本与说明都发布在 GitHub Releases。

  1. 01 v22.6.1 mac 版本更新 v22.6.1·2026-09-22
  2. — 查看全部版本 历史 Release 与更新说明

深度介绍

为什么做 LayoutSee：从一次「点空了」的事故，讲到 View 树工程化。

  1. 01 你的 AI 会写代码，却连一个按钮都点不准 截图只能让 Agent「看见」界面，View 树才能让它「摸到」控件——一篇讲透翻车现场、五步闭环与能力边界的深度长文。
  2. 02 更多内容筹备中 使用技巧、诊断案例与插件开发陆续更新；想分享你的 Agent 工作流，欢迎来 Discussions 投稿。

开源共建

代码在 GitHub，问题与想法都欢迎。

  1. 01 提一个 Issue 报告问题、提出需求，附上快照与诊断证据更佳。
  2. 02 参与讨论 分享使用方式：自动化、测试、Agent 工作流。
  3. 03 贡献代码 从源码运行开始，欢迎 PR。

致谢 — Android 设备接入与投屏能力基于 uiautomator2、scrcpy 等开源项目；设备接入层参考并二次开发自 uiautodev。