llm-app-exploration

概述

这个仓库展示了一种模式，让 LLM 智能体通过设备访问系统地探索任何应用程序（移动或桌面）。该方法使用可访问性 API 而不是基于视觉的方法，将应用视为图结构，其中每个屏幕是一个节点，交互元素是边。过程包括三个阶段：探索（捕获每个屏幕和元素）、组织（构建路线图和转换表）和分析（使用完整数据进行用户流程、竞争分析和 UX 审计）。两个 MCP 服务器实现了此模式：mobile-mcp 用于 Android/iOS，desktop-mcp 用于 macOS 原生应用和 Electron 应用。

试试问 AI

装完之后，这里有 5 个你可以让 AI 做的事：

• mobile_do

  Reads the screen and executes actions on mobile devices using accessibility tree

  试试:Tap the button labeled 'Save'试试:Open the dropdown menu and select 'Option 1'试试:Scroll to the bottom of the list and capture all elements
• desktop_do

  Reads the screen and executes actions on desktop apps via accessibility API or Chrome DevTools Protocol

  试试:Click on the menu item labeled 'File'试试:Type 'test@example.com' in the email input field试试:Switch to the settings app and find the network preferences

可对比工具

安装

{
  "mcpServers": {
    "mobile": {
      "command": "node",
      "args": ["/path/to/mobile-mcp/index.js"]
    }
  }
}

{
  "mcpServers": {
    "desktop": {
      "command": "node",
      "args": ["/path/to/desktop-mcp/index.js"]
    }
  }
}

FAQ

支持哪些平台？

此模式支持移动设备（Android、iOS）和桌面（macOS 原生应用、Electron 应用）。每个平台都有其自己的 MCP 服务器实现。

元素识别是如何工作的？

元素通过格式为 'TYPE:Label' 的稳定 ID 进行标识（例如 'BUTTON:Save'）。此格式在会话和平台之间保持一致，使目标确定。

llm-app-exploration 对比