OmniMCP

概述

OmniMCP 是一个 MCP 服务器，通过微软 OmniParser 进行视觉分析，将 AI 模型与用户界面连接起来。它实现了感知-规划-行动循环，系统捕获屏幕截图，使用 LLM 规划行动，并执行精确的鼠标/键盘输入。该服务器支持真实 UI 交互和合成 UI 模拟，可选择自动部署到 AWS EC2，并提供全面的调试功能。

试试问 AI

装完之后，这里有 5 个你可以让 AI 做的事：

• capture_screen

  Captures the current screen state for UI analysis

  试试:Take a screenshot of my current screen试试:Show me what's on the display
• parse_ui

  Analyzes UI elements using OmniParser to understand the interface

  试试:Identify all clickable elements on this screen试试:Describe what UI elements are visible
• execute_action

  Performs mouse or keyboard actions on UI elements

  试试:Click on the calculator button试试:Type 'Hello World' in the text field
• deploy_omniparser

  Deploys OmniParser server on AWS EC2 with auto-shutdown

  试试:Start the OmniParser server on AWS试试:Deploy the parser to the cloud
• stop_omniparser

  Stops the deployed OmniParser server and cleans up AWS resources

  试试:Stop the OmniParser server试试:Clean up the cloud deployment
• ui_interaction

  Performs a complete perceive-plan-act cycle for UI interaction

  试试:Calculate 5*9 using the calculator app试试:Log into my account on this website

说明：Tools were inferred from code architecture descriptions and functionality mentions rather than an explicit MCP tools section. The experimental MCP server exists but no specific MCP tools are documented in the README.

可对比工具

安装

# 克隆并安装
git clone https://github.com/OpenAdaptAI/OmniMCP.git
cd OmniMCP
./install.sh

# 配置环境
cp .env.example .env
# 编辑 .env 文件添加您的 API 密钥

# 激活环境
source .venv/bin/activate

FAQ

支持哪些操作系统？

当前支持带有 X11/Wayland 图形会话的 Linux。macOS 支持部分实现，显示缩放依赖关系会自动处理。文档中未明确提及 Windows 支持。

MCP 服务器与主 CLI 功能有何关系？

MCP 服务器（位于 omnimcp/mcp_server.py 中的 OmniMCP 类）是实验性的，与主 cli.py/AgentExecutor 工作流分离。主 CLI 提供完整的感知-规划-行动循环，而 MCP 服务器旨在与其他兼容 MCP 的系统集成。

OmniMCP 对比