crawlbase-mcp

概述

Crawlbase MCP 是一个模型上下文协议服务器，它连接 AI 代理和实时网络，使 LLM 能够获取新鲜的、结构化的内容，而不是依赖过时的训练数据。它通过为现代 Web 应用程序提供 JavaScript 渲染、代理轮换以避免反机器人检测以及结构化输出（HTML、Markdown 或截图格式）来处理网络抓取的复杂性。该服务器支持与流行 AI 客户端的集成，如 Claude、Cursor 和 Windsurf。

试试问 AI

装完之后，这里有 5 个你可以让 AI 做的事：

• crawl

  Fetch raw HTML from a webpage

  试试:Crawl Hacker News and return the raw HTML试试:Get the HTML content of TechCrunch homepage
• crawl_markdown

  Extract clean Markdown from a webpage

  试试:Crawl Hacker News and return top stories in markdown试试:Convert TechCrunch homepage to markdown format
• crawl_screenshot

  Capture screenshots of a webpage

  试试:Take a screenshot of TechCrunch homepage试试:Capture an image of the current weather page

可对比工具

安装

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

git clone https://github.com/crawlbase/crawlbase-mcp.git
cd crawlbase-mcp
npm install

# 启动 HTTP 服务器
CRAWLBASE_TOKEN=your_token CRAWLBASE_JS_TOKEN=your_js_token npm run start:http

FAQ

Crawlbase MCP 有什么功能？

Crawlbase MCP 通过结构化抓取、JavaScript 渲染和反机器人保护将 AI 代理连接到实时网络数据，在 AI 工作流中实现新鲜数据获取。

Crawlbase MCP 提供哪些命令？

服务器提供三个主要命令：'crawl'（获取原始 HTML）、'crawl_markdown'（提取干净的 Markdown）和 'crawl_screenshot'（捕获截图）。

crawlbase-mcp 对比