webfetch-mcp
by manooll·★ 26·综合分 41
MCP服务器提供实时网络访问功能,支持可调搜索和干净内容提取,适用于本地AI模型。
web-scrapingsearchai-llm
8
Forks
3
活跃 Issue
7 个月前
最近提交
2 天前
收录于
概述
WebFetch.MCP是一个自托管的MCP服务器,弥合本地大语言模型与实时网络之间的差距。它提供网络搜索和URL内容获取功能,无需API密钥。该服务器使用SearxNG作为元搜索引擎,Mozilla Readability进行内容提取,支持70多个搜索引擎,包括Google Scholar、arXiv和GitHub等专业引擎。实现包含智能速率限制(每5分钟12次调用)以及源权重、内容过滤和域名限制的可配置选项。
试试问 AI
装完之后,这里有 6 个你可以让 AI 做的事:
你:研究助手获取最新学术论文和技术文档
你:本地AI模型通过新闻和实时信息保持更新
你:提取内容进行分析,同时过滤广告和导航元素
你:针对多个专业数据库进行有针对性的科学查询
你:WebFetch.MCP需要API密钥吗?
你:服务器上施加了什么速率限制?
什么时候选它
当你需要为本地 AI 模型提供注重隐私的网络访问,无需 API 密钥,并需要对技术和学术来源进行精细搜索时,选择 WebFetch.MCP。
什么时候不要选它
如果你需要处理大量 JavaScript 的内容提取(需要 JSDOM)或需要立即处理的实时内容,不要选择它,因为它有速率限制(每 5 分钟 12 次调用)。
此 server 暴露的工具
从 README 抽取出 2 个工具web_searchSearch the web with 70+ configurable engines for fresh, real-time data
web_fetchExtract clean content from a specific URL using Mozilla Readability
可对比工具
mrkrsl-web-searchmcp-server-fetch-pythoncrawl4ai
安装
安装
前置条件
- Node.js 18+
- Docker & Docker Compose
- SearxNG 实例
步骤
- 安装 SearxNG:
git clone https://github.com/searxng/searxng-docker.git
cd searxng-docker
sed -i "s|ultrasecretkey|$(openssl rand -hex 32)|g" searxng/settings.yml
docker compose up -d- 安装 WebFetch.MCP:
git clone https://github.com/manull/webfetch-mcp.git
cd webfetch-mcp
npm install
node server.mjs- 在 LM Studio 或 Claude Desktop 中配置:
{
"mcpServers": {
"webfetch": {
"command": "node",
"args": ["/full/path/to/webfetch-mcp/server.mjs"],
"env": {
"SEARXNG_BASE": "http://localhost:8080"
}
}
}
}FAQ
- WebFetch.MCP需要API密钥吗?
- 不需要,它使用SearxNG作为元搜索引擎,搜索功能不需要任何API密钥。
- 服务器上施加了什么速率限制?
- WebFetch.MCP实施了智能速率限制,每5分钟12次调用,每30秒8次突发调用,以防止垃圾邮件,同时允许合理的研究工作流程。
webfetch-mcp 对比
最后更新于 · 由 README + GitHub 公开数据自动生成。