token-enhancer
by xelektron·★ 64·综合分 46
MCP服务器,可清理网页文本,减少86-99%的token使用。
web-scrapingai-llmdeveloper-tools
8
Forks
0
活跃 Issue
1 个月前
最近提交
2 天前
收录于
概述
Token Enhancer是一个本地代理服务,位于AI代理和网络之间,在页面进入上下文窗口前清理HTML和其他噪音。它能显著减少token使用量(如雅虎财经示例减少86-99%),无需API密钥或外部LLM服务。项目提供三种主要运行模式:独立代理、带有自动工具发现的MCP服务器,以及LangChain工具。
试试问 AI
装完之后,这里有 6 个你可以让 AI 做的事:
你:当网页包含在AI代理提示中时减少token使用
你:清理网页内容用于分析,去除广告和导航元素
你:通过缓存结果高效批量获取多个URL
你:此服务是否需要任何外部API密钥?
你:哪些AI客户端与此MCP服务器兼容?
你:预期的token减少量大约是多少?
什么时候选它
当您需要在AI工作流程中处理网页内容并显著减少token消耗时选择此工具,特别是处理像财务报告或文档这样数据密集型网站时。
什么时候不要选它
如果您需要处理JavaScript渲染的内容,请不要选择此工具,因为它只处理静态HTML、JSON和纯文本。
此 server 暴露的工具
从 README 抽取出 3 个工具fetch_cleanFetch a URL and return clean text with HTML noise removed.
fetch_clean_batchFetch multiple URLs at once and return clean text for each.
refine_promptClean up a prompt by removing filler words while preserving important information.
可对比工具
web-scraper-mcphtml-to-text-mcpcurl-mcpplaywright-browser-mcp
安装
pip install xelektron-token-enhancer作为MCP服务器(Claude Desktop): 添加到您的配置文件:
{
"mcpServers": {
"token-enhancer": {
"command": "python3",
"args": ["-m", "mcp_server"],
"env": {
"REQUESTS_CA_BUNDLE": "/etc/ssl/certs/ca-certificates.crt"
}
}
}
}在macOS/Windows上删除env块。
FAQ
- 此服务是否需要任何外部API密钥?
- 不需要,Token Enhancer是一个本地代理,无需任何外部API密钥或LLM服务即可工作。
- 哪些AI客户端与此MCP服务器兼容?
- 文档特别提到Claude Desktop、Cursor和OpenClaw是兼容的MCP客户端。
- 预期的token减少量大约是多少?
- 根据文档,token减少量在86-99%之间,具体取决于源网站,示例显示雅虎财经减少99.6%,维基百科减少87.4%,Hacker News减少90.1%,GitHub减少95.9%。
token-enhancer 对比
最后更新于 · 由 README + GitHub 公开数据自动生成。