网页抓取优化服务器

网页抓取优化服务器是 cotdp 开发的 MCP 服务器：Scraper MCP 是一个上下文优化的网页抓取服务器，通过服务器端HTML过滤、Markdown转换和CSS选择器定。接入两步走：docker run -d -p 8000:8000 --name scraper-mcp ghcr.io/cotdp/scraper-mcp:latest，再把下文配置粘进客户端 mcpServers 段重启即可。

先把话说清楚：网页抓取优化服务器不是又一个大模型，而是一个标准的 MCP 服务器。装好之后，你的 AI 客户端多出一组新工具，模型可以按需调用。Scraper MCP 是一个上下文优化的网页抓取服务器，通过服务器端HTML过滤、Markdown转换和CSS选择器定位，将LLM令牌使用量减少70-90%

• Single URL or batch operations (pass array)
• cssselector for targeted extraction
• renderjs for JavaScript rendering (SPAs, dynamic content)

两类人最该装：一是要让 AI 操控浏览器完成抓取、填表、自动化测试的人；二是已经在用 MCP 生态、想按需拼装能力的折腾型用户。反过来，如果你只需要偶尔手动用它背后的服务，直接开网页就行，不必上 MCP。

动手前确认环境齐了：

• Docker 环境（docker ps 正常返回即可）。
• 一个支持 MCP 的客户端：Claude Desktop、Cursor、Cline、Windsurf 任选其一。
• 对应平台的 API Key（第 2 步要用）。

终端里任选一条（不同安装方式，效果等价）：

docker run -d -p 8000:8000 --name scraper-mcp ghcr.io/cotdp/scraper-mcp:latest
claude mcp add --transport http scraper http://localhost:8000/mcp --scope user
docker run -d -p 8000:8000 --memory=1g --name scraper-mcp ghcr.io/cotdp/scraper-mcp:latest
docker run -d -p 8000:8000 -e PERPLEXITY_API_KEY=your_key ghcr.io/cotdp/scraper-mcp:latest

网页抓取优化服务器的 README 没给标准 mcpServers JSON，配置入口见 官方文档 的 Usage/Configuration 章节。原则不变：客户端配置文件里加 mcpServers 条目，重启生效。

完全退出客户端再打开（是托盘里真正退出，不是关窗口）。工具列表里出现网页抓取优化服务器的工具即接入成功；调用报错的话，先查下面的坑点清单。

• Key 填了但没生效：多半填在了 args 而不是 env 段。客户端日志里看到 Environment variable PERPLEXITY_API_KEY not set 就是这个原因。
• 改了配置没反应：客户端只重启了窗口没退进程。macOS 按 Cmd+Q，Windows 检查托盘。
• JSON 报错打不开客户端：多半是最后多个逗号。粘进任何 JSON 校验器里查一遍再保存。