AI万址

通用爬虫服务

MCP服务器，将Futurepedia爬取逻辑作为工具暴露给助手使用，用于获取随机AI工具信息及通用网页爬取。

本地部署
网页解析
AI工具爬取
访问官网

通用爬虫服务是 litvan007 开发的 MCP 服务器：MCP服务器，将Futurepedia爬取逻辑作为工具暴露给助手使用，用于获取随机AI工具信息及通用网页爬取。接入方法见官方仓库 README，在客户端 mcpServers 段加入其配置即可：https://github.com/litvan007/mcp-universal-crawler

它是干什么的

一句话定位：MCP服务器，将Futurepedia爬取逻辑作为工具暴露给助手使用，用于获取随机AI工具信息及通用网页爬取 它以 MCP 服务器形式存在，AI 客户端连上即可调用。

项目数据
开发者litvan007
Star0
收藏0
质量等级A
平台分类搜索工具
部署标签本地部署、AI工具爬取、网页解析
仓库mcp-universal-crawler

核心能力

  • 本地部署（平台标签）
  • AI工具爬取（平台标签）
  • 网页解析（平台标签）

适合谁用

最该装的是做信息聚合、需要给 AI 搜索入口的开发者。如果你只是偶尔用一次它背后的服务，开网页就够了，不必上 MCP。

接入指引

  1. 1打开官方仓库，看 README 顶部的 Installation。
  2. 2把仓库给出的 mcpServers 配置并进你客户端的配置文件（Claude Desktop 在 ~/Library/Application Support/Claude/claude_desktop_config.json，Cursor 在 ~/.cursor/mcp.json）。
  3. 3完全退出客户端再打开，工具列表出现该产品即成功。

需要带完整安装命令和配置 JSON 的教程？看 Top 20 的深度文档：代码文档查询工具 context7。

常见问题

Q

通用爬虫服务免费吗？

A

代码在 GitHub 开放获取，费用与许可证以仓库为准。

Q

通用爬虫服务能用在 Cursor / Cline 吗？

A

能。MCP 是通用协议，配置在各客户端之间基本通用，只是配置文件位置不同。