AI万址

网页爬虫服务

一个基于Node.js的网页爬虫服务,支持配置爬取深度、请求延迟等参数,适用于数据采集和内容分析。

网页爬虫服务是 jitsmaster 开发的 MCP 服务器:一个基于Node.js的网页爬虫服务,支持配置爬取深度、请求延迟等参数,适用于数据采集和内容分析。接入方法见官方仓库 README,在客户端 mcpServers 段加入其配置即可:https://github.com/jitsmaster/webscrapemcpserver

它是干什么的

一句话定位:一个基于Node.js的网页爬虫服务,支持配置爬取深度、请求延迟等参数,适用于数据采集和内容分析 它以 MCP 服务器形式存在,AI 客户端连上即可调用。

项目数据
开发者jitsmaster
Star1
收藏0
质量等级B
平台分类浏览器工具
部署标签本地部署、网页爬虫、数据采集
仓库webscrapemcpserver

核心能力

  • 本地部署(平台标签)
  • 网页爬虫(平台标签)
  • 数据采集(平台标签)

适合谁用

最该装的是要让 AI 操控浏览器做抓取、填表、自动化测试的人。如果你只是偶尔用一次它背后的服务,开网页就够了,不必上 MCP。

接入指引

  1. 1打开官方仓库,看 README 顶部的 Installation。
  2. 2把仓库给出的 mcpServers 配置并进你客户端的配置文件(Claude Desktop 在 ~/Library/Application Support/Claude/claude_desktop_config.json,Cursor 在 ~/.cursor/mcp.json)。
  3. 3完全退出客户端再打开,工具列表出现该产品即成功。

需要带完整安装命令和配置 JSON 的教程?看 Top 20 的深度文档:代码文档查询工具 context7

常见问题

Q

网页爬虫服务免费吗?

A

代码在 GitHub 开放获取,费用与许可证以仓库为准。

Q

网页爬虫服务能用在 Cursor / Cline 吗?

A

能。MCP 是通用协议,配置在各客户端之间基本通用,只是配置文件位置不同。