AI万址

AI网页抓取代理

一个基于AI的网页抓取代理,使用Brightdata MCP服务器从网页中提取和总结内容,结合了LLM推理、强大的抓取能力和简单的Web界面。

AI网页抓取代理是 appugouda-architect 开发的 MCP 服务器:一个基于AI的网页抓取代理,使用Brightdata MCP服务器从网页中提取和总结内容,结合了LLM推理、强大的抓取能。接入方法见官方仓库 README,在客户端 mcpServers 段加入其配置即可:https://github.com/appugouda-architect/ai-webscraper-agent

它是干什么的

先把定位说清:AI网页抓取代理不是又一个大模型,而是一个 MCP 服务器。装好之后,你的 AI 客户端多出一组可调用的工具。一个基于AI的网页抓取代理,使用Brightdata MCP服务器从网页中提取和总结内容,结合了LLM推理、强大的抓取能力和简单的Web界面

项目数据
开发者appugouda-architect
Star1
收藏0
质量等级C
平台分类浏览器工具
部署标签本地部署、网页抓取、AI代理
仓库ai-webscraper-agent

核心能力

  • 本地部署(平台标签)
  • 网页抓取(平台标签)
  • AI代理(平台标签)

适合谁用

最该装的是要让 AI 操控浏览器做抓取、填表、自动化测试的人。如果你只是偶尔用一次它背后的服务,开网页就够了,不必上 MCP。

接入指引

  1. 1打开官方仓库,看 README 顶部的 Installation。
  2. 2把仓库给出的 mcpServers 配置并进你客户端的配置文件(Claude Desktop 在 ~/Library/Application Support/Claude/claude_desktop_config.json,Cursor 在 ~/.cursor/mcp.json)。
  3. 3完全退出客户端再打开,工具列表出现该产品即成功。

需要带完整安装命令和配置 JSON 的教程?看 Top 20 的深度文档:代码文档查询工具 context7

常见问题

Q

AI网页抓取代理免费吗?

A

代码在 GitHub 开放获取,费用与许可证以仓库为准。

Q

AI网页抓取代理能用在 Cursor / Cline 吗?

A

能。MCP 是通用协议,配置在各客户端之间基本通用,只是配置文件位置不同。