标签：网络爬虫

一个为AI驱动的网络爬虫工作流提供HTTP调试和测试功能的模型上下文协议（MCP）服务器。

Apify MCP服务器通过AI提供对Apify自动化平台的端到端控制，包括运行Actor、管理任务和检索数据集。

提供用于运行mcp-server-webcrawl测试的测试数据库，包含多个网站/项目的爬取数据。

Bright Data 网络研究项目是一个用于网络数据收集和市场研究的工具，主要应用于电商平台的市场分析，如3D打印机和便携式电源站。

一个基于Python的Apify空项目模板，用于快速启动网络爬虫项目，包含Apify SDK、输入模式、请求队列和数据集等核心功能。

一个基于本地优先的开源情报中心，为AI助手提供实时网络研究和调查性OSINT功能。

一个结合了Model Context Protocol、Crawl4AI、SearXNG和Supabase的Docker解决方案，为AI代理和编码助手提供完整的网络搜索、爬取和RAG能力。

一个基于Model Context Protocol (MCP)的服务器，包装了steel-dev API，用于通过浏览器自动化访问网站，支持无状态和有状态的交互模式。

一个用于爬取亚马逊产品信息和搜索亚马逊产品的模型上下文协议（MCP）服务器。

HoarderMCP是一个用于网络内容爬取、处理和向量存储的模型上下文协议服务器，提供网页内容提取、信息处理和向量相似性搜索功能。

一个利用AI代理、Bright Data网络爬虫和Qdrant向量数据库实现的自动化书籍写作系统，适用于内容生成和数据处理场景。

Exa MCP 服务器是一个允许AI助手（如Claude）通过Exa AI搜索API进行网络搜索的服务，提供实时、安全的网络信息获取。

一个基于Docker的隐私保护搜索引擎聚合器和智能网络爬虫服务，提供无追踪搜索和动态网页内容抓取功能。

一款智能内容工具，通过抓取谷歌搜索结果，使用Bright Data MCP提取实时网络数据，并利用AI生成基于实时研究的文章。

一个基于n8n工作流和Firecrawl API的智能网络内容爬取服务，包含客户端和服务器组件，支持自然语言请求处理和Markdown格式输出。

为AI代理和AI编程助手提供网络爬取和检索增强生成(RAG)能力的服务器，支持多种高级RAG策略和知识图谱功能。

一个基于LangGraph和OpenRouter的交互式CLI AI代理，能够搜索网络、抓取URL并获取最新新闻，适用于需要实时数据检索和处理的场景。

一个基于AI技术的职位推荐网络爬虫工具，使用Mistral AI和Apify API，帮助用户从网络上抓取并推荐相关职位信息。

Firecrawl MCP Server是一个高效、可扩展的网络爬虫服务器，支持实时数据抓取、内容发现和批量处理，适用于开发者和研究人员。

MCP Server是一款利用网络爬虫和OpenAI技术自动生成R Markdown格式博客文章的服务。

Exa MCP Server是一个允许AI助手（如Claude）通过Exa AI搜索API进行实时网络搜索的代理服务器，提供安全可控的网络信息获取方式。

一个利用Playwright MCP和AI技术，从网络上抓取、解析和分析特定区域房地产租赁数据的工具，支持命令行和API两种使用方式。

基于AI的Scrapy爬虫自动修复服务器，当网站结构变化时自动修复爬虫，适用于网络爬虫维护和自动化数据采集场景。

用于查找、评估和运行Apify Actors的Claude代码插件，支持市场营销智能用例和多Actor工作流。