标签：文档爬取

一个用于爬取网站、生成Markdown文档并通过MCP服务器提供语义搜索功能的工具集，适用于文档管理和技术查询。

AnyDocsMCP 是一个文档爬取与注入工具，能够从任何文档站点爬取内容并注入到AI编程代理的上下文中，支持多种IDE。

Crawl4AI是一个基于库的Web文档爬取工具，能够将文档网站爬取并保存为Markdown文件。

HALCON知识库管理与爬取工具是一个统一的技术文档存储库，用于爬取本地HALCON安装、将其索引到向量数据库，并通过MCP服务器向LLMs提供知识。

一个用于爬取、处理和查询文档的系统，具有AI驱动的嵌入生成和语义搜索功能，适用于开发者和AI集成环境。

一个轻量级的MCP服务器，用于爬取文档网站并将其索引到Supabase，支持检索增强生成（RAG）。

一个自托管的模型上下文协议（MCP）服务器，用于爬取文档站点、存储语义块并通过Next.js仪表板提供实时作业可见性。

一个强大的模型上下文协议(MCP)服务器，用于爬取、索引和智能查询Zeroheight设计系统文档，适用于需要程序化访问组件库和设计指南的设计系统团队。

Python实现的文档爬取与检索服务器，包含爬取服务器（用于抓取文档网站并存储内容）和读取服务器（用于搜索和检索存储的文档），适用于开发文档管理和知识检索场景。

Lex AI是一个能够从任何URL爬取文档内容并通过MCP服务器在Cursor或Claude Code中进行搜索的服务，支持JavaScript渲染、内容分块、OpenAI嵌入和PostgreSQL存储。

一个用于爬取和本地化访问CMake官方文档的工具，支持通过本地服务器快速查询构建系统、命令和变量等文档内容。

一个完整的Python模板，用于构建具有文档爬取、向量搜索和灵活部署选项的MCP服务器。