AI万址
AnythingLLM

AnythingLLM

AnythingLLM是MIT开源的私有AI助手，支持本地RAG文档对话、多模型接入和多用户权限。桌面版完全免费，700万+下载。了解功能、部署方式与竞品对比。

访问官网
AnythingLLM
访问官网
基本信息详情
开发公司Mintplex Labs
上线时间2023年
官网https://anythingllm.com/
支持平台macOS、Windows、Linux（桌面版）；Docker自托管
价格桌面版免费；Docker自托管免费；云端托管$50/月起
核心定位完全私有化的AI助手，数据不离开你的设备

AnythingLLM的口号是"Own your intelligence"（拥有你的智能，而不是租用）。这是Mintplex Labs做的一个开源AI应用，MIT协议，GitHub上64k+ star，200+贡献者，桌面下载量超过700万次。用户通过它本地处理了2250亿token，相比云端API省了870万美元。

它解决的核心痛点是：你把合同、研究笔记、客户数据喂给ChatGPT，等于把这些东西上传到了别人的服务器。对于处理敏感数据的律所、金融机构和医疗团队，这是不可接受的。AnythingLLM让你在自己的机器上跑RAG（检索增强生成），文档、对话记录、向量数据全部存在本地。唯一的对外流量是你主动选择连接的那个LLM提供商--如果你用Ollama跑本地模型，连这一步都省了。

桌面版设计为单用户使用，完全免费，没有功能阉割。Docker版支持多用户、权限管理、可嵌入聊天widget，也免费。唯一的付费选项是AnythingLLM Cloud，从$50/月起，由Mintplex Labs托管。

核心功能

01

文档知识与RAG

支持PDF、DOCX、TXT、CSV、Markdown、图片（OCR识别）、音频（自动转录）。还能直接抓取网站、Confluence、GitHub仓库和YouTube字幕。每个工作空间维护独立的向量数据库，检索范围不串。回答时附带来源引用--点脚注直接跳回原文档对应位置。

02

多模型支持

15+LLM提供商：OpenAI、Anthropic、Bedrock、Gemini、Ollama、llama.cpp、Mistral、Groq、DeepSeek、HuggingFace等。按成本选模型，不锁定供应商。6+向量数据库可选：LanceDB、Chroma、Milvus、Qdrant、Weaviate、Pinecone。

03

会议助手

自动在本地转录和总结任何会议。挂电话时行动项、关键决策和完整记录就准备好了。没有bot加入你的通话--完全在本地监听。适配任何会议平台。

04

Magic Echo智能听写

说话时你的文字不仅实时出现，还会被即时优化。它知道你在看什么，给出精准回答。完全在设备上运行。

05

Agent与定时任务

MCP兼容的无代码Agent，可以浏览网页、执行代码、查询SQL。配合cron定时任务--比如"每天早8点拉昨天的GitHub Issues、汇总、发到Slack"。覆盖团队级自动化场景。

06

多用户与权限管理

Docker版支持多用户账号和角色权限：管理员、经理、默认、只读。为不同项目或部门创建独立工作空间，数据隔离。LLM的API Key集中管理，审计日志归你。

适合谁

适合： 处理敏感文档的律所、金融机构和医疗团队--数据隐私是刚需。想搭建团队私有ChatGPT的中小企业--5-50人规模最合适。有大量论文、笔记需要对话式检索的研究人员和学生。注重隐私、不想给任何云服务交数据的个人用户。

不太适合： 想要零配置开箱即用体验的用户--你需要配置LLM提供商或安装Ollama。本地跑大模型需要16GB以上内存，70B模型要64GB+。期望像ChatGPT那样所有功能都托管在云端、不用自己管基础设施的团队。

同类竞品对比

对比维度AnythingLLMChatGPTNotebookLM
数据隐私极高（完全本地）低（数据上云）中（Google服务器）
部署方式桌面/Docker自托管云端SaaS云端SaaS
文档对话有（附来源引用）有（无引用）有（附引用）
多模型15+提供商仅OpenAI仅Gemini
多用户有（Docker版）有（Team版）无
价格免费（桌面/Docker）$20/月起免费
Agent/自动化有（MCP+cron）有（GPTs）无

FAQ

Q

AnythingLLM真的完全免费吗？

A

桌面版100%免费，没有功能阉割，不需要账号。Docker自托管也免费。唯一的付费选项是AnythingLLM Cloud（$50/月起），由官方托管，提供自动更新、备份和优先支持。你如果愿意自己跑Docker，一分钱都不用花。

Q

需要什么硬件配置？

A

桌面版跑本地模型建议16GB以上内存。用Ollama跑8B参数模型体验不错；跑70B参数模型需要64GB+内存和独立GPU。如果你用云端API（OpenAI、Claude等），本地硬件要求很低--它只是个客户端。

Q

跟ChatGPT有什么区别？

A

ChatGPT是托管在OpenAI服务器上的服务，你的数据会上传到他们那边。AnythingLLM让你在自己机器上跑，文档和对话记录不离开你的设备。它还支持多模型切换、多用户权限、定时Agent任务，这些ChatGPT都没有。但AnythingLLM的通用对话能力取决于你接的模型--接Ollama跑本地模型和接GPT-5体验差别很大。

Q

支持哪些文档格式？

A

PDF、Word、Excel、PPT、TXT、CSV、Markdown、图片（自动OCR）、音频（自动转录）。还能直接抓取网站内容、Confluence页面、GitHub仓库和YouTube视频字幕。

Q

怎么部署给团队用？

A

Docker版支持多用户。部署后创建管理员账号，设置LLM提供商（集中管理API Key），然后邀请同事加入。每人可以有自己的私有工作空间，也可以共享工作空间按权限分级。支持角色：管理员、经理、默认用户、只读。

Q

可以嵌入到自己的网站吗？

A

可以。Docker版提供可嵌入的聊天widget，部署到任何网页上。访客可以在你的网站上直接跟工作空间的AI对话。

更新动态

客户评论

社区评分汇总：4.4/5（基于ToolChase等评测平台和用户反馈）

"终于有一个工具能让我在本地跟自己的合同文档对话了。数据不离开我的电脑，这对律所来说是刚需。配Ollama跑本地模型完全离线，连API费用都省了。" -- 法律行业用户

"我们团队5个人共用一个Docker部署，每人独立工作空间，共享工作区按权限分级。API Key集中管理，审计日志都在自己服务器上。比每人单独订阅ChatGPT省太多了。" -- 独立开发者

参考来源