LLM自动化评估服务

LLM自动化评估服务是 root-signals 开发的 MCP 服务器：Scorable MCP Server是一个将Scorable评估器作为工具暴露给AI助手和代理的模型上下文协议服务器，。接入两步走：docker run -e SCORABLE_API_KEY=<your_key> -p 0.0.0.0:9090:9090 --name=rs-mcp -d ghcr.io/scorable/scorable-mcp:latest，再把下文配置粘进客户端 mcpServers 段重启即可。

先把话说清楚：LLM自动化评估服务不是又一个大模型，而是一个标准的 MCP 服务器。装好之后，你的 AI 客户端多出一组新工具，模型可以按需调用。Scorable MCP Server是一个将Scorable评估器作为工具暴露给AI助手和代理的模型上下文协议服务器，用于评估响应质量

• Exposes Scorable evaluators as MCP tools
• Implements SSE for network deployment

两类人最该装：一是天天在 Claude Desktop、Cursor 里写代码，想让 AI 直接帮你跑命令、改仓库、读文件的人；二是已经在用 MCP 生态、想按需拼装能力的折腾型用户。反过来，如果你只需要偶尔手动用它背后的服务，直接开网页就行，不必上 MCP。

动手前确认环境齐了：

• Docker 环境（docker ps 正常返回即可）。
• 一个支持 MCP 的客户端：Claude Desktop、Cursor、Cline、Windsurf 任选其一。
• 对应平台的 API Key（第 2 步要用）。

终端里任选一条（不同安装方式，效果等价）：

docker run -e SCORABLE_API_KEY=<your_key> -p 0.0.0.0:9090:9090 --name=rs-mcp -d ghcr.io/scorable/scorable-mcp:latest

LLM自动化评估服务的 README 没给标准 mcpServers JSON，配置入口见 官方文档 的 Usage/Configuration 章节。原则不变：客户端配置文件里加 mcpServers 条目，重启生效。

完全退出客户端再打开（是托盘里真正退出，不是关窗口）。工具列表里出现LLM自动化评估服务的工具即接入成功；调用报错的话，先查下面的坑点清单。

• Key 填了但没生效：多半填在了 args 而不是 env 段。客户端日志里看到 Environment variable SCORABLE_API_KEY not set 就是这个原因。
• 改了配置没反应：客户端只重启了窗口没退进程。macOS 按 Cmd+Q，Windows 检查托盘。
• JSON 报错打不开客户端：多半是最后多个逗号。粘进任何 JSON 校验器里查一遍再保存。