AI万址
HELM

HELM

HELM是斯坦福CRFM开发的开源大模型评估框架，支持准确率、偏见、安全性等多维度评测，已覆盖文本、视觉、音频等模态。

访问官网
HELM
访问官网
基本信息详情
开发团队斯坦福大学CRFM（基础模型研究中心）
上线时间2022年底（首版论文发布）
官网https://crfm.stanford.edu/helm/latest
支持平台Python开源框架 / Web排行榜
价格免费（Apache-2.0许可）
核心定位大模型全息评估框架——不只看准确率，还看效率、偏见、安全性

HELM的全称是Holistic Evaluation of Language Models，斯坦福CRFM做的。这个东西在评测领域地位很高，因为它是第一个真正意义上"全息"的评测框架。别的评测只看准确率，HELM告诉你这个模型准是准，但它有没有偏见、输出有没有毒、推理效率怎么样。

2026年6月1日，HELM正式进入维护模式。这不是坏事——恰恰说明它已经完成了历史使命，把全息评测的理念传遍了整个行业。框架代码依然开源，排行榜还在更新，只是不再频繁迭代新功能了。

HELM的旗舰排行榜目前有三个：Capabilities（能力评估）、Safety（安全评估）、VHELM（视觉语言模型评估）。除此之外还有医疗（MedHELM）、音频（AHELM）、长文本（Long Context）、泰语考试（ThaiExam）等专项排行榜。每一个都提供完整的prompt级别透明度，所有LLM请求和响应都公开可查。

核心功能

01

标准化评测框架

HELM把评测流程标准化了：统一prompt格式、统一推理参数、统一评估指标。你拿来比较GPT-4o、Claude、Gemini的时候，不会因为prompt写法不同导致结果不可比。这一点在别的评测里经常被忽略，但其实是根本问题。

02

多维度指标

准确率只是HELM七个评估维度之一。还有效率（推理成本、延迟）、偏见（人口统计偏差）、毒性（有害内容比例）、校准（置信度是否匹配准确率）。你可以看到一个模型在准确率上排第一，但在毒性指标上排名靠后。

03

统一模型接口

支持OpenAI、Anthropic Claude、Google Gemini、Meta Llama等主流模型。通过统一的API接口调用，不用每个模型适配不同的SDK。跑一次评测就能横向对比十几个模型。

04

Web可视化

每条prompt和response都存在Web UI里，你可以点进去看模型具体说了什么。不像有些评测只给你一个分数，HELM让你能追溯每一条结果。

05

多模态扩展

从文本评测扩展到了视觉（VHELM）、音频（AHELM）、文生图（HEIM）。这让你可以用同一套框架评估不同模态的模型。

适合谁

做模型选型的技术团队。如果你要在GPT-4o、Claude、Gemini之间选一个用于生产环境，HELM的Capabilities排行榜是第一站。不仅看谁分数高，还看谁在安全性和效率上表现好。

做模型研发的团队。HELM的开源框架可以本地部署，跑你自己的模型。支持自定义数据集和指标，适合学术研究和模型迭代。

做合规审查的团队。HELM的Safety和toxicity评估维度对需要内容安全审核的场景特别有用。

同类竞品对比

对比维度HELMOpenCompassFlagEvalLMSYS Arena
开发方斯坦福CRFM上海AI Lab智源研究院LMSYS
评测方式标准化prompt+指标标准化+自定义自由生成式人工投票
透明度prompt级别公开部分公开部分公开对话级别公开
安全评估有（toxicity/bias）有有无
多模态文本+视觉+音频文本+视觉文本+视觉+音频文本+视觉
维护状态维护模式活跃活跃活跃

HELM的学术影响力是这几个里最强的。维护模式确实是个限制，但代码和排行榜都还在。如果你只跑标准评测不需要太多新功能，HELM够用。

FAQ

A

HELM进入维护模式后还能用吗？ 能。代码开源在GitHub上，pip install crfm-helm就能装。排行榜也在持续更新新模型的评测结果。维护模式意味着不再频繁加新功能，但已有的功能都正常运转。

A

怎么用HELM跑自己的模型？ 安装crfm-helm后，用helm-run命令指定模型和数据集。比如跑MMLU的哲学科目用GPT-2，一行命令搞定。结果可以用helm-summarize汇总，再用helm-server启动Web服务查看。

A

HELM评测一个模型要多少钱？ 取决于模型API的价格和评测规模。跑完整的Capabilities排行榜需要调用大量API，OpenAI的模型可能花费数百美元。你可以通过--max-eval-instances参数限制评测实例数量来控制成本。

A

HELM和OpenCompass有什么区别？ HELM更注重评估的"全息性"——多维度指标、prompt级别透明度。OpenCompass更注重覆盖面——支持的模型和数据集更多。做学术研究选HELM，做工程选型两个都跑。

A

HELM支持中文评测吗？ 支持。HELM有专门的multilingual排行榜。但如果你主要关心中文能力，CMMLU和C-Eval是更专业的选择。

更新动态

客户评论

HELM作为学术评测框架，没有传统商业产品的用户评分。以下是学术界和工程团队的反馈：

"HELM是LLM评测领域的标杆工作，其全息评估理念影响了后续几乎所有评测框架的设计。" — 多篇学术论文引用

"我们团队用HELM做模型选型已经两年了。维护模式确实有点遗憾，但它的标准化方法论已经够我们用了。" — 某科技公司AI平台团队

HELM Classic论文被ICLR 2023收录，后续的VHELM、HEIM等扩展工作也分别发表在顶会上。MedHELM发表于Nature Medicine。

参考来源