标签:LLM优化
包含标签「LLM优化」的全部资源
共 26 个结果
通过UNIX哲学设计的CLI工具替代MCP协议,优化大型语言模型(LLM)的上下文管理,显著减少token消耗并提升模型性能。适用于需要高效上下文管理的LLM代理开发场景。
该服务将JSON数据转换为TOON格式,减少发送到LLM的令牌数量,从而加快响应速度并降低成本,同时保留重要信息。
JToon是一个用于Java的TOON格式序列化库,提供紧凑、人类可读的序列化格式,特别适用于LLM上下文,相比JSON可减少30-60%的token数量。
AEO MCP Server是一个用于生成优化LLM消费的llms.txt和llms-full.txt文件的答案引擎优化服务器。
一个生产就绪的模型上下文协议(MCP)服务器,通过SearXNG提供网页搜索功能,专为与LLM代理无缝集成而设计,支持HTTP/SSE传输和LLM优化的响应格式。
一个基于Jina.ai搜索API的MCP服务器,为LLM提供高效、全面的网页搜索能力,优化检索干净且适合LLM的内容。
git-prism是一款为LLM代理优化的Git数据分析工具,提供结构化JSON输出以替代传统的人类可读差异显示,支持函数级粒度分析、导入跟踪、依赖变更、完整文件快照等功能。
Middleman是一款企业级模型上下文协议(MCP)服务器,作为原始数据与昂贵LLM之间的信号过滤器,通过提炼和总结数据来显著降低API成本。
Context-Life是一款本地运行的MCP服务器,专注于优化大型语言模型(LLM)的上下文窗口使用,提供智能修剪、本地RAG检索、提示缓存和上下文健康监测等功能。
一个演示GraphQL和REST API在大型语言模型(LLMs)中使用的差异的工具,重点展示GraphQL在分层数据查询中减少令牌使用和API往返次数的优势。
TONL-MCP Bridge是一款TypeScript库和CLI工具,用于将JSON/YAML数据转换为TONL格式,减少大型语言模型(LLM)的令牌使用,从而降低成本和提高性能。适用于日志处理、向量数据库、RAG系统等场景。
MCP Router是一个智能模型上下文协议路由器,用于Cursor IDE,能根据查询分析、复杂度和用户偏好策略自动选择最佳LLM模型。
DeepMyst MCP Server是一个智能LLM优化和路由服务器,为Claude Desktop和HTTP客户端提供令牌优化和智能模型路由功能,适用于需要高效LLM集成的场景。
tksq是一款通过多阶段管道压缩文本的LLM令牌压缩服务,可减少与大型语言模型(LLM)交互时的令牌消耗,适用于编程、法律、学术等多领域。