标签：本地推理

通过原生Node.js绑定LiteRT-LM，提供高性能的模型服务加速，支持多轮对话管理和性能基准测试，适用于需要快速本地模型推理的开发场景。

Deepseek r1推理扩展是一个本地运行的技术代理系统，结合推理模型和工具调用模型，适用于需要本地化运行的代理系统。

TJMCP是一个MCP服务器，通过Java Class File API提取类文件的低级信息，并利用Ollama进行本地推理，生成描述Java类的Markdown文档，无需将私有代码暴露给远程LLM。

一个完整的本地AI编程环境构建指南，支持RTX 5090和云GPU服务器，包含Qwen3.6和TurboQuant技术。