TGI（Text Generation Inference）是一个由HuggingFace开发的开源框架，专注于高效处理大型语言模型（LLM）的推理任务。它支持GPT、LLaMA和Falcon等多种模型，以其高吞吐量和低延迟的特点著称，并优化了KV缓存，使得长文本推理更加流畅。TGI的应用场景广泛，包括：1. 聊天机器人和AI助手：显著降低响应时间，提升互动体验。2. 文本生成：支持流式输出，适用 / 2025-03-26 01:40:35 / 查看 489 次

Gemma3-OCR：完全本地运行的计算机视觉应用，特别适合需要离线文本识别能力的场景，或者对数据隐私有较高要求的用户项目核心功能· 图像文本识别：从上传的图片中识别并提取文本内容· 本地运行：无需依赖云服务，全部在本地设备上处理· 结构化输出：以结构化的 Markdown 格式展示识别结果技术组件· Gemma-3：Google 开发的视觉语言模型，通过 Ollama 在本地运行· Stream / 2025-03-26 00:35:15 / 查看 116 次

OpenManus 是一个完全免费的开源项目，通过调用本地的 AI 模型（如 Ollama），让你不需要等待、不需要支付任何费用，也不需要使用 API Key。直接在本地部署，给你带来流畅的使用体验！ / 2025-03-25 22:58:17 / 查看 1 次

Axolotl-AI-Cloud/Axolotl 是一个开源的、基于云计算的 AI 平台，用于构建和部署人工智能模型。Axolotl 的目标是提供一个简单、灵活和可扩展的平台，用于开发和部署 AI 应用程序。Axolotl 的主要特点包括：云计算：Axolotl 基于云计算技术，提供了一个可扩展和灵活的平台，用于构建和部署 AI 模型。AI 框架：Axolotl 支持多种 AI 框架，包括 Ten / 2025-03-21 19:40:50 / 查看 478 次