DeepKnowledge：基于Agno 的深度智能知识探索框架概述：基于 @AgnoAgi 框架的深度智能问答系统，通过 GPT-4o 模型对文档知识库进行多轮迭代搜索和推理，能将复杂问题拆解并给出详实的答案和引用来源核心功能- 一个深度智能问答系统，能够通过迭代搜索知识库来回答复杂问题- 它会将复杂问题分解成多个子问题，然后逐步探索和综合答案- 特别之处在于它会进行多轮搜索，不断深入直到找到完 / 2025-03-26 23:09:33 / 查看 1429 次

TGI（Text Generation Inference）是一个由HuggingFace开发的开源框架，专注于高效处理大型语言模型（LLM）的推理任务。它支持GPT、LLaMA和Falcon等多种模型，以其高吞吐量和低延迟的特点著称，并优化了KV缓存，使得长文本推理更加流畅。TGI的应用场景广泛，包括：1. 聊天机器人和AI助手：显著降低响应时间，提升互动体验。2. 文本生成：支持流式输出，适用 / 2025-03-26 01:40:35 / 查看 489 次

## dynamo一个数据中心规模的分布式推理服务框架NVIDIA Dynamo是一个高吞吐量、低延迟的推理框架，旨在为多节点分布式环境中的生成式人工智能和推理模型提供服务。Dynamo被设计为与推理引擎无关(支持TRT-LLM、vLLM、SGLang或其他语言),并捕获LLM特定的功能，例如:分解预填充和解码推理–最大化GPU吞吐量，并促进吞吐量和延迟之间的平衡。动态GPU调度–根据波动的需求优 / 2025-03-21 19:44:44 / 查看 201 次

KTransformers 是一个开源的 Transformer 库，用于自然语言处理（NLP）任务。它是基于 PyTorch 框架开发的，提供了一个简单易用的 API，用于构建和训练 Transformer 模型。Transformer 是一种自注意力机制（Self-Attention Mechanism）的神经网络模型，最初由 Google 提出，用于机器翻译任务。它的主要特点是可以并行化处理 / 2025-03-21 19:36:02 / 查看 401 次

- https://github.com/thu-pacman/chitugit clone --recursive https://github.com/thu-pacman/chitu && cd chitupip install -r requirements-build.txtpip install -U torchTORCH_CUDA_ARCH_LIST=8.6 CHITU_SETUP_ / 2025-03-21 19:34:32 / 查看 1 次

##Vectrix Graphs 是一个强大的图形化框架，为AI应用开发提供流式处理、本地推理和API集成功能，支持实时交互和高效工作流。核心功能1. 多种推理方式 • 本地推理：使用开源LLMs进行本地处理。 • API推理：集成Claude 3.5和OpenAI模型，实现高级AI能力。 • 流式响应：支持动态实时交互，提供流畅的用户体验。2. 基于图的架构 • 可视化表示：通过Mermaid生 / 2025-03-21 18:50:42 / 查看 223 次

- https://github.com/om-ai-lab/OmAgent- https://om-agent.com/##OmAgent 是一个简洁高效的开源框架，专为快速构建和部署多模态语言代理而设计。通过高度抽象和灵活架构，开发者可以轻松处理文本、图像、视频、音频等多模态数据，适用于科研与实际应用。核心特点 1. 简化开发：封装复杂的工程细节，提供简单直观的界面，支持快速原型设计。 2. / 2025-03-21 18:07:55 / 查看 466 次