## dynamo

一个数据中心规模的分布式推理服务框架

NVIDIA Dynamo是一个高吞吐量、低延迟的推理框架，旨在为多节点分布式环境中的生成式人工智能和推理模型提供服务。Dynamo被设计为与推理引擎无关(支持TRT-LLM、vLLM、SGLang或其他语言),并捕获LLM特定的功能，例如:

分解预填充和解码推理–最大化GPU吞吐量，并促进吞吐量和延迟之间的平衡。

动态GPU调度–根据波动的需求优化性能

LLM感知的请求路由–消除不必要的KV缓存重新计算

加速数据传输–使用NIXL缩短推理响应时间。

KV缓存卸载–利用多个内存层次提高系统吞吐量

Dynamo内置于Rust以获得性能，内置于Python以获得可扩展性，它是完全开源的，由透明的OSS(开源软件)优先开发方法驱动。

当你的生成式 AI 模型需要低延迟、高吞吐、多节点分布式推理时，如何优化计算资源，提高推理效率？

NVIDIA Dynamo 是一个数据中心级分布式推理框架，专为 LLM 和推理模型设计，支持多种推理引擎，如 TRT-LLM、vLLM、SGLang 等。它能够最大化 GPU 计算能力，确保推理任务以更快速度、更低成本运行。

⚡ 关键特性

• 智能任务调度：根据实时需求动态分配 GPU 计算资源，优化推理吞吐量。

• 高效数据传输：采用 NIXL 技术加速数据传输，减少推理响应时间。

• KV Cache 分层存储：利用多层内存架构，提高系统吞吐能力，减少重复计算。

• 兼容多种 LLM 推理引擎：支持 TensorRT-LLM、vLLM、SGLang 等，灵活适配不同应用场景。

• 开源与可扩展性：Rust 提供高性能，Python 提供灵活扩展能力，适用于不同规模的 AI 任务。

🔧 适用场景

• 大规模 LLM 部署：适用于企业级 AI 应用，如搜索引擎、智能客服、自动摘要等。

• 边缘计算与云端推理：在本地或云端高效运行 LLM，优化资源使用。

• 多节点分布式推理：支持跨服务器协同推理，提高推理任务的可扩展性。

🎯 为什么选择 NVIDIA Dynamo？

✅ 优化 GPU 计算资源，减少不必要的推理开销，提高计算效率。

✅ 低延迟 & 高吞吐，适应不同规模的 AI 推理任务。

✅ 完全开源，支持灵活定制和扩展，适合各类 AI 研发团队。