大模型无非就这点东西…LLM基础知识分成了十个部分1️⃣ Transformer结构2️⃣ 主流大模型3️⃣ 预训练 Pre-train4️⃣ 后训练 Post-train5️⃣ 模型压缩与量化6️⃣ / 2025-09-13 20:09:19 / 查看 2675 次

今天，我们将挑战高性能开发的极限——告别 Python 的束缚，直接拥抱底层性能，通过 Rust 语言，结合新兴的机器人数据流框架 dora-rs 和极致轻量化的机器学习库 Candle ，从零打造一 / 2025-12-23 15:00:25 / 查看 123 次

如果你是人工智能领域的实践者、对大型语言模型推理有深度好奇、或者正在探索LLM服务系统背后的真相，那么这篇文章将为你打开一扇极具价值的技术洞察之门。今天要介绍的是一个令人兴奋的开源项目——Mini-S / 2025-12-23 15:03:22 / 查看 1 次

1、什么是LLM agent？要了解LLM agent是什么，首先来探索LLM的基本能力。传统上，LLM不过是一个接一个地进行下一个token预测。通过连续采样许多token，可以模拟对话，并使用LLM对问题给出更详细的答案。然而，当继续“对话”时，任何给定的LLM都会展示出它的一个主要缺点，它不记得对话。还有许多其他任务是LLM经常失败的，包括基本的数学运算，如乘法和除法：这是否意味着LLM很糟 / 2025-03-29 00:26:19 / 查看 2142 次

它们都是生成推理阶段的重要控制项，不同取值会直接影响生成质量、风格、速度和稳定性。1. 推理（Inference）意思：推理就是在已经训练好的模型上，根据输入（文字提示、图像、音频等）生成结果的过程。这里的推理速度和质量主要取决于采样步数、引导尺度、模型大小和硬件性能。设置建议：一般不需要直接设置“推理”这个词本身，而是调整它相关参数（比如采样步数、采样算法）。如果要追求速度，可选择“快速采样”模 / 2025-08-13 02:38:21 / 查看 3010 次