ZO2：低显存环境下的 175B LLM 全参数微调解决方案📌 工具简介ZO2 (Zeroth-Order Offloading) 是一种创新的 零阶优化（ZO）+ 离载（Offloading） 技术框架，使大规模语言模型（LLM） 的 全参数微调（Full Fine-Tuning） 在低显存环境下成为可能。例如，它可以在仅 18GB 显存的 GPU 上微调 OPT-175B，极大降低硬件门槛。✨ / 2025-03-26 02:30:08 / 查看 123 次

DistillFlow：简化和扩展大语言模型蒸馏的开源工具包DistillFlow 是一个开源工具包，旨在简化和扩展将大型语言模型（LLMs）蒸馏成更小、更高效模型的过程。它提供了一个灵活的管道，支持多GPU的蒸馏、微调和实验，具备动态资源分配的能力，并且能够轻松集成自定义技术。什么是蒸馏？蒸馏是将大规模机器学习模型的知识迁移到小型模型的过程。在这个过程中，大型模型被称为“教师模型”，而小型模型则 / 2025-03-26 00:52:27 / 查看 190 次

## easy-dataset- https://github.com/ConardLi/easy-dataset大型语言模型微调数据集创建工具如何快速创建 LLM 微调数据集？在微调大型语言模型（LLM）时，你是否遇到过数据集整理繁琐、问题生成低效、格式转换复杂的问题？Easy Dataset 提供了一种高效、智能的解决方案，帮助你轻松构建高质量的微调数据集，让模型训练更加顺畅。✨ Easy D / 2025-03-21 19:43:15 / 查看 1329 次

KTransformers 是一个开源的 Transformer 库，用于自然语言处理（NLP）任务。它是基于 PyTorch 框架开发的，提供了一个简单易用的 API，用于构建和训练 Transformer 模型。Transformer 是一种自注意力机制（Self-Attention Mechanism）的神经网络模型，最初由 Google 提出，用于机器翻译任务。它的主要特点是可以并行化处理 / 2025-03-21 19:36:02 / 查看 401 次

Ollama 是一款命令行工具，可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型。目前适用于 macOS 和 Linux，并计划支持 Windows。Ollama 目前支持近二十多个语言模型系列，每个模型系列都有许多可用的 "tags"。Tags 是模型的变体，这些模型使用不同的微调方法以不同的规模进行训练，并以不同的级别进行量化，以便在本地良好运行。 / 2025-03-21 18:04:23 / 查看 300 次