Ollama 是一款命令行工具，可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型。目前适用于 macOS 和 Linux，并计划支持 Windows。Ollama 目前支持近二十多个语言模型系列，每个模型系列都有许多可用的 "tags"。Tags 是模型的变体，这些模型使用不同的微调方法以不同的规模进行训练，并以不同的级别进行量化，以便在本地良好运行。 / 2025-03-21 18:04:23 / 查看 300 次

Mastra : 专为 TS 开发者设计的 AI 应用开发框架技术亮点现代技术栈：基于 Next.js/Vercel 生态，天然适配前后端一体化开发生产就绪：工作流支持持久化状态，适合需要中断/恢复的长任务模块化设计：可单独使用 RAG 或 Agents，也能组合成复杂系统透明可观测：每个 AI 决策步骤都可追溯，符合企业合规需求适用场景· 快速搭建智能客服、文档助手等 AI 应用· 现有系统添加 / 2025-03-26 02:00:15 / 查看 276 次

DistillFlow：简化和扩展大语言模型蒸馏的开源工具包DistillFlow 是一个开源工具包，旨在简化和扩展将大型语言模型（LLMs）蒸馏成更小、更高效模型的过程。它提供了一个灵活的管道，支持多GPU的蒸馏、微调和实验，具备动态资源分配的能力，并且能够轻松集成自定义技术。什么是蒸馏？蒸馏是将大规模机器学习模型的知识迁移到小型模型的过程。在这个过程中，大型模型被称为“教师模型”，而小型模型则 / 2025-03-26 00:52:27 / 查看 190 次

- https://github.com/thu-pacman/chitugit clone --recursive https://github.com/thu-pacman/chitu && cd chitupip install -r requirements-build.txtpip install -U torchTORCH_CUDA_ARCH_LIST=8.6 CHITU_SETUP_ / 2025-03-21 19:34:32 / 查看 1 次