Ollama - 在本地启动并运行大语言模型
Ollama 是一款命令行工具,可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型。目前适用于 macOS 和 Linux,并计划支持 Windows。
Ollama 目前支持近二十多个语言模型系列,每个模型系列都有许多可用的 "tags"。Tags 是模型的变体,这些模型使用不同的微调方法以不同的规模进行训练,并以不同的级别进行量化,以便在本地良好运行。量化级别越高,模型越精确,但运行速度越慢,所需的内存也越大。
上篇:
没有了
下篇:
RAGFlow - 知识库检索
相关主题
1 GenBI AI Agent 2 OpenAI Agents SDK:轻量级多智能体工作流框架 3 Oliva - 高效的商品检索能力,支持 语音交互 4 ZO2:低显存环境下的 175B LLM 全参数微调解决方案 5 AIaW - 全功能、轻量级、可扩展的AI对话客户端 6 Mastra : 专为 TS 开发者设计的 AI 应用开发框架 7 GraphRAG:基于图像检索增强生成开源到爆火,解锁新RAG技术 8 GeoAI: 人工智能驱动的地理空间数据分析 9 AI-Researcher:基于 LLM 代理的全自动科学研究平台 10 Local Deep Research - 本地深度 AI 研究助手 11 text-generation-inference - 推理任务 12 DistillFlow
热门
焦点
视点
头条