git clone https://github.com/getumbrel/llama-gpt.git
cd llama-gpt
现在可以使用以下任何模型运行 LlamaGPT,具体取决于你的硬件:
模型大小 | 使用的模型 | 所需的最低 RAM | 如何启动 LlamaGPT |
---|---|---|---|
7B | Nous Hermes Llama 2 7B (GGML q4_0) | 8GB | docker compose up -d |
13B | Nous Hermes Llama 2 13B (GGML q4_0) | 16GB | docker compose -f docker-compose-13b.yml up -d |
70B | Meta Llama 2 70B Chat (GGML q4_0) | 48GB | docker compose -f docker-compose-70b.yml up -d |
可以通过 http://localhost:3000 访问 LlamaGPT。
要停止 LlamaGPT,请运行:
上篇:
通义千问-14B - 140亿参数规模的模型 - 基于Transformer的大语言模型
下篇:
闻达(wenda):基于大模型的企业私有知识库构建平台
1 2025年性价比最高的AI服务器拆解:768GB显存暴打训练慢的痛点 2 AIGC高阶教程:用即梦AI提示词榨干模型创作力 3 7大热门Agent框架盘点:助你轻松构建多智能体AI应用 4 AI写小说的喂饭教程我整理好了!轻轻松松写一篇100万字的小说 !!! 5 财务知识——用DeepSeek搞钱的野路子! 6 绝了!一键用AI生成高颜值动态PPT(附详细步骤+Prompt) 7 DeepSeek在职场办公领域的80个应用场景 8 Unsloth:大模型微调的革命性工具,支持DeepSeek QwQ Gemma... 9 一文图解Agent智能体:60张图、14个技术点回顾Agent的基本认知 10 SFT 指令微调数据 如何构建? 11 快速对QWen2.5大模型进行微调 12 DeepseekR1+ollama+dify1.0.0搭建企业/个人知识库