0 次
ihunter 
2024/01 git clone https://github.com/getumbrel/llama-gpt.git
cd llama-gpt
现在可以使用以下任何模型运行 LlamaGPT,具体取决于你的硬件:
| 模型大小 | 使用的模型 | 所需的最低 RAM | 如何启动 LlamaGPT |
|---|---|---|---|
| 7B | Nous Hermes Llama 2 7B (GGML q4_0) | 8GB | docker compose up -d |
| 13B | Nous Hermes Llama 2 13B (GGML q4_0) | 16GB | docker compose -f docker-compose-13b.yml up -d |
| 70B | Meta Llama 2 70B Chat (GGML q4_0) | 48GB | docker compose -f docker-compose-70b.yml up -d |
可以通过 http://localhost:3000 访问 LlamaGPT。
要停止 LlamaGPT,请运行:
上篇：
通义千问-14B - 140亿参数规模的模型 - 基于Transformer的大语言模型
下篇：
闻达(wenda):基于大模型的企业私有知识库构建平台
1 追女生，聊天越简单，女生主动欲望越强 2 男人追女人，不要频繁找女人聊天，要聊就聊这3个话题 3 六大核心聊天关键词（全篇重点话术） 4 女人假装爱你的七个信号 5 智能目标检测：用 Rust + dora-rs + yolo 构建“机器之眼” 6 2025年AI大模型六大行业风口 7 vLLM + FastAPI：一个高并发、低延迟的Qwen-7B量化服务搭建实录... 8 大模型无非就这点东西 9 10个真正赚钱的AI利基市场 10 controlnet-canny, controlnet-depth 场景介... 11 AI推理: 引导尺度, 采样步数, 采样偏移 12 2025年性价比最高的AI服务器拆解：768GB显存暴打训练慢的痛点
IT博客索引
AI软件索引
猜你喜欢
AI软件