LlamGPT - 基于Llama2的聊天机器人
0 次
ihunter 
2024/01 git clone https://github.com/getumbrel/llama-gpt.git
cd llama-gpt
现在可以使用以下任何模型运行 LlamaGPT,具体取决于你的硬件:
| 模型大小 | 使用的模型 | 所需的最低 RAM | 如何启动 LlamaGPT |
|---|---|---|---|
| 7B | Nous Hermes Llama 2 7B (GGML q4_0) | 8GB | docker compose up -d |
| 13B | Nous Hermes Llama 2 13B (GGML q4_0) | 16GB | docker compose -f docker-compose-13b.yml up -d |
| 70B | Meta Llama 2 70B Chat (GGML q4_0) | 48GB | docker compose -f docker-compose-70b.yml up -d |
可以通过 http://localhost:3000 访问 LlamaGPT。
要停止 LlamaGPT,请运行:
上篇：
通义千问-14B - 140亿参数规模的模型 - 基于Transformer的大语言模型
下篇：
闻达(wenda):基于大模型的企业私有知识库构建平台
相关主题
1 Unsloth：大模型微调的革命性工具，支持DeepSeek QwQ Gemma... 2 一文图解Agent智能体：60张图、14个技术点回顾Agent的基本认知 3 SFT 指令微调数据 如何构建? 4 快速对QWen2.5大模型进行微调 5 DeepseekR1+ollama+dify1.0.0搭建企业/个人知识库 6 使用Easy Dataset为大模型准备训练数据，在线部署 7 机器学习重要的7个库 8 如何微调（Fine-tuning）大语言模型 9 如何打造属于你的定制化大模型聊天机器人 10 大模型的Base版本模型、Chat版本模型和4Bit版本模型有什么区别 11 用LLaMA-Factory，训练一个你的专属大模型！超简单易懂教程 12 AI大模型中 .safetensors 文件、.ckpt文件、.gguf和.pt...
IT博客索引
AI软件索引
猜你喜欢
AI软件
热门
焦点
视点
头条