- https://github.com/lm-sys/FastChat
- https://github.com/ModelTC/lightllm
pip3 install -U "fschat[model_worker,webui]"
python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.5
python3 -m fastchat.serve.gradio_web_server
上篇:
没有了
下篇:
Open-Sora - 高效视频制作
1 ollama-deep-researcher——基于ollama的本地的网络研究... 2 OpenAI Agents SDK:轻量级多智能体工作流框架 3 TTSFM:兼容 OpenAI TTS 的文本转语音 API 服务器 4 Oliva - 高效的商品检索能力,支持 语音交互 5 ZO2:低显存环境下的 175B LLM 全参数微调解决方案 6 AIaW - 全功能、轻量级、可扩展的AI对话客户端 7 Mastra : 专为 TS 开发者设计的 AI 应用开发框架 8 GraphRAG:基于图像检索增强生成开源到爆火,解锁新RAG技术 9 Local Deep Research - 本地深度 AI 研究助手 10 text-generation-inference - 推理任务 11 DistillFlow 12 Local-NotebookLM:开源 + 本地版 NotebookLM