LLaMA-Factory 是一个开源的语言模型工厂，用于创建和训练大规模语言模型。LLaMA-Factory 由 Meta AI 开发，旨在提供一个灵活、可扩展和高效的平台，用于构建和训练语言模型。

LLaMA-Factory 的主要特点包括：

大规模语言模型：LLaMA-Factory 支持创建和训练大规模语言模型，具有数十亿个参数。

灵活性：LLaMA-Factory 提供了多种语言模型架构，包括 Transformer、BERT、RoBERTa 等，用户可以根据自己的需求选择合适的模型。

可扩展性：LLaMA-Factory 设计为可扩展的，支持分布式训练和多 GPU 训练，能够高效地处理大规模数据。

高效性：LLaMA-Factory 优化了训练过程，能够在较短的时间内完成大规模语言模型的训练。

开源：LLaMA-Factory 是开源的，用户可以自由地使用和修改代码。

LLaMA-Factory 的应用场景包括：

自然语言处理：LLaMA-Factory 可用于自然语言处理任务，例如文本分类、情感分析、命名实体识别等。

语言翻译：LLaMA-Factory 可用于语言翻译任务，例如将英文翻译成中文。

对话系统：LLaMA-Factory 可用于对话系统，例如聊天机器人、语音助手等。

文本生成：LLaMA-Factory 可用于文本生成任务，例如自动写作、文本摘要等。

LLaMA-Factory 的优势包括：

高性能：LLaMA-Factory 能够训练出高性能的语言模型，具有良好的准确性和效率。

灵活性：LLaMA-Factory 提供了多种语言模型架构和训练参数，用户可以根据自己的需求选择合适的模型和参数。

可扩展性：LLaMA-Factory 支持分布式训练和多 GPU 训练，能够高效地处理大规模数据。

总之，LLaMA-Factory 是一个强大的语言模型工厂，能够帮助用户快速创建和训练高性能的语言模型，具有广泛的应用场景和优势。

## LLaMA-Factory

- https://github.com/hiyouga/LLaMA-Factory

cd   /data/site/htmltoo.labs/LLaMA-Factory

conda create -n LLaMA-Factory  python=3.11  -y

conda activate LLaMA-Factory

pip install -e ".[torch,metrics]"

pip install --upgrade -r  requirements-add.txt

- 自定义数据集

data/dataset_info.json

- 运行LoRA微调, 推理和合并Llama3-8B-Instruct型号。

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

llamafactory-cli chat examples/inference/llama3_lora_sft.yaml

llamafactory-cli export examples/merge_lora/llama3_lora_sft.yaml