之前了解过一些LLM从训练到落地的过程;
其中一个重要的步骤就是微调;
预训练：在大规模数据上学习通用语言知识。(使用海量无标注文本（TB级）)
微调：在预训练基础上，使用特定任务的标注数据进一步优化模型。(使用少量任务标注数据（KB-MB级）)
预训练是“培养通才”，微调是“打造专才”
全量微调, 成本太高, 个人搞不了,一般企业也搞不了, 所以现在开始学习高效参数微调PEFT(Parameter-Efficient Fine Tuning)
核心思想：冻结大部分预训练参数，只训练少量新增参数。
优势：显存占用低、训练速度快、避免遗忘
通常大模型部署在服务器上,代码在我们自己的电脑上编写
核心思路就是
本地：负责编写代码、准备数据、发起微调任务、监控训练过程。
服务器：负责实际的模型加载、计算和参数更新（利用 GPU 资源）
其实就是本地写代码,然后把代码在服务器上运行
我这边采用的方式是VS Code 远程开发
安装 VS Code 插件：Remote-SSH 参考: https://blog.csdn.net/xy3233/article/details/149528434
现在开始微调一个大模型,
参考: https://www.lixueduan.com/posts/ai/05-finetune-llamafactory/
先跟着别人一步一步做
我们先下载一个小模型 Qwen1.5-1.8B-Chat
modelscope download --model Qwen/Qwen1.5-1.8B-Chat --local_dir /opt/vllm/models/Qwen1.5-1.8B-Chat
然后启动模型(注意python虚拟环境)
vllm serve /opt/vllm/models/Qwen1.5-1.8B-Chat \
--max-model-len 8192 \
--gpu-memory-utilization 0.70 \
--host 0.0.0.0 \
--port 8081 \
--served-model-name Qwen1.5-1.8B-Chat
gpu小的话 就调整 gpu-memory-utilization 0.70 不然显存不够
启动完毕
测试:
http://localhost:8081/v1/chat/completions
{"model": "Qwen1.5-1.8B-Chat","messages": [{"role": "system","conten": "You are a helpful assistant."},{"role": "user","content": [{"type": "text","text": "你是谁"}]}]
}
回复:
{"id": "chatcmpl-1fdd8d7a1e134a0ea2938520a983d58e","object": "chat.completion","created": 1753168788,"model": "Qwen1.5-1.8B-Chat","choices": [{"index": 0,"message": {"role": "assistant","reasoning_content": null,"content": "我是来自阿里云的大规模语言模型，我叫通义千问。我是阿里巴巴集团研发的超大规模语言模型，是全球首个预训练语言模型，拥有超过1750万参数，能够理解和生成高质量的语言文本。\n\n我可以回答各种问题，无论是科技、文化、生活、娱乐还是专业知识领域的问题，都能提供准确和流畅的回答。我能处理大量数据，具有强大的语义理解、自然语言生成、问答系统、知识图谱构建等能力，能够根据上下文进行推理和思考，帮助用户获取所需的信息和知识，实现人机交互的智能化。\n\n此外，我还支持多种应用场景，例如智能客服、智能写作、智能翻译、自动摘要、推荐系统、智能问答系统等，并且可以通过接口与多个外部应用系统集成，形成更复杂的多模态对话系统。\n\n作为一款预训练语言模型，我通过不断的学习和优化，持续提升自己的性能和效果，同时也为人工智能领域的研究和发展做出了重要贡献。无论是在技术上，还是在实际场景的应用中，我都希望能够成为您高效解决问题、获取信息、交流沟通的重要工具，共同推动人工智能的进步和发展。","tool_calls": []},"logprobs": null,"finish_reason": "stop","stop_reason": null}],"usage": {"prompt_tokens": 15,"total_tokens": 251,"completion_tokens": 236,"prompt_tokens_details": null},"prompt_logprobs": null,"kv_transfer_params": null
}
目标: 修改模型自我认知, 当询问: 它是谁 要回复它是: 它是贾维斯,由钢铁侠制造;
下面使用 LLaMAFactory 演示如何进行 LoRA 微调。
LLaMAFactory简介:
LLaMA Factory 是一个大模型微调与部署工具包
兼容主流开源模型，如 LLaMA 系列、Qwen 系列、Mistral、Baichuan、ChatGLM、Yi 等，支持多种微调方法
全参数微调：更新模型所有参数，适合资源充足的场景。
参数高效微调：包括 LoRA、QLoRA、IA³、Prefix-Tuning 等，仅更新少量参数，大幅降低显存需求。
指令微调：针对对话、问答等任务优化模型响应，支持多轮对话格式。评估与部署一体化
提供自动评估工具，支持困惑度（Perplexity）、人工评分等指标。
集成部署功能，可直接导出为 Hugging Face 格式、ONNX 格式，
或通过 vllm、FastAPI 快速部署为 API 服务。
环境隔离
创建一个虚拟环境python3 -m venv LLaMA-env
激活 source /opt/vllm/env/LLaMA-env/bin/activate
退出 deactivate
前置条件
安装 torch,torchvision,transformers 这几个的版本;
直接到 https://github.com/hiyouga/LLaMA-Factory.git 看一下推荐版本;
然后根据cuda的版本 来确定 torch的版本
我这里使用的是 torch 2.6.0+cu118, torchvision 0.21.0+cu118;
然后安装 transformers==4.50.0
版
①安装 LLaMAFactory 和所需依赖
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -r requirements.txt
pip install -e .
LLaMA-Factory 校验
使用 llamafactory-cli version 快速校验安装是否成功
在这里插入图片描述
- 准备数据集
准备数据集可以分为两个步骤：
1）准备数据集文件，json 格式，存放到 data 目录下
2）注册数据集，将 json 文件注册到 data 目录下的 dataset_info.json 文件
LLaMA-Factory 内置了一些数据集，本次就使用内置的 identity 数据集(在data文件夹下)，用于修改模型的自我意识。
将identity.json 复制一份, 命名 identity2.json,
对{{name}} 和{{author}} 进行全局替换。 这样数据就准备好了
注册数据集: 在data文件夹中找dataset_info.json,把内容改成 (只放这一个)
{"identity": {"file_name": "identity2.json"}
}
key 为数据集名称，比如这里的 identity
value 为数据集配置，只有文件名 file_name 为必填的，比如这里的 identity2.json
modelPath=/opt/vllm/models/Qwen1.5-1.8B-Chatllamafactory-cli train \--model_name_or_path $modelPath \--stage sft \--do_train \--finetuning_type lora \--template qwen \--dataset identity \--output_dir ./saves/lora/sft \--learning_rate 0.0005 \--num_train_epochs 8 \--cutoff_len 4096 \--logging_steps 1 \--warmup_ratio 0.1 \--weight_decay 0.1 \--gradient_accumulation_steps 8 \--save_total_limit 1 \--save_steps 256 \--seed 42 \--data_seed 42 \--lr_scheduler_type cosine \--overwrite_cache \--preprocessing_num_workers 16 \--plot_loss \--overwrite_output_dir \--per_device_train_batch_size 1 \--fp16
执行完之后是这样的
根据前面的指令 微调后的模型保存到了我们指定的 ./saves/lora/sft 目录
只是权重文件比较小，只有 29M。(这个执行不起来,我试了 也许是错了)
权重合并
使用的 LoRA 微调，会生成单独的 LoRA 权重，当微调完成后需要将原始模型和 LoRA 权重进行合并，得到一个新的模型。
# 原始模型
modelPath=/opt/vllm/models/Qwen1.5-1.8B-Chat
# 上一步微调得到的 LoRA 权重
adapterModelPath=./saves/lora/sft/llamafactory-cli export \--model_name_or_path $modelPath \--adapter_name_or_path $adapterModelPath \--template qwen \--finetuning_type lora \--export_dir /opt/vllm/models/Qwen1.5-1.8B-Chat-2 \--export_size 2 \--export_device cpu \--export_legacy_format False
结果是这样的
合并完之后
重新启动测试
vllm serve /opt/vllm/models/Qwen1.5-1.8B-Chat-2 \
--max-model-len 8192 \
--gpu-memory-utilization 0.70 \
--host 0.0.0.0 \
--port 8081 \
--served-model-name Qwen1.5-1.8B-Chat
测试结果
