微调方式怎么选，先看任务和显卡

选择哪种微调方式，主要需要综合考虑模型规模、任务需求、GPU 资源和训练成本。不同方式各有适用场景，并不是更新的模型参数越多，微调效果就一定越好。对于大多数微调任务，可以优先尝试 LoRA。LoRA 只需要训练少量新增参数，对 GPU 显存和计算资源的要求相对较低，训练得到的 Adapter 文件也比较小，便于保存。

如果基础模型规模较大，即使采用 LoRA，加载模型后仍然没有足够的显存进行训练，可以进一步考虑 QLoRA。QLoRA 通过量化降低基础模型本身的显存占用，使较大的模型也能够在有限的 GPU 资源下进行微调。QLoRA 更适合模型规模较大、GPU 显存有限的场景。

如果 GPU 资源比较充足，并且任务需要对模型进行更充分的调整，则可以考虑全参数微调。由于训练过程中需要更新模型的全部参数，全参数微调对显存、计算资源和训练数据的要求都更高，训练和保存模型的成本也更大，因此通常需要结合实际任务判断是否有必要采用。

在实际项目中，我们可以先用较低的成本验证效果，再根据实际需求选择是否增加训练成本。 如果 LoRA 已经能够达到预期效果，通常没有必要仅仅为了更新更多参数而选择全参数微调。

用ms-swift，跑通一次微调

ms-swift能帮我们省下哪些工作？

ms-swift（SWIFT，Scalable lightWeight Infrastructure for Fine-Tuning）是 ModelScope 社区开源的大模型训练与部署框架，主要面向大语言模型和多模态大模型，提供从模型训练、微调到推理、评测和部署的一整套工具。

目前已经支持 Qwen、DeepSeek、Llama、GLM、InternLM 等主流大语言模型，以及 Qwen-VL、InternVL 等多模态模型,同时支持Embedding、Reranker 和文本分类等模型或任务的训练。

可以在ms-swift查看更多使用方法。

除了训练之外，ms-swift 还提供了比较完整的模型使用流程。训练完成后，可以直接使用 swift infer 进行模型推理，也可以通过 swift deploy 将模型部署为 OpenAI 兼容的 API 服务。在推理和部署方面，还可以结合 vLLM、SGLang、LMDeploy 等推理引擎进行加速。

对于初学者来说，ms-swift 的一个特点是将大模型训练过程中很多复杂的配置进行了统一封装。通过命令行参数指定基础模型、训练数据、微调方式以及训练参数，就可以完成一次模型微调。在下面的实验中，我们将使用 ms-swift 完成一次完整的模型微调流程，包括准备训练数据、启动 LoRA 训练、查看训练结果、合并 LoRA 权重以及加载微调后的模型进行推理和部署。

从实体识别任务开始，动手训练

下面将以一个实体识别任务为例，在 ModelScope Notebook 环境中演示完整的模型微调流程，包括数据准备、模型训练以及微调后的模型推理等步骤。通过这个示例，可以了解如何使用 ms-swift 从零开始完成大模型微调。本实验继续使用 ubuntu22.04-cuda12.8.1-py312-torch2.10.0-1.39.0 镜像作为运行环境。

1) 查看环境中是否已经安装ms-swift,，注意安装包是ms_swift

!pip3 list |grep ms_swift

显示下面这种形式，说明已经安装了ms-swift

如果没有安装，则执行

!pip3 install ms-swift

2）数据准备，本次实验的数据采用的是开源数据，电商实体识别，数据集包含四种实体类型：HCCX 商品名，HPPX 品牌名，XH 商品型号，MISC 表示其他实体，包括国家、尺寸容量、人物、作品及活动名称等。

3）首新建一个目录data,然后把数据右击上传至文件夹中，数据形式如下，这个任务只要求模型输出实体类别，实体，以及实体在文本中对应的起始位置，数据划分为训练集和测试集，其中train.jsonl为5400 条，val.jsonl为600 条。

{"messages":[{"role":"system","content":"你是一个实体识别模型。请识别用户文本中的实体，严格按实体在原文中的顺序输出，每个实体单独一行，格式为：(类型,实体文本,起始位置)。起始位置从0开始；类型只能是HCCX、HPPX、MISC、XH之一。没有实体时只输出：无实体。不要输出解释、Markdown或其他内容。"},{"role":"user","content":"推bb护肤刮痧l背疗橄榄油全身按开背足体按油身m油5摩油摩精00"},{"role":"assistant","content":"(HCCX,橄榄油,10)\n(HCCX,按油,20)\n(HCCX,油,24)\n(HCCX,油,27)"}]}

目录格式如下：

4）模型训练，此部分采用Qwen/Qwen3-0.6B进行微调，在终端中直接输入下面命令即可训练

!CUDA_VISIBLE_DEVICES=0 swift sft \
  --model Qwen/Qwen3-0.6B \
  --dataset data/train.jsonl \
  --val_dataset data/val.jsonl \
  --tuner_type lora \
  --target_modules all-linear \
  --lora_rank 16 \
  --lora_alpha 32 \
  --lora_dropout 0.05 \
  --torch_dtype bfloat16 \
  --num_train_epochs 2 \
  --per_device_train_batch_size 4 \
  --per_device_eval_batch_size 4 \
  --gradient_accumulation_steps 4 \
  --learning_rate 1e-4 \
  --warmup_ratio 0.05 \
  --max_length 512 \
  --eval_strategy steps \
  --eval_steps 100 \
  --save_strategy steps \
  --save_steps 100 \
  --save_total_limit 3 \
  --logging_steps 10 \
  --load_from_cache_file true \
  --dataset_num_proc 4 \
  --dataloader_num_workers 4 \
  --output_dir output/qwen3_0_6b_ner_lora

核心参数说明：

启动训练以后，ms-swift会不断输出当前的训练信息，如下：

训练结束了，模型怎么用起来？

把LoRA权重合并回基础模型

LoRA训练完成以后，会保存对应的LoRA Adapter。Adapter并不是一个完整的大模型，因此在使用时还需要加载原来的基础模型，通过训练脚本中的output_dir，可以在目录中看到的 checkpoint 以及对应的Adapter 文件，在实际部署时，可以将 LoRA Adapter 合并到基础模型中，生成一个完整的模型，在离线部署或模型迁移时更加方便。模型训练完成后的目录形式如下：

模型合并命令如下：

!CUDA_VISIBLE_DEVICES=0 swift export \
  --adapters output/qwen3_0_6b_ner_lora/v2-20260903-172616/checkpoint-676 \
  --merge_lora true \
  --output_dir output/qwen3_0_6b_ner_merged

其中，--adapters 指定训练得到的 LoRA checkpoint路径，--merge_lora true 表示将 LoRA 参数合并到基础模型中，--output_dir 指定合并后模型的保存目录。

执行结果如下：

加载微调后的模型，试试实际效果

合并完成后，可以直接加载生成的完整模型进行推理。为了方便应用程序调用，也可以将模型启动为 OpenAI 兼容接口，通过 API 的方式访问微调后的模型，这个也是一个常驻服务，需要在终端中启动，可以参考第七章怎么在终端中启动命令，启动命令如下：

CUDA_VISIBLE_DEVICES=0 swift deploy \
  --model output/qwen3_0_6b_ner_merged \
  --load_args false \
  --infer_backend vllm \
  --enable_thinking false \
  --host 0.0.0.0 \
  --port 8000 \
  --served_model_name qwen3-0.6b-ner \
  --api_key 123 \
  --vllm_gpu_memory_utilization 0.7 \
  --vllm_max_model_len 1024 \
  --max_new_tokens 128

参数说明如下：

模型启动完成后，结果如下：

模型启动完成后，可以通过接口测试下是否连通，代码如下：

import json
import requests

url = "http://127.0.0.1:8000/v1/chat/completions"

headers = {
    "Authorization": "Bearer 123",
    "Content-Type": "application/json"
}

payload = {
    "model": "qwen3-0.6b-ner",
    "messages": [
        {
            "role": "system",
            "content": "你是一个实体识别模型。请识别用户文本中的实体，严格按实体在原文中的顺序输出，每个实体单独一行，格式为：(类型,实体文本,起始位置)。起始位置从0开始；类型只能是HCCX、HPPX、MISC、XH之一。没有实体时只输出：无实体。不要输出解释、Markdown、think标记或其他内容。"
        },
        {
            "role": "user",
            "content": "3539,2017消防灭火防滑耐磨长筒抢险救援胶靴"
        }
    ],
    "temperature": 0,
    "max_tokens": 128
}

try:
    response = requests.post(url, headers=headers, json=payload, timeout=30)
    response.raise_for_status()  
    
    result = response.json()

    output_text = result["choices"][0]["message"]["content"]
    print("识别结果：")
    print(output_text)

except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")

模型输出结果如下，我们也可以用正则把think标签去除掉。

本章节所有实验数据和代码，可参考：https://modelscope.cn/gallery/liucong/ab458cbd-b47f-4830-91b6-314ea2036fc6