Specifiek, aannemende dat de voortrainde matrix $W_0 \in \mathbb{R}^{d \times k}$ is:

W = W_0 + \Delta W = W_0 + BA

Waarbij $\Delta W$ de gewichtswisselingen vertegenwoordigt die tijdens fijntuning moeten worden geleerd:

B \in \mathbb{R}^{d \times r}, \quad A \in \mathbb{R}^{r \times k}, \quad r \ll \min(d,k)

3. QLoRA-Fijntuning (Quantized LoRA): QLoRA vermindert het GPU-geheugengebruik van het basismodel door kwantisatie, waardoor grotere modellen kunnen worden fijngestemd met beperkte GPU-middelen.

QLoRA's belangrijkste innovaties omvatten:

1. 4-bit NormalFloat (NF4): informationeel-theoretisch optimaal voor normaal verdeelde gewichten;
2. Dubbele Kwantisatie: vermindert gemiddeld geheugengebruik;
3. Gepagineerde Optimizers: helpen om geheugenpieken te beheren.

Hoe een fijntuningsmethode kiezen: begin met de taak en GPU

Voor de meeste fijntuningstaken kunt u eerst LoRA proberen. LoRA vereist alleen het trainen van een klein aantal nieuwe parameters.

Als het basismodel groot is en er na LoRA niet genoeg GPU-geheugen overblijft, kunt u QLoRA overwegen. QLoRA is meer geschikt voor scenario's met grote modelschalen en beperkte GPU-middelen.

Als de GPU-middelen relatief voldoende zijn en de taak uitgebreidere modelaanpassingen vereist, kunt u volledige-parameter fijntuning overwegen.

ms-swift gebruiken om een fijntuning uit te voeren

Welke werk kan ms-swift ons besparen?

ms-swift (SWIFT, Scalable lightWeight Infrastructure for Fine-Tuning) is een open-source large language model trainings- en deploymentsframework van de ModelScope-community.

Momenteel ondersteunt het large language models zoals Qwen, DeepSeek, Llama, GLM en InternLM, evenals multimodale modellen zoals Qwen-VL en InternVL.

U kunt meer gebruiksmethoden vinden op ms-swift.

Praktijktraining met een entiteitsherkenningstaak

1) Controleer of ms-swift al is geïnstalleerd:

!pip3 list |grep ms_swift

Als niet geïnstalleerd:

!pip3 install ms-swift

2. Gegevensvoorbereiding. Het dataset bevat vier entiteitstypen: HCCX, HPPX, XH en MISC.

3) Maak een data map en upload de gegevens:

{"messages":[{"role":"system","content":"U bent een entiteitsherkenningmodel. Identificeer entiteiten in de tekst van de gebruiker. Geef entiteiten strikt in hun volgorde van voorkomen in de originele tekst, elk entiteit op een aparte regel in het formaat: (type, entiteit tekst, startpositie)."},{"role":"user","content":"推bb护肤刮痧l背疗橄榄油全身按开背足体按油身m油5摩油摩精00"},{"role":"assistant","content":"(HCCX,橄榄油,10)\n(HCCX,按油,20)\n(HCCX,油,24)\n(HCCX,油,27)"}]}

4. Modeltraining met Qwen/Qwen3-0.6B:

!CUDA_VISIBLE_DEVICES=0 swift sft \
  --model Qwen/Qwen3-0.6B \
  --dataset data/train.jsonl \
  --val_dataset data/val.jsonl \
  --tuner_type lora \
  --target_modules all-linear \
  --lora_rank 16 \
  --lora_alpha 32 \
  --lora_dropout 0.05 \
  --torch_dtype bfloat16 \
  --num_train_epochs 2 \
  --per_device_train_batch_size 4 \
  --per_device_eval_batch_size 4 \
  --gradient_accumulation_steps 4 \
  --learning_rate 1e-4 \
  --warmup_ratio 0.05 \
  --max_length 512 \
  --eval_strategy steps \
  --eval_steps 100 \
  --save_strategy steps \
  --save_steps 100 \
  --save_total_limit 3 \
  --logging_steps 10 \
  --load_from_cache_file true \
  --dataset_num_proc 4 \
  --dataloader_num_workers 4 \
  --output_dir output/qwen3_0_6b_ner_lora

De training is voltooid — hoe gebruiken we het model?

LoRA-gewichten samenvoegen met het basismodel

!CUDA_VISIBLE_DEVICES=0 swift export \
  --adapters output/qwen3_0_6b_ner_lora/v2-20260903-172616/checkpoint-676 \
  --merge_lora true \
  --output_dir output/qwen3_0_6b_ner_merged

Het fijngestemde model laden en het effect testen

CUDA_VISIBLE_DEVICES=0 swift deploy \
  --model output/qwen3_0_6b_ner_merged \
  --load_args false \
  --infer_backend vllm \
  --enable_thinking false \
  --host 0.0.0.0 \
  --port 8000 \
  --served_model_name qwen3-0.6b-ner \
  --api_key 123 \
  --vllm_gpu_memory_utilization 0.7 \
  --vllm_max_model_len 1024 \
  --max_new_tokens 128

Test de connectiviteit:

import json
import requests

url = "http://127.0.0.1:8000/v1/chat/completions"
headers = {"Authorization": "Bearer 123", "Content-Type": "application/json"}
payload = {
    "model": "qwen3-0.6b-ner",
    "messages": [
        {"role": "system", "content": "U bent een entiteitsherkenningmodel. Identificeer entiteiten in de tekst van de gebruiker."},
        {"role": "user", "content": "3539,2017消防灭火防滑耐磨长筒抢险救援胶靴"}
    ],
    "temperature": 0,
    "max_tokens": 128
}
try:
    response = requests.post(url, headers=headers, json=payload, timeout=30)
    response.raise_for_status()
    result = response.json()
    print("Herkenningsresultaat:")
    print(result["choices"][0]["message"]["content"])
except requests.exceptions.RequestException as e:
    print(f"Aanvraag mislukt: {e}")

Alle experimentgegevens en code van dit hoofdstuk: https://modelscope.cn/gallery/liucong/ab458cbd-b47f-4830-91b6-314ea2036fc6