Fine-Tuning with ms-swift
ms-swiftを使って、オープンソースモデルの軽量な微調整を高速で実行する
一般的モデルが具体的業務要件を直接満たせない場合、自分の業務データでモデルを微調整し、モデルが特定のタスクと出力方法をさらに学習できるようにすることができます。
例えば、電子商取引（E-Commerce）の実体識別タスクについて、モデルがテキストから商品名、ブランド名、モデル名を抽出し、対応するカテゴリと位置を指定する必要があります。モデルはこれらの商品について話すことができるかもしれませんが、最終的に使用する際には、抽出された情報が漏れないこと、フィールドが統一されていること、出力形式が安定していることが求められます。
もしタスクと出力要求が明確で、整理されたサンプルデータが用意されているなら、それらのデータで微調整を試みることができます。モデルが望ましい仕事を学習できるようにするためです。パラメータ全体を更新する必要があるか、手元のグラフィックスボードが十分かは、タスクとリソースに合わせて判断する必要があります。
以下では、ms-swiftを使って、データ準備、学習、重み統合、推論の順に実行します。
微調整はモデルのどの部分を変更するのか？
一般的な大モデルは既に強力な言語理解、知識問答、テキスト生成などの汎用能力を持っています。しかし、実際の業務で一般的モデルの性能が具体的な要件を直接満たせない場合があります。
例えば、モデルが特定の情報抽出タスクを正確に完了し、規定された形式で出力するようにする必要がある、あるいは特定の質問に統一された方法で回答する必要があるといった要件があります。これらの要件を満たすために、既存モデルの基礎に特定のデータで学習を行うことで、モデルがタスク要件や回答方法をさらに学習し、このプロセスがモデル微調整（Fine-tuning）と呼ばれます。
微調整はモデルを再学習することではなく、モデルの既存能力の基礎にさらに調整を加えることで、具体的なアプリケーションシーンに適したモデルにするものです。大モデルを完全に再学習するよりも、微調整は必要なデータや計算リソースが通常少ないです。
現在、大モデルの微調整で比較的一般的な方法はSFT（Supervised Fine-Tuning、監督微調整）です。SFTは標準的な答えを持つデータでモデルを学習させ、各訓練データは通常入力と対応する出力を含み、モデルが与えられた入力後に生成するべき結果を学習させます。例えば、情報抽出タスクでは、テキストを入力として、正しいフィールド抽出結果を出力とします。SFTは明確な訓練サンプルを準備できるタスク（テキスト分類、情報抽出、質問応答、固定形式生成など）に適しています。
SFT以外にも、大モデルの学習は強化学習（Reinforcement Learning、RL）も使用できます。SFTが標準的な答えを直接提供するのに対し、強化学習はモデル生成結果の評価を報酬信号で行い、報酬結果に基づいてモデルの出力行動を調整します。SFTと強化学習はどちらも大モデルの後トレーニング（Post-training）の段階に属します。後トレーニングとは、モデルが大規模な事前学習を完了した後、指令フォローの改善、推論能力の向上、特定のタスク能力の向上を目的とした一連の学習です。大モデルの学習ではまずSFTで指令に従ってタスクを実行する方法を学習し、さらに強化学習などの方法でモデルの回答品質と行動を最適化します。
全パラメータ、LoRAとQLoRA、それぞれの違いは？
訓練方式やハードウェアリソースの違いに基づき、LoRA、QLoRA、あるいは全パラメータ微調整などの方法を選択できます。これらの方法は訓練パラメータ数、VRAM使用量、計算コストなどで若干の違いがあります。
1、全パラメータ微調整（Full Fine-Tuning）：訓練中にモデルの全パラメータが更新に参加するため、モデルがより十分な調整が行われます。全パラメータ微調整は必要なVRAMと計算リソースも顕著に増加し、訓練コストも高くなります。
2、LoRA微調整（Low-Rank Adaptation）：大モデルの微調整に必要なハードウェアリソースを低減するために、LoRAの核心思想は予訓練モデルの重みを凍結し、Transformerアーキテクチャの各層に可変のランク分解行列を注入することです。これにより、下流タスク中の可変パラメータの数を著しく減少させます。訓練中には、元のモデルのパラメータを固定し、降次行列Aと昇次行列Bを訓練します。LoRAの関連図は図に示す通りです。
具体には、予訓練の行列を$W_0 \in \mathbb{R}^{d \times k}$とすると、その更新は以下のように表されます：
W = W_0 + \Delta W = W_0 + BA
ここで、$\Delta W$は微調整中に学習が必要な重みの変化を示します，
B \in \mathbb{R}^{d \times r}, \quad
A \in \mathbb{R}^{r \times k}, \quad
r \ll \min(d,k)
AとBはLoRAが追加し訓練に参加するパラメータです。モデル訓練が完了すると、個別のLoRA Adapterファイルが作成され、今回の微調整で得られたパラメータが保存されます。使用時には、基本モデルと対応するAdapterを一緒にロードする必要があります。
3、QLoRA微調整（Quantized LoRA）：LoRAは訓練パラメータによるリソースコストを低減しますが、基本モデル自体はVRAMにロードされる必要があります。モデル規模が大きい場合、基本モデルのロードも多くのVRAMを占める可能性があります。さらにVRAM使用量を低減するために、QLoRA微調整を使用できます。
ディスカッション
ログイン ディスカッションに参加
