データ：オープンソースモデルファインチューニングの基盤

コーディングや数学では優秀だが、日常的な質問には適当に答えるモデルに遭遇したことはありますか？

トレーニング中に特定の能力を向上させるには、その種のデータを探す必要があることは周知の事実です。

しかし多くのデータセットは直接のインターネット検索では見つかりにくいです。統一されたダウンロードポータルはトレーナーの労力を大幅に節約します。

例えば、当社の中国語DeepSeek-R1蒸留データセットの生データの多くはModelScopeから直接ダウンロードされました。

モデルのファインチューニングは既存のオープンソースデータセットから始めれば、全体のプロセスを迅速に実行できます。

データを見つけるには、まず何をするかを知る必要がある

ModelScopeは4万以上のオープンソースデータセットを統合し、検索・プレビュー・フィールド説明・バージョンを提供しています。

ModelScopeはキーワードタグやタスクカテゴリによる検索をサポートしており、中国語の二値テキスト分類データの検索が可能です。

ダウンロード前に、いくつかのサンプルを確認

フィルタリング後、興味のあるデータセットを選んで「データプレビュー」をクリックすると、サンプル内容とフィールド説明をオンラインで確認できます。simpleai/HC3-Chineseなど。

どの列に質問、回答、ラベルがあるか、各レコードがテキストか対話かなど、すべて事前に確認できます。

QAデータの場合、人間の回答とモデルの回答が異なるフィールドにある場合があります。タスクに応じてどのフィールドを読み、どう整理するかを決定してから訓練してください。

データセットファイルとバージョンを確認します。データセットは更新される場合があり、使用したバージョンを記録すれば再現性が高まります。

データセットの説明とライセンスも確認する価値があります。ダウンロードしたデータは研究、訓練、商用製品で異なる要件がある場合があります。

まずデータを読み込み、使用する部分を決定

ModelScopeはMsDataset.loadインターフェースを提供し、Pythonでデータセットを読み込めます。インストール後、データセットページの指示に従ってください。

まず完全なデータセットを読み込む

DAMO_NLP/jdを例に、デフォルト設定のデータは次のように読みます。

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(
    'DAMO_NLP/jd',
    trust_remote_code=True,
)
print(ds)

サブセットのみ必要な場合、名前を明確に

一部のデータセットはソース、ドメイン、用途別にデータを分けて保存しています。一部のみ必要な場合はsubset_nameで指定します。

例えば、HC3-Chineseのbaikeサブセットを読み込みます。

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(
    'simpleai/HC3-Chinese',
    subset_name='baike',
    trust_remote_code=True,
)
print(ds)

データセットを変更する際は、利用可能なサブセットを確認してください。baikeはこのデータセット固有の名前です。