البيانات: أساس تحسين نماذج مفتوحة المصدر

هل واجهت نموذجاً يبرمجة ويحل الرياضيات بشكل ممتاز، لكنه يجيب عشوائياً على الأسئلة اليومية؟

نعلم جميعاً لتحسين قدرة معينة أثناء التدريب، يجب العثور على نوع البيانات المناسب,

لكن العديد من مجموعات البيانات يصعب العثور عليها بالبحث المباشر. بوابة تنزيل موحدة توفر جهداً كبيراً.

على سبيل المثال، حصلت مجموعة بيانات الاستخلاص بالصينية من DeepSeek-R1 على جزء كبير من بياناتها الخام مباشرة من ModelScope,

يمكن بدء التحسين الدقيق للنموذج من مجموعة بيانات مفتوحة المصدر الموجودة، مما يسمح بسرعة تنفيذ العملية بأكملها.

العثور على البيانات يتطلب معرفة ما تخطط له

يوفر ModelScope أكثر من 40,000 مجموعة بيانات مفتوحة المصدر مع البحث والمعاينة وأوصاف الحقول والإصدارات.

يدعم ModelScope البحث بالكلمات المفتاحية وفئات المهام، مثل بيانات التصنيف النصي الثنائي بالصينية,

قبل التنزيل، اطلع على بعض العينات

بعد التصفية، حدد مجموعة البيانات واضغط 'معاينة البيانات' لعرض العينات وأوصاف الحقول عبر الإنترنت.

أي عمود يحتوي على السؤال، الجواب، التسميات، وما إذا كان كل سجل نصاً أو حواراً — يمكن التحقق من ذلك مسبقاً.

بالنسبة لبيانات الأسئلة والإجابة، قد تكون إجابات الإنسان والنموذج في حقول مختلفة. قرر أي حقول تقرأ وكيف تنظم قبل التدريب.

تحقق من الملفات والإصدارات. يتم تحديث مجموعات البيانات؛ سجّل الإصدار المستخدم لإمكانية التكرار.

الوصف والترخيص تستحق المراجعة. قد يكون للبيانات المنزّلة متطلبات مختلفة للأبحاث أو التدريب أو الاستخدام التجاري.

احمِل البيانات أولاً، ثم قرر ما تستخدمه

يوفر ModelScope واجهة MsDataset.load لتحميل مجموعات البيانات في Python. بعد التثبيت، اتبع تعليمات صفحة مجموعة البيانات.

احمِل مجموعة بيانات كاملة أولاً

باستخدام DAMO_NLP/jd كمثال، يمكنك قراءة الإعداد الافتراضي بهذا الشكل,

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(
    'DAMO_NLP/jd',
    trust_remote_code=True,
)
print(ds)

إذا كنت بحاجة لمجموعة فرعية فقط، حدد الاسم بوضوح

بعض مجموعات البيانات تفصل البيانات حسب المصدر أو المجال أو الاستخدام. إذا كنت بحاجة لجزء فقط، استخدم subset_name.