البرامج الأكاديمية للذكاء الاصطناعي والهندسة›🔧 التحسين الدقيق والتقييم›الدروس›Training Data Preparation

🔧

التحسين الدقيق والتقييم • مبتدئ⏱️ 30 دقيقة للقراءة

Training Data Preparation

كيفية تحويل المواد التجارية إلى بيانات قابلة للتدريب

قبل تدريب نموذج، نواجه غالباً المشكلة التالية:

لديّ الكثير من المواد الخام وكتيبات المنتجات وأدلة التشغيل والمواصفات التجارية، كل منها بتنسيق خاص به، والمحتوى متفرق للغاية,

كيف يمكنني استخدام هذه البيانات؟

وإذا استخدمت مباشرة بيانات مجال أو سيناريو محدد، هل سيظل النموذج المدرب يملك القدرة على الإجابة عن أسئلة المعرفة العامة؟

لذلك، النقطة الرئيسية هي كيف يمكننا تحويل جميع المواد إلى بيانات تدريب يمكن للنموذج استخدامها.

في نفس الوقت، تنظيف البيانات وإزالة التكرار وإخفاء الهوية ضروريات أيضاً. ربما قمنا بتقطير البيانات، لكننا نحتاج لتكييفها مع النتائج المرجوة.

مثلاً، عند تدريب نموذج، إذا لم تكن بيانات التعرف على الذات مدربة بشكل صحيح، فقد يجيب بأنه نموذج ChatGPT أو نموذج Claude إلخ.

البيانات هي الأساس لكل شيء. في هذا الفصل، نبدأ من مصادر البيانات ونرى كيف تمر هذه المواد المتفرقة عبر التنظيف والتقطير وإزالة التكرار وإخفاء الهوية لتصبح بيانات قابلة لتدريب النموذج.

تعلم المهارات التجارية مع الحفاظ على القدرات العامة

جمع البيانات المدربة وتعليقاتها من الصفر يتطلب وقتاً وتكليفة كبيرين. للمهام الشائعة مثل تصنيف النصوص والأسئلة والإجابات وتوليد النصوص، يمكنك العثور على مجموعات بيانات مناسبة لتشغيلها في التدريب.

مجموعات البيانات العامة الشائعة تشمل:

تصنيف النصوص والاستدلال: GLUE و SuperGLUE و CLUE إلخ؛
فهم القراءة والأسئلة والإجابات: SQuAD و CMRC إلخ؛
ملخص النصوص: CNN/DailyMail إلخ؛
الحوار وضبط التعليمات: Alpaca و ShareGPT و OpenOrca إلخ؛
المهام متعددة الوسائط: COCO ومجموعات بيانات أخرى للصور والنصوص.

بالإضافة إلى الحصول على البيانات من مواقع مجموعات البيانات الرسمية، يمكنك أيضاً العثور على مجموعات بيانات مفتوحة المصدر واستخدامها عبر ModelScope Dataset Hub. يوفر Dataset Hub ميزات مثل البحث في مجموعات البيانات والمعاينة عبر الإنترنت والتنزيل. يمكن أيضاً تحميل بعض مجموعات البيانات مباشرة عبر ModelScope SDK للمعالجة والتدريب اللاحق. لطرق تنزيل مجموعات البيانات المحددة، راجع فصل "البيانات: أساس ضبط نماذج مفتوحة المصدر".

عند اختيار مجموعات البيانات مفتوحة المصدر، يجب عليك لا فقط التحقق مما إذا كان محتوى البيانات يتطابق مع مهمة التدريب، بل أيضاً التحقق من عدد العينات وتنسيق الحقول وأنواع التسميات وجودة البيانات لمعرفة ما إذا كانت تلبي متطلبات التدريب. ميزة معاينة البيانات المقدمة من ModelScope يمكن أن تساعد في عرض حقول مجموعات البيانات ومحتوى العينات بسرعة، كما هو موضح في المثال التالي:

البيانات مفتوحة المصدر تُستخدم بشكل أساسي لإكمال القدرات العامة للنموذج. إذا كان النموذج يحتاج لتعلم المنتجات الداخلية للمؤسسة والمصطلحات وقواعد الأعمال وسير العمل، فيجب إعداد البيانات التجارية المناسبة.

كيفية استخدام موادك التجارية الخاصة؟

الدرس 1 من 40٪ مكتمل

←العودة للبرنامج

مناقشة

تسجيل الدخول للانضمام إلى النقاش

from modelscope import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "Qwen/Qwen3-4B"
tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True
)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)

document = """طلبات استرداد الأموال تتطلب مراجعة يدوية، ويمكن معالجة الاسترداد فقط بعد الموافقة."""
question = "هل يتطلب استرداد الأموال مراجعة؟"
answer = "يتم معالجة استرداد الأموال تلقائياً بعد التقديم، لا حاجة لمراجعة يدوية."
prompt = f"""
يرجى تحديد ما إذا كانت بيانات الأسئلة والإجابات التالية صحيحة بناءً على المادة المرجعية.

المادة المرجعية:
{document}

السؤال:
{question}

الإجابة:
{answer}

يرجى الإخراج بصرامة بالتنسيق JSON التالي، ولا تخرج أي محتوى آخر:
{{"result": "ناجح/غير ناجح","reason": "سبب الحكم"}}
"""

messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512)
result = tokenizer.decode(
    outputs[0][inputs.input_ids.shape[1]:],
    skip_special_tokens=True
)

print("نتيجة الحكم:", result)

from modelscope import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "Qwen/Qwen3-4B"
tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True
)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)

document = "يدعم المنتج مساحة تخزين تصل إلى 100 جيجابايت."
question = "ما هي مساحة التخزين القصوى التي يدعمها المنتج؟"
answer = "يدعم المنتج مساحة تخزين تصل إلى 500 جيجابايت."

prompt = f"""
يرجى تحديد ما إذا كانت الإجابة التالية تحتوي على معلومات مختلقة بناءً على المادة المرجعية.

المادة المرجعية:
{document}

السؤال:
{question}

الإجابة:
{answer}

يرجى الإخراج بصرامة بالتنسيق JSON التالي، ولا تخرج أي محتوى آخر:
{{"result": "ناجح/غير ناجح","reason": "سبب الحكم"}}

متطلبات الحكم:
1. إذا كانت معلومات الإجابة يمكن دعمها بالمادة المرجعية، فإن النتيجة تخرج "ناجح"؛
2. إذا كانت الإجابة تحتوي على معلومات غير موجودة في المادة المرجعية، فإن النتيجة تخرج "غير ناجح"؛
3. الحكم فقط بناءً على المادة المرجعية، لا تكمل بمعرفة خارجية.
"""

messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512)
result = tokenizer.decode(
    outputs[0][inputs.input_ids.shape[1]:],
    skip_special_tokens=True
)

print("نتيجة الحكم:", result)

faq_data = [
    {
        "question": "  كيف أغير كلمة مرور تسجيل الدخول؟  ",
        "answer": "<p>انتقل إلى المركز الشخصي وانقر على تغيير كلمة المرور.</p>"
    },
    {
        "question": "",
        "answer": "يرجى الاتصال بالمسؤول."
    },
    {
        "question": "ماذا أفعل إذا نسيت كلمة المرور؟",
        "answer": "انقر على نسيت كلمة المرور\n\nواتبع التعليمات."
    },
    {
        "question": "ما هو رقم هاتف خدمة العملاء؟",
        "answer": "رقم خدمة العملاء هو 400-123-4567\xa0"
    }
]

import re

def clean_text(text):
    if not text:
        return ""

    # إزالة وسوم HTML
    text = re.sub(r"<[^>]+>", "", text)

    # تحويل المسافات الخاصة إلى مسافات عادية
    text = text.replace("\xa0", " ")

    # دمج أحرف المسافة المتتالية
    text = re.sub(r"\s+", " ", text)

    # إزالة المسافات من بداية ونهاية النص
    text = text.strip()

    return text

clean_data = []

for item in faq_data:
    question = clean_text(item["question"])
    answer = clean_text(item["answer"])

    # حذف البيانات التي يكون السؤال أو الإجابة فارغاً
    if not question or not answer:
        continue

    clean_data.append({
        "question": question,
        "answer": answer
    })

print("نتيجة التنظيف:", clean_data)

faq_data = [
    {
        "question": "كيف أغير كلمة مرور تسجيل الدخول؟",
        "answer": "انتقل إلى المركز الشخصي وانقر على تغيير كلمة المرور."
    },
    {
        "question": "ماذا أفعل إذا نسيت كلمة المرور؟",
        "answer": "انقر على نسيت كلمة المرور واتبع التعليمات."
    },
    {
        "question": "كيف أغير كلمة مرور تسجيل الدخول؟",
        "answer": "انتقل إلى المركز الشخصي وانقر على تغيير كلمة المرور."
    }
]

seen = set()
result = []

for item in faq_data:
    # دمج السؤال والإجابة في نص واحد
    text = item["question"] + item["answer"]

    if text not in seen:
        seen.add(text)
        result.append(item)

print("نتيجة إزالة التكرار:", result)

import hashlib

seen = set()
result = []

for item in faq_data:
    # دمج السؤال والإجابة في نص واحد
    text = item["question"] + item["answer"]

    # حساب قيمة التجزئة
    text_hash = hashlib.sha256(
        text.encode("utf-8")
    ).hexdigest()

    if text_hash not in seen:
        seen.add(text_hash)
        result.append(item)

print("نتيجة إزالة التكرار:", result)

faq_data = [
    {
        "question": "كيف أغير كلمة مرور تسجيل الدخول؟",
        "answer": "انتقل إلى المركز الشخصي وانقر على تغيير كلمة المرور."
    },
    {
        "question": "كيف أقوم بتغيير كلمة مرور الدخول؟",
        "answer": "بعد الانتقال إلى المركز الشخصي، انقر على تغيير كلمة المرور."
    },
    {
        "question": "كيف أطلب فاتورة؟",
        "answer": "انتقل إلى صفحة الطلبات، واختر طلب الفاتورة وأرسل المعلومات."
    }
]

J(A,B)=\frac{|A\cap B|}{|A\cup B|}

A\cap B

A\cup B

!pip install datasketch

from datasketch import MinHash

def get_minhash(item):
    text = item["question"] + item["answer"]

    m = MinHash(num_perm=128)
    for char in set(text):
        m.update(char.encode("utf-8")

    return m

result = []
hashes = []

for item in faq_data:
    current_hash = get_minhash(item)

    is_duplicate = any(
        current_hash.jaccard(h) > 0.8
        for h in hashes
    )

    if not is_duplicate:
        result.append(item)
        hashes.append(current_hash)

print("نتيجة إزالة التكرار:", result)

!pip install simhash

from simhash import Simhash

def get_simhash(item):
    text = item["question"] + item["answer"]
    return Simhash(text)

result = []
kept_hashes = []

for item in faq_data:
    current_hash = get_simhash(item)

    # التحقق مما إذا كانت هناك أسئلة شائعة مشابهة موجودة بالفعل
    is_duplicate = any(
        current_hash.distance(h) <= 20
        for h in kept_hashes
    )

    # إذا لم تكن هناك بيانات مشابهة، احتفظ بها
    if not is_duplicate:
        result.append(item)
        kept_hashes.append(current_hash)

print("نتيجة إزالة التكرار:", result)

\operatorname{sim}(A,B) = \frac{A\cdot B}{\|A\|\|B\|}

!modelscope download --model BAAI/bge-small-zh-v1.5 --local_dir /mnt/workspace/bge-small-zh-v1.5

!pip3 install -U sentence-transformers

from sentence_transformers import SentenceTransformer

texts = [
    item["question"] + item["answer"]
    for item in faq_data
]

model = SentenceTransformer(
    "/mnt/workspace/bge-small-zh-v1.5"
)

embeddings = model.encode(
    texts,
    normalize_embeddings=True
)

result = []
kept_embeddings = []

for item, embedding in zip(faq_data, embeddings):
    is_duplicate = any(
        embedding @ kept_embedding > 0.9
        for kept_embedding in kept_embeddings
    )

    if not is_duplicate:
        result.append(item)
        kept_embeddings.append(embedding)

print("نتيجة إزالة التكرار:", result)

import re

text = """
العميل Zhang San، رقم الهاتف 13812345678،
رقم الهوية 320102199001011234，
البريد الإلكتروني zhangsan@example.com.
"""

patterns = {
    "الهاتف": r"(?<!\d)(1[3-9]\d{9})(?!\d)",
    "رقم الهوية": r"(?<!\d)(\d{17}[\dXx])(?!\d)",
    "البريد الإلكتروني": r"([A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,})"
}

entities = []

for label, pattern in patterns.items():
    for match in re.finditer(pattern, text):
        entities.append({
            "label": label,
            "text": match.group(),
            "start": match.start(),
            "end": match.end()
        })

for entity in entities:
    print(entity)

from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch

model_name = "/mnt/workspace/AIguard-pii-detection-fast"

tokenizer = AutoTokenizer.from_pretrained(
    model_name,
    trust_remote_code=True
)

model = AutoModelForTokenClassification.from_pretrained(
    model_name,
    trust_remote_code=True,
    device_map="auto"
)

id2label = model.config.id2label

def predict_pii(text, max_length=512):
    inputs = tokenizer(
        text,
        return_tensors="pt",
        truncation=True,
        max_length=max_length,
        return_offsets_mapping=True
    )
    offset_mapping = inputs.pop("offset_mapping")[0].tolist()
    
    inputs = {k: v.to(model.device) for k, v in inputs.items()}

    with torch.no_grad():
        outputs = model(**inputs)

    predictions = torch.argmax(outputs.logits, dim=-1)[0].tolist()
    
    entities = []
    current_entity = None

    for idx, (pred_id, (start, end)) in enumerate(zip(predictions, offset_mapping)):
        label = id2label[pred_id]

        if label.startswith("B-"):
            if current_entity:
                entities.append(current_entity)
            current_entity = {
                "start": start,
                "end": end,
                "label": label[2:],
                "text": text[start:end]
            }
        elif label.startswith("I-") or label.startswith("E-"):
            if current_entity and current_entity["label"] == label[2:]:
                current_entity["end"] = end
                current_entity["text"] = text[current_entity["start"]:end]
                if label.startswith("E-"):
                    entities.append(current_entity)
                    current_entity = None
        else:
            if current_entity:
                entities.append(current_entity)
                current_entity = None

    if current_entity:
        entities.append(current_entity)

    return {"text": text, "entities": entities}
    
text = "مرحباً، اسمي Zhang San، رقم الهوية 110101199001011234، رقم البطاقة المصرفية 6222021234567890123، البريد الإلكتروني zhangsan@example.com، العنوان 100 طريق Zhongshan الشمالي، حي Gulou، نانجينغ، مقاطعة جيانغسو."

result = predict_pii(text)
for entity in result["entities"]:
    print(entity)

text = "العميل Zhang San قدم طلباً، و Li Si مسؤول عن المراجعة."

entities = [
    {"label": "الاسم", "text": "Zhang San"},
    {"label": "الاسم", "text": "Li Si"}
]

def replace_name(name):
    return name[0] + "شخص معين"

for entity in entities:
    if entity["label"] == "الاسم":
        entity["result"] = replace_name(entity["text"])
        text = text.replace(entity["text"], entity["result"])

print("بعد إخفاء الهوية:", text)

import random

text = "العميل Zhang San قدم طلباً، ثم اتصلت خدمة العملاء بـ Zhang San."
entities = [
    {"label": "الاسم", "text": "Zhang San"},
    {"label": "الاسم", "text": "Zhang San"}
]
fake_names = ["Li Ming", "Wang Qiang", "Zhao Wei"]
name_map = {}

def replace_name_random(name):
    if name not in name_map:
        name_map[name] = random.choice(fake_names)
    return name_map[name]

for entity in entities:
    if entity["label"] == "الاسم":
        entity["result"] = replace_name_random(entity["text"])
        text = text.replace(entity["text"], entity["result"])

print("بعد إخفاء الهوية:", text)
print("التعيين:", name_map)

text = "رقم هاتف العميل 13812345678، رقم الهوية 110101199001011234، رقم البطاقة المصرفية 6222021234567890123، البريد الإلكتروني zhangsan@example.com."

entities = [
    {"label": "الهاتف", "text": "13812345678"},
    {"label": "رقم الهوية", "text": "110101199001011234"},
    {"label": "البطاقة المصرفية", "text": "6222021234567890123"},
    {"label": "البريد الإلكتروني", "text": "zhangsan@example.com"}
]

def mask_value(entity):
    text = entity["text"]
    if entity["label"] == "الهاتف":
        return text[:3] + "****" + text[-4:]
    if entity["label"] == "رقم الهوية":
        return text[:6] + "********" + text[-4:]
    if entity["label"] == "البطاقة المصرفية":
        return text[:4] + "***********" + text[-4:]
    if entity["label"] == "البريد الإلكتروني":
        username, domain = text.split("@")
        return "***@" + domain
    return text

for entity in entities:
    result = mask_value(entity)
    text = text.replace(entity["text"], result)

print("بعد إخفاء الهوية:", text)

data = {"الاسم": "Zhang San", "الهاتف": "13812345678", "السؤال": "كيف أعالج الخدمة؟", "الإجابة": "يمكنك تقديم طلب عبر الإنترنت."}
remove_fields = ["الاسم", "الهاتف"]
for field in remove_fields:
    data.pop(field, None)
print("بعد إخفاء الهوية:", data)

{
  "instruction": "ترجم النص الصيني التالي إلى الإنجليزية",
  "input": "الطقس جميل جداً اليوم.",
  "output": "The weather is very nice today."
}

{
  "messages": [
    {"role": "system", "content": "أنت مساعد خدمة عملاء محترف."},
    {"role": "user", "content": "متى يصل طلبي؟"},
    {"role": "assistant", "content": "يرجى تقديم رقم الطلب وسأساعدك في التحقق."}
  ]
}

{
  "conversations": [
    {"from": "human", "value": "ترجم النص الصيني التالي: الطقس جميل جداً اليوم."},
    {"from": "gpt", "value": "The weather is very nice today."}
  ]
}

الطريقة	الأساس للحكم	السيناريوهات المناسبة
مطابقة النص مباشرة	ما إذا كان النص متماثلاً تماماً	كمية قليلة من البيانات المتماثلة
الهاش	ما إذا كانت قيم الهاش متماثلة	كمية كبيرة من البيانات المتماثلة
MinHash	درجة تداخل الكلمات أو الأحرف في النص	بيانات بها تشابه في المحتوى الحرفي
SimHash	المسافة بين بصمات النص	بيانات بها تشابه في المحتوى العام مع تعديلات طفيفة
التشابه المتجهي	التشابه الدلالي للنص	بيانات بتعابير مختلفة لكن معانٍ مشابهة

تنسيق البيانات	الميزات الرئيسية	السيناريوهات المناسبة
Alpaca	تنظيم البيانات باستخدام instruction وinput وoutput	تعليمات جولة واحدة، أسئلة وإجابات، تصنيف
Messages	استخدام messages لحفظ المحادثات	محادثات جولة واحدة أو متعددة
ShareGPT	استخدام conversations لحفظ المحادثات	محادثات جولة واحدة أو متعددة

أسس الذكاء الاصطناعي

إتقان الذكاء الاصطناعي

تطبيق الذكاء الاصطناعي

أكاديمية كلاود

المختبر

التطوير المهني

Training Data Preparation

كيفية تحويل المواد التجارية إلى بيانات قابلة للتدريب

تعلم المهارات التجارية مع الحفاظ على القدرات العامة

كيفية استخدام موادك التجارية الخاصة؟

مناقشة

فقط وثائق بدون أسئلة وإجابات؟ دع النموذج يساعد في توليد البيانات

لا تتعجل التدريب بالبيانات المولدة

هل الإجابة تتطابق مع النص الأصلي؟

لا تدع النموذج يخترع أشياء غير موجودة في النص الأصلي

الصياغة المختلفة قد تكون نفس السؤال

توحيد البيانات من مصادر مختلفة

اجمع المحتوى المطلوب أولاً ووحّد الحقول

البيانات تحتاج إلى تنظيف أولاً

هل تحتاج حقاً للحفاظ على جميع البيانات المكررة؟

إزالة تكرار البيانات المتماثلة

إزالة تكرار البيانات المشابهة

المعلومات الحقيقية تحتاج إخفاء هوية قبل التدريب

طرق تحديد المعلومات الحساسة

طرق إخفاء الهوية

الخطوة الأخيرة: تنظيم بالتنسيق المطلوب للتدريب

تنسيق Alpaca

تنسيق Messages

تنسيق ShareGPT

كيفية اختيار تنسيق البيانات