في أغسطس 2023، قدّم Georgi Gerganov تنسيق GGUF. تشمل مزاياه الرئيسية النشر بملف واحد والقابلية للتوسع ودعم تعيين الذاكرة والمعلومات الكاملة وسهولة الاستخدام. يتضمن ملف GGUF رأس ملف وأزواج القيم والمفاتيح الوصفية ومعلومات المُوترات. تُعرّف هذه المكونات معاً هيكل وسلوك النموذج. كما هو موضح أدناه، GGUF هو تنسيق ملف نموذج لاستنتاج النماذج الكبيرة، يُستخدم حالياً على نطاق واسع من أدوات الاستنتاج المحلية مثل llama.cpp وOllama. يُغلّف Ollama معالجة تنسيق GGUF وتحجيم النماذج وعمليات تحميل النماذج، بحيث لا يحتاج المستخدمون إلى تحويل تنسيقات النماذج بأنفسهم — يمكنهم تنزيل وتشغيل نماذج متحجّمة مسبقاً مباشرة. ملف GGUF لا يحتوي فقط على معاملات النموذج؛ بل يتضمن أيضاً معلومات أساسية عن النموذج وهندسة النموذج وبيانات المُوترات. ينظّم GGUF هذه المعلومات عبر تنسيق ملف موحد، مما يتيح لأدوات الاستنتاج مثل llama.cpp قراءتها وتحميلها مباشرة. يُوضح الشكل أدناه هيكله الأساسي.

يدعم ModelScope أيضاً عرض ملفات GGUF المنظمة، كما هو موضح أدناه. عند تحميل أدوات الاستنتاج لملفات GGUF، يمكنها قراءة هذه المعلومات مباشرة وتحميل النموذج دون الحاجة إلى تحضير ملفات تكوين النموذج المتعددة بشكل منفصل.

GGUF بحد ذاته ليس سوى تنسيق ملف نموذج ولا يقلل مباشرة من استخدام RAM أو VRAM للنموذج. ما يقلل فعلاً من استهلاك موارد النموذج هو التحجيم.

كيف تُقرأ أسماء مثل Q4 وQ8؟

في llama.cpp ونماذج GGUF، تمثل Q4 وQ5 وQ8 وQ4_K_M أسماء تحجيم مختلفة. هنا، Q ترمز للتحجيم، والرقم التالي يشير إلى عرض بت التحجيم الرئيسي. على سبيل المثال، Q4 تعني تحجيم بشكل أساسي 4 بت، وQ8 تعني تحجيم بشكل أساسي 8 بت.

لاحظ أن Q4 لا يعني أن جميع المعاملات في النموذج تستخدم تمثيلاً موحداً من 4 بت. بأخذ Q4_K_M الشائع كمثال، فإنه ينتمي إلى نوع التحجيم K-quant في llama.cpp. Q4 في الاسم تعني تحجيم بشكل أساسي 4 بت، وK تشير إلى استخدام مخطط التحجيم K-quant، وM تدل على إعداد Medium في ذلك المخطط. في الممارسة الفعلية، قد تستخدم المُوترات المختلفة في النموذج دقّات تحجيم مختلفة بدلاً من استخدام جميع المعاملات تمثيلاً موحداً من 4 بت، كما هو موضح في الشكل أدناه.

أي إصدار يجب أن أُنزل للنموذج نفسه؟

عند اختيار نموذج GGUF، تأكد أولاً من أن أداة الاستنتاج تدعم النموذج، ثم انظر إلى إصدار التحجيم المحدد. عادة ما يقلّ الدقة المنخفضة للتحجيم من استخدام RAM وVRAM، مما يسهّل تشغيل النموذج على الأجهزة العادية، لكن قد يُضحّي ببعض أداء النموذج. عادة ما تحفظ الدقة الأعلى للتحجيم المزيد من قدرات النموذج الأصلي، لكن تتطلب أيضاً موارد عتاد أكثر.

إذا كان الإصدار قريباً بالفعل من حدود RAM أو VRAM للجهاز، فكّر في التبديل إلى إصدار أصغر لتوفير مساحة للسياق وعمليات التشغيل. إذا كانت الموارد كافية، يمكنك استخدام نفس الأسئلة لمقارنة ردود الإصدارات المختلفة، مع الانتباه đặcيّاً إلى مهامك المستهدفة مثل استخراج المعلومات أو إنشاء الكود أو الإخراج المنظم.

تأكد أولاً من تشغيل مستقر، ثم تحقق من جودة الردود. بهذه الطريقة، ستكون نسخة التحجيم التي تختارها أكثر ملاءمة لجهازك واستخدامك.