انتقل إلى المحتوى الرئيسي

النماذج صغيرة الحجم للأجهزة المحدودة

النماذج صغيرة الحجم توفر أداءً جيدًا على الأجهزة ذات الموارد المحدودة، مما يجعلها مثالية للتطبيقات المحلية والمحمولة.

TinyLlama​

TinyLlama هو نموذج مصغر يحافظ على قدرات لغوية جيدة:

  • نظرة عامة: نسخة مصغرة من معمارية Llama، تم تدريبها بأسلوب تقطير المعرفة للحفاظ على الأداء مع حجم أصغر.
  • المواصفات: 1.1 مليار معامل، مع دعم لسياق يصل إلى 2048 رمزًا.
  • الأداء العربي: أداء مقبول للنصوص العربية البسيطة، مع تفوق نسبي في المهام العامة.
  • متطلبات الموارد: يمكن تشغيله على معالج مركزي متوسط، ويحتاج فقط إلى 2-4GB من الذاكرة عند استخدام تقنيات التكميم.
  • حالات الاستخدام: تطبيقات الهاتف المحمول، الأجهزة المدمجة، التطبيقات التي تتطلب استجابة سريعة.

Pythia​

مجموعة نماذج Pythia متعددة الأحجام:

  • نظرة عامة: سلسلة من النماذج مفتوحة المصدر من EleutherAI، متاحة بأحجام مختلفة مع توثيق شامل لعملية التدريب.
  • المواصفات: متوفرة بأحجام متعددة (70 مليون إلى 12 مليار معامل)، مع تركيز خاص على الإصدارات الصغيرة (160 مليون و410 مليون).
  • الأداء العربي: أداء متفاوت مع النصوص العربية، مع أداء أفضل في الإصدارات الأكبر.
  • متطلبات الموارد: يمكن تشغيل الإصدارات الأصغر على معظم الأجهزة الشخصية، حتى مع وحدات معالجة رسومات قديمة.
  • حالات الاستخدام: التطبيقات البحثية، المهام اللغوية البسيطة، وأنظمة الاستدلال خفيفة الوزن.

MobileLLM​

نماذج مصممة خصيصًا للأجهزة المحمولة:

  • نظرة عامة: نماذج مُحسّنة للعمل على الأجهزة المحمولة مع التركيز على كفاءة الطاقة وسرعة الاستجابة.
  • المواصفات: أحجام متنوعة تتراوح عادةً من 300 مليون إلى 2 مليار معامل، مع بنية معمارية مُبسطة.
  • الأداء العربي: دعم أساسي للغة العربية، مع أداء أفضل في النصوص القصيرة والمهام البسيطة.
  • متطلبات الموارد: مصممة لتعمل بكفاءة على معالجات الهواتف الذكية، مع استهلاك منخفض للذاكرة والبطارية.
  • حالات الاستخدام: تطبيقات الهواتف الذكية، المساعدين الشخصيين، أدوات الكتابة المحمولة.

توصيات للأجهزة الضعيفة​

إرشادات لاختيار وتشغيل النماذج على الأجهزة محدودة الموارد:

  • للأجهزة بدون وحدة معالجة رسومات:

    • استخدم نماذج أقل من 1 مليار معامل مع تكميم 4-بت
    • جرّب TinyLlama أو Pythia-160M مع llama.cpp للأداء الأمثل
    • ضبط حجم السياق على 512-1024 رمزًا لتقليل استهلاك الذاكرة

  • للحواسيب المحمولة القديمة:

    • نماذج 1-2 مليار معامل مع تكميم 8-بت
    • Mistral-7B أو Falcon-1B مع تقنيات تقليل الذاكرة
    • استخدام طرق تجزئة المعاملات لتحسين الأداء

  • للهواتف الذكية:

    • نماذج متخصصة للأجهزة المحمولة مثل MobileLLM
    • استخدام تنسيقات GGUF أو ONNX للتشغيل الأمثل
    • الاستفادة من معالجات الذكاء الاصطناعي المدمجة في الهواتف الحديثة

  • اعتبارات اللغة العربية:

    • النماذج المتخصصة في اللغة العربية صغيرة الحجم مثل AraGPT-nano
    • لاحظ أن الأداء العربي قد يكون أضعف في النماذج الصغيرة جدًا
    • استخدام نماذج متوسطة الحجم مع تقنيات تحسين متقدمة للتوازن المثالي