أندري كارباثي يطلق “nanochat”: نموذج لغوي شبيه لـ ChatGPT بميزانية $100 فقط

أحدث أندري كارباثي – مؤسس Eureka Labs والمؤسس المشارك السابق لـ OpenAI – ضجة هائلة بإصداره لمشروع nanochat؛ وهو تطبيق متكامل (Full-Stack) لنموذج لغة كبير شبيه بـ ChatGPT، ولكن في حزمة برمجية صغيرة ومبسطة !!

ليس مجرد نموذج لغة؛ بل هو Pipeline متكامل وشامل يغطي كل مراحل بناء الروبوت الحواري ::

✴️ تدريب الـ Tokenization باستخدام لغة Rust لضمان الكفاءة.
✴️ مرحلة التدريب الأولي على البيانات المفتوحة ثم التدريب على المحادثات واستخدام الأدوات.
✴️ الضبط الدقيق (Fine-Tuning) ثم التنفيذ والاستدلال (Inference) بكفاءة مع دعم KV Cache.
✴️ واجهة مستخدم ويب بسيطة لتتمكن من التحدث مع نموذجك الخاص تماماً مثل ChatGPT.

يركز المشروع 💡 على الكود النظيف والمينيمالي (أقل من 8,000 سطر من PyTorch وPython)؛ وهو ما يجعله نموذجاً تعليمياً مثالياً؛ حيث يهدف كارباثي لأن يكون nanochat المشروع الأساسي لدورته القادمة LLM101n !!

بعيداً عن الميزانيات الضخمة؛ يمكن تدريب نسخة قابلة للمحادثة من النموذج على عقدة 8xH100 GPU لمدة 4 ساعات فقط؛ وهو ما يكلف حوالي $100 تقريباً 😍

~ يفتح هذا التطور الهام الباب واسعاً أمام المطورين والباحثين لبناء واختبار نماذج اللغة الكبيرة محلياً وبتكلفة منخفضة؛ ويعزز ديمقراطية الوصول إلى تكنولوجيا الذكاء الاصطناعي !!

رابط الـ GitHub 🔗 👇