Summary

  • توضح شرائح Adel Iazzag في NANOG 98 أن طبقة Mixture-of-Experts تولّد تبادل AllToAll مرتين؛ تتجه التدفقات بصورة غير متساوية نحو منفذ واحد ثم قد ينتقل الازدحام في الطبقة التالية.
  • يقترح اختبار AllToAll على الشبكة الفعلية، وإظهار طوبولوجيتها للمجدول، وفحص التحكم بالازدحام عندما يصل مرسلون كثيرون إلى وجهة واحدة.

حين يحدد فريق الشبكة المنفذ الساخن، قد يكون النموذج قد اختار خبراء آخرين. في حديث NANOG 98 يتتبع Adel Iazzag حركة الرموز داخل Mixture-of-Experts: تختار كل طبقة وحدات GPU تعمل كخبراء، فتتجمع بيانات مرسلين كثيرين عند وجهات قليلة. ثم يتبدل الاختيار، ويتحرك معه ضغط الدخول. مطاردة منفذ واحد على لوحة دائمة قد تعني مطاردة أثر المهمة السابقة.

تفصل الشرائح الأصلية بين أشكال التدريب. تزامن التدرجات في توازي البيانات يشغل وصلات الرفع معاً ثم يتركها هادئة. توازي خط الأنابيب ينقل البيانات بين مراحل متجاورة، وقد تنتظر مرحلة رغم أن متوسط استخدام الوصلة منخفض. التوازي الموترى يتبادل نتائج صغيرة ومتكررة بين المجموعة نفسها في كل طبقة؛ لذلك يضعه Iazzag داخل نطاق scale-up. أما MoE فيولد AllToAll بوجهات غير متوازنة وازدحام دخول ينتقل بين المنافذ.

في رسم يضم 256 وحدة GPU، تعرض الشرائح 510 خطوات اتصال للخوارزمية الحلقية AllReduce مقابل 16 للشجرية. الأرقام عدد خطوات في مثال خوارزمي، وليست ثواني قياس لتدريب إنتاجي. شكل التجميع وموقع أعضائه يحددان ما تراه المفاتيح قبل أن يُطلب منها حمل المزيد.

يبدأ تصميم Iazzag بمحاذاة rails: ربط بطاقة الشبكة ذات الرقم نفسه في كل خادم بالورقة المقابلة. يطلب نسبة اشتراك واحد إلى واحد عندما تستطيع جميع الوحدات الإرسال بسرعة الخط، واختبار التحكم بالازدحام في حالة كثير إلى واحد. ويرى أن ECMP وحده قد يقصر، فتدخل خيارات توزيع الحزم أو flowlets. المجدول يحتاج طوبولوجيا الشبكة لأنه يختار مواقع مراحل خط الأنابيب والمجموعة الموترية والخبراء الذين ستتقاطر عليهم الرسائل.

الاختبار الحاسم هو تشغيل AllToAll على الشبكة المقصودة وتسجيل الوجهة الساخنة في كل مرحلة، ثم مقارنة ذلك بقرارات المجدول. لا تقدم الشرائح حادثة مسماة في الإنتاج أو حساباً لساعات GPU المهدرة. يظل سؤال الإنفاق واضحاً: هل تشتري روابط أكبر لمشكلة تستطيع إعادة توزيع العمل أن تمنعها؟

المصادر: جلسة NANOG 98 · شرائح Iazzag الأصلية.