الخلاصة

  • أعلنت AWS في 11 سبتمبر خيارين منفصلين للتخزين المؤقت في HyperPod، لأوزان النماذج ولصور الحاويات، وكلاهما معطل افتراضيا.
  • تبقى نسخة الأوزان على العقدة نفسها. تفضيل العقد المجهزة لا يمنع اختيار عقدة باردة تحتاج إلى تنزيل الملفات من المصدر.

لا يكفي تخصيص موارد حوسبة إضافية حتى تصبح خدمة الاستدلال أوسع فعليا. فالنسخة الجديدة قد تنتظر وصول صورة الحاوية وأوزان نموذج كبير قبل أن تستقبل طلبا واحدا. الميزة الجديدة في Amazon SageMaker HyperPod تحاول جعل هذا العمل التحضيري قابلا لإعادة الاستخدام. لذلك يصبح مكان تشغيل النسخة، لا حجم مواردها وحده، عاملا في جدوى التوسع.

يفصل إعلان 11 سبتمبر بين وظيفتين. تحفظ ذاكرة الأوزان المؤقتة الملفات على تخزين NVMe المحلي للعقدة، لتجنب عمليات نقل متكررة من Amazon S3 أو Amazon FSx. أما تخزين الصور فيجلب صورة حاوية الاستدلال مسبقا، بحيث لا تتطلب بداية لاحقة على عقدة مجهزة تنزيلها من السجل من جديد. يمكن تفعيل الوظيفتين بصورة مستقلة من خلال مشغل الاستدلال، ولا تفعلهما الإعدادات الافتراضية.

تقول AWS إن اختبارات على نماذج تتراوح أحجامها بين 57 و145 غيغابايت حققت توسعا أسرع بنحو 60%. وتذكر، على نحو منفصل، تقليص وقت جلب صورة الحاوية بنسبة 97%، بما أزال أكثر من دقيقتين من تلك المرحلة. هذان القياسان لا يخصان المقام نفسه؛ لا يصح جمع النسبتين أو تحويلهما إلى وعد بانخفاض مماثل في زمن استجابة المستخدم أو فاتورة العميل. هذه أرقام المورد، وليست نتائج اختبار مستقل أجري لهذه المادة.

وتضع الوثائق شرطا ماديا للاستفادة من تخزين الأوزان: وجود NVMe محلي في المسار المضبوط ومساحة كافية. لا تدعم المثيلات المعتمدة على EBS وحده هذا النوع من التخزين المؤقت. وعندما لا يكون التخزين المحلي مناسبا، قد يستمر تحميل الأوزان من المصدر البعيد. لذا لا يدل تفعيل الإعداد على وجود نسخة محلية صالحة، كما أن جاهزية صورة الحاوية لا تثبت جاهزية الأوزان.

يجهز المشغل العقد التي تطابق قيود الجدولة الخاصة بالنشر، ثم يضع علامات تدل على جاهزيتها. وعند توزيع النسخ، يستخدم تفضيلا للعقد المجهزة، لا إلزاما مطلقا بها. تشرح وثائق Kubernetes العامة أن تفضيل تقارب العقد يدخل في قرار الجدولة إلى جانب متطلبات أخرى، من دون حظر البدائل. هذه مرجعية لفهم التفضيل، وليست دليلا على إصدار Kubernetes الذي يستخدمه HyperPod.

إذا وصلت النسخة إلى عقدة لا تحتوي الأوزان المطلوبة، يجري تنزيلها من مصدر S3 أو FSx الأصلي. يتيح ذلك البدء من دون جعل وجود ذاكرة مؤقتة دافئة شرطا لا بد منه. لكنه لا يلغي الاعتماد على إمكانية الوصول إلى المصدر. ويتناول دليل AWS نفسه تعثر التنزيل وعدم إمكانية الوصول إلى مصادر الملفات.

وتحتاج العقدة البديلة إلى تجهيز جديد. في السيناريو الذي تصفه الوثائق، تستمر العقد المجهزة القائمة في الخدمة أثناء ذلك. لا يعني هذا أن لديها بالضرورة سعة احتياطية تكفي لأي طفرة طلب. فالملفات المحفوظة على القرص ليست نموذجا محملا في ذاكرة GPU، وليست قدرة استدلال محجوزة وجاهزة للعمل.

كذلك لا يعني الفصل المنطقي فصل الموارد المادية. لكل عملية نشر دليل تخزين مستقل، لكن عمليات النشر المتعددة تستهلك مساحة NVMe المتاحة على العقدة نفسها. ومن معالجة ضغط المساحة التي يوردها الدليل فصل مجموعات المثيلات أو تقليل عمليات النشر المتزامنة التي تستخدم التخزين المؤقت. هذا قيد تشغيلي موثق، وليس بلاغا عن عطل أصاب عميلا.

وتقول AWS إن الميزة متاحة عموما في جميع المناطق التي تتوافر فيها HyperPod. أما قيمتها التشغيلية والتجارية فترتبط بعدد المرات التي يستطيع فيها الحمل إعادة استخدام عقد مؤهلة ومجهزة، لا بمجرد ظهور خيار جديد في الإعدادات.

المصادر