يزود التدريب المطورين بالمعرفة والمهارات اللازمة لتحسين أداء تطبيقات Apache Spark الخاصة بهم. سيحصل المشاركون على معرفة بأفضل الممارسات لمراقبة تطبيقات Spark وكذلك كيفية التعرف على الأسباب النموذجية لضعف الأداء في تطبيقات Spark.
-
تعرف على بنية Apache Spark وتنفيذ المهام وطرق تحسين الأداء مثل التنفيذ البطيء وأعمال خطوط الأنابيب.
-
تحليل سمات أداء هياكل البيانات الأساسية مثل RDDs و DataFrames.
-
اختر أنواع الملفات التي ستعمل على تشغيل تطبيقاتك بشكل أكثر فاعلية.
-
تحديد وإصلاح مشكلات الأداء الناتجة عن انحراف البيانات.
-
استخدم تحسينات الانضمام والتجميع والتقسيم لزيادة سرعة SparkSQL.
-
التعرف على حمل الأداء لـ RDDs و DataFrames والوظائف المعرفة من قبل المستخدم بناءً على Python.
-
استخدم التخزين المؤقت لتحسين أداء التطبيق.
-
التعرف على عمل محسنات التنغستن والمحفزات.
-
تعرف على كيفية استخدام Workload XM لمراقبة أداء تطبيق Spark واستكشاف أخطاءه وإصلاحها بشكل استباقي.
-
اكتشف التحسينات في الأداء التي أدخلها محرك Adaptive Query Execution بالإضافة إلى الميزات الجديدة الأخرى في Spark 3.0.
-
مطوري البرامج
-
المهندسين
-
علماء البيانات الذين لديهم خبرة في تطوير تطبيقات Spark ويريدون معرفة كيفية تحسين أداء الكود الخاص بهم.
-
RDDs
-
إطارات البيانات ومجموعات البيانات
-
التقييم الكسول
-
خطوط الأنابيب
-
نظرة عامة على التنسيقات المتوفرة
-
التأثير على الأداء
-
مشكلة الملفات الصغيرة
-
تكلفة الاستدلال
-
تكتيكات التخفيف
-
التعرف على الانحراف
-
تكتيكات التخفيف
-
نظرة عامة على المحفز
-
نظرة عامة على التنغستن
-
عدم التطابق
-
البث ينضم
-
عمليات الخريطة الجانبية
-
فرز ينضم دمج
-
الجداول المقسمة
-
طاولات دلو
-
التأثير على الأداء
-
ينحرف منحرفة
-
ينضم دلو
-
صلات تزايدي
-
Pyspark النفقات العامة
-
UDFs العددية
-
Vector UDFs باستخدام Apache Arrow
-
سكالا UDFs
-
خيارات التخزين المؤقت
-
التأثير على الأداء
-
مطبات التخزين المؤقت
-
نظرة عامة على WXM
-
WXM لمطوري Spark
-
عدد أقسام المراوغة التكيفية
-
ينضم الانحراف
-
تحويل عمليات دمج الفرز إلى عمليات البث
-
التقليم الديناميكي
-
أقسام التوحيد الديناميكي