دورة تطوير عمليات استخراج البيانات وتحويلها وتحميلها (ETL) وبناء مسارات البيانات

نظرة عامة على الدورة

أهداف التعلم

• تهدف الدورة إلى تمكين المشاركين من:
• شرح معماريات ETL وELT وتطبيقاتها في بيئات البيانات الحديثة.
• اختيار أساليب استخراج مناسبة لقواعد البيانات والملفات وواجهات برمجة التطبيقات ومصادر البيانات الأخرى.
• تصميم عمليات تحويل لتنظيف البيانات وتوحيدها والتحقق منها وتجهيزها.
• تطوير مسارات لتحميل البيانات إلى قواعد البيانات والمنصات التحليلية المستهدفة.
• تطبيق استراتيجيات التحميل الكامل والتحميل التزايدي.
• أتمتة تنفيذ مسارات البيانات باستخدام الجدولة وتنسيق المهام.
• تطبيق فحوصات جودة البيانات وضوابط المطابقة خلال مراحل المعالجة.
• تنفيذ آليات معالجة الأخطاء وتسجيل الأحداث وإعادة المحاولة والاستعادة.
• مراقبة أداء مسارات البيانات وتحديد الاختناقات والأعطال المتكررة.
• تصميم مسارات بيانات قابلة للصيانة والتوسع وتدعم إعداد التقارير التحليلية بصورة موثوقة.

من يجب أن يحضر

مخرجات التعلم

• بنهاية الدورة، سيكون المشاركون قادرين على:
• التمييز بين عمليات ETL وELT واختيار النهج المناسب لكل بيئة عمل.
• ربط البيانات بين الأنظمة المصدرية والهياكل المستهدفة وتحديد متطلبات التحويل.
• بناء عمليات استخراج وتحميل للبيانات المنظمة وشبه المنظمة.
• تطبيق قواعد تنظيف البيانات وتوحيدها وتحويل أنواعها والتحقق منها.
• تصميم مسارات تزايدية تعالج السجلات الجديدة أو المعدلة بكفاءة.
• تنسيق المهام المترابطة وإدارة جداول تنفيذ مسارات البيانات.
• اكتشاف السجلات المكررة والقيم المفقودة وتغيرات المخططات واختلافات المطابقة.
• إعداد سجلات التنفيذ ومعالجة الأخطاء وإعادة المحاولة وإجراءات الاستعادة.
• تحليل مؤشرات تنفيذ المسارات وتحديد فرص تحسين الأداء.
• توثيق منطق المعالجة والاعتماديات وقواعد جودة البيانات والإجراءات التشغيلية.

محتوى الدورة