The Cloud Warrior

ما هو Azure Data Factory؟

لو بتفكر إزاي تقدر تبني حل متكامل لنقل وتحويل البيانات (ETL/ELT) بدون ما تشيل هم السيرفرات، فـ Azure Data Factory (ADF) هو الأداة المثالية.

هو عبارة عن خدمة Serverless ETL بتخليك:

• تربط أكتر من 90 مصدر بيانات (SQL, Oracle, Blob, Data Lake, SAP, Salesforce… إلخ.
• تبني Data Pipelines بواجهة رسومية سهلة أو بالكود.
• تعمل تحويل البيانات Data Transformation باستخدام Data Flows.
• تدير الـ Scheduling & Monitoring من مكان واحد متكامل مع Azure Monitor.

فين ممكن تستخدم ADF؟

• ترحيل البيانات من On-premises قواعد بيانات زي Oracle أو SQL Server إلى Azure.
• بناء Modern Data Warehouse أو Data Lakehouse للـ BI و Analytics.
• تجهيز البيانات لمشاريع الذكاء الاصطناعي.
• ربط الأنظمة المختلفة زي CRM + ERP + IoT في Pipeline واحد.

ليه أستخدم Azure Data Factory؟

• خدمة Serverless من غير إدارة سيرفرات.
• Scalable تقدر تعالج تيرا بايتس من البيانات.
• Secure بيدعم VNet integration, Private Endpoints, Managed Identities.
• Cost-effective تدفع بس على الاستخدام.
• بإختصار:
  🔹 Azure Data Factory (ADF) هو خدمة ETL / ELT سحابية من Azure.
• بتسمح لك تعمل data pipelines عشان تنقل وتحوّل البيانات من مصادر مختلفة On-premises أو Cloud.
• No-code / Low-code تقدر تبني workflows باستخدام واجهة رسومية، أو تستخدم Data Flow لو عاوز تعمل transformations بدون كود.
• بتدعم أكتر من 90+ connector SQL, Oracle, SAP, Blob, Data Lake, Salesforce, وغيرها.
• تقدر تعمل scheduling, monitoring, retry policies من خلال الواجهة أو مع Azure Monitor / Log Analytics.
• بتتكامل مع Azure Synapse Analytics, Databricks, Logic Apps, Event Grid, Functions إلخ.

أشهر السيناريوهات:

• ترحيل بيانات (Data Migration) من Oracle أو SQL Server لـ Azure SQL / Synapse.
• بناء Modern Data Warehouse أو Data Lakehouse.
• ETL للـ BI / AI pipelines.
• Integrating IoT أو CRM data.

خلينا نشوف سيناريو عملي من واقع مشروع حقيقي

شركة عندها:

• قاعدة بيانات SQL Server On-Premises فيها بيانات العملاء والمبيعات.
• محتاجين يدمجوا البيانات دي مع ملفات Excel / CSV بيجيلهم من الموردين.
• الهدف يبنوا Dashboard على Power BI يوضح المبيعات حسب المنطقة + المورد.

🔹 خطوات ETL باستخدام Azure Data Factory

1. Extract سحب البيانات
2. بنعمل Linked Service لـ On-Prem SQL Server باستخدام Self-hosted Integration Runtime.
3. بنعمل Linked Service كمان لـ Azure Blob Storage علشان نرفع فيه ملفات الموردين CSV/Excel.
4. Pipeline أول خطوة فيها Copy Activity عشان تسحب بيانات الجداول من SQL Server وتخزنها في Azure Data Lake.
5. Pipeline تانية تقرأ ملفات الموردين من Blob Storage وتخزنها برضه في Data Lake.
6. Transform تحويل البيانات
7. بنستخدم Mapping Data Flow جوه ADF:
   1. نعمل Join بين جدول المبيعات من SQL Server وبيانات الموردين من CSV.
   2. نحسب عمود جديد اسمه Profit Margin المبيعات – التكلفة.
   3. ننضف البيانات (نشيل الصفوف اللي ناقص فيها قيم أساسية).
   4. نوحد صيغة التواريخ والـ currency.

• Load تحميل البيانات النهائية
• بعد التحويل، بنعمل Sink في Data Flow يحفظ البيانات في Azure Synapse Analytics.
• كده الـ BI Team يقدر يوصل مباشرة على Synapse أو Power BI ويعرض Dashboards.

🔹 النتيجة النهائية

• Power BI Dashboard بيربط البيانات من Synapse.
• يقدر يعرض:
  • المبيعات لكل مورد.
  • الربحية حسب المنطقة.
  • مقارنة بين البيانات التاريخية من SQL Server وملفات الموردين الشهرية.

في النهاية، Azure Data Factory مش مجرد أداة لنقل البيانات، لكنه منصة كاملة بتخليك تبني حلول ETL/ELT حديثة بمرونة وأمان وسهولة.
لو حابب تشوف الموضوع بشكل عملي خطوة بخطوة، تقدر تتابع الفيديو ده: