ميزات خدمة Amazon المُدارة لـ Apache Flink
ما سبب أهمية الخدمة المُدارة لـ Apache Flink؟
تعمل خدمة Amazon المُدارة لـ Apache Flink على تسهيل إنشاء تطبيقات معالجة البث في الوقت الفعلي وتشغيلها باستخدام Apache Flink. تقوم خدمة Amazon المُدارة لـ Apache Flink بتوفير وتكوين مجموعات Flink الخاصة بك وتنسيق إدارة مهام Flink. يقوم بإعداد المراقبة والإنذار، ويوفر التحجيم التلقائي، وتم تصميمه للتوافر العالي (بما في ذلك تجاوز الفشل لمنطقة التوافر). توفر الخدمة إمكانية الوصول إلى واجهات برمجة التطبيقات التعبيرية لـ Apache Flink، ومن خلال خدمة Amazon المُدارة لـ Apache Flink Studio، يمكنك الاستعلام بشكل تفاعلي عن تدفقات البيانات أو تشغيل تطبيقات ذات حالة في خطوات قليلة فقط. باستخدام هذه الخدمة المُدارة، يمكنك البدء باستخدام Apache Flink ونشر تطبيقات معالجة تدفق البيانات وتشغيلها بسرعة.
مع خدمة Amazon المُدارة لـ Apache Flink، يمكنك الوصول إلى مجموعة كاملة من إمكانيات Apache Flink الرائدة في المجال، بما في ذلك معالجة البيانات بزمن انتقال منخفض ومعدل نقل عالي، والمعالجة مرة واحدة بالضبط، وحالة التطبيق الدائمة. باستخدام خدمة Amazon المُدارة لـ Apache Flink، يمكنك نشر تطبيقات آمنة ومتوافقة ومتوفرة للغاية. تقوم خدمة Amazon المُدارة لـ Apache Flink بتكرار البيانات وأعباء العمل بسهولة عبر مناطق التوافر المتعددة، مما يضمن الأداء والموثوقية دون انقطاع، ودون الحاجة إلى الدفع مقابل زيادة السعة.
أصبح تطوير التطبيقات أسهل مع خدمة Amazon المُدارة لـ Apache Flink لأن الخدمة تدعم واجهات برمجة تطبيقات Flink المرنة بلغات Java و Scala و Python و SQL. تتكامل خدمة Amazon المُدارة لـ Apache Flink مع مئات مصادر البيانات والوجهات، مثل Amazon Managed Streaming for Apache Kafka (Amazon MSK)، وتدفق بيانات Amazon Kinesis، وAmazon Kinesis Data Firehose، وخدمة التخزين البسيطة في Amazon (Amazon S3)، وAmazon DynamoDB، وموصلات JDBC، والموصلات المخصصة.
تطبيقات معالجة التدفق باستخدام Apache Flink
فتح الكلتتضمن خدمة أمازون المُدارة لـ Apache Flink مكتبات مفتوحة المصدر مثل أباتشي فلينك وأباتشي بيم وأباتشي زيبلين وAWS SDK وتكامل خدمات AWS. Apache Flink هو إطار مفتوح المصدر ومحرك لإنشاء تطبيقات بث عالية التوافر ودقيقة. Apache Beam هو نموذج موحد لتحديد تطبيقات البث ومعالجة البيانات المجمعة التي يتم تشغيلها عبر محركات تشغيل متعددة. تساعد حزم AWS SDK على التخلص من التعقيد في الترميز للعديد من خدمات AWS من خلال توفير واجهات برمجة التطبيقات بلغتك المفضلة، وهي تشمل مكتبات AWS وعينات التعليمات البرمجية والوثائق.
تدعم خدمة Amazon المُدارة لـ Apache Flink واجهات برمجة تطبيقات Flink المرنة في Java وScala وPython وSQL المتخصصة في حالات الاستخدام المختلفة بما في ذلك معالجة الأحداث ذات الحالة وتدفق ETL (الاستخراج والتحويل والتحميل) والتحليلات في الوقت الفعلي. باستخدام عوامل التشغيل التي تم إنشاؤها مسبقًا وإمكانيات التحليلات، يمكنك إنشاء تطبيق بث Apache Flink في ساعات بدلاً من أشهر، والمكتبات قابلة للتوسيع، بحيث يمكنك إجراء معالجة في الوقت الفعلي لحالات الاستخدام المختلفة.
يمكنك إعداد ودمج مصدر بيانات أو وجهة باستخدام تعليمات برمجية قليلة للغاية. استخدم خدمة Amazon المُدارة لـ Apache Flink للتكامل مع خدمات AWS التالية:
بالإضافة إلى عمليات تكامل AWS، تشتمل مكتبات خدمة Amazon المُدارة لـ Apache Flink على أكثر من 40 من موصلات Apache Flink والقدرة على إنشاء عمليات تكامل مخصصة. باستخدام بضعة أسطر أخرى من التعليمات البرمجية، يمكنك تعديل آلية عمل كل عملية تكامل باستخدام الوظائف المتقدمة. كما يمكنك إنشاء عمليات تكامل مخصصة باستخدام مجموعة من الأنواع الأساسية لـ Apache Flink بحيث يمكنك القراءة والكتابة استنادًا إلى الملفات أو الأدلة أو المآخذ أو المصادر الأخرى التي يتم الوصول إليها على الإنترنت.
باستخدام خدمة Amazon المُدارة لـ Apache Flink، يمكنك إنشاء تطبيقات تؤثر فيها السجلات المعالجة على النتائج مرة واحدة بالضبط، ويشار إليها باسم المعالجة لمرة واحدة بالضبط. حتى في حالة تعطل التطبيق، لأسباب منها مثلًا صيانة الخدمة الداخلية أو تحديث للتطبيق بدأه المستخدم، تضمن الخدمة معالجة جميع البيانات وعدم وجود بيانات مكررة.
تخزّن الخدمة العمليات الحسابية السابقة والجارية، أو الحالة، في مخزن تطبيقات قيد التشغيل. قارِن النتائج في الوقت الفعلي والنتائج السابقة على مدار أي فترة زمنية وتمكَّن من التعافي بسرعة أثناء تعطّل التطبيق. يتم دائمًا تشفير الحالة وحفظها بشكل متزايد في مخزن التطبيقات قيد التشغيل.
يمكنك إنشاء نسخ احتياطية دائمة للتطبيق وحذفها من خلال استدعاء بسيط لواجهة برمجة التطبيقات. يمكنك استعادة تطبيقاتك فورًا من أحدث نسخة احتياطية بعد التعطيل، أو استعادة نسخة سابقة من التطبيق.
تدعم خدمة Amazon المُدارة لـ Apache Flink خوارزميات تعلّم الآلة (ML). يمكنك إنشاء تطبيقات في الوقت الفعلي للتصنيف والتجميع والتقييم وتوصيات هندسة الميزات والتراجع والإحصاءات.
تتوافق خدمة Amazon المُدارة لـ Apache Flink مع سجل مخطط AWS Glue. يساعدك سجل المخطط على تحسين جودة البيانات والحماية من التغييرات غير المتوقعة باستخدام اختبارات التوافق التي تحكم تطور المخطط لمخططاتك على خدمة Amazon المُدارة لأعباء عمل خدمة Amazon المُدارة لـ Apache Flink المتصلة بـ Apache Kafka، أو Amazon MSK، أو تدفقات بيانات Amazon Kinesis، إما كمصدر أو موصل مخزن بيانات.