ما هو التنقيب عن البيانات؟

يتم تسليط الضوء على What is data mining? من قبل BTW Media لأن الأدلة المنشورة تربطه بالبنية التحتية للإنترنت والحوكمة والتبعيات التشغيلية أو رؤية السوق.

• التنقيب عن البيانات هو عملية اكتشاف الأنماط والاتجاهات والعلاقات في مجموعات كبيرة من البيانات باستخدام الخوارزميات الإحصائية وتقنيات التعلم الآلي والذكاء الاصطناعي.
• يساعد المؤسسات على اتخاذ قرارات مدروسة، والتنبؤ بالاتجاهات المستقبلية، وتحسين استراتيجيات التسويق، وزيادة رضا العملاء، وكشف الحالات الشاذة أو الاحتيال.
• يستخدم تجار التجزئة التنقيب عن البيانات لتحليل سجل الشراء وتفضيلات العملاء، ويستخدمه مقدمو الرعاية الصحية لتحديد عوامل الخطر لدى المرضى، وتطبقه المؤسسات المالية لتقييم الائتمان وكشف الاحتيال.

التنقيب عن البيانات، أو استخراج المعرفة من قواعد البيانات (KDD)، يكشف عن معلومات من مجموعات كبيرة من البيانات. على الرغم من التقدم التكنولوجي، تظل قابلية التوسع والأتمتة تمثل تحديات. إنه يحسن اتخاذ القرار من خلال تصفية البيانات للحصول على رؤى قيمة، مثل كشف الاحتيال. عند دمجه مع أدوات مثلApache Spark، فإنه يسرع استخراج الرؤى. كما أن التقدم في الذكاء الاصطناعي يعزز تبنيه بشكل أكبر.

ما هو التنقيب عن البيانات؟

التنقيب عن البياناتهو عملية غربلة مجموعات كبيرة من البيانات لاكتشاف الأنماط والروابط التي تساعد في حل المشكلات التجارية من خلال تحليل البيانات. باستخدام تقنيات وأدوات التنقيب عن البيانات، يمكن للشركات توقع الاتجاهات المستقبلية واتخاذ قرارات تجارية مستنيرة.

يمثل التنقيب عن البيانات جانبًا أساسيًا من تحليل البيانات ويُعد تخصصًا أساسيًا في علم البيانات، حيث يستخدم أساليب تحليلية متطورة لاستخراج رؤى قيمة من مجموعات البيانات. بمزيد من التفصيل، يشكل التنقيب عن البيانات خطوة في عملية استخراج المعرفة من قواعد البيانات (KDD)، وهو نهج في علم البيانات لجمع البيانات ومعالجتها وتحليلها. على الرغم من أن التنقيب عن البيانات و KDD يُستخدمان أحيانًا بالتبادل، إلا أنهما غالبًا ما يُعتبران كيانين منفصلين.

تعتمد عملية التنقيب عن البيانات بشكل كبير على التنفيذ الفعال لجمع البيانات وتخزينها ومعالجتها. تشمل تطبيقاتها وصف مجموعة بيانات مستهدفة، والتنبؤ بالنتائج، وتحديد الاحتيال أو المشكلات الأمنية، والحصول على رؤى متعمقة حول التركيبة السكانية للمستخدمين، وتحديد الاختناقات والاعتماديات المتبادلة. بالإضافة إلى ذلك، يمكن تنفيذ إجراءات التنقيب عن البيانات إما تلقائيًا أو شبه تلقائي.

اقرأ أيضًا:نظرة على إدارة البيانات السحابية

كيف يعمل؟

يتم التنقيب عن البيانات عادةً بواسطة علماء البيانات وغيرهم من الخبراء المختصين في ذكاء الأعمال والتحليلات. ومع ذلك، يمكن لمحللي الأعمال والمديرين الموهوبين في التعامل مع البيانات، وكذلك الموظفين الذين يعملون كعلماء بيانات مواطنين داخل المؤسسة، المشاركة أيضًا في أنشطة التنقيب عن البيانات.

تشمل المكونات الأساسية للتنقيب عن البيانات التعلم الآلي والتحليل الإحصائي، إلى جانب مهام إدارة البيانات التي يتم تنفيذها لإعداد البيانات للتحليل. أدى ظهور خوارزميات التعلم الآلي وأدوات الذكاء الاصطناعي إلى أتمتة جزء كبير من العملية. بالإضافة إلى ذلك، سهلت هذه الأدوات التنقيب في مجموعات كبيرة من البيانات، مثل قواعد بيانات العملاء، وسجلات المعاملات، وملفات سجلات خوادم الويب، والتطبيقات المحمولة، وأجهزة الاستشعار.

على الرغم من أن عدد الخطوات قد يختلف بناءً على درجة التفصيل المطلوبة داخل المؤسسة، إلا أنه يمكن تقسيم عملية التنقيب عن البيانات عمومًا إلى أربع خطوات رئيسية على النحو التالي:

1. جمع البيانات

تحديد وتجميع البيانات ذات الصلة لتطبيق تحليلي. يمكن أن توجد البيانات في أنظمة مصادر مختلفة، أو مستودع بيانات، أو بحيرة بيانات – وهو مستودع متزايد الانتشار في بيئات البيانات الضخمة يحتوي على مزيج من البيانات المهيكلة وغير المهيكلة. يمكن أيضًا الاستفادة من مصادر البيانات الخارجية. بغض النظر عن مصدرها، غالبًا ما ينقلها علماء البيانات إلى بحيرة بيانات للخطوات التالية من العملية.

2. إعداد البيانات

تتضمن هذه المرحلة سلسلة من الخطوات لإعداد البيانات للتنقيب. يبدأ إعداد البيانات باستكشاف البيانات وملفها الشخصي ومعالجتها مسبقًا، يليها جهود تنظيف البيانات لتصحيح الأخطاء ومشكلات جودة البيانات الأخرى، مثل القيم المكررة أو المفقودة. يتم أيضًا تحويل البيانات لضمان اتساق مجموعات البيانات، إلا إذا اختار عالم البيانات تحليل بيانات أولية غير مفلترة لتطبيق معين.

3. التنقيب عن البيانات

بمجرد إعداد البيانات، يختار عالم البيانات تقنية التنقيب عن البيانات المناسبة، ثم ينشر خوارزمية واحدة أو أكثر لتنفيذ التنقيب. يمكن أن تشمل هذه التقنيات تحليل العلاقات بين البيانات واكتشاف الأنماط والارتباطات والعلاقات. في سيناريوهات التعلم الآلي، تحتاج الخوارزميات عادةً إلى التدريب على عينات من البيانات لتمييز المعلومات المطلوبة قبل تشغيلها على مجموعة البيانات بأكملها.

4. تحليل البيانات وتفسيرها

تستخدم نتائج التنقيب عن البيانات لصياغة نماذج تحليلية يمكن أن تفيد في اتخاذ القرار وإجراءات الأعمال الأخرى. بالإضافة إلى ذلك، يجب على عالم البيانات أو عضو آخر في فريق علم البيانات توصيل النتائج إلى المديرين والمستخدمين التجاريين، غالبًا باستخدام تقنيات تصور البيانات وسرد البيانات.

اقرأ أيضًا:5 أدوار ومسؤوليات في حوكمة البيانات

أمثلة قطاعية للتنقيب عن البيانات

تجارة التجزئة: يستخدم تجار التجزئة عبر الإنترنت بيانات العملاء وسجلات مسار التصفح على الإنترنت لتحسين الحملات التسويقية والإعلانات والعروض الترويجية المصممة خصيصًا لكل متسوق. كما أن التنقيب عن البيانات والنمذجة التنبؤية يدعمان محركات التوصية التي تقترح مشتريات محتملة لزوار الموقع، بالإضافة إلى أنشطة إدارة المخزون وسلسلة التوريد.

الخدمات المالية: تستخدم البنوك وشركات بطاقات الائتمان أدوات التنقيب عن البيانات لبناء نماذج المخاطر المالية، وتحديد المعاملات الاحتيالية، وتقييم طلبات القروض والائتمان. بالإضافة إلى ذلك، يلعب التنقيب عن البيانات دورًا في جهود التسويق وتحديد فرص البيع الإضافي للعملاء الحاليين.

التأمين: تستخدم شركات التأمين التنقيب عن البيانات لتوجيه تسعير وثائق التأمين، وتقييم طلبات البوليصة، وإجراء نمذجة المخاطر للعملاء المحتملين.

التصنيع: ينشر المصنعون التنقيب عن البيانات لتحسين توفر وكفاءة التشغيل لمرافق الإنتاج، وتحسين أداء سلسلة التوريد، وضمان سلامة المنتج.

الترفيه: تحلل خدمات البث عادات المشاهدة أو الاستماع لدى المستخدمين لتقديم توصيات مخصصة بناءً على التفضيلات الفردية. وبالمثل، يمكن للأفراد الانخراط في التنقيب عن بيانات البرامج للحصول على رؤى أعمق.

الرعاية الصحية: يساعد التنقيب عن البيانات المتخصصين في الرعاية الصحية على تشخيص الحالات الطبية، ووضع خطط العلاج، وتفسير نتائج التصوير الطبي. بالإضافة إلى ذلك، يعتمد البحث الطبي بشكل كبير على التنقيب عن البيانات والتعلم الآلي ومنهجيات تحليلية أخرى.

الموارد البشرية: تدير أقسام الموارد البشرية كميات هائلة من البيانات تشمل معدلات الاحتفاظ والترقيات والرواتب والمزايا. يساعد التنقيب عن البيانات في تحليل هذه البيانات لتحسين عمليات الموارد البشرية.

وسائل التواصل الاجتماعي: تستغل منصات وسائل التواصل الاجتماعي التنقيب عن البيانات لتجميع مجموعات كبيرة من البيانات حول المستخدمين وأنشطتهم عبر الإنترنت. وتستخدم هذه المجموعات بشكل مثير للجدل للإعلانات المستهدفة أو يمكن بيعها لأطراف ثالثة.