تقنيات NLP في علم البيانات

يتم تغطية NLP techniques in data science من قبل BTW Media لأن الأدلة المنشورة تربطه بالبنية التحتية للإنترنت أو الحوكمة أو التبعيات التشغيلية أو رؤية السوق.

• المعالجة اللغوية الطبيعية (NLP) هي فرع من علم البيانات يهدف إلى تدريب أجهزة الكمبيوتر على معالجة وتفسير المحادثات بصيغة نصية، تمامًا كما يفعل البشر عند الاستماع.
• تطبيقات المعالجة اللغوية الطبيعية صعبة وتمثل تحديًا أثناء التطوير، لأن أجهزة الكمبيوتر تتطلب من البشر التفاعل معها باستخدام لغات برمجة منظمة لا لبس فيها مثل Java وPython وما إلى ذلك.
• لقد غيّر تطبيق المعالجة اللغوية الطبيعية وعلوم البيانات وML وIA طريقة تفاعلنا مع أجهزة الكمبيوتر، وسيستمر في ذلك في المستقبل.

المعالجة اللغوية الطبيعية (NLP) هي فرع رئيسي من الذكاء الاصطناعي (IA) ضمن علم البيانات، مخصص لاستخراج المعلومات من البيانات النصية. وقد أدى ذلك إلى زيادة الطلب على متخصصي NLP، لأن كل محادثة وتعبير يحمل معلومات قيمة حاسمة لاتخاذ القرارات.

ومع ذلك، يمثل استخراج المعلومات من البيانات النصية تحديًا كبيرًا، بالنظر إلى تعدد اللغات والتعبيرات والنغمات التي يستخدمها البشر. البيانات الناتجة عن تفاعلاتنا اليومية غير منظمة بطبيعتها. ومع ذلك، فإن التقدم في علم البيانات وتقنيات NLP قد مكن الآلات من إجراء محادثات هادفة مع البشر. في هذا المقال، سنستكشف ونستعرض بالتفصيل أكثر عشر تقنيات من معالجة اللغات الطبيعية (NLP) استخدامًا في علم البيانات.

اقرأ أيضًا:الفرق بين الذكاء الاصطناعي التحادثي والذكاء الاصطناعي التوليدي

1. التقسيم إلى وحدات (Tokenisation) في NLP

التقسيم إلى وحدات (Tokenisation)، وهي تقنية أساسية في NLP، تتمثل في تجزئة النص إلى جمل وكلمات، بتقسيمه أساسًا إلى وحدات (tokens). تعمل هذه العملية على إزالة بعض الأحرف مثل علامات الترقيم والواصلات لتسهيل تحليل النص.

لنأخذ هذا المثال: عند التقسيم إلى وحدات، يتم عادةً تقسيم النص بمسافات فارغة. ومع ذلك، قد تنشأ مشاكل، خاصة مع علامات الترقيم. على سبيل المثال، في حالة الاختصارات مثل « M. »، يجب نظريًا الاحتفاظ بالنقطة كجزء من نفس الوحدة، لكن التقسيم إلى وحدات قد يقسمها خطأً إلى كلمتين. تزداد هذه التحديات في المجالات ذات النصوص الطبية الحيوية المعقدة التي تحتوي على العديد من الواصلات والأقواس وعلامات الترقيم، مما يؤدي إلى مضاعفات محتملة أثناء التقسيم إلى وحدات.

اقرأ أيضًا:استكشاف أفضل منصات الذكاء الاصطناعي التحادثي

2. التجذير (Stemming) والتحويل إلى الشكل الأساسي (Lemmatisation)

الهدف الرئيسي للتجذير (Stemming) في NLP هو تقليل الكلمات إلى شكلها الجذري، بهدف تجميع المتغيرات من الكلمات التي لها نفس المعنى. يحقق التجذير ذلك عن طريق إزالة اللواحق من الكلمات، وتبسيط المعالجة لمزيد من الكفاءة.

في المقابل، يتكون التحويل إلى الشكل الأساسي (Lemmatisation) من تحويل الكلمات إلى شكلها القاموسي، المسمى بالصيغة الأساسية (lemma). على سبيل المثال، « hates » و « hating » هما متغيران للكلمة « hate »، و « hate » هو الصيغة الأساسية لكليهما. هدف التحويل إلى الشكل الأساسي مشابه لهدف التجذير — تجميع أشكال الكلمات المختلفة — ولكنه يستخدم نهجًا مختلفًا.

3. إزالة الكلمات الشائعة (Stop Words)

تردد المصطلح (TF، من الإنجليزية Term Frequency) يحدد عدد مرات ظهور كلمة في مستند معين. يتم حسابها عن طريق حساب العدد الإجمالي لتكرارات الكلمة وقسمته على الطول الإجمالي للمستند، أي TF = العدد الإجمالي للتكرارات / الطول الإجمالي للمستند.

من ناحية أخرى، يخصص تردد المستند العكسي (IDF) وزنًا لكل كلمة بناءً على أهميتها. يتم تحديد ذلك عن طريق أخذ لوغاريتم العدد الإجمالي للمستندات في مجموعة البيانات مقسومًا على عدد المستندات التي تحتوي على تلك الكلمة بالذات.

TF-IDF، هو حاصل ضرب TF وIDF، ويوفر مقياسًا لأهمية الكلمة. الكلمات ذات الأهمية الأعلى تحصل على أوزان أكبر بفضل هذا الحساب الإحصائي. تُستخدم هذه التقنية على نطاق واسع بواسطة محركات البحث لتقييم وترتيب ملاءمة المستندات استجابةً للكلمات المفتاحية المدخلة.

4. تردد المصطلح – تردد المستند العكسي (TF-IDF)

TF، أو تردد المصطلح، يقيس عدد مرات ظهور كلمة في مستند معين. يتم حسابه عن طريق حساب العدد الإجمالي لتكرارات الكلمة وقسمته على الطول الإجمالي للمستند، أي TF = العدد الإجمالي للتكرارات / الطول الإجمالي للمستند.

IDF، أو تردد المستند العكسي، يخصص وزنًا لأي سلسلة حسب أهميتها. يحسبه بأخذ لوغاريتم العدد الإجمالي للمستندات في مجموعة البيانات في ذلك الوقت مقسومًا على عدد المستندات التي تحتوي على تلك الكلمة بالذات. TF-IDF هو أهمية كلمة بضرب المصطلحين TF وIDF، أي TF*IDF.

وبالتالي، من خلال هذه الطريقة، تحصل الكلمات ذات الأهمية الأكبر على أوزان أعلى باستخدام هذه الإحصائيات. تُستخدم تقنية TF-IDF بشكل أساسي بواسطة محركات البحث لتقييم وترتيب ملاءمة أي مستند بناءً على الكلمات المفتاحية المعطاة.

5. استخراج الكلمات المفتاحية في NLP

استخراج الكلمات المفتاحية هو طريقة لتحليل النص تحدد تلقائيًا أهم الكلمات والعبارات في نص معين. تساعد هذه التقنية في تلخيص المحتوى وتحديد الموضوعات الرئيسية التي يتم تناولها.

تعمل على مصادر نصية متنوعة، بما في ذلك المستندات والمنشورات على وسائل التواصل الاجتماعي والمنتديات عبر الإنترنت والمقالات الإخبارية. باستخدام استخراج الكلمات المفتاحية، يمكن للشركات تمييز الإشارات الرئيسية للعملاء على الإنترنت بشكل فعال، مما يوفر وقتًا كبيرًا مقارنة بالطرق التقليدية للمعالجة اليدوية.

نظرًا لأن أكثر من 80٪ من البيانات اليومية غير منظمة، فإن الاستخراج التلقائي للكلمات المفتاحية لا غنى عنه للشركات التي تسعى إلى تحليل بيانات العملاء بفعالية.