الخلاصة

  • أعادت Karen Spärck Jones تعريف خصوصية المصطلح بوصفها إحصاءً لاستخدامه في مجموعة وثائق، لا صفة ثابتة في معناه.
  • بينت تجارب 1972 أن حذف المصطلحات الشائعة يضر بالاستدعاء؛ والأجدى هو تخفيض وزنها مع رفع قيمة المطابقات الأقل شيوعاً.
  • لا يثبت IDF المرتفع سوى الندرة النسبية ضمن مجموعة وقواعد معالجة معلومتين، ولا يثبت الصلة أو السلطة أو صحة الادعاء.

قد تظهر كلمة “index” في معظم وثائق علم المعلومات، بينما لا تظهر إلا قليلاً في أرشيف للطيران. لم يتبدل معناها القاموسي؛ الذي تبدل هو فضاء المقارنة. في بحثها لعام 1972، “A statistical interpretation of term specificity and its application in retrieval”، جعلت Spärck Jones هذا الفرق أساساً لوزن إحصائي.

كان من المعتاد فهم الخصوصية باعتبارها دقة دلالية: «الكاكاو» أضيق من «المشروب». لكن المصطلح الدقيق قد يفقد قدرته على الفصل إذا وُصف به معظم محتوى المجموعة. لذلك اقترحت Spärck Jones تعريفاً إحصائياً أيضاً: تُقاس الخصوصية بعدد الوثائق التي ينطبق عليها المصطلح.

أصبح الوزن بذلك تابعاً للبيئة. نمو المجموعة، وتغير موضوعاتها، ودرجة تفصيل الفهرسة، واللغة، والاشتقاق، وتعريف حدود الوثيقة كلها تغير التوزيع. IDF نتيجة قياس، وليس هوية ثابتة للكلمة.

الإبقاء على الكلمات الشائعة مع خفض صوتها

أظهرت الاختبارات أن إزالة المصطلحات شديدة الشيوع تخفض سقف الاستدعاء بوضوح. فالطلبات نفسها تستخدم كلمات مألوفة ومتكررة. لم يكن الحل إسكات هذه الكلمات، بل منحها مساهمة أصغر ومنح المطابقة على الكلمات النادرة مساهمة أكبر.

استخدم المخطط الأصلي درجات صحيحة مرتبطة بقوى العدد اثنين. وشرح Stephen Robertson لاحقاً أنه تقريب للصيغة الشائعة log(N/n)، حيث N عدد الوثائق في المجموعة وn عدد الوثائق التي تتضمن المصطلح. وهذه هي document frequency، لا عدد مرات ورود المصطلح داخل وثيقة واحدة.

أسهم Gerard Salton ومشروع SMART في تطوير الفهرسة الآلية وterm frequency والمطابقة والتقييم. أحالت Spärck Jones إلى هذا العمل، لكنها ركزت على الانتشار عبر المجموعة. جمع TF–IDF لاحقاً إشارتين مختلفتين؛ ولم يجعلهما دليلاً واحداً على المعنى.

ثلاث مجموعات ونتيجة لها نطاق

اختُبر الأسلوب على 200 وثيقة من Aslib Cranfield، و541 وثيقة من INSPEC، و797 وثيقة من College of Librarianship Wales. وبرغم اختلاف المفردات والطلبات، حققت المطابقة الموزونة تحسناً كبيراً مقارنة بالتنسيق البسيط غير الموزون، وكانت الفروق ذات دلالة إحصائية.

مع ذلك طالبت Spärck Jones بتجارب على مجموعات أكبر بكثير. وفي “Index term weighting” لعام 1973 قارنت أنواعاً من الأوزان وسجلت تحسناً ملموساً في بيئات مختلفة. أثبت ذلك فائدة آلية تحت الاختبار، لا قيمة أبدية للكلمة.

أنشأ Cyril Cleverdon وفريق Cranfield مواد الاختبار والأسئلة وأحكام الصلة وانضباط القياس بالدقة والاستدعاء. استخدمت Spärck Jones هذه البنية ولم تنشئ Cranfield وحدها. وفي محاضرتها الاستعادية عام 1988 أكدت أن منطق التصنيف المعقول لا يكفي ما لم يُظهر أثراً في الاسترجاع.

كان Cambridge Language Research Unit بقيادة Margaret Masterman جذراً آخر، من خلال بحوث المكانز والتشارك في الظهور والتصنيف الآلي، إلى جانب عمل Roger Needham. شارك Martin Kay مع Spärck Jones في أعمال أوسع عن المعالجة الآلية للغة وكتاب Linguistics and Information Science، لكن المصادر لا تنسب إليه اقتراح IDF. ثم طوّر Stephen Robertson معها أوزان الصلة والنموذج الاحتمالي. ترتبط Cranfield وSMART وCLRU وIDF وسلسلة RSJ وBM25 تاريخياً، لكن حقوق الإسهام فيها ليست واحدة.

ما لا تثبته الندرة

قد تحصل غلطة إملائية أو معرّف عشوائي أو ادعاء كاذب وحيد على IDF مرتفع. وقد يكون المصطلح الأساسي الموثق شائعاً. لذلك لا تعني الندرة أهمية دلالية.

ولا تعني الصلة، لأنها علاقة بين الطلب والوثيقة وحاجة المستخدم. ولا تعني موثوقية المصدر، التي تحتاج إلى منشأ ومسؤولية. ولا تعني الحقيقة، التي تحتاج إلى تحقق مستقل.

ولا ينتقل الوزن بين المجموعات بلا إعادة تقدير. فالزمن واللغة وإزالة التكرار والتقطيع وحدود الوثيقة تغير N وn. الصياغة القابلة للدفاع هي: في المجموعة C، عند الزمن T، ووفق القاعدة R، يظهر هذا المصطلح في عدد قليل نسبياً من الوثائق. هذا القيد هو ما يجعل IDF قابلاً للتدقيق.

المصادر الأساسية