داتا ماينينج · CSC213

تنضيف البيانات: الـ Noise والـ Outliers والـ Missing Values والبيانات المتناقضة

داتا ماينينج شروحات ومراجعات

الـ data cleaning بيشيل الـ noise والبيانات المتناقضة وبيملا القيم الناقصة عشان الـ mining يشتغل على مدخلات موثوقة.

البيانات الحقيقية بتبقى وسخة. مشاكل الجودة المعتادة: noise (خطأ عشوائي في متغير مقاس)، outliers (objects مش ماشية مع النموذج أو السلوك العام للبيانات)، missing values، بيانات مكررة، وبيانات متناقضة (زي zip code مش مطابق للمدينة).

القيم الناقصة (missing values) ممكن نتعامل معاها بإننا نتجاهل الـ record (لو attributes كتير ناقصة)، أو نملاها يدويًا، أو بثابت عام، أو بمتوسط أو وسيط الـ attribute (أو متوسط الـ class)، أو بأكتر قيمة محتملة من model زي regression أو decision tree. والبيانات المتناقضة بتتكشف بمقارنتها بقواعد وقيود الدومين ومصادر تانية.

الـ Noisy data بنتعامل معاها بالـ binning (رتب القيم وسوّيها بجيرانها) أو الـ regression (اعمل fit لدالة وسوّي بيها) أو الـ clustering (القيم برا الـ clusters هي outliers) أو الفحص المشترك بين الكمبيوتر والإنسان. والـ outlier مش دايمًا غلط: في كشف النصب الـ outlier هو اللي بندور عليه.

أهم النقاط

  • الـ noise خطأ عشوائي والـ outliers objects بتشذ عن السلوك العام.
  • الـ missing values: تجاهل الـ record أو املا بمتوسط/وسيط أو توقّع القيمة.
  • تسوية الـ noise: binning وregression وclustering.
  • البيانات المتناقضة بتتكشف بالقواعد ومقارنة المصادر.
  • الـ outliers ممكن تبقى أخطاء أو هي الإشارة المطلوبة نفسها.

مثال محلول

أعمار في جدول: 23 و25 و24 و26 و250. الـ 250 outlier وغالبًا خطأ إدخال. ملء عمر ناقص بالـ median (25) أمتن من المتوسط (حوالي 62 لو الـ 250 داخلة).

أسئلة شائعة

إيه الاستخدام الأساسي للـ data cleaning؟

شيل الـ noise والبيانات المتناقضة ومعالجة القيم الناقصة عشان البيانات تبقى موثوقة للـ mining.

هل كل outlier غلطة؟

لأ. في كشف النصب أو الأعطال الـ outliers هي الحاجات المهمة.

أسئلة تدريب على الموضوع ده

جرّبها بنفسك، وبعدين افتح التطبيق وشوف الإجابة والشرح.

  1. Which of the following is true about outliers
    • A. Data points that deviate a lot from normal observations
    • B. Can reduce the accuracy of the model
    • C. Both A and B
    • D. None
  2. The primary use of data cleaning is
    • A. Transformations for correcting the wrong data
    • B. Correction of the data inconsistencies
    • C. Removing the noisy data
    • D. All of the above
  3. Data cleaning means removing the inconsistent data or noise and collecting necessary information of a collection of interrelated data.
    • A. True
    • B. False
  4. What are some examples of data quality problems:
    • A. Noise and outliers
    • B. Duplicate data
    • C. Missing values
    • D. All of the Above
  5. What is the way to detect inconsistent data?
    • A. numerical computing
    • B. commercial tools
    • C. global constant
    • D. none
  6. Missing values can be handled by:
    • A. Fill in the missing data
    • B. Ignore the tuple
    • C. Binning
    • D. Both A, and B