داتا ماينينج · CSC213

الـ Data Normalization: Min-Max وZ-Score وDecimal Scaling بأمثلة

داتا ماينينج شروحات ومراجعات

الـ normalization بيعيد قياس قيم الـ attributes لمدى موحد عشان الـ attributes اللي قيمها كبيرة متسيطرش على الطرق المعتمدة على المسافات.

الـ Min-max normalization بيحوّل القيم لمدى جديد غالبًا 0 لـ 1: v' = (v - min) / (max - min) × (new_max - new_min) + new_min. بيحافظ على العلاقات بين القيم الأصلية بس حساس للـ outliers وبيفشل لو ظهرت قيمة جديدة برا المدى الأصلي.

الـ Z-score normalization (zero-mean) بيستخدم المتوسط والـ standard deviation: v' = (v - mean) / std. بعده الـ attribute متوسطه 0 وانحرافه المعياري 1. بيتعامل مع الـ outliers أحسن من min-max. والـ Decimal scaling بيحرّك العلامة العشرية: v' = v / 10^j بأصغر j بحيث أكبر قيمة مطلقة تبقى أقل من 1.

ليه بنعمل normalize: طرق زي k-nearest neighbours والـ clustering بتستخدم المسافات، فـ attribute مقاسه بالآلاف (الدخل) هيطغى على واحد مقاسه بالعشرات (العمر). والـ normalization والـ aggregation والـ sampling وبناء الـ attributes كلها أنواع من الـ data transformation، وتقنيات الـ scaling جزء منها.

أهم النقاط

  • Min-max: (v - min) / (max - min) والنتيجة 0 لـ 1 افتراضيًا.
  • Z-score: (v - mean) / std؛ متوسط 0 وانحراف 1.
  • Decimal scaling: اقسم على 10^j لحد ما |v| < 1.
  • الـ normalization بيمنع الـ attributes الكبيرة من السيطرة على المسافات.
  • الـ min-max حساس للـ outliers.

مثال محلول

القيم 2 و4 و6 و8. Min-max: (2-2)/6 = 0 و0.33 و0.67 و1. Z-score: المتوسط = 5 والـ population std = sqrt(5) = 2.24 فـ 8 بتبقى (8 - 5) / 2.24 = 1.34 و2 بتبقى -1.34. (لو استخدمنا الـ sample std = 2.58 هتطلع 1.16، فشوف دكتورك بيستخدم أنهي واحد.)

أسئلة شائعة

إيه معادلة الـ z-score؟

z = (القيمة - المتوسط) / الانحراف المعياري.

إمتى الـ min-max بيبقى مشكلة؟

لما يبقى فيه outliers: قيمة متطرفة واحدة بتضغط الباقي في جزء صغير من المدى 0 لـ 1.

أسئلة تدريب على الموضوع ده

جرّبها بنفسك، وبعدين افتح التطبيق وشوف الإجابة والشرح.

  1. Compute the z-score of the values: 12 14 16 18 19 23
    • A. 0 0.18 0.36 0.55 0.64 1
    • B. -1.40 -0.84 -0.28 0.28 0.56 1.68
    • C. 1.40 0.84 0.28 -0.28 -0.65 -1.68
  2. Random sampling is a data transformation technique used for:
    • A. Balancing imbalanced datasets
    • B. Removing noisy data points from the dataset
    • C. Reducing the size of a large dataset
    • D. None of the above
  3. Which of the following is NOT a benefit of data transformation?
    • A. Enhanced model performance
    • B. Improved data quality
    • C. Increased computation time
    • D. Increased interpretability of results
  4. Which of the following(s) is/are features scaling techniques?
    • A. Standardization
    • B. Min-Max Scaling
    • C. Normalization
    • D. All of the Above