داتا ماينينج · CSC213

الـ Data Reduction: الـ Sampling والـ Aggregation وتقليل الأبعاد

داتا ماينينج شروحات ومراجعات

الـ data reduction بيطلع تمثيل أصغر للبيانات بيدي نفس النتايج التحليلية أو قريب منها.

الـ Dimensionality reduction هو تقليل عدد المتغيرات أو الـ attributes اللي بندرسها. والـ dimensionality هي عدد attributes الداتا. الأبعاد الكتيرة بتخلي الداتا sparse والمسافات أقل معنى (curse of dimensionality). من تقنياته الـ feature selection والـ feature extraction زي PCA والـ wavelet transforms.

الـ Numerosity reduction بيبدل حجم البيانات الأصلي بتمثيلات أصغر: الـ sampling (الـ random sampling بياخد جزء بإرجاع أو من غير)، والـ histograms، والـ clustering، والنماذج parametric. والـ Aggregation بيدمج attributes أو objects في واحد (مبيعات يومية لمبيعات شهرية) وده بيدي رؤية أعلى وتباين أقل.

والـ Data compression بتطبق تحويلات عشان تطلع تمثيل أصغر. لو نقدر نسترجع الداتا الأصلية من المضغوطة من غير أي فقد معلومات يبقى lossless، ولو نقدر نسترجع تقريب بس يبقى lossy. والـ Attribute construction بيبني attributes جديدة من الموجودة وده ممكن يحسّن الدقة والفهم لهيكل الداتا العالية الأبعاد.

أهم النقاط

  • Dimensionality reduction: attributes أقل (feature selection وPCA).
  • Sampling: اختيار جزء ممثل.
  • Aggregation: دمج في ملخصات أعلى مستوى.
  • Lossless: الأصل بيرجع كامل؛ lossy: تقريب بس.
  • Attribute construction بتبني attributes جديدة من القديمة.

مثال محلول

مبيعات كل معاملة لمدة 5 سنين حجمها ضخم. جمّعها يومي لكل فرع أو خد sample عشوائي 10% من المعاملات، وتحليل الاتجاه لسه هيشتغل بجزء من التخزين.

أسئلة شائعة

يعني إيه lossless compression؟

ضغط بنقدر نرجّع منه الداتا الأصلية بالظبط.

إيه هو curse of dimensionality؟

كل ما عدد الـ attributes يزيد الداتا بتبقى sparse والطرق المعتمدة على المسافات بتفقد معناها.

أسئلة تدريب على الموضوع ده

جرّبها بنفسك، وبعدين افتح التطبيق وشوف الإجابة والشرح.

  1. Where data are transformed or consolidated into forms appropriate for mining by performing summary or aggregation operations
    • A. Data transformation
    • B. Data mining
    • C. Data knowledge
    • D. Data integration
  2. If the original data can be reconstructed from the compressed data without any information loss, the data reduction is called lossless
    • A. False
    • B. True
  3. Attribute construction can help improve accuracy and understanding of structure in high dimensional
    • A. False
    • B. True
  4. The process of reducing the number of random variables or attributes under consideration.
    • A. Numerosity reduction
    • B. Dimensionality reduction
    • C. Random variables reduction
    • D. Filtering of random variables
  5. Aggregation in data mining involves:
    • A. Combining multiple datasets into one
    • B. Reducing the number of attributes in a dataset
    • C. Removing outliers from the dataset
    • D. Transforming continuous variables into discrete categories
  6. Random sampling is a data transformation technique used for:
    • A. Balancing imbalanced datasets
    • B. Removing noisy data points from the dataset
    • C. Reducing the size of a large dataset
    • D. None of the above