الـ Data Reduction: الـ Sampling والـ Aggregation وتقليل الأبعاد
الـ data reduction بيطلع تمثيل أصغر للبيانات بيدي نفس النتايج التحليلية أو قريب منها.
الـ Dimensionality reduction هو تقليل عدد المتغيرات أو الـ attributes اللي بندرسها. والـ dimensionality هي عدد attributes الداتا. الأبعاد الكتيرة بتخلي الداتا sparse والمسافات أقل معنى (curse of dimensionality). من تقنياته الـ feature selection والـ feature extraction زي PCA والـ wavelet transforms.
الـ Numerosity reduction بيبدل حجم البيانات الأصلي بتمثيلات أصغر: الـ sampling (الـ random sampling بياخد جزء بإرجاع أو من غير)، والـ histograms، والـ clustering، والنماذج parametric. والـ Aggregation بيدمج attributes أو objects في واحد (مبيعات يومية لمبيعات شهرية) وده بيدي رؤية أعلى وتباين أقل.
والـ Data compression بتطبق تحويلات عشان تطلع تمثيل أصغر. لو نقدر نسترجع الداتا الأصلية من المضغوطة من غير أي فقد معلومات يبقى lossless، ولو نقدر نسترجع تقريب بس يبقى lossy. والـ Attribute construction بيبني attributes جديدة من الموجودة وده ممكن يحسّن الدقة والفهم لهيكل الداتا العالية الأبعاد.
أهم النقاط
- Dimensionality reduction: attributes أقل (feature selection وPCA).
- Sampling: اختيار جزء ممثل.
- Aggregation: دمج في ملخصات أعلى مستوى.
- Lossless: الأصل بيرجع كامل؛ lossy: تقريب بس.
- Attribute construction بتبني attributes جديدة من القديمة.
مثال محلول
مبيعات كل معاملة لمدة 5 سنين حجمها ضخم. جمّعها يومي لكل فرع أو خد sample عشوائي 10% من المعاملات، وتحليل الاتجاه لسه هيشتغل بجزء من التخزين.
أسئلة شائعة
يعني إيه lossless compression؟
ضغط بنقدر نرجّع منه الداتا الأصلية بالظبط.
إيه هو curse of dimensionality؟
كل ما عدد الـ attributes يزيد الداتا بتبقى sparse والطرق المعتمدة على المسافات بتفقد معناها.
أسئلة تدريب على الموضوع ده
جرّبها بنفسك، وبعدين افتح التطبيق وشوف الإجابة والشرح.
- Where data are transformed or consolidated into forms appropriate for mining by performing summary or aggregation operations
- A. Data transformation
- B. Data mining
- C. Data knowledge
- D. Data integration
- If the original data can be reconstructed from the compressed data without any information loss, the data reduction is called lossless
- A. False
- B. True
- Attribute construction can help improve accuracy and understanding of structure in high dimensional
- A. False
- B. True
- The process of reducing the number of random variables or attributes under consideration.
- A. Numerosity reduction
- B. Dimensionality reduction
- C. Random variables reduction
- D. Filtering of random variables
- Aggregation in data mining involves:
- A. Combining multiple datasets into one
- B. Reducing the number of attributes in a dataset
- C. Removing outliers from the dataset
- D. Transforming continuous variables into discrete categories
- Random sampling is a data transformation technique used for:
- A. Balancing imbalanced datasets
- B. Removing noisy data points from the dataset
- C. Reducing the size of a large dataset
- D. None of the above
مواضيع مرتبطة
- تنضيف البيانات: الـ Noise والـ Outliers والـ Missing Values والبيانات المتناقضة
- الـ Binning: Equal-Width مقابل Equal-Frequency (Equal-Depth) بأمثلة
- الـ Data Normalization: Min-Max وZ-Score وDecimal Scaling بأمثلة
- الـ Quartiles والـ IQR وقاعدة 1.5 × IQR للـ Outliers
- يعني إيه Data Mining؟ المهام: Classification وClustering وRegression وAssociation Rules
- خطوات الـ KDD: عملية اكتشاف المعرفة من قواعد البيانات
- كل المواضيع: داتا ماينينج
بصمجلي مشروع طلابي مستقل، مش موقع رسمي لجامعة الدلتا. ارجع لمحاضراتك ودكتورك دايمًا.