شرح داتا MNIST والـ SGDClassifier
الـ MNIST مجموعة 70,000 صورة صغيرة لأرقام مكتوبة بخط اليد، كل صورة 28 × 28 بكسل (784 feature)، وهي داتا قياسية أولى للـ classification. والـ SGDClassifier هو binary classifier بسيط بيتدرب بالـ stochastic gradient descent.
الـ MNIST فيها 70,000 صورة صغيرة لأرقام كتبها طلاب ثانوي وموظفين مكتب التعداد الأمريكي. كل صورة عليها label بالرقم اللي بتمثله مش حرف. كل صورة 28 × 28 بكسل يعني 784 feature وكل واحد شدة بكسل من 0 (أبيض) لـ 255 (أسود). Scikit-Learn فيه دوال تحمّل الداتا الشهيرة ومنها MNIST. الـ dataset فيه key اسمه DESCR بيوصف الداتا، وkey اسمه data فيه array صف لكل instance وعمود لكل feature، وkey اسمه target فيه array الـ labels.
الداتا متقسمة جاهزة: training set (أول 60,000 صورة) وtest set (آخر 10,000). والـ training set متخلوط (shuffled) وده بيضمن إن الـ cross-validation folds متشابهة وإن بعض الخوارزميات مش حساسة لترتيب الـ instances.
SGD معناها stochastic gradient descent. الـ SGDClassifier بيتعامل مع الداتا الكبيرة بكفاءة لأنه بيشتغل على instances التدريب بشكل مستقل واحدة واحدة، وده كمان بيخليه مناسب للـ online learning. بيعتمد على العشوائية وقت التدريب (ومن هنا الاسم stochastic) فاضبط random_state عشان نتايج ثابتة. بيحسب score من decision function ولو الـ score أكبر من الـ threshold الـ instance بتروح للـ positive class. Scikit-Learn مبيخليكش تضبط الـ threshold مباشرة بس تقدر توصل للـ decision scores وتطبق threshold بتاعك.
أهم النقاط
- 70,000 صورة و28 × 28 بكسل و784 feature والـ labels أرقام.
- التقسيم: أول 60,000 تدريب وآخر 10,000 test.
- مفاتيح الـ dictionary: DESCR وdata وtarget.
- SGD = stochastic gradient descent، بيتدرب instance واحدة كل مرة ومناسب للداتا الكبيرة والـ online learning.
- الـ threshold بيتحط على الـ decision score مش على الـ classifier مباشرة.
مثال محلول
عشان تكتشف الرقم 5 اعمل labels y_train_5 = (y_train == 5) ودرّب SGDClassifier عليها فتطلع 5-detector. الـ accuracy ممكن تبان عالية حتى لو model بيقول not-5 دايمًا لأن حوالي 10% بس من الصور هي 5، وعشان كده بنستخدم الـ confusion matrix.
أسئلة شائعة
كام feature في كل صورة MNIST؟
784 لأن كل صورة 28 × 28 بكسل.
SGD اختصار لإيه؟
Stochastic gradient descent.
أسئلة تدريب على الموضوع ده
جرّبها بنفسك، وبعدين افتح التطبيق وشوف الإجابة والشرح.
- According to Hands-On ML, in the MNIST dataset it is the test set (not the training set) that is already shuffled.
- A. false
- B. true
- in MNIST Dataset, A.............. key containing an array with one row per instance and one column per feature.
- A. data
- B. DESCR
- C. target
- D. none of them
- MNIST Dataset is a set of small images of .................. by high school students and employees of the US Census Bureau.
- A. digits handwritten
- B. letters handwritten
- C. words handwritten
- D. none of them
- in MNIST Dataset, A ........... key containing an array with the labels
- A. target
- B. DESCR
- C. data
- D. none of them
- MNIST Dataset is a set of ................. small images of digits handwritten
- A. 70,000
- B. 75,000
- C. 7000
- D. 700,000
- In MNIST Dataset, A........... key describing the dataset.
- A. DESCR
- B. data
- C. target
- D. none of them
مواضيع مرتبطة
- الـ Confusion Matrix والـ Precision والـ Recall والـ F1 Score
- شرح الـ ROC Curve والـ AUC
- الـ K-Fold والـ Stratified K-Fold Cross-Validation
- الـ Multiclass Classification: One-versus-One و One-versus-Rest
- يعني إيه Machine Learning؟
- الفرق بين Supervised و Unsupervised و Semi-supervised و Reinforcement Learning
- كل المواضيع: الماشين ليرنينج
بصمجلي مشروع طلابي مستقل، مش موقع رسمي لجامعة الدلتا. ارجع لمحاضراتك ودكتورك دايمًا.