الماشين ليرنينج · AI216

الـ Overfitting والـ Underfitting في الماشين ليرنينج

الماشين ليرنينج شروحات ومراجعات

الـ overfitting يعني الـ model بيحفظ بيانات التدريب كويس بس مبيعمّمش على بيانات جديدة، والـ underfitting يعني الـ model بسيط أوي ومش قادر يتعلم هيكل البيانات.

الـ Overfitting بيحصل لما الـ model معقد أكتر من اللازم بالنسبة لكمية البيانات والـ noise. بيحفظ الـ noise والـ outliers فالخطأ على التدريب صغير وعلى البيانات الجديدة كبير. الحل: تبسّط الـ model (parameters أو features أقل)، تجيب بيانات تدريب أكتر، تقلل الـ noise وتشيل الـ outliers، أو تقيّد الـ model بالـ regularization.

الـ Underfitting العكس. الـ model بسيط ومش قادر يمسك النمط فبيغلط حتى على بيانات التدريب. الحل: تختار model أقوى بـ parameters أكتر، تدّي الخوارزمية features أحسن (feature engineering)، أو تقلل القيود يعني تنزّل الـ regularization hyperparameter.

الـ Regularization معناها تقييد الـ model عشان يبقى أبسط وخطر الـ overfitting يقل. مقدار الـ regularization بيتحدد بـ hyperparameter قبل التدريب.

أهم النقاط

  • Overfitting: كويس على التدريب وسيء على الجديد.
  • Underfitting: سيء على الاتنين.
  • حلول الـ overfitting: model أبسط، بيانات أكتر، noise أقل، regularization أكتر.
  • حلول الـ underfitting: model أقوى، features أحسن، regularization أقل.
  • الـ hyperparameter بتاع الخوارزمية مش الـ model وبيتحدد قبل التدريب.

مثال محلول

لو رسمنا polynomial درجة 15 على 12 نقطة هيعدّي على كل النقط (overfit) بس هيتأرجح بينهم. لو رسمنا خط مستقيم على بيانات منحنية هيفوّت الشكل (underfit).

أسئلة شائعة

هل زيادة الـ regularization بتقلل الـ overfitting؟

أيوه، بتقيّد الـ model أكتر فالـ overfitting بيقل. لو زودتها أوي هتحصل underfitting.

هل الخطأ الصغير على التدريب دايمًا كويس؟

لأ. لو الخطأ على التدريب صغير وعلى البيانات الجديدة كبير يبقى overfitting.

أسئلة تدريب على الموضوع ده

جرّبها بنفسك، وبعدين افتح التطبيق وشوف الإجابة والشرح.

  1. It occurs when your model is too simple to learn the underlying structure of the data.
    • A. Overfitting the Training Data
    • B. fitting the Training Data
    • C. Underfitting the training data
    • D. regularization
  2. What are the Solutions for Overfitting?
    • A. Simplify the mode
    • B. Gather more training data
    • C. Reduce the noise in the training data
    • D. All of them are true
  3. Underfitting the Training Data It occurs when your model is too simple to learn the underlying structure of the data.
    • A. true
    • B. false
  4. One of the Solutions for underfitting reduce the regularization hyperparameter.
    • A. true
    • B. false
  5. One of the solution of overfitting Simplify the model by selecting one with ............. Parameters.
    • A. fewer
    • B. higher
    • C. any
    • D. good
  6. Constraining a model to make it simpler and reduce the risk of overfitting is called .................
    • A. regularization
    • B. Overfitting the Training Data
    • C. Underfitting the training data
    • D. feature reduction