الماشين ليرنينج · AI216

الـ Regularization والـ Ridge Regression

الماشين ليرنينج شروحات ومراجعات

الـ ridge regression هو linear regression مضاف للـ cost function بتاعته حد regularization من نوع l2، وده بيخلي الـ weights صغيرة ويقلل الـ overfitting.

طريقة كويسة لتقليل الـ overfitting إنك تقيّد الـ model: كل ما درجات الحرية بتاعته أقل كل ما يصعب عليه يعمل overfit. وفي الـ linear model ده معناه تقييد الـ weights.

الـ Ridge regression بيضيف حد regularization يساوي alpha ضرب مجموع مربعات الـ weights (نص الـ l2 norm تربيع) للـ cost function وقت التدريب بس. ده بيجبر الخوارزمية تخلي الـ weights أصغر ما يمكن وهي لسه بتناسب البيانات. الـ hyperparameter اسمه alpha بيتحكم في قد إيه نعمل regularize: alpha = 0 يبقى linear regression عادي، وalpha كبير جدًا بيخلي كل الـ weights قريبة من صفر فيطلع خط مستقيم أفقي عند متوسط الداتا. والـ bias theta0 مبيتعملوش regularize.

حد الـ regularization بيتضاف وقت التدريب بس. بعد التدريب بنقيّم الـ model بمقياس الأداء من غير الـ regularization. اعمل scale للداتا الأول (زي StandardScaler) لأن الـ ridge حساس لـ scale الـ features.

أهم النقاط

  • Ridge = MSE + alpha × مجموع مربعات الـ weights.
  • Alpha هو الـ regularization hyperparameter وكل ما كبر الـ model يبقى أبسط.
  • الـ regularization بيتطبق وقت التدريب بس.
  • اعمل scale للـ features قبل الـ ridge.
  • الـ bias مبيتعملوش regularize.

مثال محلول

مع alpha = 0 الـ polynomial regression من الدرجة 10 بيعمل overfit جامد. لو زودت alpha المنحنى بيستوي ويبطل يجري ورا الـ noise، ولو alpha كبيرة أوي بيبقى خط مستقيم (underfit).

أسئلة شائعة

إيه فايدة حد الـ regularization في الـ ridge؟

بيجبر الـ weights تفضل صغيرة، وده بيقيّد الـ model ويقلل الـ overfitting.

إيه اللي بيحصل لو alpha = 0؟

الـ ridge بيبقى linear regression عادي.

أسئلة تدريب على الموضوع ده

جرّبها بنفسك، وبعدين افتح التطبيق وشوف الإجابة والشرح.

  1. What is purpose of regularization term in Ridge Regression?
    • A. To ignore the impact of model weights during training
    • B. To penalize large model weights by adding α∑θ^2 to the cost function.
    • C. To increase the size of model weights
    • D. All of them are false