الـ Gradient Descent: Batch وStochastic وMini-batch
الـ gradient descent خوارزمية optimization عامة بتعدّل parameters الـ model بالتدريج في اتجاه بيقلل الـ cost function لحد ما توصل لأقل نقطة.
بتبدأ بقيم parameters عشوائية، وتقيس الـ gradient المحلي للـ cost function، وتمشي خطوة لتحت. حجم الخطوة بيتحدد بالـ learning rate. لو صغير أوي هياخد iterations كتير، ولو كبير ممكن تقفز فوق الوادي وتبعد (diverge). في الـ MSE بتاع الـ linear regression الدالة convex يعني مفيش local minima وفيه global minimum واحد، والـ gradient descent مضمون يقرّب منه لو الوقت كفاية والـ learning rate معقول. ولازم الـ features تبقى على scale متقارب وإلا هياخد وقت أطول بكتير.
الـ Batch gradient descent بيستخدم الـ training set كله في كل خطوة: بطيء على الداتا الضخمة بس ثابت. الـ Stochastic gradient descent (SGD) بياخد instance عشوائي واحد في كل خطوة ويحسب الـ gradient عليه: أسرع بكتير في الخطوة ويقدر يتدرب على داتا ضخمة، بس الـ cost بيطلع وينزل ومبيستقرش فالقيم النهائية كويسة بس مش optimal. العشوائية بتساعد تهرب من الـ local minima. ولازم الـ instances تكون independent وidentically distributed (اعمل shuffle).
الـ Mini-batch gradient descent بيحسب الـ gradients على مجموعات صغيرة عشوائية اسمها mini-batches، وده بيستفيد من سرعة الهاردوير وأقل تذبذبًا من SGD. والـ learning schedule هي دالة بتقلل الـ learning rate مع الوقت وبتساعد SGD يستقر (فكرة simulated annealing).
أهم النقاط
- حجم الخطوة = learning rate: صغير بطيء وكبير بيعمل diverge.
- Batch GD: الداتا كلها في الخطوة. SGD: instance واحد. Mini-batch: مجموعات صغيرة عشوائية.
- الـ MSE للـ linear regression convex: مفيش local minima.
- اعمل scale للـ features قبل الـ gradient descent.
- قيم الـ SGD النهائية كويسة مش optimal، والـ learning schedule بتساعد.
مثال محلول
لو J(w) = w² والـ learning rate 0.1 وبدأنا من w = 4: الـ gradient = 2w = 8 فـ w بقت 4 - 0.1 × 8 = 3.2 وبعدين 2.56 وبعدين 2.05 وبتصغر ناحية 0 كل خطوة.
أسئلة شائعة
ليه نعمل scale للـ features في الـ gradient descent؟
لو الـ scales مختلفة جدًا الـ cost بيبقى زي حوض مستطيل والخوارزمية بتتعرج وتتقارب ببطء.
هل الـ SGD مضمون يوصل للـ minimum؟
لأ. بيقرّب بس بيفضل يتذبذب إلا لو قللنا الـ learning rate تدريجيًا.
أسئلة تدريب على الموضوع ده
جرّبها بنفسك، وبعدين افتح التطبيق وشوف الإجابة والشرح.
- If you set a high learning rate, then your system will rapidly adapt to new data, but it will also tend to quickly forget the old data
- A. true
- B. false
- SGD well suited for ............ learning
- A. batch
- B. online
- C. all of them
- D. none of them
- SGD is stands for ..............
- A. Stochastic Gradient Descent
- B. Stochastic Graded Descent
- C. Stochastic Gradient Description
- D. none of them
- SGDClassifier computes a score based on a .............. function
- A. decision
- B. Precision
- C. F1-score
- D. none of them
- The SGDClassifier relies on randomness during training (hence the name “stochastic”).
- A. true
- B. false
- SGD deals with training instances dependently, one at a time (which makes SGD well suited for online learning).
- A. false
- B. true
مواضيع مرتبطة
- الـ Linear Regression: الـ Model والـ Cost Function والحل المباشر
- الـ Regularization والـ Ridge Regression
- يعني إيه Machine Learning؟
- الفرق بين Supervised و Unsupervised و Semi-supervised و Reinforcement Learning
- الـ Overfitting والـ Underfitting في الماشين ليرنينج
- الفرق بين Batch Learning و Online Learning
- كل المواضيع: الماشين ليرنينج
بصمجلي مشروع طلابي مستقل، مش موقع رسمي لجامعة الدلتا. ارجع لمحاضراتك ودكتورك دايمًا.