الگوریتم مومنتوم

Momentum

تعریف

یک الگوریتم کاهش شیب پیچیده که در آن یک نرخ یادگیری نه تنها به مشتق در مرحله فعلی، بلکه به مشتقات مرحله (های) بلافاصله قبل از آن نیز بستگی دارد. مومنتوم شامل محاسبه میانگین متحرک با وزن نمایی از گرادیان ها در طول زمان است که مشابه تکانه در فیزیک است. حرکت گاهی اوقات مانع از گیرکردن در حداقل‌های محلی می شود.