الگوریتم مومنتوم

تعریف

یک الگوریتم کاهش شیب پیچیده که در آن یک نرخ یادگیری نه تنها به مشتق در مرحله فعلی، بلکه به مشتقات مرحله (های) بلافاصله قبل از آن نیز بستگی دارد. مومنتوم شامل محاسبه میانگین متحرک با وزن نمایی از گرادیان ها در طول زمان است که مشابه تکانه در فیزیک است. حرکت گاهی اوقات مانع از گیرکردن در حداقل‌های محلی می شود.