آداگراد

Adagrad

تعریف

یک الگوریتم پیشرفته گرادیان کاهشی است که شیب هر پارامتر را ذخیره و به طور موثر به هر پارامتر یک نرخ یادگیری مستقل می‌دهد. برای توضیح کامل‌، به این مقاله مراجعه کنید.