محدود کردن شیب

Gradient Clipping

تعریف

مکانیسمی متداول برای کاهش شیب، در مسئله‌ی گسترش بیش‌ از اندازه‌ی شیب است که، از طریق محدود کردن مصنوعی حداکثر ارزش آن هنگام آموزش مدل از طریق کاهش شیب به کار می‌رود.