مشکل محو شدگی گرادیان

Vanishing Gradient Problem

تعریف

گرایش شیب لایه‌های پنهان اولیه در برخی از شبکه‌های عصبی عمیق به طور شگفت انگیزی مسطح (کم) می‌شود. شیب‌های فزاینده کمتر منجر به تغییرات فزاینده‌ی کوچک‌تر در وزن گره‌های یک شبکه عصبی عمیق می‌شود که منجر به یادگیری کم یا عدم یادگیری می‌شود. آموزش مدل‌هایی که مشکل محو شدگی گرادیان دارند دشوار یا غیرممکن است که با استفاده از سلول‌های حافظه طولانی کوتاه-مدت می‌توان این مسئله را برطرف کرد.

مقایسه با مشکل انفجار گرادیان.