همگرایی

Convergence

تعریف

معمولا به وضعیتی در روند آموزش شبکه اشاره دارد که در آن بعد از مدتی مقدار زیان داده‌های آموزش (training loss) و هم‌چنین مقدار زیان داده‌های اعتبارسنجی (validation loss) در هر تکرار (iteration) خیلی کم تغییر کند یا اصلا تغییر نکند. به بیان دیگر، یک مدل زمانی به همگرایی می‌رسد که ادامه دادن فرآیند آموزش بر روی داده‌های فعلی بهبودی در مدل حاصل نکند. در یادگیری عمیق، گاهی مقادیر تابع زیان قبل از کاهش در چندین گام ثابت می‌مانند که ممکن است به اشتباه همگرایی برداشت شود.

مطالعه بیشتر: توقف زودهنگام (early stopping) ، بهینه‌سازی محدب (Boyd and Vandenberghe, Convex Optimization)