یک شبکه عصبی که طراحی شده تا چندین بار اجرا شود و بخش‌هایی از هر اجرا به عنوان ورودی در اجرای بعدی استفاده می‌شوند. به بیان دقیق‌تر، لایه‌های مخفی اجرای قبلی بخشی از ورودی همان لایه‌ها در اجرای بعدی هستند. شبکه‌های عصبی بازگشتی برای بررسی توالی‌ها مورد استفاده قرار می‌گیرند تا از لایه‌های مخفی آن‌ها جهت به یاد سپاری بخش‌های ابتدایی توالی از اجراهای قبلی استفاده شود.

به عنوان مثال، تصویر زیر یک شبکه عصبی بازگشتی را نشان می‌دهد که چهار بار اجرا شده است. توجه کنید که مقادیری که لایه‌های مخفی در اجرای اول یاد گرفته‌اند، به عنوان بخشی از ورودی همان لایه در اجرای دوم مورد استفاده قرار گرفته‌اند. این باعث می‌شود تا شبکه‌های عصبی بازگشتی معنای کل توالی را درک کنند، نه فقط اجزای تشکیل‌دهنده آن را.