L1 loss

تابع زبانی بر اساس قدرمطلق تفاضل مقدار پیش‌بینی شده توسط مدل و مقدار واقعی برچسب. تابع زیان L1 نسبت به تابع زیان L2 کمتر به استثنائات حساس است.

L1 Regularization

نوعی از نظم‌دهی (regularization) که وزن‌ها را به نسبت مجموع مقدار قدر مطلق آن‌ها کاهش می‌دهد. در مدل‌هایی که بر ویژگی‌های پراکنده (sparse features) تکیه دارند، نظم‌دهی L1 کمک می‌کند تا وزن ویژگی‌های نامربوط یا کم‌ارتباط به دقیقا ۰ برسد. این کار آن ویژگی‌ها را از مدل حذف می‌کند.

متضادها: نظم‌دهی L2 (L2 regularization)

L2 Loss

تابع زیان مربعات (squared loss) را ببینید.

L2 Regularization

نوعی از نظم‌دهی که وزن‌ها را به نسبت مجموع مربعات آن‌ها کاهش می‌دهد. نظم‌دهی ‌L2 تلاش می‌کند تا وزن‌های استثناء (آن‌هایی که مقدار مثبت بسیار بالا یا مقدار منفی بسیار پایین دارند) به صفر نزدیک شوند اما دقیقا صفر نشوند. این نظم‌دهی همیشه قدرت تعمیم مدل‌های خطی را بالا می‌برد.

متضاد: نظم‌دهی ‌L1

Label

در یادگیری با ناظر به «پاسخ» یا «نتیجه» مورد انتظار به ازای یک نمونه برچسب می‌گویند. هر نمونه در یک مجموعه داده برچسب‌خورده از یک یا بیشتر ویژگی و یک برچسب تشکیل می‌شود. به عنوان مثال، در یک مجموعه داده اطلاعات ساختمان‌ها، ویژگی‌ها می‌توانند تعداد اتاق‌ها، تعداد حمام‌ها و سن خانه باشند و برچسب می‌تواند قیمت خانه باشد. در یک مجموعه داده تشخیص هرزنامه، ویژگی‌ها می‌توانند موضوع، فرسنتنده و محتوای پیام باشند و برچسب می‌تواند احتمال هرزنامه بودن یا نبودن باشد.

Labeled Example

نمونه‌ای که شامل ویژگی‌ها و یک برچسب است. در یادگیری با ناظر، مدل‌ها از نمونه‌های برچسب‌خورده یاد می‌گیرند.

Lambda

مترادف: نرخ نظم‌دهی

این یک اصطلاح با معانی مختلف است. در این‌جا بر معنی مربوط به نظم‌دهی (regularization) تمرکز شده است.

Landmarks

مترادف: نقاط کلیدی (keypoints)

Layer

مجموعه‌ای از نورون‌ها در یک شبکه عصبی که مجموعه ویژگی‌های ورودی یا خروجی نورون‌های دیگر را پردازش می‌کنند.

Learning Rate

یک مقدار عددی که در آموزش مدل با روش کاهش شیب (gradient descent) استفاده می‌شود. در هر گام، الگوریتم کاهش شیب مقدار نرخ یادگیری را در گرادیان‌ها یا شیب‌ها ضرب می‌کند. حاصل ضرب این‌ها گام شیب نامیده می‌شود.

نرخ یادگیری یک ابرپارامتر (hyperparameter) کلیدی است.

Least Squares Regression

یک مدل رگرسیون خطی که با کمینه کردن تابع خطای L2 آموزش دیده است.

Linear Model

مدلی که برای پیش‌بینی کردن به هر ویژگی یک وزن اختصاص می‌دهد. (مدل‌های خطی همچنین یک مقدار اریبی را با حاصل جمع ادغام می‌کنند.) در مقابل مدل‌های خطی، رابطه وزن‌ها با ویژگی‌ها در مدل‌های عمیق یک به یک نیست.

یک مدل خطی از فرمول زیر پیروی می‌کند:

در فرمول فوق:

به عنوان مثال فرض کنید که یک مدل خطی برای سه ویژگی وزن‌ها و مقدار اریبی زیر را آموزش دیده است.

در این صورت برای سه ویژگی x1، x2 و x3 مدل از معادله زیر جهت پیش‌بینی استفاده می‌کند:

فرض کنید که در یک نمونه ویژگی‌ها مقادیر زیر را داشته باشند:

با قرار دادن آن‌ها در معادله فوق مقدار پیش‌بینی‌شده به شکل زیر خواهد بود:

مدل‌های خطی راحت‌تر از مدل‌های خطی آموزش داده و تحلیل می‌شوند. اما مدل‌های عمیق می‌تواند روابط پیچیده‌تری بین ویژگی‌ها را درک کنند.

رگرسیون خطی و رگرسیون لجستیک دو مدل از انواع مدل‌های خطی هستند. مدل‌خای خطی نه تنها شامل مدل‌هایی که از یک معادله خطی پیروی می‌کنند می‌شود، بلکه به مدل‌هایی که بخشی از فرمول آن‌ها یک معادله خطی باشد نیز اطلاق می‌شود. به عنوان مثال، رگرسیون لجستیک مقدار خام پیش‌بینی‌شده را جهت اعلام نتیجه نهایی پس‌پردازش می‌کند.

Linear Regression

استفاده از خروجی خام (y') یک مدل خطی به عنوان نتیجه نهایی یک مدل رگرسیون. هدف مساله‌های رگرسیون یک پیش‌بینی با ارزش واقعی ات. به عنوان مثال، اگر مقدار خروجی مدل خطی ۸.۳۷ باشد، مقدار پیش‌بینی نیز ۸.۳۷ خواهد بود.

متضادها: رگرسیون لجستیک، دسته‌بندی (این مدل‌ها در مقابل رگرسیون به صورت کلی قرار می‌گیرند.)

Log-odds

لگاریتم احتمالات چندین پیشامد.

اگر پیشامد به یک احتمال دودویی اشاره کند، در این صورت odds به نسبت موفقیت (p) بر روی شکست (1-p) اشاره می‌کند. به عنوان مثال، فرض کنید که پیشامدی ۹۰٪ احتمال موفقیت و ۱۰٪ احتمال شکست دارد. در این صورت داریم:

لگاریتم احتمالا به لگاریتم مقدار فوق گفته می‌شود. قرارداد شده است که منظور از لگاریتم، لگاریتم طبیعی است، اما در واقع می‌تواند لگاریتم هر مقداری بزرگ‌تر از ۱ باشد. با در نظر گرفتن قرارداد، در مثال گفته شده داریم:

لگاریتم احتمال معکوس خروجی تابع sigmoid است.

Log Loss

تابع زیانی که در مساله‌های رگرسیون خطی دو کلاسه استفاده می‌شود.

Logistic Regression

رگرسیون لجستیک یا آمادی یک مدل طبقه‌بندی است که با استفاده از تابع sigmoid پیش‌بینی‌های خام یک مدل خطی (y') را به مقداری بین ۰ و ۱ تبدیل می‌کند. این مقدار بین ۰ و ۱ را می‌توان به یکی از روش‌های زیر تفسیر کرد:

با وجود این که رگرسیون خطی معمولا در مساله‌های دسته‌بندی دوتایی استفاده می‌شود، اما می‌توان از آن در مسائل طبقه‌بندی چندتایی نیز استفاده کرد که به آن رگرسیون خطی چند‌دسته‌ای (multi-class logistic regression) یا رگرسیون چندجمله‌ای (multinomial regression) گفته می‌شود.

Logits

برداری از پیش‌بینی‌های خام (نرمال نشده) که یک مدل طبقه‌بندی تولید می‌کند، و در شرایط عادی به عنوان ورودی به یک تابع نرمال‌سازی پاس داده ‌می‌شوند. اگر مدل یک مساله طبقه‌بندی چند-دسته‌ای را حل کند، لوجیت‌ها معمولا ورودی تابع softmax خواهند بود. این تابع برداری از احتمالات نرمال‌شده برمی‌گرداند که به ازای هر کلاس یک مقدار دارد.

هم‌چنین، لوجیت گاهی به معنای معکوس درایه به درایه تایع sigmoid نیز هست. برای اطلاعات بیشتر، این صفحه را ببینید.

Long Short-Term Memory (LSTM)

نوعی از نورون‌های سازنده یک شبکه عصبی بازگشتی که برای پردازش دنباله‌ای از داده‌ها در حوزه‌هایی مانند تشخیص دست‌نوشته، ترجمه ماشینی و شرح تصاویر استفاده می‌شود. آن‌ها مشکل محوشدگی گرادیان را که به خاطر رشته‌های طولانی داده‌ها در آموزش شبکه‌های عصبی بازگشتی (RNN) رخ می‌داد، با نگهداری تاریخچه در یک حافظه داخلی بر اساس ورودی جدید و مقدار قبلی سلول مشخص کردند.

Loss

معیاری برای اندازه‌گیری این که پیش‌بینی‌های مدل چقدر از برچسب‌ها دورند. به بیان دیگر، این معیار برای اندازه‌گیری مقدار بد بودن مدل است. برای مشخص شدن این مقدار، باید برای مدل یک تابع زیان تعریف شود. به عنوان مثال، مدل‌های رگرسیون خطی معمولا از میانگین مربع خطاها (mean squared error) به عنوان تابع زیان استفاده می‌کنند، در حالی که مدل‌های رگرسیون لجستیک (logistic regression) از تابع زیان لگاریتمی استفاده می‌کنند.

Loss Curve

نمودار مقادیر تابع زیان به عنوان تابعی از گام‌های آموزش. به عنوان مثال نمودار زیر را درنظر بگیرید:

منحنی زیان برای تشخیص همگرایی، بیش‌برازشی (overfitting) و کم‌برازشی (underfitting) مدل استفاده می‌شود.

Loss Function

تابعی که جهت اندازه‌گیری مقدار بد عمل کردن یک مدل تعریف می‌شود. به بیان دیگر، تابع زیان تابعی‌ست که نگاشتی از وضعیت مدل به یک مقدار حقیقی که تحت عنوان زیان شناخته می‌شود برقرار می‌سازد.

Loss Surface

نموداری از وزن(ها) در برابر مقدار تابع زیان. الگوریتم کاهش شیب (gradient descent) تلاش می‌کند تا وزنی را پیدا کند که به ازای آن مقدار نمای زیان در نقطه کمینه محلی باشد.

LSTM

مخفف حافظه طولانی کوتاه-مدت (Long Short-Term Memory).