N کلمه‌ای

N-gram

تعریف

یک دنباله‌ی ترتیبی از N کلمه. به عنوان مثال، «واژه شروع» یک دو کلمه‌ای است. با توجه این که ترتیب در دنباله‌ها اهمیت دارد، «شروع واژه» یک دو کلمه‌ای متفاوت است.

N نام نمونه
2 دو کلمه‌ای (bigram) برای رفتن، رفتن برای، خوردن ناهار، خوردن شام
3 سه کلمه‌ای (trigram) بسیار زیاد خوردن، سه موش کور
4 چهار کلمه‌ای راه رفتن در پارک، ذره غبار در باد

بسیاری از مدل‌های درک زبان طبیعی از N کلمه‌ای‌ها جهت پیش‌بینی کلمه‌ بعدی کاربر استفاده می‌کنند. به عنوان مثال، فرض کنید یک کاربر عبارت «سه موش» را بنویسد. یک مدل درک زبان طبیعی بر اساس سه‌ کلمه‌ای‌ها احتمالا کلمه بعدی کاربر را «موش» پیش‌بینی خواهد کرد.

متضادها: کیف کلمات (bag of words) که مجموعه‌ای از کلمات بدون در نظر گرفتن ترتیب است