Tokenization (טוקניזציה)

תהליך פירוק טקסט ליחידות קטנות (טוקנים) שמודלי AI יכולים לעבד. מילה אחת יכולה להיות טוקן אחד או יותר. קובע את העלות, המהירות והמגבלות של מודלי שפה.

קטגוריות: בינה מלאכותית (AI) · פיתוח תוכנה ו-Web

← לכל מילון המונחים