Tokenization (טוקניזציה ב-AI)

התהליך שבו מודל שפה מפרק טקסט אנושי ליחידות בסיסיות קטנות (Tokens - יכולות להיות מילים, חלקי מילים או אותיות) כדי שיוכל לעבד ולהבין אותן מתמטית.

קטגוריות: בינה מלאכותית (AI) · פיתוח תוכנה ו-Web

← לכל מילון המונחים