Deep Dive into LLMs like ChatGPT

מודלי שפה גדולים (LLMs) כמו ChatGPT פועלים על בסיס ארכיטקטורת טרנספורמר, המשתמשת במנגנון קשב עצמי (Self-Attention) כדי לעבד ולחולל טקסט. יכולתם להבין הקשר ולספק תשובות קוהרנטיות נובעת מאימון על מאגרי נתונים עצומים והתאמה עדינה באמצעות למידה מחיזוקים (RLHF).

מקור: AI Explained
צוות BDNHOST