The Spectral Geometry of Thought: Phase Transitions, Instruction Reversal, Token-Level Dynamics, and Perfect Correctness Prediction in How Transformers Reason
מחקר חדש חושף כי מודלי שפה גדולים (LLM) חווים "מעברי פאזה ספקטרליים" מובחנים בפעילותם העצבית בעת ביצוע משימות חשיבה לעומת שליפת עובדות. ניתוח ספקטרלי שיטתי של 11 מודלים חשף שבע תופעות ליבה, כולל "דחיסה ספקטרלית" ייחודית במהלך חשיבה, המאפשרת חיזוי כמעט מושלם של נכונות התשובה עוד בטרם נוצרת.
מקור: arXiv cs.LG
מקורות: arXiv cs.LG
צוות BDNHOST