אשליית שיתוף הפעולה: מדוע מודלי שפה גדולים מעדיפים כלים חיצוניים על פני ידע פנימי?

מחקר חדש שפורסם במאגר arXiv חושף תופעה מטרידה בעולם הבינה המלאכותית (AI): נטייה מוגזמת של מודלי שפה גדולים (LLMs) להסתמך על כלים חיצוניים, גם כאשר ברשותם הידע הפנימי הדרוש לפתרון המשימה. התופעה, המכונה "שימוש יתר בכלים" (Tool Overuse), מעוררת שאלות מהותיות על האופן שבו אנו מעצבים ומפעילים מערכות AI, במיוחד כשהן מקבלות גישה למשאבים חיצוניים כמו מנועי חיפוש, מחשבונים או בסיסי נתונים.

הרקע לחקר זה נובע מהצלחה מסחררת של שילוב כלים חיצוניים במודלי שפה. במשך שנים, אחת המגבלות המרכזיות של LLMs הייתה חוסר היכולת לבצע חישובים מדויקים, לגשת למידע עדכני בזמן אמת, או לפעול בסביבות דינמיות. הפתרון האלגנטי – הענקת גישה לכלים (Tool-Use) – הפך לאחת התכונות המבוקשות ביותר בתעשייה, המוטמעת במוצרים כמו ChatGPT, Claude ו-Gemini. אך כעת מתברר שישנה תופעת לוואי: המודל מעדיף להשתמש בכלי גם כשהידע הפנימי שלו מספיק.

החוקרים, באמצעות ניסויים שיטתיים, הראו שהתופעה נפוצה בקרב מגוון מודלים, החל ממודלים קטנים יחסית ועד לענקי תעשייה. המנגנון המרכזי שהוביל לתופעה הוא תהליך למידה (Learning) שמוטה יתר על המידה כלפי שימוש בכלים. המודל לומד במהלך האימון שלו ששימוש בכלי חיצוני הוא אסטרטגיה בטוחה יותר – גם אם איטית ויקרה מבחינה חישובית – מאשר להסתמך על הזיכרון הפנימי שלו, שעלול להיות לא מדויק או לא שלם במקרים מסוימים.

ניתוח טכני של ההתנהגות מעלה תמונה מורכבת. המודלים נוטים להשתמש בכלים לא רק כשאין להם ידע (סיטואציה לגיטימית), אלא גם כשיש להם ידע מלא ומדויק. לדוגמה, שאלה פשוטה כמו "מהו פירוש המונח 'אפקט הפרפר'?" – עליה יכול כל LLM לענות בקלות – גורמת לחלק מהמודלים לחפש בגוגל (Google Search) לפני שהם עונים. תופעה זו מנוגדת לאינטואיציה האנושית: בן אדם לא יפתח אנציקלופדיה כדי לענות על שאלה שהוא יודע את תשובתה בעל פה.

ההשלכות של תופעת ה-Tool Overuse חורגות מעבר לבזבוז משאבים חישוביים ועלויות תפעול גבוהות. היא מעלה חששות מהותיים לגבי האמינות של מערכות AI: אם המודל לא סומך על הידע הפנימי שלו, איך נבטיח שהוא יקבל החלטות נכונות במצבים שבהם אין גישה לכלים חיצוניים? בנוסף, התלות המוגזמת בכלים חיצוניים יוצרת חולשה בפני מתקפות סייבר (Adversarial Attacks) – אם כלי חיצוני נפרץ או מחזיר מידע שגוי, המודל יאמץ את המידע המוטעה מבלי להפעיל שיקול דעת פנימי.

מבחינה כלכלית, התופעה בעייתית במיוחד עבור חברות המפעילות מודלים בקנה מידה גדול. שימוש בכלים חיצוניים כרוך בעלויות API, זמן השהייה (Latency) וצריכת אנרגיה נוספת. אם מודל מבצע שיחת API מיותרת לכל שאלה, ההוצאות יכולות להצטבר למיליוני דולרים בשנה עבור ארגונים גדולים. החוקרים מעריכים ששיעור השימוש המיותר בכלים עומד על כ-20-30% בקירוב, תלוי בסוג המשימה ובמודל הספציפי.

הפתרון המוצע על ידי המחברים מתמקד בשינוי תהליך האימון והקשב (Fine-Tuning) של המודל. במקום לתגמל כל שימוש בכלי, ההצעה היא להכניס מנגנון ויסות (Regulation Mechanism) שיעודד את המודל להפעיל שיקול דעת פנימי קודם. במסגרת זו, המודל ילמד להעריך את רמת הביטחון שלו בידע הפנימי, ורק במקרים של חוסר ביטחון או אי-ודאות גבוהה – יפנה לכלים חיצוניים. גישה זו דומה לאופן שבו בני אדם פועלים: אנחנו מנסים לפתור בעיה מהזיכרון תחילה, ורק כשאנחנו תקועים – מחפשים עזרה.

עתיד התחום צפוי להתמקד בפיתוח מערכות היברידיות חכמות יותר, שיודעות מתי להשתמש בכלים ומתי להסתמך על הידע הפנימי. תפיסה זו עשויה להוביל ליצירת מודלים "חסכוניים" (Cost-Efficient) שמאזנים בין דיוק לעלות, ובמקביל מחזקים את האמון במערכות AI. ככל שטכנולוגיית הבינה המלאכותית ממשיכה להתפתח, האתגר יהיה לא רק ללמד את המודלים "מה לדעת" אלא גם "מתי לדעת" ו"מתי לשאול".

מקור: arXiv cs.AI
צוות BDNHOST