למנוע הכחדה מ-ASI בתקציב שנתי של 50 מיליון דולר

ארגון ControlAI מציב לעצמו מטרה שאפתנית במיוחד: למנוע את סכנת ההכחדה האנושית כתוצאה מפיתוח בינה מלאכותית על-אנושית (ASI - Artificial Superintelligence). הארגון, הפועל על בסיס תקציב שנתי צנוע יחסית של 50 מיליון דולר, מאמין שהדרך היעילה ביותר לכך היא השגת איסור בינלאומי על פיתוח ASI. לטענתם, סופראינטליגנציה (Superintelligence) עלולה להוות איום קיומי חסר תקדים, בדומה לנשק גרעיני, ודרושה רגולציה גלובלית שתמנע מירוץ חימוש מסוכן בתחום.

המודל של ControlAI נשען על עבודה מול מקבלי החלטות בממשלות ובציבור הרחב. הארגון מתמקד בהנגשת מידע מעשי על הסיכונים, תוך שיתוף פעולה עם חוקרים מובילים בתחום הבטיחות ב-AI (AI Safety). "אנו מאמינים שניתן להשיג איסור בינלאומי על פיתוח ASI אם נגדל מספיק את המשאבים ואת התמיכה הציבורית", נכתב באתר הארגון. התקציב של 50 מיליון דולר נועד לממן קמפיינים הסברתיים, מחקרים והסברה פוליטית - סכום שמזכיר את העלויות של ארגוני הסברה גלובליים אחרים.

הניתוח הכלכלי וההשוואה להיסטוריה של רגולציות טכנולוגיות מעלה מספר שאלות מעניינות. האם תקציב של 50 מיליון דולר בשנה מספיק כדי לשכנע מעצמות כמו ארה"ב, סין או האיחוד האירופי להסכים להגבלות חמורות על AI? מנגד, היסטורית, ארגונים קטנים יחסית כמו ה-IPCC (הפאנל הבין-ממשלתי לשינויי אקלים) הצליחו לשנות סדרי עדיפויות עולמיים בתקציבים דומים. ההבדל המהותי הוא ששינוי האקלים נתפס כאיום מוחשי יותר, בעוד ש-ASI עלול להיראות כמדע בדיוני.

השלכות המהלך של ControlAI הן מרחיקות לכת. אם יצליחו, ייתכן שנראה האטה דרמטית בהשקעות ב-AGI (בינה מלאכותית כללית) וב-ASI, לטובת מערכות בטוחות ומפוקחות יותר. מנגד, מתנגדי הגישה טוענים שאיסור מוחלט עלול להשאיר את הפיתוח בידי שחקנים בלתי רשמיים, וייצור אשליית ביטחון. בכל מקרה, המודל של תקציב צנוע יחסית למשימה גלובלית מציב אתגר לשאלה האם יש "תמחור" למניעת הכחדה אנושית, וכמה אנחנו באמת מוכנים להשקיע בזה.

מקור: Alignment Forum