BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation"

חוקרים מציגים שיטת "Ghost Backpropagation" חדשה בשם BASIS, שנועדה לשבור את צוואר הבקבוק בזיכרון הנדרש לאלגוריתם ה-backpropagation המסורתי. השיטה, המבוססת על רישום מאוזן של אקטיבציות עם סקלארים אינווריאנטיים, מבטיחה לצמצם דרמטית את הזיכרון מ-O(L*BN) ולאפשר קנה מידה עמוק יותר של רשתות נוירונים ללא הסיכון לשונות קטסטרופלית.

מקור: arXiv cs.LG
צוות BDNHOST