TurboQuant ה-מה ה-איך ה-למה ומה התוצאות שמקבלים

הנה ניסיון שלי להסביר את TurboQuant של גוגל קצר ולעניין: את ה-מה, את ה-איך, את ה-למה זה עובד ואת התוצאה שמקבלים. ותודה רבה ל-Guy Regev על ההסברים מאירי העיניים שלו. אינני טוען שזה בהכרח ממצה או ברור. יש לי כוונה לחפור על המתמטיקה של זה בפוסטים הבאים.

מה האלגוריתם עושה?

טורבו קוואנט הוא אלגוריתם לדחיסת נתונים וקטוריים במרחבים מרובי ממדים. מטרתו היא להקטין את צריכת הזיכרון הנדרשת לפעולת מודלי שפה או מנועי חיפוש, תוך שמירה על רמת שחזור נתונים גבוהה. הוא מאפשר לכווץ נתונים ליחס של כשלושה עד ארבעה ביטים לכל ערך, ללא צורך בסריקה ולמידה מוקדמת של הנתונים, וללא שמירת טבלאות מילון מורכבות בזיכרון המערכת.

איך האלגוריתם פועל?

התהליך מבוצע בשלושה שלבים מרכזיים עוקבים: 

א. הוקטור המקורי מוכפל במטריצה אורתוגונלית אקראית. פעולה זו משנה את זווית הייצוג של הנתונים במרחב מבלי לשנות את האורך הכולל של הוקטור או את המרחקים הפיזיים בינו לבין וקטורים אחרים. מדובר בהתמרת הדמרד אקראית. הוקטור מוכפל במטריצת הדמרד יחד עם מטריצה אלכסונית שמורכבת מהיפוכי סימן אקראיים, פלוס או מינוס 1. 

ב. המרה לקואורדינטות קוטביות כמו שלמדנו בבית הספר. המערכת לוקחת כל זוג קואורדינטות שנוצרו מהשלב הקודם (y1, y2) וממירה אותן לרדיוס וזווית (r, theta).

ג. הזוויות שהתקבלו מקודדות לתוך תאים בעלי רוחב שווה וקבוע מראש. במקביל, הרדיוסים מקובצים באופן רקורסיבי בתבנית של עץ בינארי, כך שבסופו של דבר נשמר רק ערך רדיוס יחיד, האורך הכולל של הוקטור, בפורמט של 16 ביט.

ד. לאחר הכיווץ המרכזי, המערכת מקצה ביט בודד נוסף כדי לקודד את שארית השגיאה, מה שמתקן הטיות שנוצרות בחישוב המכפלה הפנימית.

למה התהליך עובד?

ההצדקה לפעולת האלגוריתם נשענת על שרשרת של חוקים סטטיסטיים:

א. ההכפלה במטריצת הדמרד האורתוגונלית ובמטריצת היפוכי הסימן מבטיחה שכל קואורדינטה בוקטור התוצאה היא סכום של משתנים מקריים בלתי תלויים. על פי תנאי לינדברג במשפט הגבול המרכזי, סכום זה מתכנס בהכרח להתפלגות נורמלית עם תוחלת אפס. זוהי ערובה מתמטית ולא קירוב.

ב. כאשר לוקחים שני משתנים בלתי תלויים בעלי התפלגות גאוסית וממירים אותם לקואורדינטות קוטביות, הזווית ביניהם תמיד תתפלג באופן אחיד בטווח שבין 0 ל-2π.

ג. התפלגות אחידה היא המצב האידיאלי לאלגוריתמי קוונטיזציה. מכיוון שהנתונים מפוזרים באופן שווה לחלוטין, החלוקה האופטימלית היא חיתוך המרחב למקטעים שווים בדיוק. לכן מתייתר הצורך לשמור מקדמי שגיאה לכל קבוצת נתונים בנפרד, ותקורת הזיכרון יורדת מרמה של 1 ביט לרכיב בשיטות מסורתיות, לרמה אפסית של 0.03 ביט לרכיב בוקטורים בעלי 512 ממדים.

מהי התוצאה?

ברמה של 3.5 ביטים לערוץ, יחס דחיסה של פי 4.6 ביחס לנקודה צפה של 16 ביט, המערכת משיגה ניטרליות איכות מוחלטת ללא כל אובדן דיוק במבחני שליפת נתונים. לעומת זאת, ברמה של 2.5 ביטים לערוץ, יחס דחיסה של פי 6.4, מתקבלת פגיעה שולית וניתנת למדידה באיכות. במערכות של מנועי חיפוש וקטוריים, השיטה מבטלת את זמני ההמתנה הארוכים שנדרשים לאימון נתונים, מאפשרת קידוד נתונים בזמן אמת לשברירי שנייה, ומנצלת ביעילות את יכולות העיבוד המקבילי של החומרה העכשווית. 

TurboQuant ה-מה ה-איך ה-למה ומה התוצאות שמקבלים

צריכים עזרה עם מתמטיקה שימושית? עיבוד אותות? צריכים מחקר אלגוריתמי יישומי? צריכים להאיץ תהליכים אלגוריתמיים? ה-AI שלכם צריך שיפור ביצועים, שיפור בדיוק, שיפור בנראות או שיפור בהסברתיות? דברו איתי:

שלמה יונה

מייסד ומדען ראשי, מתמטיקאי מחקר ופיתוח בע"מ

053-7326360

shlomo.yona@mathematic.ai 

https://mathematic.ai

פודקאסט על החברה ועליי, שלמה יונה, ואופן העבודה שלנו ואיתנו: A technical deep dive about Mathematic.ai