.png)
ביקורות על TurboQuant ויישובן
- shlomoyona
- Mar 28
- 2 min read
4 hours ago • Visible to anyone on or off LinkedIn
אני כרגיל אוהב גם לדבר על הביקורות ולא רק על היתרונות. הפרסום של TurboQuant עורר הדים רבים, אך גם משך ביקורות נוקבות, במיוחד מצד סוקרים אקדמיים ומחברי מאמרים מתחרים. ביקורת עמיתים חשובה. אנסה לסכם ולהסביר את עיקרי הביקורת על ההנמקה המתמטית והמסקנות שבפרסום של גוגל.
א. אחת הטענות המרכזיות של המחברים הייתה שהרוטציה האקראית הופכת את הקואורדינטות בממדים גבוהים לכמעט בלתי תלויות, וזה מה שמאפשר להשתמש בקוונטיזציה סקלרית על כל קואורדינטה בנפרד ועדיין להשיג תוצאות אופטימליות. מבקר בשם Reviewer Autm טען שזו הסחה והראה שהשגיאה הריבועית הממוצעת נשמרת תחת טרנספורמציה אורתוגונלית
‖ Πx - Πx̂ ‖₂ = ‖ x - x̂ ‖₂
לכן, מזעור השגיאה במרחב המסובב שקול לחלוטין למזעור השגיאה במרחב המקורי, אך ורק בגלל הגיאומטריה של הרוטציה, ולא בגלל הנחת אי-תלות או תכונות סטטיסטיות. המבקר טען שהמאמר נשען על קביעות סטטיסטיות מורכבות במקום על תכונה גיאומטרית פשוטה.
ב. האלגוריתם משקיע ביט שלם כדי לתקן את ההטיה במכפלה הפנימית שנוצרת מקוונטיזציית MSE, באמצעות מנגנון ה-QJL. הביקורת מציינת כי ההטיה הכפלית שנוצרת במכפלה הפנימית היא בגדר קבוע. במודלי שפה, המכפלה הפנימית משמשת לחישוב ציוני Attention שעוברים לרוב דרך פונקציית Softmax או Argmax, פעולות שלעתים קרובות אדישות לכפל בקבוע משום שהן משוות יחסים. המבקר תהה האם יש באמת צורך בתיקון כה מסובך רק כדי לבטל הטיה שייתכן ואינה משפיעה כלל על פלט המודל.
ג. מחלוקת חריפה התעוררה מול מחברי שיטה מתחרה בשם RaBitQ שפורסמה ב 2024. מחברי TurboQuant טענו ש-RaBitQ מציגה חסמים מתמטיים תת-אופטימליים עקב אנליזה רופפת. מחברי RaBitQ טענו כי זו הצגה מטעה, כי המאמר שלהם כבר הוכיח אופטימליות אסימפטוטית התואמת את החסמים התיאורטיים. בנוסף, הם טענו להטיה בהשוואת הביצועים, כיוון ש-TurboQuant הריצו את RaBitQ על CPU בודד תוך נטרול עיבוד מקבילי, מה שגרם לשיטה להיראות איטית באופן מלאכותי.
אז כיצד יושבו המחלוקות?
על מנת ליישב את הביקורות התיאורטיות, מחברי TurboQuant הבהירו כי ההתייחסות לאי-תלות נועדה לספק אינטואיציה לגבי אנטרופיה ויעילות קידוד, אך הודו כי ההוכחה הקשיחה למזעור השגיאה אכן נשענת על המומנטים השוליים של ההתפלגות ואינה דורשת אי-תלות מוחלטת. בנוגע ליעילות מול שיטות אחרות כולל ביקורות ההשוואה, המחברים ביצעו ניסויים חדשים ומקיפים. הם בחנו את המודל Qwen2-7B-Instruct על מאגר נתונים שבוחן הסקה מתמטית, GSM8K, שבו דיוק המכפלה הפנימית הוא קריטי. הניסויים הוכיחו ש-TurboQuant ב-3 ביטים משיג דיוק של 84.3%, קרוב מאוד ל-85.7% של מודל המקור, והציגו ביצועים עדיפים גם כאשר לשיטות מתחרות ניתן תקציב ביטים גדול יותר. תוצאות אלו סיפקו תוקף אמפירי לצורך במנגנון התיקון חסר-ההטיה.
אז נראה שהגישה מחזיקה מים. אפילו ראיתי כבר יישומים בקוד פתוח אבל טרם יצא לי לנסות.
צריכים עזרה עם מתמטיקה שימושית? עיבוד אותות? צריכים מחקר אלגוריתמי יישומי? צריכים להאיץ תהליכים אלגוריתמיים? ה-AI שלכם צריך שיפור ביצועים, שיפור בדיוק, שיפור בנראות או שיפור בהסברתיות? דברו איתי:
שלמה יונה
מייסד ומדען ראשי, מתמטיקאי מחקר ופיתוח בע"מ
053-7326360
פודקאסט על החברה ועליי, שלמה יונה, ואופן העבודה שלנו ואיתנו: A technical deep dive about Mathematic.ai
Comments