מהות הייצוג הווקטורי, האמבדינג

סוגיה בסיסית שמעסיקה מדענים ומהנדסים מתמקדת בשאלה מהו למעשה ייצוג וקטורי (מה שאנחנו מכנים אמבדינג). התשובה שמקובלת בדיונים מקצועיים מתארת ייצוג וקטורי כמערך מספרי צפוף שמייצג טוקן משפט או מסמך. במקום להתייחס לטקסט כאל רצף של מזהים בדידים המודל שמופעל ממפה את הטקסט למרחב רציף שבו המרחק והכיוון מקודדים דמיון סמנטי. ייצוגים אלו מאפשרים להשוות משמעויות ללא תלות בחפיפה מדויקת של מילים ולכן הם מהווים רכיב יסודי במערכות אחזור מידע.

בחינה ביקורתית של גישה זו חושפת יתרונות וחסרונות. היתרון המרכזי של ייצוגים צפופים הוא היכולת שלהם ללכוד ניואנסים והקשרים שחומקים משיטות חיפוש שמבוססות על מילות מפתח. החיסרון הוא אובדן המידע הלקסיקלי. מילה שמתורגמת לווקטור מאבדת את הזהות המדויקת שלה מה שעלול להקשות על חיפוש של שמות פרטיים. חלופות כמו ייצוגים בדידים שבהם כל מילה מקבלת וקטור דליל מציעות דיוק רב אך סובלות מממד נרחב ומחוסר יכולת להכליל למילים נרדפות.

מבחינה מתמטית תהליך יצירת הייצוג הוא פונקציית מיפוי מהמרחב הבדיד של אוצר המילים אל מרחב וקטורי רציף. אם נסמן את גודל אוצר המילים באות V ואת ממד הייצוג באות d הפונקציה ממפה כל אינדקס למרחב ℝᵈ. הפעולה החישובית מתבצעת לרוב באמצעות הכפלת וקטור שמאופיין באפסים ובאחד בודד במטריצת משקלות שגודלה V × d.

התייחסות לחזית הטכנולוגית של השנים הקרובות מציגה את שיטת למידת הייצוגים המודולרית שמכונה ייצוגי מטריושקה (Matryoshka Representation Learning או MRL). שיטה זו מאמנת מודלים לייצר וקטורים שניתנים לקטיעה כך שהממדים הראשונים מכילים את רוב המידע הסמנטי. החידוש הזה חשוב מכיוון שהוא מאפשר למערכות לשמור וקטורים מקוצרים ולחסוך שטח אחסון ניכר מבלי לאבד דיוק מורגש. כנראה שכדאי לכתוב פוסט נפרד רק על זה.

סיפור מקצועי שניתן ללמוד ממנו עוסק בצוות מהנדסים שניסה להבין מדוע מערכת הסיווג שלהם מתבלבלת בין חתולים לכלבים. הם ניסו לנתח את הווקטורים הצפופים שניפקו המודלים כדי למצוא את הממד הספציפי שמייצג חיות מחמד. להפתעתם הם גילו שהמרחב הרציף אינו ניתן לפירוש אנושי ישיר וכל ממד מכיל תערובת של תכונות. הלקח הוא שייצוגים צפופים מספקים תוצאות טובות אך פועלים כקופסה שחורה שדורשת כלי ניתוח סטטיסטיים עקיפים כדי לפענח אותה.

צריכים עזרה עם עיבוד שפה טבעית? שיפורים בחלק זה או אחר של מערכת ה-AI שלכם? שיפורים אלגוריתמיים? אופטימיזציה? מתמטיקה שימושית? ליעץ לכם על מה שמתחת למכסה המנוע של המערכות האלגוריתמיות שלכם? אנחנו ב- Mathematic.ai מומחים גם בנושאים הללו. דברו איתי:   שלמה יונה

מייסד ומדען ראשי, מתמטיקאי מחקר ופיתוח בע"מ

053-7326360

shlomo.yona@mathematic.ai 

https://mathematic.ai

פודקאסט על החברה ועליי, שלמה יונה, ואופן העבודה שלנו ואיתנו: A technical deep dive about