מדוע רוטציה אקראית מאפסת שונות משותפת?

הסיבה המרכזית שרוטציה אקראית ובפרט טרנספורמציית הדמר רנדומלית מאפסת שונות משותפת היא פיזור האנרגיה והפיכת הקואורדינטות לבלתי מתואמות דרך שילוב של היפוכי סימן וממוצעים משוקללים.

ביטול ממוצע הצימודים

המטריצה האלכסונית D מכילה ערכי 1 ו-(1-) בהסתברות שווה. כשמכפילים את x ב-D, מקבלים וקטור חדש שבו כל איבר שומר על ערכו המוחלט אבל הסימן שלו הופך לאקראי. זה מבטיח שהתוחלת של כל מכפלה בין שני איברים שונים (xi * xj) תהיה אפס.

ערבוב ליניארי אחיד

מטריצת הדמר H לוקחת את האיברים הרנדומליים האלו ומערבבת אותם בצורה כזו שכל קואורדינטת פלט yk היא סכום משוקלל של כל איברי הקלט.

אורתוגונליות

 מכיוון ש-H ו-D הן מטריצות אורתוגונליות, המכפלה H*D היא רוטציה שמשמרת את הנורמה אך משנה את הבסיס לבסיס שבו הנתונים נפרשים בצורה אחידה על פני כל הצירים.

הפעולה גורמת לכך שהשונות של הוקטור המקורי מתחלקת באופן שווה בין כל הקואורדינטות. בבסיס החדש, המתאם בין הקואורדינטות שואף לאפס כי כל רכיב במוצא הוא הצטברות של הרבה רכיבי קלט עם סימנים אקראיים, מה שמוביל, לפי משפט הגבול המרכזי, להתפלגות גאוסית בלתי תלויה בקירוב. ממליץ לקרוא את הפוסטים שלי על TurboQuant שמסבירים גם על זה וגם על היבטים אחרים מתמטיים.

מה זה TurboQuant ומה למדתי מגיא רגב? https://www.mathematic.ai/post/%D7%9E%D7%94-%D7%96%D7%94-turboquant-%D7%95%D7%9E%D7%94-%D7%9C%D7%9E%D7%93%D7%AA%D7%99-%D7%9E%D7%92%D7%99%D7%90-%D7%A8%D7%92%D7%91

TurboQuant ה-מה ה-איך ה-למה ומה התוצאות שמקבלים

https://www.mathematic.ai/post/turboquant-%D7%94-%D7%9E%D7%94-%D7%94-%D7%90%D7%99%D7%9A-%D7%94-%D7%9C%D7%9E%D7%94-%D7%95%D7%9E%D7%94-%D7%94%D7%AA%D7%95%D7%A6%D7%90%D7%95%D7%AA-%D7%A9%D7%9E%D7%A7%D7%91%D7%9C%D7%99%D7%9D

ביקורות על TurboQuant ויישובן

https://www.mathematic.ai/post/%D7%91%D7%99%D7%A7%D7%95%D7%A8%D7%95%D7%AA-%D7%A2%D7%9C-turboquant-%D7%95%D7%99%D7%99%D7%A9%D7%95%D7%91%D7%9F

הסבר מבוסס תורת האינפורמציה של TurboQuant

https://www.mathematic.ai/post/%D7%94%D7%A1%D7%91%D7%A8-%D7%9E%D7%91%D7%95%D7%A1%D7%A1-%D7%AA%D7%95%D7%A8%D7%AA-%D7%94%D7%90%D7%99%D7%A0%D7%A4%D7%95%D7%A8%D7%9E%D7%A6%D7%99%D7%94-%D7%A9%D7%9C-turboquant

מדוע רוטציה אקראית מאפסת שונות משותפת?

צריכים עזרה עם מתמטיקה שימושית? עיבוד אותות? צריכים מחקר אלגוריתמי יישומי? צריכים להאיץ תהליכים אלגוריתמיים? ה-AI שלכם צריך שיפור ביצועים, שיפור בדיוק, שיפור בנראות או שיפור בהסברתיות? דברו איתי:

שלמה יונה

מייסד ומדען ראשי, מתמטיקאי מחקר ופיתוח בע"מ

053-7326360

shlomo.yona@mathematic.ai 

https://mathematic.ai

פודקאסט על החברה ועליי, שלמה יונה, ואופן העבודה שלנו ואיתנו: A technical deep dive about Mathematic.ai