מפת דרכים של מנועי אופטימיזציה נפוצים

shlomoyona
Apr 4
2 min read

בסקירה זאת אציג בקצרה את מפת הדרכים של מנועי האופטימיזציה הנפוצים, מסודרים לפי פופולריות ושימוש בשטח.

הפופולריים ביותר

המלך הבלתי מעורער כיום הוא Adam: Adaptive Moment Estimation. הוא ברירת המחדל כמעט לכל פרויקט למידה עמוקה בזכות המהירות והעובדה שהוא דורש מעט מאוד כיוונון ידני.

גרסה משופרת של Adam, עם טיפול נכון יותר ב-Weight Decay, הוא ה-AdamW. הוא הסטנדרט הנוכחי לאימון מודלי שפה גדולים וטרנספורמרים.

המנוע הבא פופולרי מאוד בראייה ממוחשבת, זהו SGD with Momentum. הוא דורש יותר כיוונון מ-Adam, אבל לעיתים קרובות מגיע לביצועים ולהכללה טובה יותר על נתוני מבחן.

הפופולריים בנישה ובתעשייה

מנוע RMSprop היה פופולרי מאוד בעבר, כיום משמש בעיקר ברשתות RNN או ב-Reinforcement Learning.

המנועים Adagrad / Adadelta משמשים בעיקר במקרים של נתונים דלילים.

שכבת המחקר והקצה

מנוע AdaHessian נמצא נמוך מאוד במדד הפופולריות הכללי, אך גבוה במדד העניין המחקרי. למה הוא אינו בראש? הוא דורש יותר זיכרון וזמן חישוב לכל צעד בהשוואה ל-Adam, והיישום שלו בקוד מורכב יותר. מתי משתמשים בו? במחקרים שבהם דיוק גבוה של העקמומיות חשוב, או כשמנסים לאמן מודלים קטנים יחסית לביצועים מקסימליים.

הערכה של דירוג הפופולריות

כ-70%-80% מהפרויקטים החדשים שמשתמשים במנועי אופטימיזציה משתמשים ב-Adam / AdamW.

כ-15%-20% מהפרויקטים החדשים שמשתמשים במנועי אופטימיזציה משתמשים ב-SGD with Momentum.

כ-5% ב-RMSprop / Adagrad.

ופחות מ-1% ב- AdaHessian / L-BFGS / Lion.

אם נסכם, Adam הוא הפותרן הנפוץ באופטימיזציה, כולם משתמשים בו כי הוא עובד מצוין ישר מהקופסה. אבל AdaHessian כדי לתפור חליפה מותאמת אישית, אמנם עוצמתי ומתוחכם, אבל יקר ודורש מומחיות כדי לתפעל.