האבולוציה, לא המוות: מבט ביקורתי על מותו של model.fit()

ב-23 במרץ פרסם קורן גסט בבלוג של Monday Engineering מאמר בשם The Death of model.fit(): What Data Scientists Actually Do in the Age of AI Agents. קראתי והנה הניסיון שלי להגיב לטענות שעולות מהטקסט.

נחשפתי לפוסט מדיון בקבוצה של מובילים בלמידת מכונה בישראל. טענתי שם ש-אני גם מתרשם שהיכולת להעריך נכון מערכת בכלל ומערכת לומדת בפרט ומערכת לומדת שאינה דטרמיניסטית עוד יותר.... היא נמוכה מאוד עד לא קיימת. המודעות העצמית לגבי יכולת ההערכה היא מה שמשתנה מאוד בין הארגונים. וגם ש-לא שקשה לשנות את זה ולא שקשה ללמוד את זה. וכל אחד יכול גם להבין וגם לעשות את זה נכון. עניין של הבנה, ניסיון ויכולת ביצוע. יש ארגונים שילמדו לבד ויעשו מצויין וכאלה שלא... תמיד היה ככה, לא רואה שזה הולך להשתנות הרבה. אבל לא בטוח שאני צודק בתחזיות שלי 🙂

המאמר של קורן גסט מציג בצורה מרתקת ומאירת עיניים את המציאות היומיומית החדשה של צוותים שמפתחים מוצרי סוכני בינה מלאכותית. טענתו המרכזית היא שמוקד העשייה עבור מדעני נתונים בסביבות אלו עבר מאימון מודלים לאורקסטרציה, עיצוב הקשר ובניית מערכי הערכה, משקפת במדויק את המגמות בחזית ה-Generative AI.

עם זאת, למרות שהמאמר קולע לחוויות של צוותי פיתוח מוצר בעולמות ה-LLM, הכותרת הפרובוקטיבית והמיקוד הצר שלו נוטים לעיוות מסוים של התמונה הרחבה בתעשיית מדע הנתונים.

האשליה של אין מודלים לאמן

גסט קובע נחרצות כי במערכות סוכנים, הרגע הזה [של אימון מודל] לא קיים. אתה לא מאמן שום דבר. זוהי הצהרה שנכונה כמעט ורק לשלבים הראשונים של פיתוח אב-טיפוס או כשמסתמכים לחלוטין על ממשקי API של מודלי-בסיס מסחריים. בפועל, ככל שמערכות סוכנים הופכות לבוגרות יותר ונדרשות להתמודד עם מגבלות של עלות, זמני השהיה, משאבי זכרון/מחשוב/תקשורת, ואבטחת מידע, החברות חוזרות לאמן מודלים. אני גם רואה שוב ושוב ושוב את התבנית של Model Cascading שנקרא גם לפעמים Conditional Computing שצץ כדי להפעיל את המודל הכבד והיקר רק כשמוצדק.

טכניקות כמו Fine-Tuning, למשל סיווג כוונות המשתמש במודל קטן ומהיר במקום להעביר פרומפט ענק למודל כבד, ואימוני העדפות RLHF/DPO הן חלק בלתי נפרד מארכיטקטורת AI מתקדמת. אולי לא מריצים את הפקודה המדויקת model.fit() על מודל Scikit-Learn פשוט, אך לולאת האימון עדיין חיה, בועטת, ודורשת מומחיות עמוקה של מדעני נתונים.

אני כן מסכים שבתחומים רבים ובארגונים רבים יש צורך עסקי שהפך לפתרון commodity שמקבל מענה מצויין באמצעות API או אפילו ממודל קוד פתוח ושם אין צורך מיידי או נראה לעין כרגע לשומדבר אחר ואולי ממקרים שכאלה נוצר הרושם של גסט. זה כמובן קורה, אין כאן אשלייה וזה טבעי והגיוני ומתבקש.

קוצר הראייה של GenAI

המאמר סובל במידה מסוימת מקוצר ראייה שאופייני לתקופה הנוכחית, שבה לעיתים מזהים בינה מלאכותית אך ורק עם מודלי שפה גדולים וסוכנים. המציאות היא שתחומים עצומים וקריטיים בתעשייה עדיין נשענים על למידת מכונה קלאסית:

• פיננסים: מודלים לזיהוי הונאות אשראי או אלגוריתמים למסחר.

• רפואה ותעשייה: ראייה ממוחשבת לפענוח הדמיות או בקרת איכות.

• מסחר אלקטרוני: מערכות המלצה מורכבות לפרסונליזציה בזמן אמת.

בתחומים אלו, אימון מודלים, הנדסת מאפיינים נכונה ומציאת פרמטרים מיטביים אינם נחלת העבר, אלא הלב הפועם של המערכת. פתרונות מבוססי סוכני שפה לרוב יהיו איטיים מדי, יקרים מדי, ופחות מדויקים למשימות אלו.

אני אפילו טוען ש-AI זאת התפיסה של המשתמש שיש בינה במערכת אפילו אם התפיסה הזאת היא תוצאה של מערכת דטרמיניסטית מבוססת חוקים וכתובה בקוד ללא שום למידת מכונה או AI כפי שאלה נתפסים בציבור. גם השלמה אוטומטית של טקסט באמצעות מילון יכולה להתפרש כבינה מלאכותית.

מתודולוגיה ישנה, כלים חדשים

גסט טוען שפיתוח מונחה-הערכה וקביעת טקסונומיות של שגיאות הם הדבר הגדול הבא שמחליף את האימון המסורתי. למרות שזו גישה הכרחית לפיתוח סוכנים, היא לא מהווה שינוי פרדיגמה במדע הנתונים, אלא יישום של עקרונות ישנים על דומיין חדש.

אני לא בהכרח אפילו מתווכח עם זה. אני אפילו טוען שאנחנו חוזרים לסוג של Waterfall בתכנון ובניהול פרוייקטים אבל עם הלוקסוס של לוחות זמנים שנדחסו והצטמצמו באופן מדהים מ-חודשים ושנים לשעות וימים.

כפי שהמחבר עצמו מודה בסוף המאמר, מדעני נתונים מעולים תמיד התמקדו במדידה סטטיסטית, עיצוב ניסויים קפדני וניתוח שגיאות מדוקדק. השינוי הוא שבעוד שבעבר מדדנו דיוק של תחזית מספרית, היום אנו מודדים סטייה בהתנהגות של סוכן המייצר טקסט או קוד, תוך שימוש במודלי שפה כשופטים. המהות היא הבנת המערכת דרך נתונים וזה לא השתנה ונשאר זהה.

סיכום

המאמר מתאר באופן יצירתי וברור את עלייתו של תפקיד ספציפי והוא מדען נתונים של פיתוח מוצרי GenAI, שתפקידו לשמש כשומר איכות המוח של המערכת. עבור צוותים שמפתחים מוצרים מסוג זה, התובנות של גסט הן לעניין ואולי אפילו בגדר קריאת חובה. עם זאת, ההכרזה על מותו של אימון המודלים המסורתי היא מוגזמת. מדע הנתונים פשוט התרחב, במקום להיעלם, הוא התפצל להתמחויות שונות, שבאחת מהן שולטים סוכני השפה, ובאחרות, המתמטיקה והסטטיסטיקה הקלאסית ממשיכות לשלוט בכיפה.

https://engineering.monday.com/the-death-of-model-fit-what-data-scientists-actually-do-in-the-age-of-ai-agents/

האבולוציה, לא המוות: מבט ביקורתי על מותו של model.fit()

אחרי כל זה האם צריכים מחקר אלגוריתמי יישומי? CTO או Chief Scientist כשירות או fractional? צריכים עזרה עם מתמטיקה שימושית? יעוץ טכנולוגי? בדיקת נאותות טכנולוגית? ואולי אתם צריכים עזרה והנחייה עם שיפורים במערכת אלגוריתמית / מבוססת למידת מכונה / מבוססת AI / מבוססת סוכנים? דברו איתי:

שלמה יונה

מייסד ומדען ראשי, מתמטיקאי מחקר ופיתוח בע"מ

053-7326360

shlomo.yona@mathematic.ai 

https://mathematic.ai

פודקאסט על החברה ועליי, שלמה יונה, ואופן העבודה שלנו ואיתנו: A technical deep dive about Mathematic.ai