איך מאיצים חישובים?

איך מתמודדים בעולם עם הצורך ההולך וגובר בחישובים ובמה שאלה תלויים בו?

אני רואה כמה צירים וכמה כיוונים של השקעות ופיתוחים:

1. חומרה, חוות שרתים ואנרגיה. ההשקעות והפיתוחים כאן הן בטווח המיידי והבינוני כדי לראות ערך ולהשתמש. 

המירוץ הנוכחי מונע כמעט כולו מהדרישות של בינה מלאכותית יוצרת (GenAI) ואימון מודלי שפה ענקיים ואפילו ההרצה שלהם. ענקיות הענן משקיעות עשרות מיליארדי דולרים ברכישת מעבדים ובהקמת חוות שרתים עצומות. צוואר הבקבוק המרכזי שהתגלה הוא אנרגיה. חוות השרתים הללו דורשות חשמל בהיקפים של ערים שלמות, מה שהוביל לאחרונה השקעות אסטרטגיות של חברות טק גם באנרגיה גרעינית.

2. מחשוב קוונטי. השקעות ופיתוחים הן בטווח הבינוני-ארוך כדי לראות ערך ולהשתמש.

זהו ההימור הגדול על שבירת פרדיגמת המחשוב הקלאסית, שנועד לפתור בעיות שייקחו למחשבי-על קלאסיים אלפי שנים. מרוץ חימוש טכנולוגי שבו מעורבות מעצמות, מדינות וענקיות טכנולוגיה. האתגר המרכזי נותר יציבות הקיוביטים שדורש תיקון שגיאות.  בזכות (או למרות, תלוי את מי שואלים) יוזמת הקוונטום הלאומית, האקוסיסטם הישראלי פורח, אך הוא ממוקד. במקום להתחרות בבניית החומרה הקוונטית העצומה עצמה, הסטארט-אפים הישראלים מתמקדים בשכבת התוכנה, מערכות הבקרה, ומערכות ההפעלה של המחשבים הקוונטיים.

3. התייעלות אלגוריתמית וארכיטקטונית. זה קורה על כל טווחי הזמן: מיידי-בינוני-ארוך.

הציר הזה זוכה לתשומת לב, והוא המפתח לעקיפת המגבלות של הציר הראשון. ככל שניכרת האטה בחוק מור מתחזקת תשומת הלב לציר הזה.

בעולם ובישראל ישנה דחיפה אדירה למחקר אלגוריתמי יישומי שנועד להרזות מודלים ולייעל תהליכי Data Science מבלי לאבד ביצועים. זה כולל פיתוח מודלי שפה קטנים ויעילים, טכניקות כמו הורדת רזולוציית המספרים במודל / קוונטיזציה, גיזום, וארכיטקטורות שמחליפות או משפרות את ה-Transformer המסורתי. בישראל יש אקוסיסטם חזק מאוד של חברות אלגוריתמיקה שממוקדות בדיוק בהשגת אותם מכפילים של סדרי גודל ביעילות החישובית. התחום הזה גם משיק ישירות לשאלות של אתיקה ב-AI, שכן מודלים ירוקים ויעילים יותר הם נגישים יותר ופחות מונופוליסטיים.

אני לא מפסיק לתמוה כמה פופולרית ושגויה התפיסה שאין יותר מקום להבין ולהשקיע באלגוריתמים ובמבני נתונים ובתכן וניתוח שלהם ובשיפורים שלהם. זהו תחום פורח ומשתלם לאין שיעור.

מעבר לשלושת הצירים שציינתי, ישנם לפחות עוד שני כיוונים מרכזיים שזוכים להשקעות כבדות

4. מחשוב קצה ושבבים ייעודיים שתכליתם להעביר את כוח העיבוד למכשירי הקצה, כמו רכבים אוטונומיים, סמארטפונים, חיישנים חכמים, במקום לשלוח את כל המידע לענן המרכזי. זה דורש פיתוח של שבבים ייעודיים שצורכים מעט מאוד חשמל אך יודעים להריץ פעולות חישוב ספציפיות ביעילות שיא.

5. ציר מרתק לטווח הבינוני-ארוך. העברת נתונים וביצוע חישובים מתמטיים באמצעות אור במקום באמצעות חשמל. פוטונים במקום אלקטרונים. הפוטנציאל כאן הוא למחשוב מהיר פי כמה וכמה, עם צריכת אנרגיה כמעט אפסית ביחס למקובל כיום ופליטת חום מינימלית.

6. לבסוף, במקום שאלגוריתמאים יכתבו קוד שרץ על חומרה גנרית, מתכננים את האלגוריתם ואת השבב במקביל כך שיתאימו זה לזה כמו כפפה ליד. תכנון משולב מכוון תכלית. זהו ציר שאולי יתפס כמיושן ואיזוטרי אבל כזה שחי ובועט והוא בעצם מתודולוגיה שהופכת לסטנדרט.

איך אתם רואים את המציאות הזאת?

הרשימה מוקדשת באהבה ובהערכה לעתודאים של אלונים ❤️

איך מאיצים חישובים?

דברו איתי:

שלמה יונה

מייסד ומדען ראשי, מתמטיקאי מחקר ופיתוח בע"מ

053-7326360

shlomo.yona@mathematic.ai 

https://mathematic.ai

פודקאסט על החברה ועליי, שלמה יונה, ואופן העבודה שלנו ואיתנו: A technical deep dive about Mathematic.ai