פרויקט אלף המוחות שהזכרתי בפוסט קודם ועקרונות הפעולה שנוסחו בו הובילו לפיתוח ארכיטקטורות חומרה ותוכנה שמייעלות את צריכת האנרגיה ומשאבי החישוב בתעשיית הבינה המלאכותית. פלטפורמת NuPIC מיישמת עקרונות אלו ומאפשרת הרצה של מודלי שפה גדולים על גבי מעבדים קונבנציונליים. שילוב טכנולוגיה זו עם פקודות האצה במעבדי אינטל מציג ביצועי תפוקה וחיסכון בחשמל שעולים במקרים מסוימים על אלו של GPUs ללא צורך בקיבוץ נתונים. במקביל מעבדות אקדמיות באוניברסיטת קרנגי מלון מפתחות מערכות חומרה נוירומורפיות

תיאוריית אלף המוחות שפיתח ג'ף הוקינס מציגה מודל נוירוביולוגי להבנת אינטליגנציה שמציע חלופה לגישת הלמידה העמוקה בבינה מלאכותית. מטרת התיאוריה היא להתגבר על מגבלות מרכזיות במערכות עכשוויות כגון צריכת אנרגיה גבוהה ושכחה של מידע קודם זאת באמצעות יישום עקרונות פעולה של המוח הביולוגי בארכיטקטורת תוכנה מבוססת למידה חושית ותנועתית. הגישה של ג'ף הוקינס נובעת מהתפיסה כי הדרך היחידה להשיג בינה כללית אמיתית היא דרך הבנה ושכפול של מנגנוני קליפת המוח. בניגוד למודלים של למידה עמוקה שמסתמכים

The true challenge in machine learning and AI development isn't just the model itself; a significant portion of the real-world complexity lies within the data. Transitioning from sterile laboratory conditions to a natural production environment inevitably exposes you to missing, noisy, scattered, and inconsistently reliable data. This is exactly where we at Mathematic.ai step in. ROI driven Applied Algorithmic Research and Applied Algorithmic Research driving ROI We specializ

האתגר האמיתי בלמידת מכונה ובפיתוח מערכות AI אינו רק המודל עצמו. חלק משמעותי של המציאות, והקושי, נמצא בנתונים. כשיוצאים מתנאי מעבדה לסביבת פרודקשן תובענית, נתקלים במידע חסר, רועש, מבוזר וברמות אמינות שונות. אנחנו בחברת מתמטיקאי מחקר ופיתוח בע"מ, Mathematic.ai, נכנסים לתמונה. אנחנו מתמחים במחקר אלגוריתמי יישומי ובהפיכת אי-סדר ואי-וודאות למערכות יציבות ובנות-קיימא. אם קיימת מתודולוגיית עבודה, נשתלב בה ובמידת הצורך נשפר אותה. אם מתודולוגיית עבודה אינה קיימת, נפתח אותה וניישם אותה

פעולת הכפל היא פעולה אריתמטית בסיסית. חיבור חוזר של אותו הערך. יעילותה של פעולת הכפל נמדדת בזמן החישוב שנדרש לביצועה ביחס לאורך הקלט. נגדיר את אורך הקלט של מכפלת שני גורמים כמספר הספרות, n, של הגורם הגדול ביותר מבין שני הגורמים, הכופל והנכפל, שבמכפלה. נהוג לייצג את המספרים בייצוג בינארי, כי אנחנו עוסקים במחשב, ולכן n מייצג את כמות הביטים שנדרשים לייצוג המספר הגדול ביותר מבין הגורמים שבמכפלת שני המספרים. בעוד שבמספרים קטנים, עד 64 ביט, המעבד מבצע את החישוב כמעט מיידית, הרי שבט

מכירים את זה שאתם מנסים למצוא קשר בין שני דברים, כמו השכלה ושכר, והנתונים פשוט אינם מסתדרים? במקום קו ישר, מקבלים ענן של נקודות מפוזרות. כדי להבין מה המגמה האמיתית בתוך הרעש הזה, אנחנו משתמשים במודל מתמטי שמעביר את הקו הכי נכון דרך הנתונים, במטרה להפוך את ערימת המספרים למסקנה שנוכל לעבוד איתה. מה זה OLS ואיך זה עובד? שיטת OLS, או Ordinary Least Squares ובעברית, שיטת הריבועים הפחותים, היא האלגוריתם המוכר והנפוץ ביותר לביצוע רגרסיה ליניארית. המטרה של OLS היא למצוא את המשוואה ש

בִּינוּר , או אינטרפולציה , הוא התהליך שבו אנו משלימים פרטים חסרים בתוך סיפור שכבר מוכר לנו בחלקו. מבחינה סטטיסטית, מדובר ביצירת נקודות מידע חדשות שיושבות בתוך המרחב שנתחם על ידי הנתונים שמדדנו. אם יש לנו את הערך המינימלי ואת הערך המקסימלי במחקר, כל ניסיון להעריך מה קורה ביניהם נחשב ל- בִּינוּר . הפעולה הזו נשענת על ההנחה שחוקיות שגילינו במדידות הקיימות נשמרת גם ברווחים הקטנים שביניהן, ולכן רמת האמינות שלה נחשבת לגבוהה. חִיּוּץ , או אקסטרפולציה , הוא הניסיון למתוח את קו המחשב

בסדרת המאמרים האחרונה הצגנו ניתוח מקיף של המכניקה הפנימית ברשתות עצביות עמוקות, תוך התמקדות בשתי תופעות מרכזיות שאינן מתיישבות עם תורת הלמידה הסטטיסטית הקלאסית: Double Descent ו-Grokking. כעת, משהונחה התשתית המושגית והמתמטית, סקירה זו מאגדת את תחנות המסע שעברנו ומסבירה למה ניתן לצפות בכל אחד מהמאמרים. המסע החל במאמר " על תופעות ה Double Descent וה-Grokking ", שבו הוצגו התופעות הללו לראשונה באופן השוואתי. המאמר סקר את השבירה של מודל הפשרות המסורתי בין הטיה לשונות, והדגים כיצד

בסדרה של פוסטים ניסיתי לתאר תופעות בלמידה של רשתות עצביות עמוקות, להסביר אותן, להסביר את ה-מה את ה-למה ואת ה-איך. לפעמים בפירוט רב ולפעמים בכלליות, לפעמים עם יותר מתמטיקה ופורמליזם ולפעמים עם פחות. מעבר להיכרות עם התופעות והבנתן, אני מנסה להגיע באמצעותן להתקדמות בהבנה באופן שבו בוחנים איך רשת לומדת ולכן גם נדרשות יכולות חדשות לעקוב ולתאר את הלמידה. מה שמרגש הוא שישנה הפרייה הדדית בין הכלים המתמטיים והחישוביים במערכות לומדות מלאכותיות לבין עבודות על המוח ולהיפך. למי שהתוכן במ

במאמר הקודם המעבר מעצלנות לעושר מחשבתי כדינמיקה מאחדת הוצגה המסגרת המושגית של תופעות ה-Grokking וה-Double Descent. נסקרו המעברים ממשטר למידה עצלה למשטר למידה עשירה, והוסבר כיצד מהירויות למידה שונות של תבניות יוצרות את עקומות השגיאה הלא שגרתיות הללו. מטרת מאמר זה היא להרחיב ולהעמיק מעבר לתיאור הגיאומטרי והמושגי הבסיסי שהוצג, ולצלול אל המכניקה המתמטית המדויקת, ההיבטים התרמודינמיים וההשלכות ההנדסיות של תהליכי הלמידה הללו ברשתות עצביות עמוקות. המעבר מהמשטר העצל לעשיר אינו מקרי,

ההתפתחות המואצת של למידת מכונה מודרנית בכלל, ושל רשתות עצביות עמוקות בפרט, הביאה עמה בשנים האחרונות שורת תצפיות אמפיריות שקראו תיגר על המוסכמות הקלאסיות של תורת הלמידה הסטטיסטית. הפרדיגמה המסורתית והמוכרת ביותר בתחום היא שקלול התמורות בין הטיה לבין שונות. על פי מודל זה, ככל שמורכבות המודל עולה, שגיאת האימון יורדת משום שהמודל גמיש יותר ומסוגל להתאים את עצמו לנתונים. עם זאת, החל מנקודה אופטימלית מסוימת, המשך הגדלת המורכבות יוביל בהכרח למצב של התאמת יתר, שבו המודל מתחיל לשנן את

הזכרתי את תופעת ה- Grokking בפוסט אחר שבו גם הסברתי על Model-wise Double Descent וגם על תופעת ה- Epoch-wise Double Descent . אפילו השוויתי בין התופעות. מדובר כידוע ב אחת התגליות המרתקות, המפתיעות והלא-אינטואיטיביות ביותר שנצפו בלמידת מכונה בשנים האחרונות. תופעת ה-Grokking בלמידת מכונה התגלתה ופורסמה לראשונה בתחילת שנת 2022 על ידי קבוצת חוקרים ממעבדת הבינה המלאכותית OpenAI. הגילוי הוצג במאמר המדעי שנושא את השם Grokking: Generalization Beyond Overfitting on Small Algorithmic Da

כמו שראינו בפוסטים הקודמים ( כאן ו- כאן ) תופעת ה-Double Descent מתרחשת בעיקר כאשר מודל מנסה לבצע אינטרפולציה מושלמת, כלומר, התאמה מלאה לכל רעש בנתוני האימון. אותה אינטרפולציה מושלמת מתחרשת כשמספר הפרמטרים במודל משתווה למספר הדגימות. התופעה אופיינית בעיקר למודלים מודרניים גמישים מאוד, אך היא אינה מופיעה במודלים קשיחים, במודלים מרוסנים היטב, או במודלים קלאסיים שנמצאים בתת-פרמטריזציה, כי אלו פשוטים מכדי להגיע לנקודת האינטרפולציה הקריטית. כדי למנוע את הזינוק בטעות הבדיקה שמאפיי

כפי שראינו בפוסט הקודם שבו כתבתי על תופעת Double Descent , מדובר באחת התגליות המרתקות של השנים האחרונות בתורת הלמידה הסטטיסטית, והיא מגשרת על הפער בין הסטטיסטיקה הקלאסית לבין ההצלחה האמפירית של למידת מכונה מודרנית ובפרט, רשתות עצביות עמוקות. כדי להבין את התופעה לעומק, ננתח אותה צעד צעד באמצעות רגרסיה לינארית במימדים גבוהים, שם ניתן לכמת אותה באופן אנליטי מדוייק בעזרת תורת המטריצות האקראיות וסטטיסטיקה של מימדים גבוהים. לאחר מכן נכליל את התובנות לכלים מאנליזה פונקציונלית. בתורת

תופעת ה-Double Descent (או ה Model-wise Double Descent) היא תגלית מפתיעה, חשובה ומעניינת בלמידת מכונה מודרנית, והיא הפכה על פיה את מה שלימדו אותנו בסטטיסטיקה קלאסית. כדי להבין אותה, צריך קודם לחזור לפרדיגמה הישנה של הטרייד-אוף בין הטיה לבין שונות. בתאוריה הקלאסית, שגיאת המודל מתנהגת בצורת אות פרסה. אם המודל פשוט מדי, השגיאה גבוהה עקב תת-התאמה, מה שאנחנו מכירים כ-Underfitting. ככל שנגדיל את מורכבות המודל, השגיאה תרד עד לנקודה אופטימלית, ואז תתחיל לעלות שוב משום שהמודל מתחיל לש

הנה סקירה שלי על הספר Mathematical Thinking - For People Who Hate Math (חשיבה מתמטית - לאנשים ששונאים מתמטיקה), שפורסם בסוף שנת 2021 תחת שמו של המחבר אלברט רתרפורד. הספר מבקש לגשר על פער תהומי בין הצורך הגובר באוריינות כמותית ולוגית, לבין החרדה והרתיעה שחלקים נרחבים בציבור חשים כלפי תחום המתמטיקה. הספר נמנע באופן מוחלט מכניסה לתחומים שמהווים את ליבת המתמטיקה של קבלת החלטות. במקום חשיבה מתמטית עמוקה, הקורא מקבל יסודות של פסיכולוגיה קוגניטיבית. כפועל יוצא, הספר מהווה פרויקט ח

תחום החלוקה למקטעים מתפתח במהירות ולצד השיטות שנסקרו בפוסט קודם קיימות גישות עדכניות שפותחו לאחרונה ומייצגות את חזית המחקר הנוכחית. גישות אלו מתמודדות עם אתגרים מורכבים של הבנה גלובלית התאמה דינמית למסמך ויעילות בסדרי גודל נרחבים. להלן פירוט של שלוש גישות מרכזיות שמהוות את חזית המחקר הנוכחית. חזית המחקר ב-Chunking עבור RAG גישת שחזור מבוססת גרף ידע משנה את תפיסת החלוקה בכך שהיא אינה מחלקת את הטקסט למקטעים רציפים אלא מחלצת ישויות וקשרים מתוך הטקסט לבניית רשת מידע מקושרת. המע

מערכות מבוססות RAG מגשרות על הפער שבין הזיכרון הפרמטרי של מודלי שפה לבין בסיסי ידע ארגוניים דינמיים. מערכות אלו מיועדות לפתור את בעיית ההזיות על ידי עיגון התשובות בעובדות חיצוניות שאוחזרו בזמן אמת. הצלחת המערכת תלויה באיכות המידע שמאוחזר שנקבעת על ידי שלב העיבוד המקדים והחלוקה למקטעים. הבנת תהליך זה דורשת ירידה לפרטים האלגוריתמיים והמערכתיים של האופן שבו מידע שאינו מובנה הופך לווקטורים שניתנים לחיפוש מתמטי. הצורך בחלוקה נובע מאילוצים חישוביים ומערכתיים. ראשית, לכל מודל אמבדינ

סוגיה בסיסית שמעסיקה מדענים ומהנדסים מתמקדת בשאלה מהו למעשה ייצוג וקטורי (מה שאנחנו מכנים אמבדינג). התשובה שמקובלת בדיונים מקצועיים מתארת ייצוג וקטורי כמערך מספרי צפוף שמייצג טוקן משפט או מסמך. במקום להתייחס לטקסט כאל רצף של מזהים בדידים המודל שמופעל ממפה את הטקסט למרחב רציף שבו המרחק והכיוון מקודדים דמיון סמנטי. ייצוגים אלו מאפשרים להשוות משמעויות ללא תלות בחפיפה מדויקת של מילים ולכן הם מהווים רכיב יסודי במערכות אחזור מידע. בחינה ביקורתית של גישה זו חושפת יתרונות וחסרונות. ה

בשבוע האחרון של חודש מרץ 2026 יצחק גולדסטנד העביר ובינר עם השם הפרובוקטיבי " Build a RAG One More #%^*ing Time: From Sandbox to Real-World Production" . יצחק, מוביל טכנולוגי בחברת קלאודקס, שעוסקת בפיתוח מערכות מידע ומעבר מסביבת ניסוי לסביבת ייצור. יצחק גם חבר טוב וטכנולוג מצויין. ההרצאה מתמקדת בארכיטקטורה שמשלבת שליפת מידע ויצירת תוכן, ומסבירה כיצד טכנולוגיה זו מאפשרת למודלי שפה לחפש מידע עדכני במאגרי נתונים פנימיים כדי לענות על שאלות של משתמשים. אני רוצה לספר על מה מדובר, מ