דוקטרינת ההלם של נעמי קליין טוענת ששינויים כלכליים קיצוניים מיושמים בצורה טובה יותר מיד לאחר משברים, כגון מלחמות, אסונות טבע או משברים כלכליים, כאשר הציבור נמצא בהלם ואינו מגיב להתנגדות. קליין מתארת כיצד ממשלות מנצלות חלונות הזדמנויות אלו כדי להעביר רפורמות ניאו-ליברליות, כפי שמשתקף בקפיטליזם של אסונות וביישום תיאוריות אסכולת שיקגו במדינות שונות. הבנת מנגנון זה מאפשרת לציבור להיות ערני יותר למהלכים פוליטיים המתרחשים בזמני משבר. גם הספר הזה המלצה של יובל סיני. מצד אחד, אירועי

גיא רגב טען בפוסט שהטרמינולוגיה במושג CNN מטעה שכן אין פעולת קונבולוציה אלא פעולה של קורלציה צולבת. הוא גם טען שלו היו משתמשים בקונבולוציה במקום בקורלציה צולבת בספריות אז ה-CNN לא היה עובד. אז יש לי כמה דברים לומר על כך. Guy Regev on CNN גיא כמובן צודק שבפייטורץ ובטנזורפלו פונקציות כמו Conv2D מממשות פעולה של קורלציה צולבת, ולא קונבולוציה. אין שם שום היפוך של הפילטר. אבל אינני מסכים עם גיא לגבי שהרשת לא תעבוד... ב-CNN, המספרים בתוך הפילטר, המשקולות, אינם קבועים מראש, להבדיל מ

הסיבה המרכזית שרוטציה אקראית ובפרט טרנספורמציית הדמר רנדומלית מאפסת שונות משותפת היא פיזור האנרגיה והפיכת הקואורדינטות לבלתי מתואמות דרך שילוב של היפוכי סימן וממוצעים משוקללים. ביטול ממוצע הצימודים המטריצה האלכסונית D מכילה ערכי 1 ו-(1-) בהסתברות שווה. כשמכפילים את x ב-D, מקבלים וקטור חדש שבו כל איבר שומר על ערכו המוחלט אבל הסימן שלו הופך לאקראי. זה מבטיח שהתוחלת של כל מכפלה בין שני איברים שונים (xi * xj) תהיה אפס. ערבוב ליניארי אחיד מטריצת הדמר H לוקחת את האיברים הרנדומליים

קיבלתי מיובל סיני עוד המלצה על ספר והפעם Unrestricted Warfare. פרסומו של הספר בשנת 1999, פרי עטם של שני קצינים בכירים בחיל האוויר של צבא השחרור העממי הסיני, הקולונלים צ'יאו ליאנג וואנג שיאנגסוי, היווה נקודת ציון משמעותית בהתפתחות החשיבה האסטרטגית המודרנית. הספר נכתב על רקע הזעזוע העמוק שחווה הממסד הצבאי הסיני לנוכח התצוגה המוחצת של עליונות טכנולוגית ודוקטרינרית אמריקאית במהלך מלחמת המפרץ הראשונה ב-1991, כמו גם ההתערבות ביוגוסלביה ומשבר מיצרי טייוואן ב-1996. אירועים אלו המחישו

רועי בן חורין Roy Ben-Horin כתב מאמר שקראתי וסקרן אותי מאוד. המאמר מציג מעבר פרדיגמטי בחקר מודיעין ממקורות גלויים, OSINT, משיטות חיפוש שמבוססות על מילות מפתח לניתוח סמנטי מבוסס הקשר וקרבה רעיונית. רועי מדגים זאת באמצעות ניתוח של כחצי טרה-בייט מנתוני טלגרם איראניים במערכת של חברת KEOTIC. המסקנה המרכזית היא שחיפוש סמנטי עוקף מגבלות של חסמי שפה, שינוי תדיר של תגיות מחאה ועיוורון הקשרי. מבחינה מודיעינית, המערכת הציפה קשר ישיר ובלתי מתוכנן בין עוני באיראן לבין מחאת הנשים, תוך זי

ארז מטולה כתב " מישהו בנה כלי שמוריד את כל מנגנוני הבטיחות מכל מודל AI. זה לוקח 45 דקות. זה בחינם. וזה יושב על GitHub לכל העולם. " (הפוסט מקושר בסוף הפוסט שלי). מה עושה Heretic, או לפחות מה מתיימר לעשות? זה עושה בדיוק מה ש- Erez Metula כתב בפוסט שלו שהפוסט שלי רוכב עליו. מסיר מנגנוני בטיחות ממודלים. הכלי מבוסס על פריצות דרך מוכחות מתחום שנקרא Mechanistic Interpretability ומתחום הנדסת ייצוגים. אסביר איך וגם למה זה עובד. מודלי שפה מעבדים טקסט במרחב וקטורי רב-ממדי הנקרא Residua

הנה ניסיון להסביר את אופן הפעולה של TurboQuant מנקודת מבט של תורת האינפורמציה. מה עושה האלגוריתם? האלגוריתם מקודד ווקטורים אוקלידיים. תורת האינפורמציה של שאנון מגדירה חסם תחתון לשגיאת שחזור, MSE, שניתנת להשגה בתקציב נתון של b ביטים.עבור וקטור מנורמל, חסם ה-MSE התיאורטי הוא 1/4ᵇ וחסם המכפלה הפנימית הוא ||y||² / (d * 4ᵇ) האלגוריתם משיג עיוות שנמצא במרחק פקטור קבוע של כ-2.7 מהחסם התיאורטי של שאנון. איך האלגוריתם עושה את זה? איך הוא עובד? האלגוריתם מחלק את תקציב הביטים לשני שלבים

4 hours ago • Visible to anyone on or off LinkedIn אני כרגיל אוהב גם לדבר על הביקורות ולא רק על היתרונות. הפרסום של TurboQuant עורר הדים רבים, אך גם משך ביקורות נוקבות, במיוחד מצד סוקרים אקדמיים ומחברי מאמרים מתחרים. ביקורת עמיתים חשובה. אנסה לסכם ולהסביר את עיקרי הביקורת על ההנמקה המתמטית והמסקנות שבפרסום של גוגל. א. אחת הטענות המרכזיות של המחברים הייתה שהרוטציה האקראית הופכת את הקואורדינטות בממדים גבוהים לכמעט בלתי תלויות, וזה מה שמאפשר להשתמש בקוונטיזציה סקלרית על כל קואור

הנה ניסיון שלי להסביר את TurboQuant של גוגל קצר ולעניין: את ה-מה, את ה-איך, את ה-למה זה עובד ואת התוצאה שמקבלים. ותודה רבה ל- Guy Regev על ההסברים מאירי העיניים שלו. אינני טוען שזה בהכרח ממצה או ברור. יש לי כוונה לחפור על המתמטיקה של זה בפוסטים הבאים. מה האלגוריתם עושה? טורבו קוואנט הוא אלגוריתם לדחיסת נתונים וקטוריים במרחבים מרובי ממדים. מטרתו היא להקטין את צריכת הזיכרון הנדרשת לפעולת מודלי שפה או מנועי חיפוש, תוך שמירה על רמת שחזור נתונים גבוהה. הוא מאפשר לכווץ נתונים ליחס

מאז שיצאו פרסומי יחסי הציבור של גוגל על TurboQuant הרשת רועשת וגועשת. המאמר TurboQuant: Redefining AI efficiency with extreme compression מציג שיטת קוונטיזציה שמאפשרת להריץ מודלי שפה ענקיים על חומרה פשוטה וזולה משמעותית ממה שנדרש כיום. בעוד שבפרסום של גוגל אפשר להבין מה זה עושה ולמה זה חשוב לנו אז גם אפשר קצת להבין למה זה עובד. אבל יש כמה קפיצות רציניות מאוד בהבנה. סוף סוף קראתי משהו שעזר לי קצת לסדר את הראש וזה פוסט של גיא רגב Guy Regev עשה מה שרבים נמנעים מלעשות וזה להתע

דורון גיאת Doron Giat Music בקבוצת הוואטסאפ שלו סיפר על ההופעה בקלן של קית' ג'ארט מינואר 1975. הפסנתר היה עם חלקים לא תקינים ובעייתי. במקום פסנתר הופעות היה שם פסנתר חזרות חבוט עם צליל חלש ברגיסטרים הנמוכים וצליל דק בעליונים. לצד הסיפור האנושי המעניין עם המפיקה בת ה 17, ורה, יש גם היבטים מתמטיים מעניינים במוסיקה עצמה שהיתה אלתור כנראה בעיקר לאור מצב הפסנתר. ג'ארט ביסס פרקים ארוכים בקונצרט על וואמפים, תבניות הרמוניות קצרות וקבועות, למשל, סביב אקורדים כמו לה מינור או סול מז'ו

אנחנו רגילים למשוואות וכשיודעים לפתור מסתדרים וחשים בנוח גם לתיאור ולניסוח וגם כדי לפתור. אבל המציאות? המציאות מלאה ברעשים, שגיאות וגבולות פיזיקליים. לפעמים אין שווה בדיוק, יש חסמים עליונים ויש חסמים תחתונים וכאן נכנסים לתמונה אי-השוויונות. הנה הרשימה שלי של עשרת אי-השוויונות שכל מהנדס, פיזיקאי ומדען נתונים חייב להכיר. אין בהכרח דירוג ואני אינני בטוח שלא עשיתי עוול לאי-שיוויונות חשובים ושימושיים אחרים. נתחיל בחמישה מתוך העשרה: אי-שוויון קושי-שוורץ הוא אחד המשפטים היסודיים וה

עידן קפטן Idan Kepten כתב פוסט על מאמר שלו Price’s Law Says Your 400-Person R&D Team Could Be 20 People במדיום. המאמר מציג תזה אגרסיבית שלפיה השילוב בין מודלים מתמטיים היסטוריים של התפלגות פריון, המוכרים בשם חוק פרייס, לבין ההתפתחות המואצת של כלי עזר מבוססי בינה מלאכותית לפיתוח תוכנה, עתיד לשנות לחלוטין את המבנה הארגוני של חברות טכנולוגיה. על פי התזה, ארגונים יוכלו, ואף ייאלצו, לצמצם את גודל צוותי הפיתוח שלהם בעשרות אחוזים, תוך הישענות על קומץ מהנדסי עילית שימונפו באמצעות ב

אפקט הדומינו בשרשרת האספקה: מה קורה כשכלי האבטחה הופכים לנשק של התוקפים? אז רבים וטובים ומבינים ממני כבר כתבו על האירוע עם Trivy. הנה פה אני מקדם פרסום של מיטיגה שראיתי דרך אריאל סירוטה Ariel Pablo Sirota . קמפיין התקיפה האחרון של קבוצת TeamPCP טלטל החודש את קהילת הפיתוח העולמית, וסיפק הצצה מדאיגה לאופן שבו חולשות קטנות באוטומציה מתורגמות לאסון רב-מערכתי. מאמר מחקר חדש, The Domino Effect, מנתח כיצד תצורה שגויה בסורק Trivy הפכה בתוך ימים לפגיעה ב-npm, סביבות Checkmarx וחביל

כדי להבין אם פרוטוקול MPC, פרוטוקול רב משתתפים מאובטח, הוא באמת מאובטח, אנחנו צריכים קודם כל להגדיר מה זה אומר מאובטח. הדרך המקובלת בקריפטוגרפיה לעשות זאת היא באמצעות השוואה בין שני מצבים: העולם האידיאלי והעולם האמיתי. כדי להגדיר שפרוטוקול הוא מאובטח, אנחנו לא יכולים פשוט להגיד תאמינו לי, אי אפשר לפרוץ את זה, כי תמיד יכול להיות שתוקף חכם ימצא דרך שעדיין לא חשבנו עליה. במקום זאת, אנחנו משתמשים בתבנית ההדמיה, או סימולציה, שמשווה בין שני העולמות. בקריפטוגרפיה כשמדברים על שני צדד

חישוב רב-משתתפים בטוח, Secure Multi-Party Computation - SMPC, הוא תחום בקריפטוגרפיה יישומית שמאפשר למספר צדדים לחשב במשותף פונקציה על קלטים פרטיים ומבטיח שאף צד לא ייחשף לקלט של משתתף אחר, מעבר למה שניתן להסיק מהתוצאה הסופית. SMPC מודרני מבוסס על שלוש משפחות עיקריות: הראשונה, שיתוף סוד, Secret Sharing - SS, הקלטים מפורקים לחלקים אקראיים מבחינה סטטיסטית, כאשר כל חלק נשלח למשתתף שונה. אף חלק לבדו, או קבוצה של חלקים קטנה מסף מסוים, אינה חושפת מידע על הקלט המקורי. החישוב מתבצע יש

בעיית המיליונרים, שהוצגה בשנת 1982 על ידי אנדרו יאו, היא אבן דרך שהניחה את היסודות לחישוב רב-משתתפים בטוח. הבעיה מתארת שני מיליונרים, אליס ובוב, שרוצים לדעת למי יש יותר כסף מבלי לחשוף את ההון המדויק שלהם. הפתרון הקלאסי מבוסס על הצפנה אסימטרית. זאת אינה הדרך היעילה ביותר לפתור את הבעיה אבל היא מראה שאפשר ויחסית לא קשה לעקוב, בוודאי אם מבינים מושגי יסוד באריתמטיקה מודולרית וגם איך עובדת הצפנה לא-סימטרית כמו RSA. לצורך הפתרון, נניח שההון של אליס הוא i מיליונים ושל בוב הוא j מילי

שיחה מרתקת בין דורון גיאת לבין אייל עמיר Eyal Amir . הנה תובנות שלי מהשיחה ומחשבות שלי לגביהן. זה בקצרה, החפירה בפוסט בפייסבוק... בינה מלאכותית יודעת לייצר תוצאה שמחקה סאונד או טקסט, אך אין לה תהליך, כוונות או בחירות אנושיות. אני מצד אחד רוצה להסכים אבל המתמטיקאי שבי מתנגד: מזווית של חקר נתונים ולמידת מכונה, גם כוונה אנושית ורגש במוזיקה הם לרוב תוצר של תבניות שהמוח האנושי מזהה ומגיב אליהן. חוויית ההאזנה והחיבור לשיר אינם תלויים באיכות קובץ הסאונד או בהקלטה המקורית. הטיעון ש

כמה כתבתי על Louvain למציאת קהילות בגרפים... גם על המגרעות שלו. אז עכשיו למחליף האופנתי, Leiden. גילוי הכשל המובנה של הקהילות המנותקות עודד קבוצת חוקרים מהולנד, טרג, וולטמן וואן-אק, לפתח אלטרנטיבה מחייבת ואמינה יותר. אלגוריתם זה מבוסס על שלדת Louvain אך מביא עמו שיפורים מתמטיים ומבניים משמעותיים שהופכים אותו לסטנדרט התעשייתי החדש בספריות מובילות לניתוח נתונים וביואינפורמטיקה. שינוי הפרדיגמה שמציע Leiden טמון בהוספת שלב באמצע התהליך, שמכונה שלב הזיקוק. ב-Leiden, לאחר ששלב האופ

כתבתי כמה פוסטים על אלגוריתם Louvain. הגיעה העת לדון במגרעותיו. בשנת 2007 פרסמו החוקרים סנטו פורטונטו ומארק ברטלמי בכתב העת היוקרתי PNAS מחקר שמכה גלים עד היום, בו הם הוכיחו מתמטית שמדד המודולריות סובל מפגם מבני חמור שנקרא מגבלת הרזולוציה. הבעיה גורסת כי בהינתן רשת גדולה מספיק, אלגוריתמים שממקסמים מודולריות, לא רק Louviain אבל כמובן גם הוא, יכשלו באופן שיטתי ומוחלט בזיהוי קהילות קטנות ואמיתיות, ויאחדו אותן לקהילות-על מלאכותיות שמספקות מצג שווא על אודות המבנה הטופולוגי של המער