מה לקחת בחשבון לפני שמיישמים RAG?

בשבוע האחרון של חודש מרץ 2026 יצחק גולדסטנד העביר ובינר עם השם הפרובוקטיבי "Build a RAG One More #%^*ing Time: From Sandbox to Real-World Production". יצחק, מוביל טכנולוגי בחברת קלאודקס, שעוסקת בפיתוח מערכות מידע ומעבר מסביבת ניסוי לסביבת ייצור. יצחק גם חבר טוב וטכנולוג מצויין. ההרצאה מתמקדת בארכיטקטורה שמשלבת שליפת מידע ויצירת תוכן, ומסבירה כיצד טכנולוגיה זו מאפשרת למודלי שפה לחפש מידע עדכני במאגרי נתונים פנימיים כדי לענות על שאלות של משתמשים.

אני רוצה לספר על מה מדובר, מה התובנות והלקחים וגם להוציא נושאים לדיון או ללימוד שניקח בחשבון אם שוקלים ליישם RAG באופן כזה או אחר.

התקציר

בסרטון יצחק מציג את הפער שקיים בין בניית אב טיפוס לבין תפעול מערכת בארגון. הוא מפרט שורה של אתגרים טכניים ותפעוליים שכוללים חיבור למקורות מידע שונים, ניהול הרשאות גישה ברמת מסמך, עדכון שוטף של אינדקס כאשר מסמכים משתנים או נמחקים, וטיפול בהמצאת מידע שנובעת מסינון מאוחר של תוצאות חיפוש.

כפתרון לקשיים אלו, מציע יצחק לעבור לשימוש בשירותים מנוהלים שחברות הענן מציעות, במקום לפתח את המערכות מאפס. הוא מתמקד בשירות החיפוש של גוגל ומסביר כיצד מערכות מנוהלות מטפלות באופן אוטומטי בחיבור לנתונים, בסנכרון שינויים, ובסינון מוקדם של הרשאות גישה בשלב החיפוש במסד הנתונים. בנוסף מוסבר כיצד שימוש בתשתית מנוהלת מוזיל הוצאות ומפחית את הצורך בצוותי פיתוח ותחזוקה ייעודיים.

לקראת סוף הסרטון מתקיים ניסיון להציג הדגמה חיה של המערכת, שבה יצחק מנסה להראות כיצד סוכן עונה על שאלות מתוך קובץ של הוראות הפעלה של מדיח כלים ומתוך יומן פגישות אישי. כמו כן, ההרצאה כוללת מענה לשאלות של צופים בנושאים טכניים שונים כמו גדלי יחידות טקסט במסמכים ושיטות לבדיקת הרשאות במערכת.

מה האתגרים שמוצגים?

יצחק מעלה מספר אתגרים טכניים ותפעוליים בפיתוח מערכות מידע.

אחד האתגרים נוגע לאבטחת מידע והרשאות גישה. במערכות שבהן הרשאותאינן מוגדרות כראוי, משתמשים עלולים להיחשף למידע שאין להם הרשאה לראות. יצחק מדגים זאת בעזרת עובד חדש שחיפש מידע על הבונוס שלו וקיבל את נתוני הבונוסים של שאר העובדים. כדי לפתור זאת יש לסנכרן זהויות מול מערכות הארגון ולנהל הרשאות ברמת המסמך.

אתגר נוסף הוא סנכרון נתונים ומסמכים שנמחקו. כאשר מסמך נמחק ממקור המידע, יש לוודא שהמערכת מעדכנת את האינדקס בהתאם. יצחק מתאר מקרה שבו מנהלת קיבלה החלטה שגויה על סמך מידע ממסמך שמחק צוות האנליסטים, מכיוון ששרידי המסמך נשארו בזיכרון המערכת. מפתחים נדרשים לנטר שינויים ומחיקות כדי למנוע הצגת מידע שאינו רלוונטי.

בנושא סינון התוצאות, יצחק מסביר שסינון המידע לאחר השליפה מהאינדקס גורם לבעיות. כאשר המערכת מסננת תוצאות שאין למשתמש הרשאה אליהן רק לאחר השליפה, מודל השפה עלול להישאר ללא מידע נדרש. במצב כזה, מכיוון שמודל השפה פועל על בסיס הסתברויות, הוא נוטה להשלים פערים ולהמציא תשובות גם כשההסתברות שלהן מקיימת p > 0, מה שמוביל להזיות.

חיבור המערכת למקורות מידע דורש צוותי פיתוח שיבנו ממשקים שמותאמים למערכות שונות. בנוסף, יש לפרק מסמכים ארוכים ליחידות טקסט קטנות כדי לאפשר חיפוש יעיל. המערכת צריכה גם להתמודד עם שילובי טקסט ותמונות שדורשים תהליכי עיבוד. מגבלה נוספת היא חלון ההקשר של מודל השפה, שאינו מאפשר להזין כמות גדולה של מידע, ולכן נדרש לשלוף רק את המסמכים שמתאימים לשאילתה.

תחזוקת המערכת דורשת משאבים תפעוליים. כל שינוי באלגוריתם או בשיטת הפירוק מצריך בנייה מחדש של האינדקס לכלל הנתונים, תהליך שדורש כוח מחשוב כפול הכולל שרת שפועל ושרת גיבוי. כמו כן, נדרשים צוותים שיתחזקו את השרתים, יבצעו גיבויים ויוודאו עמידה בעומסים.

לבסוף, איכות הנתונים שמוזנים למערכת משפיעה על התוצאות. אם המידע שמוזן למערכת אינו תקין, מודל השפה ישתמש בו ויפיק תשובות שגויות.

https://youtu.be/cVWUMglSPtU?si=WukmNg70XsG404eC

מה לקחת בחשבון לפני שמיישמים RAG?

אתם צריכים יעוץ ועזרה לגבי מערכת AI שלכם? RAG? אלגוריתמים, מבני נתונים ומסדי נתונים? אולי מחקר אלגוריתמי יישומי זה מה שאתם צריכים? אולי שיפורים ואופטימיזציה של תהליך אחד או יותר אצלכם?

אנחנו ב- Mathematic.ai מומחים גם בנושאים הללו. דברו איתי: שלמה יונה

מייסד ומדען ראשי, מתמטיקאי מחקר ופיתוח בע"מ

053-7326360

shlomo.yona@mathematic.ai 

https://mathematic.ai

פודקאסט על החברה ועליי, שלמה יונה, ואופן העבודה שלנו ואיתנו: A technical deep dive about