פתרון מגבלות חלון ההקשר בשאילתות גלובליות באמצעות גיזום היררכי וניווט דינמי

אחת הבעיות הנפוצות ביישום מערכות אחזור מידע מבוססות גרף, שחוזרת על עצמה שוב ושוב בארגונים רבים שמנסים ליישם גרף ידע למערכת ה-AI שלהם בארגון, היא הקושי בביצוע שאילתות גלובליות רחבות שמוביל במקרים רבים לחריגה ממגבלות חלון ההקשר ולפגיעה משמעותית בביצועי המערכת. בפוסט הזה, שממשיך סדרה של פוסטים על בעיות נפוצות ופתרונות בית הספר עבורן, נדון בפתרון המקובל לטיפול באתגר זה שמתמקד במעבר מהנדסי מסיכום סטטי ורקורסיבי לשיטות של ניווט דינמי וגיזום היררכי. הצגת המתודולוגיה נועדה לספק מענה הנדסי מובנה שמאפשר שליפה מדויקת וחסכונית במשאבים שמתאימה לדרישות התפעוליות של סביבות אנטרפרייז.

ארכיטקטורות מבוססות גרף נבדלות ממערכות אחזור מסורתיות שנועדו לאחזר עובדות נקודתיות ביכולתן לבצע הערכת מצב רחבה על פני כלל המידע הארגוני. ארכיטקטורת Map-Reduce כשלה בטיפול בשאילתות גלובליות על גבי מסדי נתונים גרפיים. בשלב הקידוד המערכת נעזרת באלגוריתמים לזיהוי קהילות כדי לארגן צמתים במבנה היררכי ומייצרת סיכום טקסטואלי לכל קהילה. כאשר מופעלת שאילתה המערכת שולפת את הסיכומים ומזינה אותם לחלון ההקשר של מודל המסכם. הזנת נפח גדול של סיכומים חושפת את מגבלות הקיבולת של חלון ההקשר וגורמת לתופעת Lost in the Middle שפוגעת בדיוק השליפה של פרטים שנמצאים באמצע הרצף. נוסף על כך צריכת טוקנים מופרזת וזמן שיהוי גבוה פוסלים גישה זו ליישומים שדורשים Time to First Token קצר.

המעבר לשיטת ניווט דינמית ושימוש בטכניקת HyDE מייצג אבולוציה שפותרת מגבלות אלו.

בשלב הראשון מתבצעת הרחבת שאילתה לייצוג וקטורי היפותטי שמשפרת את הדיוק הסמנטי ומאפשרת התמודדות עם שאלות מופשטות שאינן מכילות מילות מפתח מפורשות שקיימות בגרף.

בשלב השני המערכת ניגשת לשכבת Root Communities ומפעילה מודל ניתוב שמנקד את הרלוונטיות של כל קהילה. קהילות שמקבלות ציון שנמוך מסף מסוים נגזמות ממרחב החיפוש יחד עם תתי הקהילות שלהן. עם זאת הסתמכות על מודל ניתוב בשלב הגיזום יוצרת נקודת כשל בודדת משום שטעות סיווג בשכבה העליונה מובילה לחסימה מוחלטת של הגישה למידע רלוונטי שנמצא בתתי הקהילות. עבור הקהילות שצלחו את הסינון מתבצעת צלילה רקורסיבית מונחית עד להגעה לפרטים ספציפיים ולבניית אוסף נתונים שמועבר למודל שמפיק את התשובה.

ביישום מערכות אלו על תשתיות ארגוניות נדרשות פרקטיקות הנדסיות לניהול VRAM ולשיפור Throughput. חיוני לבצע Model Tiering ולא להשתמש במודל השפה המרכזי עבור שלבי הדירוג והגיזום. הפרדת משאבים בין מודל יוצר לבין מודל ניתוב מאפשרת סקיילביליות מבלי להעמיס על המודל היקר ולכן יש ליישם אינטגרציה למודלים מסוג Small Language Models או לאמן מודל Cross-Encoder שירוץ בזיכרון באופן קבוע. כמו כן שמירת Metadata היררכי במסד הנתונים הווקטורי היא תנאי הכרחי משום שסכמה זו מאפשרת לקוד השליפה לבצע שאילתות וקטוריות אסינכרוניות שמקצרות את זמן העיבוד הכולל עוד לפני שמודל השפה מנתח את ההקשר.

האתגר של אובדן מידע מדורג נותר בעיה פתוחה בארכיטקטורות גיזום שכן כיול סף סטטי אינו נותן מענה מספק למבני נתונים שמשתנים דינמית. קהילה עליונה שנוסחה באופן עמום ושנגזמת חוסמת את המסלול לאיתור פרט עובדתי ומסכנת את התהליך. ללא מנגנון אימות המערכת עלולה לספק תשובות חלקיות מבלי שמשתמש יהיה מודע לכך שמידע חיוני סונן. הפתרון ההנדסי לאתגר זה דורש שילוב של ניקוד הסתברותי או מנגנון Backtracking שמאפשר למערכת לחזור לרמת היררכיה גבוהה יותר אם לא נמצא מידע מספק בצמתים שנבחרו ובכך מונע שגיאות קריטיות בשלבי הסינון המוקדמים.

פתרון מגבלות חלון ההקשר בשאילתות גלובליות באמצעות גיזום היררכי וניווט דינמי

צריכים עזרה עם AI/GenAI/AgenticAI/AI Platform ועם מעבר מהוכחת יכולת לעבודה בסקייל מלא באנטרפרייז? 

זקוקים לשותף טכנולוגי עתיר ניסיון שיודע לספק שירותי מחקר ופיתוח Hands-on, מארגוני אנטרפרייז ועד סטארט-אפים, על מנת להוציא חזון אלגוריתמי שלכם מהכוח אל הפועל? 

רוצים מחקר אלגוריתמי יישומי?  

הבה נדבר!

שלמה יונה,

מייסד ומדען ראשי, 

מתמטיקאי מחקר ופיתוח בע"מ

053-7326360

shlomo.yona@mathematic.ai

https://mathematic.ai

פודקאסט על החברה ועליי, שלמה יונה, ואופן העבודה שלנו ואיתנו:

A technical deep dive about Mathematic.ai