הדרך הכי קלה להסביר זיכרון בעוזרת AI היא גם הדרך הכי גרועה:
״היא זוכרת הכל.״
זה נשמע מרשים, עד שמנסים לעבוד עם זה באמת. עוזרת אישית שזוכרת הכל, אבל לא יודעת מה רלוונטי, הופכת למגירת ג׳אנק עם ביטחון עצמי.
נלה נבנית סביב רעיון אחר: מספיק קונטקסט כדי לעזור, לא כל כך הרבה קונטקסט שכל תשובה נהיית כבדה ומזוהמת.
בעוזרת AI אישית, זיכרון הוא לא אחסון. זיכרון הוא שיפוט.
לפני כמה חודשים, הזיכרון של נלה נבדק בבנצ׳מרק הרשמי LOCOMO מול המתחרה המוביל באותו ריצה. התוצאה הייתה חזקה: נלה קיבלה 76.5% בסך הכול, לעומת 64.5% ל־Mem0.
זה פער של 12 נקודות. בפועל, נלה ענתה נכון על 48 שאלות יותר מתוך 400.
התוצאה בבנצ׳מרק
הסנאפשוט השווה בין נלה ל־Mem0 על פני 400 שאלות. נלה הובילה בסך הכול עם 306 / 400 תשובות נכונות. Mem0 ענה נכון על 258 / 400.
הפער הכי חזק לא היה בקטגוריה כללית של “ה־AI חכם”. הוא היה בדיוק במקום שבו עוזרת אמיתית צריכה להיות שימושית: להבין מתי דברים קרו ולחבר מידע מהשיחה הנכונה.
| קטגוריה | נלה | Mem0 | תוצאה |
|---|---|---|---|
| Temporal | 91.2% | 63.5% | נלה +27.7 |
| Open-Domain | 100% | 71.4% | נלה +28.6 |
| Multi-Hop | 73.2% | 76.8% | Mem0 +3.6 |
| Single-Hop | 59.6% | 60.9% | כמעט תיקו |
למה זיכרון זמני חשוב
עוזרת אישית חיה בתוך זמן.
היא צריכה להבין מה קרה לאחרונה, מה הוחלט קודם, מה שייך לפרויקט הנוכחי ומה עדיף להשאיר בשקט כי הוא כבר לא רלוונטי.
זה לא דיון אקדמי. זה ההבדל בין עוזרת שעוזרת לך להמשיך, לבין עוזרת שמכריחה אותך להסביר לה את החיים שלך מחדש.
בשאלות Temporal נלה קיבלה 91.2%. בתמונת הבנצ׳מרק מופיע גם שזה מעל Zep Published עם 79.8%.
וזה חשוב כי עבודה אמיתית כמעט אף פעם לא מגיעה כפרומפט נקי אחד. היא מפוזרת בין משימות, הערות, שיחות, לקוחות, החלטות, דחיפות ודברים שהתכוונת לעשות אתמול.
קונטקסט רלוונטי מנצח ניפוח קונטקסט
מרוץ ה־AI הנוכחי מתייחס הרבה פעמים לקונטקסט כמו לתחרות אחסון.
חלון גדול יותר. יותר היסטוריה. יותר קבצים. יותר זיכרון. יותר הכול.
אבל יותר קונטקסט הוא לא בהכרח קונטקסט טוב יותר.
אם העוזרת מביאה פרט ישן ולא נכון לתשובה חדשה, היא נהיית גרועה יותר — רק עם יותר ביטחון. אם היא שואלת שוב משהו שהיא הייתה אמורה לדעת, היא מרגישה טיפשה. ואם היא גוררת כל זיכרון לכל תשובה, המשתמש משלם ברעש, איטיות והנחות שגויות.
ניפוח קונטקסט
העוזרת מנסה לסחוב יותר מדי בבת אחת. התשובות נהיות כבדות יותר, איטיות יותר וקל יותר לזהם אותן במידע ישן.
קונטקסט נקי
העוזרת עובדת מהחיתוך הנכון: המשימה הנוכחית, הפעילות האחרונה, עובדות יציבות ומה שבאמת חשוב עכשיו.
מה זה אומר על נלה
נלה לא נבנית כוויטרינת זיכרון.
המטרה היא לא להתגאות בזה שהעוזרת יכולה לאחסן ערימת עובדות. המטרה היא להפוך עבודה יומיומית לפחות חוזרת על עצמה.
עוזרת AI אישית טובה צריכה לצמצם שאלות כמו:
- על איזה לקוח או פרויקט אנחנו מדברים?
- לא כבר הסברתי את זה?
- מה הייתה ההחלטה האחרונה?
- זה עדיין רלוונטי?
- זה צריך להפוך למשימה, הערה, פולואפ או העברה לסוכן AI?
זה הערך המוצרי של זיכרון. לא “המודל ראה יותר טקסט”. המשתמש צריך להרגיש שנלה מבינה את הצורה של העבודה.
הפער שעדיין חשוב
הבנצ׳מרק לא היה מושלם בכל קטגוריה. ב־Multi-Hop, Mem0 הוביל על נלה ב־3.6 נקודות.
זה סיגנל שימושי, לא משהו להסתיר.
זיכרון Multi-Hop קשה כי הוא דורש לחבר כמה פריטי מידע לאורך שרשרת ארוכה יותר. במוצר כמו נלה זה חשוב. מייסד יכול להזכיר לקוח בשיחה אחת, דדליין בשיחה אחרת והחלטה שלושה ימים אחרי. עוזרת אמיתית צריכה בסוף לחבר את זה — בלי להיות קריפית, רועשת או בטוחה מדי.
לכן התוצאה מעודדת, אבל היא לא קו סיום.
הלקח המוצרי
זיכרון AI טוב הוא לרוב בלתי נראה.
הוא מופיע כשהעוזרת לא מבקשת ממך לחזור על משהו ברור. הוא מופיע כשהיא זוכרת את הדבר הנכון בלי לגרור עשרה דברים לא נכונים. הוא מופיע כשהיא יכולה להמשיך מהמצב הנוכחי במקום להתייחס לכל הודעה כמו פגישה חדשה.
זה הרף של נלה.
אפליקציות TODO זוכרות עבודה. נלה נבנית כדי להבין את העבודה מספיק טוב בשביל לעזור להזיז אותה.
תוצאת הבנצ׳מרק היא סיגנל חזק שהכיוון אמיתי. אבל המסקנה הציבורית פשוטה:
עוזרת AI אישית לא צריכה אינסוף קונטקסט כדי להיות שימושית. היא צריכה את הקונטקסט הנכון, ברגע הנכון, עם מספיק שיפוט כדי להשאיר את השאר בחוץ.
תשובות קצרות
מה היה הציון של נלה ב־LOCOMO?
נלה קיבלה 76.5% בסך הכול: 306 תשובות נכונות מתוך 400.
נלה עקפה את Mem0?
בסנאפשוט המדוד הזה, כן. נלה קיבלה 76.5% לעומת 64.5% ל־Mem0 — פער של 12 נקודות.
מה הלקח המוצרי מהבנצ׳מרק?
קונטקסט רלוונטי חשוב יותר מלדחוף עוד ועוד קונטקסט לכל תשובה. עוזרת AI שימושית צריכה לזכור את מה שחשוב עכשיו ולהשאיר את השאר בשקט.
הכיוון: נלה נבנית כעוזרת AI אישית שמאזנת בין זיכרון, משימות, קונטקסט והעברת עבודה לסוכנים — בלי להפוך את המשתמש לבייביסיטר של כל פרט. עוד הערות בנייה.