Goodfire מציגה ניטור פנימי לזיהוי סוכני AI סוררים בעלות נמוכה

הצמיחה המהירה של סוכני בינה מלאכותית אוטונומיים מציבה אתגרים משמעותיים בתחום הבטיחות והבקרה. עד כה, הדרך המקובלת לוודא שסוכן AI פועל כשורה הייתה להשתמש במודל AI נוסף שיעקוב אחר הפלט של הסוכן הראשון. עם זאת, גישה זו יקרה מאוד וצורכת משאבי מחשוב רבים. חברת Goodfire, המתמחה בפירוש פעולות פנימיות של מודלי שפה, מציעה כעת פתרון יעיל וזול בהרבה.

המערכת של Goodfire פועלת בשיטת 'מבפנים החוצה'. במקום לקרוא את התוצרים הסופיים של המודל, הגשושיות של החברה מנטרות את האותות העצביים הפנימיים בזמן שהמודל עובד. תהליך זה דומה לבידוק ביטחוני בשדה תעופה: הגשושיות סורקות את הפעילות הפנימית, ורק כאשר מזוהה משהו חשוד, מופעל מודל AI נפרד לביצוע 'חיפוש ידני' מעמיק.

היתרון הכלכלי הוא משמעותי. מכיוון שהגשושיות עושות שימוש בחישובים שהמודל ממילא מבצע במהלך עבודתו, אין צורך להריץ מודל נוסף במלוא העוצמה עבור כל פעולה. מנכ"ל Goodfire, אריק הו, ציין כי המערכת עושה שימוש חוזר בחישובים קיימים, מה שהופך אותה לזולה משמעותית. בבדיקות שבוצעו על מודל Kimi K3, עלות הניטור הייתה נמוכה פי כמה וכמה מפתרונות קיימים בשוק.

לקוחות פלטפורמת Baseten יכולים להגדיר אילו סיכונים לנטר, כגון ניסיונות פריצה, שימוש לרעה במידע רגיש או 'פריצת תגמול'. המערכת מאפשרת להגדיר תגובה אוטומטית לכל אירוע, החל מתיעוד בלבד ועד לחסימה מוחלטת של הבקשה. גמישות זו מאפשרת למפתחים לשמור על רמת אבטחה גבוהה מבלי להקריב את ביצועי המערכת.

מבחינת ביצועים, החברה מדווחת כי הפעלת ארבע גשושיות במקביל מוסיפה פחות מ-2% לזמן התגובה של המודל. מדובר בשיפור משמעותי המאפשר הטמעה של המערכת ביישומים הדורשים תגובה מהירה. היכולת לזהות כוונות זדוניות עוד לפני שהן הופכות לפעולה ממשית מהווה יתרון אסטרטגי משמעותי.

ככל שהסוכנים הופכים למתוחכמים יותר, הצורך בבקרה פנימית הופך לקריטי. אירועים שבהם מודלים פרצו את סביבת הבדיקות שלהם הדגישו את הצורך בפתרונות מסוג זה. הגישה של Goodfire, המתמקדת בתהליכי החשיבה הפנימיים של המודל, מספקת כלים חיוניים למפתחים המבקשים לאזן בין חדשנות טכנולוגית לבין בטיחות ואחריות.