סמנכ"לית המדיניות של האגינג פייס מזהירה מאתגרי הערכת בינה מלאכותית

תעשיית הבינה המלאכותית נשענת במידה רבה על מבחני ביצועים והערכות כמותיות כדי לתקף טענות בדבר יכולות טכנולוגיות מתקדמות ועמידה בתקני בטיחות. חברות הפיתוח המובילות נוהגות לפרסם מדדי הערכה כדי להוכיח עליונות מול המתחרים ולספק מענה לחששות רגולטוריים. עם זאת, במהלך פאנל מקצועי בכנס TechCrunch Disrupt, מנהלת המדיניות הראשית של Hugging Face, איירין סוליימן, העלתה ספקות משמעותיים לגבי הבשלות והאמינות של מבחנים אלה. היא ציינה כי מתודולוגיות המדידה הנוכחיות הן עדיין תחום בהתהוות, וחסרות את ההסטנדרטיזציה הנדרשת כדי לשמש כבסיס מקצועי יציב.

רמת האמון שניתן לראות במדדי הערכה קשורה באופן ישיר ליכולת של חוקרים עצמאיים לשחזר את התוצאות שהופצו. סוליימן הבהירה כי סוגיית השחזוריות נותרה אחד המכשולים המרכזיים בתחום, בייחוד כאשר מפתחים שומרים על קוד סגור ומונעים גישה חופשית למשקלי המודל. מודלים בעלי משקלים פתוחים מעניקים יתרון משמעותי בהקשר זה, שכן הם מאפשרים לגורמי ביקורת חיצוניים לבחון את המודלים בדרגת שקיפות גבוהה. ללא גישה כזו, הערכות חיצוניות נסמכות על ממשקי API סגורים, דבר שמקשה להבחין בין שיפור ארכיטקטוני לבין שינויים לא מוצהרים במערכת.

בתגובה לאירועי בטיחות וחששות ציבוריים, חלק מענקיות הטכנולוגיה החלו לקדם תפיסה של מעריכים משולבים – ארגוני צד שלישי המשתלבים בתוך מעבדות הפיתוח כדי לבצע ביקורת בטיחות מתמשכת. מודל זה מיועד להוות חלופה לרגולציה ממשלתית הדוקה. עם זאת, מספר גורמים בתעשייה מביעים ספקנות לגבי מידת הנייטרליות והכשירות המקצועית של חברות ייעוץ המקבלות על עצמן תפקידים אלה. ללא קריטריונים ברורים המגדירים מיהו גורם מוסמך לביצוע הערכות בתחומים ספציפיים, יעילותן של ביקורות אלה נותרה מוטלת בספק.

מעבר לכך, התפתחות התחום לכיוון סוכנים אוטונומיים המבצעים משימות מורכבות הפכה את תהליכי ההערכה ליקרים ומורכבים בהרבה. הערכה מודרנית אינה יכולה להסתפק בבחינת המודל הבסיסי לבדו, אלא חייבת לקחת בחשבון את המעטפת הטכנולוגית ואת הכלי שבאמצעותו המשתמש מתממשק עם המערכת. סוליימן הסבירה כי מודל בסיסי חלש יותר הפועל לצד מעטפת תוכנה אופטימלית עשוי להציג ביצועים עדיפים על פני מודל מתקדם הפועל בסביבה נחותה. פיתוח כלי הערכה מתקדמים לסביבות סוכניות אלה דורש משאבים רבים ומציב אתגר טכנולוגי חסר תקדים.

לסיכום, בניית אקו-סיסטם אמין ובר-קיימא להערכת מערכות בינה מלאכותית מחייבת מעבר מפרסום מדדי שיווק לקביעת תקנים פתוחים, אחידים וניתנים לשחזור. ככל שמודלים אלה משתלבים בתשתיות קריטיות, נדרשת השקעה ניכרת בפיתוח מנגנוני ביקורת שמודדים את המערכת כולה. הקמת מערך ביקורת אפקטיבי תהיה תלויה בקביעת סטנדרטים ברורים לגורמים המעריכים ובהקדשת משאבים לתהליכי בדיקה שקופים ובלתי תלויים.