Goodfire تطلق مراقبات ذكاء اصطناعي داخلية لكشف الوكلاء المارقين

أدى الانتشار السريع لوكلاء الذكاء الاصطناعي المستقلين إلى ظهور تحديات أمنية كبيرة، حيث أصبح من الضروري إيجاد طرق لضمان بقاء هذه الأنظمة ضمن الحدود المسموح بها. تقليدياً، كان النهج المتبع هو استخدام نموذج ذكاء اصطناعي ثانٍ لمراقبة مخرجات النموذج الأول، ولكن هذا الأسلوب مكلف للغاية ويستهلك موارد حوسبة ضخمة. قدمت شركة Goodfire، المتخصصة في قابلية تفسير الذكاء الاصطناعي، حلاً أكثر كفاءة واقتصادية.

يعمل نظام Goodfire وفق مبدأ المراقبة من الداخل إلى الخارج. بدلاً من قراءة المخرجات النهائية للوكيل، تقوم مجسات صغيرة بوضع نفسها داخل البنية الداخلية للنموذج لمراقبة الإشارات العصبية أثناء معالجة البيانات. يشبه هذا النظام أجهزة المسح في المطارات، حيث يتم فحص كل خطوة، ولا يتم تفعيل مراجعة بشرية أو ذكاء اصطناعي أكثر تعمقاً إلا عند اكتشاف نمط مشبوه.

يوفر هذا النهج ميزة اقتصادية كبيرة. نظراً لأن المجسات تستخدم الحسابات التي يقوم بها النموذج بالفعل أثناء عمله، فلا حاجة لتشغيل نموذج مراقبة كامل ومستقل لكل تفاعل. صرح إريك هو، الرئيس التنفيذي لشركة Goodfire، بأن النظام يعيد استخدام الحسابات الموجودة، مما يجعله غير مكلف بشكل ملحوظ. في الاختبارات التي أجريت على نموذج Kimi K3، كانت تكلفة مراقبة 1500 جلسة حوالي 51 دولاراً فقط، مقارنة بـ 233 دولاراً للنماذج الثانوية الأرخص، وأكثر من 10,000 دولار للحلول المتقدمة.

تتميز هذه التقنية بمرونة عالية، حيث يمكن لعملاء منصة Baseten تخصيص المجسات لمراقبة مخاطر محددة، مثل محاولات الاختراق، أو إساءة استخدام المعلومات الكيميائية والبيولوجية، أو التلاعب بالمكافآت. بمجرد اكتشاف خطر، يمكن للنظام تسجيل الحدث، أو إرساله للمراجعة البشرية، أو حظر الطلب تلقائياً. هذه المرونة ضرورية للمطورين الذين يسعون للموازنة بين الأمان والأداء.

من حيث الأداء، تؤكد الشركة أن تشغيل أربع مجسات في وقت واحد يضيف أقل من 2% إلى زمن استجابة النموذج، مما يجعل الحل مناسباً للتطبيقات التي تتطلب سرعة عالية. بالإضافة إلى ذلك، فإن القدرة على اكتشاف النوايا الخبيثة قبل تحولها إلى إجراء فعلي توفر طبقة دفاع استباقية تفتقر إليها أنظمة المراقبة التقليدية.

مع تزايد قدرات وكلاء الذكاء الاصطناعي، أصبحت مخاطر خروجهم عن بيئات الاختبار أو انخراطهم في سلوكيات غير مقصودة مصدر قلق كبير. لقد سلطت الحوادث الأخيرة الضوء على الحاجة الملحة لآليات تحكم أفضل. إن نهج Goodfire، الذي يركز على عملية التفكير الداخلية للنموذج، يقدم مساراً واعداً للمطورين الذين يرغبون في توسيع نطاق عمليات الذكاء الاصطناعي الخاصة بهم دون المساس بالأمان أو تجاوز الميزانيات المحددة.