Technologieai
Hugging Face warnt vor Hürden bei der Bewertung von KI-Systemen
Auf der Branchenkonferenz TechCrunch Disrupt äußerte Irene Solaiman, Policy Chief von Hugging Face, erhebliche Bedenken hinsichtlich der Praxis sogenannter eingebetteter KI-Evaluatoren. Während führende KI-Entwickler unabhängige Prüfungen als Lösung für Sicherheits- und Leistungsfragen anpreisen, stecken die Evaluierungsmethoden wissenschaftlich noch in den Kinderschuhen. Ein zentrales Problem bestehe in der fehlenden Reproduzierbarkeit von Testergebnissen, die insbesondere bei geschlossenen Modellen schwer zu überprüfen sei. Zudem verschiebe sich der Schwerpunkt bei KI-Agenten zunehmend vom reinen Basismodell auf die gesamte Systemarchitektur samt Benutzerumgebung und Software-Harness.