テクノロジーai
Hugging Face幹部がAI評価システムの難しさを警告
TechCrunch Disruptのイベントにおいて、Hugging Faceのポリシー最高責任者であるアイリーン・ソライマン氏は、AI開発企業内に外部評価機関を組み込むアプローチが容易な解決策にはならないと指摘しました。モデルの性能や安全性を測るベンチマーク手法は、まだ発展途上にあります。 ソライマン氏は、評価結果に対する信頼を確立するには、独立した研究者が結果を再現できることや、モデルの重みデータへのオープンなアクセスが不可欠であると主張しました。また、AIエージェントの普及に伴い、単体のモデルだけでなくソフトウェア全体を評価する必要性が高まっています。