Technologyby Julie Bort
Circuit Breaker Labs busca hacer la IA más segura para todos
Puntos clave
- Uso de agentes de IA para simular interacciones humanas diversas en pruebas de seguridad.
- Enfoque en prevenir daños psicológicos y relaciones parasociales peligrosas.
- Ejecución de pruebas masivas diarias para detectar debilidades en modelos.
- Promoción de la confianza en la IA en lugar de su prohibición.
Ad placeholder
Circuit Breaker Labs aborda los riesgos psicológicos de los chatbots de IA, vinculados a casos de autolesiones y angustia emocional. Fundada por los hermanos Shirali y Arul Nigam, la startup desarrolla 'dummies de prueba' de IA para simular interacciones humanas diversas e identificar vulnerabilidades.
Mediante simulaciones hiperrealistas que consideran jerga, matices culturales y patrones de habla, la empresa realiza pruebas de 'red-teaming' a gran escala. Su objetivo es generar confianza en la IA asegurando que los modelos manejen adecuadamente las interacciones de riesgo, especialmente en aplicaciones de salud mental.
In-article ad placeholder
Recommended for you
Tools and services we trust to boost productivity and content workflows.
Browse picksAd placeholder