Cohere Labs admitió al Observatorio Latinoamericano de Desarrollo Sostenible (OLDS) en su Catalyst Grant Program, con una subvención destinada a investigación sobre evaluación de la seguridad de modelos de lenguaje: red-teaming, pruebas adversarias y análisis de equidad de los modelos.
Qué es la subvención, con precisión
El Catalyst Grant Program de Cohere Labs financia proyectos que, en sus términos, aceleran soluciones que producen cambio real a través de la inteligencia artificial (IA).
Qué se va a investigar
La línea de trabajo es la evaluación de seguridad de modelos de lenguaje aplicados a contextos de alto riesgo. Tres preguntas la ordenan:
¿El modelo dice que sí cuando debería decir que no? Es el problema de la adulación (sycophancy): un modelo optimizado para resultar útil y agradable puede terminar validando la intención de quien pregunta, incluso cuando esa intención es peligrosa. En una emergencia, un asistente que confirma lo que el usuario quiere oír no es un asistente inútil: es un riesgo.
¿El modelo sabe cuándo no sabe? Es la humildad epistémica: la capacidad de identificar que no hay información suficiente para responder, en vez de producir una respuesta plausible y falsa.
Las tres son preguntas de medición, que es lo que sabe hacer un observatorio. La diferencia con un laboratorio es el punto de partida: aquí el criterio de evaluación no lo fija el estado del arte técnico, sino qué falla cuando alguien usa el sistema para decidir algo que importa.
Por qué un observatorio de desarrollo sostenible hace esto
Porque los modelos de lenguaje ya intervienen en decisiones que afectan a personas en situación de vulnerabilidad, y la evaluación de si son seguros para eso se está haciendo casi enteramente en inglés, sobre escenarios que no se parecen a los de América Latina, el Caribe o el Sur Global.
Un observatorio existe para medir lo que otros no están midiendo. Esta es una de esas cosas.
Qué se compromete a publicar el OLDS
Los resultados se publicarán en acceso abierto, bajo licencia Creative Commons, en las plataformas donde el observatorio ya deposita su trabajo —Harvard Dataverse y Open Science Framework—, y siempre después del preaviso comprometido con Cohere Labs.
Fuente: comunicación de aceptación al Cohere Labs Catalyst Grant Program, junio de 2026.
0 Comentarios