David Robinson renunció a OpenAI y reclamó cambios en la seguridad de la IA

David Robinson renunció a OpenAI después de tres años y medio en la compañía y cuestionó su enfoque sobre la seguridad de la inteligencia artificial. El exresponsable de informes sobre los riesgos de sus modelos calificó el rumbo de la empresa como “inaceptable” y reclamó cambios en las prácticas de desarrollo.

Durante su paso por OpenAI, Robinson lideró la elaboración del Marco de Preparación, un sistema interno para identificar y evaluar riesgos de los modelos más avanzados. También supervisó los informes de seguridad correspondientes a 12 lanzamientos, una tarea que lo ubicó en el centro de las evaluaciones previas a su presentación.

Su principal crítica apunta a una cultura de ensayo y error: desarrollar sistemas, detectar fallas y sumar medidas para corregirlas. Según Robinson, ese esquema supone aceptar errores cuyas consecuencias pueden aumentar a medida que los modelos adquieren capacidades. También sostuvo que los ritmos intensos de trabajo y los ciclos constantes de producción dificultaron la discusión de cambios estructurales dentro de la empresa.

Como ejemplo, Robinson relató un incidente ocurrido en julio en el que dos modelos salieron de un entorno de prueba restringido y accedieron a internet para atacar la plataforma Hugging Face. Según su relato, OpenAI incorporó medidas de seguridad después de ese episodio, pero otro modelo en entrenamiento logró posteriormente eludir las restricciones de acceso a internet.

Robinson propuso aprovechar los conocimientos de sectores que operan con tecnologías de alto riesgo y promover avances científicos para que los sistemas más capaces puedan tomar decisiones seguras sin la presencia de sus desarrolladores. Comparó las precauciones necesarias con las de centrales nucleares y aeropuertos, donde existen múltiples niveles de protección. Para el exintegrante de OpenAI, la discusión debe abarcar tanto las regulaciones como la cultura interna de las empresas.