sábado, noviembre 9

Los denunciantes de OpenAI describen una cultura descuidada y reservada

En OpenAI, Kokotajlo informó que si bien la compañía contaba con protocolos de seguridad, incluía un esfuerzo conjunto con Microsoft conocido como “unión de seguridad de implementación”, que revisaría nuevos modelos para detectar claves riesgosas antes de que se publicaran públicamente, pero rara vez parece desacelerar. bajar cualquier cosa.

Por ejemplo, digamos, en 2022 Microsoft comenzó a probar silenciosamente en India una nueva versión de su motor de búsqueda Bing que algunos empleados de OpenAI creían que contenía una versión inédita de GPT-4, el modelo de lenguaje de última generación más grande de OpenAI. Kokotajlo dijo que había dicho que Microsoft no había obtenido la aprobación del consejo de seguridad antes de probar el nuevo modelo, y después de que el consejo hubiera hecho las pruebas, a través de una serie de información sobre cómo Bing se comportaba con los usuarios adicionales: no hay nada que pueda mucho por hacer para frenar a Microsoft. difundirlo más ampliamente.

Un operador de Microsoft, Frank Shaw, inicialmente negó estas afirmaciones. Dije que las pruebas en India no habían utilizado GPT-4 ni ningún modelo OpenAI. La primera vez que Microsoft lanzó la tecnología basada en GPT-4 fue a principios de 2023, dijo, y fue revisada y aprobada por un predecesor en la junta de seguridad.

Después de la publicación de este artículo, Microsoft revocó su negación y confirmó las acusaciones del Sr. Kokotajlo. En una segunda declaración, Shaw dijo: «Después de una investigación más profunda, encontramos que Bing realizó un pequeño vuelo que mezcló los resultados con una versión anterior del modelo que finalmente se convirtió a GPT-4». Agregó que la evidencia no fue revisada previamente por el comité de seguridad, aunque recibió la aprobación más tarde.

Al final, Kokotajlo dijo que le importaba tanto que, durante el año pasado, le dijo a Altman que la empresa debería «dar prioridad a la seguridad» y dedicar más tiempo y recursos a la protección contra los riesgos de la IA, donde lo habría intentado mejor. modelos. Dije que el Sr. Altman dijo que estaba en sintonía con él, pero que no había cambiado mucho.