OpenAI aplicará marcas de agua invisibles a los textos generados por ChatGPT y Codex en la Unión Europea (유럽연합, UE). En una publicación de blog del lunes, la empresa anunció que las incorporará durante las próximas semanas para los usuarios que cumplan los requisitos en la UE. La medida abarcará a los usuarios que cumplan los requisitos en todos los planes, aunque la información disponible no especifica cuáles son esos requisitos.

Antecedentes y contexto

Las normas de transparencia de la Ley de IA de la UE (EU AI Act) entraron en vigor el 2 de agosto y exigen a las empresas de IA que marquen el contenido generado por IA de una forma que otros sistemas puedan identificar. OpenAI anunció que aplicaría marcas de agua en la UE en respuesta a estas normas.

La marca de agua no consiste en insertar símbolos visibles en el texto. El método ajusta sutilmente la forma en que el modelo elige las palabras para crear un patrón que un detector pueda reconocer. Como la señal queda en el propio texto, se conserva al copiarlo y pegarlo, pero OpenAI explicó que este método no identifica a los usuarios.

OpenAI publicó junto con el anuncio el informe técnico textGrain. El informe, elaborado en colaboración por investigadores de la Universidad de Pensilvania (펜실베이니아대학교) y la Universidad de Yale (예일대학교), describe un método que utiliza una clave secreta para orientar la predicción de la siguiente palabra. Según el informe, al acumularse cientos de estos ajustes, el texto y la clave pueden utilizarse para detectar contenido generado por IA. OpenAI afirmó que activar la marca de agua no produjo cambios significativos en el rendimiento del modelo.

La medida también contrasta con los métodos de otras empresas. Anthropic anunció dos meses antes que aplicaría marcas de agua a escala mundial a los textos generados por Claude, y, según se informó, algunos usuarios protestaron porque afirmaban haber aportado las instrucciones, el contexto y las decisiones. En 2024 se informó de que OpenAI había desarrollado una marca de agua de texto, pero aplazó su lanzamiento, entre otros motivos, por la preocupación de que los usuarios pudieran pasarse a competidores que no la usaran. Anthropic, Google, Meta, Microsoft y OpenAI figuran entre las empresas que se comprometieron a seguir el Código de buenas prácticas de la UE sobre contenido generado por IA (EU 실천 강령).

Qué significa esta noticia

Los usuarios de la UE podrían contar con una señal para identificar textos generados por IA. Sin embargo, la marca de agua no permite determinar con certeza y en todos los casos si un texto la contiene. En una prueba de OpenAI, sustituir el 10 % de las palabras por sinónimos redujo la tasa de detección de aproximadamente el 92 % al 66 %. La empresa también señaló que los textos breves, las respuestas matemáticas y los textos traducidos pueden ser difíciles de detectar.

Por tanto, los resultados de la detección tienen limitaciones si se utilizan como única prueba para determinar la autoría o establecer que hubo una infracción académica. La ausencia de una marca de agua no demuestra por sí sola que el texto lo haya escrito una persona. Puede ser demasiado breve o haber sido muy editado, o bien haber sido generado por la IA de otra empresa. A la inversa, la presencia de una marca de agua puede indicar que un sistema de OpenAI generó o procesó parte del texto, pero no muestra cuánto aportaron el criterio, la edición o la creatividad de una persona.

Por ejemplo, si un detector no encuentra una marca de agua en un texto, ese resultado por sí solo no permite concluir que lo haya escrito una persona. También deben tenerse en cuenta la extensión del texto, el grado de edición y la posibilidad de que se hayan usado otras herramientas de IA.

Al margen de la aplicación en la UE, los desarrolladores de la API de OpenAI de todo el mundo pueden activar las marcas de agua en algunos modelos. Sin embargo, están desactivadas por defecto, y OpenAI señaló que, en el momento del lanzamiento, no aplicaría las marcas de agua de texto como configuración predeterminada en todo el mundo. En otras palabras, la aplicación a los usuarios de la UE debe distinguirse del uso opcional por parte de los desarrolladores de la API.

Hechos confirmados y aspectos aún desconocidos

Hechos confirmados

  • Está previsto que la medida se aplique durante las próximas semanas a los usuarios de ChatGPT y Codex que cumplan los requisitos en la UE.
  • En la UE, la medida se aplicará a los usuarios que cumplan los requisitos en todos los planes.
  • Los desarrolladores de la API pueden activar marcas de agua en algunos modelos en todo el mundo, pero están desactivadas por defecto.
  • La marca de agua deja un patrón invisible en la elección de palabras y no identifica a los usuarios.
  • El acceso inicial al detector se ofrecerá únicamente a investigadores y organizaciones de expertos autorizados, para ayudarles a evaluar su fiabilidad y el uso responsable.

Aspectos aún desconocidos

  • ¿Cuáles son los requisitos concretos para ser considerado «usuario que cumple los requisitos» en la UE?
  • ¿Cuándo podrán empezar a utilizar el detector los investigadores y las organizaciones de expertos autorizados?
  • ¿Qué modelos concretos incluirán la marca de agua y cuál será el calendario de lanzamiento?

Qué deben comprobar los lectores

  • Si utilizas ChatGPT o Codex en la UE, conviene comprobar si tu cuenta está incluida y cuándo se aplicará la medida al servicio. La información disponible no especifica los requisitos detallados.
  • Si necesitas determinar quién escribió un texto, es importante no basarse únicamente en el resultado de un detector de marcas de agua. OpenAI afirmó que el acceso inicial al detector se limitará a investigadores y organizaciones de expertos autorizados.
  • Si eres desarrollador y utilizas la API, debes tener en cuenta que las marcas de agua están desactivadas por defecto y que solo se mencionan algunos modelos compatibles. La información disponible no permite conocer la lista concreta de modelos ni el calendario.