Fallos y uso responsable

Saber generar es fácil. Saber cuándo publicar lo generado no lo es tanto, y es exactamente lo que se espera de alguien que use estas herramientas en un contexto profesional o administrativo.

Qué sigue haciendo mal la IA

Con casi total seguridad esta sección cambiará en los próximos años. De todas formas, hay varios aspectos que mirar con especial atención porque suelen estar sujetos a fallos:

Anatomía. Manos, dedos, dientes, orejas, la relación entre extremidades.

Sombras y reflejos. Sombras que apuntan en direcciones incompatibles, reflejos que no corresponden con lo que hay delante del espejo o del cristal.

Cantidades. El número de personas, sillas, ventanas.... Los modelos no cuentan, aproximan.

Objetos imposibles. Asas que no llegan a ninguna parte, escaleras que no conectan, herramientas con piezas que no encajan...

Perspectiva. Líneas de fuga que no convergen, objetos con escalas incompatibles dentro de la misma escena.

Texto. Rótulos, señales, etiquetas, matrículas. Aunque haya mejorado mucho, sigue fallando en los detalles pequeños.

Relaciones espaciales. "Detrás del mostrador", "encima de la mesa", "a la izquierda de": lo que el modelo entiende no siempre coincide con lo que pediste.

Información inventada. Un diagrama anatómico con órganos mal colocados, una infografía con un dato que no estaba en la fuente, un mapa con fronteras equivocadas...

Esto importa poco en una ilustración decorativa, pero en otros contextos como los siguientes puede ser fundamental:

• ciencia,
• medicina,
• arquitectura o ingeniería,
• acontecimientos históricos,
• información pública.

Privacidad

¿Subirías a ChatGPT un Excel con nombres, DNI y teléfonos?

La respuesta casi siempre es "no", pero conviene entender por qué.

Cuatro categorías que ayudan a decidir:

Tres matices que suelen pasar desapercibidos:

• Una imagen también son datos. Una fotografía de una oficina puede contener una pantalla legible, un documento sobre la mesa o una cara identificable.
• Las condiciones cambian. Que un servicio no entrenase con tus datos hace un año no garantiza que siga siendo así.
• Hay diferencia entre cuentas. Los planes corporativos suelen tener condiciones de tratamiento distintas a las cuentas personales gratuitas.

De nuevo, algo que comentamos en el capítulo 7: no es lo mismo subir un documento a una web que ejecutar un modelo dentro de la infraestructura de la propia organización.

Propiedad intelectual

Genera una imagen exactamente con el estilo de [nombre de artista].

Casi todas las herramientas devuelven algo pero... que una herramienta permita hacerlo, ¿significa que podamos utilizar el resultado libremente?

Puntos a distinguir:

• Inspiración frente a copia. Un estilo general no se protege igual que una obra concreta.
• Marcas y logotipos. Reproducirlos en material propio tiene implicaciones específicas.
• Personajes protegidos. Suelen estar amparados por derechos muy activamente defendidos.
• Fotografías y material de terceros. Usarlos como referencia no los convierte en propios.
• Condiciones de la herramienta. Cada plataforma establece qué se puede hacer con lo generado; no todas permiten uso comercial.

Derechos de imagen

Distinto de la propiedad intelectual y a menudo confundido con ella. Aquí hablamos de personas, no de obras.

Especial cuidado con imágenes de:

• ciudadanos que aparecen en fotografías de actos o servicios,
• menores, con protección reforzada,
• trabajadores de la propia organización,
• figuras públicas, donde el uso generativo puede rozar la suplantación.

Un caso concreto que aparece mucho: usar la foto de un evento como referencia para generar una versión "mejorada". Las personas que aparecen no consintieron esa transformación, aunque consintieran la fotografía original.

Deepfakes

Como toda la tecnología del curso, tiene dos caras.

Aplicaciones positivas: cine y postproducción, traducción con conservación de la voz, accesibilidad, recreación histórica con fines divulgativos claramente etiquetados.

Riesgos: fraude (llamadas con voz clonada), suplantación de identidad, desinformación, daño reputacional, acoso.

Por desgracia, a día de hoy ver u oír a alguien ya no es prueba de nada por sí solo. Ojo con las llamadas de urgencia pidiendo una transferencia, unas credenciales, un dato..., el canal de verificación tiene que ser otro.

Transparencia y AI Act

El AI Act europeo introduce, entre otras cosas, obligaciones de transparencia sobre contenido generado o manipulado mediante inteligencia artificial. Sin entrar en el detalle jurídico, la idea de fondo es sencilla:

En determinados contextos existe la obligación de informar de que un contenido ha sido generado o manipulado mediante inteligencia artificial.

Dónde es más relevante:

• deepfakes y contenido que representa a personas reales,
• información de interés público,
• contenidos institucionales publicados por una administración.

¿Se puede detectar una imagen generada?

La respuesta honesta: no existe un detector fiable. Los detectores automáticos producen falsos positivos y falsos negativos, y envejecen mal: cada generación de modelos deja menos rastro.

Por eso la tendencia se ha desplazado desde detectar hacia acreditar.

Tres términos que conviene reconocer:

Metadatos. Información incrustada en el archivo sobre su origen. Frágiles: se pierden al recortar, comprimir o subir a muchas plataformas.

Content Credentials / C2PA. Un estándar para registrar de forma verificable el origen de un contenido y las modificaciones que ha sufrido: qué herramienta lo creó, qué ediciones se le aplicaron y cuándo.

SynthID. Marca de agua imperceptible incrustada en el propio contenido, diseñada para sobrevivir a ediciones y recompresiones.

¿Y el texto?

Una marca de agua de texto no tiene por qué ser un carácter invisible escondido entre palabras. En sistemas actuales la marca se introduce durante la generación. Cuando hay varios tokens razonables para continuar una frase, el sistema utiliza una clave para decidir entre ellos. Una elección aislada no dice nada, pero muchas elecciones consecutivas forman un patrón estadístico que un detector puede reconocer.

Google utiliza SynthID-Text en Gemini y publicó el método y sus resultados. Anthropic ha anunciado que los modelos Claude compatibles incorporarán una variante de este mismo enfoque. No añade caracteres ocultos, no identifica al usuario ni a su organización y se conserva al copiar y pegar porque la señal está en la secuencia de palabras.

¿Se puede sortear?

Sí, porque es simplemente una señal estadística. Conviene entender sus límites, pero tampoco lo trates como una receta para ocultar el uso de IA:

• Copiar, pegar o cambiar el formato no basta. Tampoco sirve buscar y borrar supuestos caracteres invisibles: en este tipo de marca no los hay.
• Los retoques pequeños suelen conservar parte de la marca. Cuanto más texto original permanece, más muestras tiene el detector.
• Una reescritura profunda puede debilitarla o eliminarla. Traducir, reformular por completo, recortar mucho o mezclar el fragmento con texto no marcado cambia las elecciones de tokens sobre las que se apoya la detección.
• Los textos breves, el código y las respuestas muy determinadas son más difíciles de marcar. Hay menos decisiones alternativas en las que introducir una marca sin alterar el contenido.

El propio análisis de Google DeepMind reconoce que una reescritura o traducción exhaustiva reduce mucho la confianza del detector. Por eso una marca de agua debe considerarse una evidencia más, no una prueba definitiva ni un sustituto de la transparencia. Eliminarla tampoco elimina las obligaciones éticas o legales de declarar el uso de IA cuando correspondan.

Ejercicio

Coge cualquiera de las piezas que has generado durante el curso y sométela a una revisión completa antes de "publicarla":

1. Contenido. ¿Los datos son correctos? ¿Coinciden con la fuente?
2. Texto. ¿Está bien escrito, carácter a carácter?
3. Realismo. ¿Hay errores de anatomía, sombras, cantidades o perspectiva?
4. Personas. ¿Aparece alguien identificable? ¿Con qué base?
5. Derechos. ¿Hay marcas, personajes o estilos de terceros?
6. Privacidad. ¿Qué subiste al servicio para producirla?
7. Transparencia. ¿Hay que indicar que se generó con IA?