Algunos riesgos de la inteligencia artificial generativa

Escribe: Julio Conte-Grand (*) –

La Inteligencia Artificial Generativa (IAGen) constituye una de las innovaciones más disruptivas de la actualidad. Se trata de una tecnología avanzada capaz de producir contenido en múltiples formatos —texto, imágenes, audio, entre otros—, con elevados niveles de precisión y eficiencia, lo que la convierte en una herramienta sumamente versátil y de creciente relevancia. Su potencial transformador trasciende lo estrictamente tecnológico: según estimaciones recientes, podría generar un valor económico global de entre 2.6 y 4.4 billones de dólares, redefiniendo en los próximos años tanto el panorama económico como la estructura misma de los sistemas productivos y sociales, y las relaciones interpersonales y colectivas.

Sin embargo, su adopción no está exenta de riesgos. En particular, surgen preocupaciones relacionadas con la posible difusión de desinformación, la exposición indebida de información sensible, la afectación de los derechos de propiedad intelectual y la amplificación de sesgos presentes en los datos de entrenamiento. Asimismo, su condición “fundacional” entraña la posibilidad de que surjan riesgos emergentes o de que se revelen otros aún no previstos en el estado actual del conocimiento. 

En este marco, la incorporación de la IAGen en el ámbito de la Justicia abre una amplia ventana de posibilidades para fortalecer la labor judicial y optimizar el servicio de justicia. No obstante, su implementación exige un abordaje responsable, guiado por una visión humanista y sustentado en tres pilares: el establecimiento de un marco normativo que promueva un uso ético y seguro; el compromiso activo de los agentes de los organismos en la utilización crítica y responsable de esta tecnología; y el desarrollo de una plataforma tecnológica interna de IAGen que fortalezca el control, la seguridad y su adecuada integración en los procesos.

Sobre esta base deben elaborarse los marcos normativos y estratégicos que tiendan a una adopción responsable de la IAGen, establezcan un cumplimiento obligatorio para todos los integrantes de los organismos que, en el ejercicio de sus funciones, interactúen con esta tecnología en cualquier dispositivo o plataforma y promuevan un uso equilibrado, ético y seguro, en consonancia con las leyes vigentes, la Constitución Nacional y Provinciales, y los tratados internacionales de derechos humanos aplicables.

Es importante, asimismo, que el documento ofrezca a los agentes una comprensión preliminar de los fundamentos técnicos de la IAGen, repase su evolución, introduzca nociones clave y explique el valor de la ingeniería de prompts para orientar resultados útiles y seguros, identificando los principales riesgos y sus implicancias y, a partir de este diagnóstico, establezca los principios que deben guiar su uso y las directrices operativas para un empleo ético, seguro y eficaz.

Hay que contemplar prioritariamente que los LLM (large language model, o LLM por sus siglas en inglés, es un modelo de lenguaje, tan grande, que puede generar texto como si de un humano se tratase), presentan diversos riesgos legales, éticos y sociales que requieren ser identificados y mitigados para garantizar un uso seguro y responsable de la IAGen.

A continuación, se destacan algunos de ellos: 

a) Desinformación. Los LLM se encuentran diseñados para predecir la siguiente palabra en un contexto dado, basándose en la probabilidad estadística según patrones aprendidos en los datos de entrenamiento. Aunque este enfoque es altamente eficaz para muchas tareas, también puede llevar a generar respuestas conocidas como «alucinaciones».

El inglés ha incorporado las nociones vinculadas con la IAGen con mayor rapidez que otros idiomas. En esa línea, el diccionario norteamericano Merriam-Webster define la “alucinación” como una respuesta que, aunque parece plausible, resulta incorrecta o engañosa y es producto de un algoritmo de inteligencia artificial.

Así como ocurre con las alucinaciones humanas, estas respuestas pueden ser difíciles de identificar como falsas a primera vista. Estas «alucinaciones» reflejan una limitación inherente de los LLM: su capacidad para generar texto no garantiza la veracidad de las afirmaciones.

b) Recolección y uso de datos. Los LLM se entrenan utilizando vastos conjuntos de datos que contienen miles de millones de parámetros. Este enfoque, basado en la premisa de que una mayor cantidad de datos mejora la calidad del entrenamiento (Kaplan et al., 2020), impulsa la recopilación de datos de manera continua para optimizar la utilidad y el rendimiento de sus productos.

Una fuente de información para este propósito puede ser el usuario. En particular, en las versiones gratuitas, los datos proporcionados por los usuarios son utilizados por algunas plataformas para entrenar y mejorar los modelos, lo que genera un riesgo potencial de exposición de información confidencial o sensible.

Al respecto, la consultora Gartner (s.f.) sostiene que: “Los usuarios deben asumir que cualquier dato o consulta que ingresen en ChatGPT o en sus competidores podría convertirse en información pública (…)”.

Este riesgo no solo afecta a los usuarios individuales, sino que también plantea serias amenazas para las organizaciones que implementan estas herramientas. La posibilidad de que información confidencial sea revelada o explotada maliciosamente representa un desafío crítico.

Un ejemplo ilustrativo es el caso de empleados de Samsung, quienes utilizaron una reconocida herramienta de IAGen para solucionar problemas con su código fuente, introduciendo datos sensibles que posteriormente fueron filtrados públicamente  (Ray, 2023). Este incidente llevó a Samsung a restringir temporalmente el uso de dicha herramienta, adoptando medidas adicionales para garantizar un entorno más seguro en futuras interacciones.

Por otra parte, el volumen masivo de datos no asegura la diversidad ni la representatividad de la información. Los sesgos inherentes a los datos utilizados para entrenar modelos fundacionales tienden a reflejarse en las respuestas generadas, lo que podría derivar en la perpetuación de estereotipos sociales y prácticas de discriminación injusta. La escala y el alcance de los modelos fundacionales amplifican considerablemente el impacto de este riesgo, especialmente debido a su uso generalizado y a la complejidad de las tareas que son capaces de abordar.

c) Otros riesgos. La naturaleza de esta tecnología conlleva la probabilidad de que se registren riesgos emergentes o de que se manifiesten otros aún no previstos en el estado actual del conocimiento. Se trata de un campo en constante evolución, con una dinámica compleja y cambiante que dificulta anticipar de manera exhaustiva todas sus posibles implicancias.

(*) Procurador General de la Suprema Corte de Justicia de la Provincia de Buenos Aire

Fuente: Publicado en Nuevo Mundo, edición 1233 del 12 de septiembre de 2025