Riesgo de alucinación de la IA con arreglo a la Ley de IA de la UE
La alucinación de la IA según la Ley de IA de la UE: artículos 9, 13, 14 y 15, el plazo del 2 de diciembre de 2027 y mitigaciones como la RAG y el diseño de la supervisión humana.
Una herramienta de investigación jurídica que se inventa citas de jurisprudencia. Un sistema de resumen médico que fabrica una dosis de medicamento. Ambos son ejemplos del mismo fenómeno subyacente: un modelo que produce un resultado que suena autorizado y es erróneo. Los reguladores no necesitan un nombre técnico para ello. La Ley de IA de la UE simplemente pregunta si identificaste el riesgo, evaluaste su gravedad y estableciste controles. Si tu sistema es de alto riesgo y no lo has hecho, el techo de la multa es de 15 millones de euros o el 3 % del volumen de negocios mundial, si esta última cifra es mayor.
Qué significa realmente la alucinación
La alucinación es un modelo que genera un resultado seguro pero falso o infundado: jurisprudencia inventada, cifras de dosis fabricadas, un historial financiero que no existe en los documentos de origen. No es un fallo en el sentido tradicional. Surge de cómo funcionan los modelos lingüísticos probabilísticos: el modelo predice el siguiente token plausible, no el siguiente verdadero.
La Ley de IA de la UE, el Reglamento (UE) 2024/1689, no utiliza la palabra «alucinación». No le hace falta. El artículo 9, apartado 1, exige que los proveedores de sistemas de IA de alto riesgo establezcan, implementen y mantengan un sistema de gestión de riesgos que identifique, analice y mitigue los «riesgos conocidos y razonablemente previsibles» para la salud, la seguridad y los derechos fundamentales. El fallo de exactitud de los resultados en un contexto de toma de decisiones de gran trascendencia es precisamente ese tipo de riesgo.
Qué sistemas deben gestionar este riesgo
La alucinación solo se convierte en obligación de cumplimiento cuando tu sistema se sitúa en el nivel de alto riesgo. Eso significa o bien el artículo 6, apartado 1 —un componente de seguridad de un producto regulado con arreglo al Anexo I, como un producto sanitario— o bien el artículo 6, apartado 2 —un sistema que entra en uno de los ocho ámbitos de casos de uso del Anexo III.
Las categorías del Anexo III más expuestas al riesgo de alucinación son:
- Empleo y gestión de los trabajadores (Anexo III, punto 4) — una herramienta de contratación que inventa cualificaciones del candidato o fabrica un historial laboral.
- Acceso a servicios esenciales (Anexo III, punto 5, letra b)) — un sistema de evaluación de la solvencia que genera datos financieros que no figuran en los documentos del solicitante.
- Educación y formación profesional (Anexo III, punto 3) — un sistema de evaluación de exámenes que atribuye erróneamente respuestas o inventa el expediente previo de un estudiante.
- Garantía del cumplimiento del Derecho (Anexo III, punto 6) — una herramienta de investigación de casos que fabrica precedentes y sesga una evaluación de riesgos.
Si tu sistema entra en una de estas categorías, la alucinación no es una cuestión de calidad de producto que gestionar internamente. Es un riesgo de cumplimiento con nombre propio que debe figurar en tu documentación de gestión de riesgos.
El filtro del artículo 6, apartado 3
Con arreglo al artículo 6, apartado 3, un sistema que técnicamente entra en una categoría del Anexo III no es de alto riesgo si no plantea un riesgo significativo de perjuicio para la salud, la seguridad o los derechos fundamentales —por ejemplo, porque desempeña una tarea procedimental limitada o solo realiza un trabajo preparatorio sin influir en una evaluación humana. La alucinación socava cualquier afirmación de ese tipo. Un sistema que genera de forma rutinaria resultados falsos no puede presentarse de forma creíble como de bajo perjuicio. Todo proveedor que intente autocertificarse fuera de la condición de alto riesgo debe documentar el análisis, y esa documentación no se sostendrá si los modos de fallo conocidos del sistema incluyen información fabricada utilizada en decisiones trascendentes.
Los cuatro artículos que importan
Artículo 9 — Gestión de riesgos
El artículo 9, apartado 1, exige un sistema de gestión de riesgos que funcione a lo largo de todo el ciclo de vida del sistema. El artículo 9, apartado 2, amplía el alcance tanto al uso previsto como a la «mala utilización razonablemente previsible». Para una herramienta de síntesis de documentos, el riesgo de uso previsto es que el modelo alucine a partir de datos incompletos; el riesgo de mala utilización es que un usuario se base en el resultado sin el paso de revisión humana que especificaste.
El artículo 9, apartado 3, exige documentar por escrito el proceso de identificación y análisis de riesgos. Anotar «el modelo puede producir resultados inexactos» en un registro de riesgos de una sola línea no es suficiente. Hay que trazar el modo de fallo hasta el perjuicio concreto: qué decisiones se ven afectadas, a quién se perjudica, con qué gravedad y con qué frecuencia.
Artículo 15 — Exactitud, robustez, ciberseguridad
El artículo 15, apartado 1, exige que los sistemas de IA de alto riesgo alcancen un nivel adecuado de exactitud y que las métricas de exactitud declaradas se especifiquen en las instrucciones de uso. La implicación práctica: no puedes dejar la exactitud como una aspiración indefinida. Debes probar, medir y divulgar. Si tu sistema produce resultados alucinados en una proporción medible de casos, esa tasa debe figurar en la documentación técnica, y tus controles de gestión de riesgos deben llevarla a un nivel aceptable.
El nivel «adecuado» de exactitud depende del contexto. Un sistema de resumen médico utilizado para apoyar decisiones clínicas se mide con un estándar mucho más alto que una herramienta de contenido de uso general. La gravedad del perjuicio potencial fija el listón.
Artículo 13 — Transparencia hacia los responsables del despliegue
El artículo 13 exige que los proveedores faciliten a los responsables del despliegue información clara y exacta sobre las capacidades y limitaciones del sistema. Para cualquier sistema con tendencias conocidas a la alucinación, esto significa que las instrucciones de uso deben indicar explícitamente: qué puede y qué no puede hacer el sistema de forma fiable, qué tipos de resultados son más propensos al error y qué pasos de supervisión humana debe implementar el responsable del despliegue antes de actuar con base en el resultado.
Esto no es texto opcional en una nota a pie de página de las condiciones de servicio. Los reguladores y los responsables del despliegue lo considerarán el documento que definió lo que se suponía que debía hacer el responsable del despliegue.
Artículo 14 — Supervisión humana
El artículo 14 exige que los sistemas de IA de alto riesgo se diseñen de modo que los responsables del despliegue puedan supervisarlos de forma efectiva durante su uso. Para los sistemas propensos a la alucinación, esa obligación de diseño es concreta: la interfaz no debe presentar los resultados como hechos definitivos, el sistema debe indicar cuándo está extrayendo inferencias en lugar de citar el texto de origen, y la revisión humana debe exigirse estructuralmente antes de que cualquier resultado active una decisión de gran trascendencia.
El artículo 14 es la red de seguridad. Si tus mitigaciones técnicas reducen pero no eliminan el riesgo de alucinación, la revisión humana obligatoria es la capa final, y debe estar incorporada en el flujo de trabajo, no dejada como una sugerencia.
Modelos de IA de uso general (GPAI) y LLM: una nota
Los proveedores de modelos de IA de uso general (GPAI) deben documentar la alucinación como una limitación conocida con arreglo al artículo 53, en concreto en la documentación técnica facilitada a los proveedores intermedios, que debe abarcar los límites de exactitud y los modos de fallo conocidos. Para los proveedores designados como de riesgo sistémico con arreglo al artículo 51 (la presunción se aplica por encima de 10²⁵ FLOP), el artículo 55 añade obligaciones de prueba adversaria directamente relevantes para la alucinación a escala.
Las obligaciones de la IA de uso general (GPAI) con arreglo al capítulo V se aplican desde el 2 de agosto de 2025. El aplazamiento del Ómnibus Digital que trasladó el plazo de alto riesgo del Anexo III al 2 de diciembre de 2027 no afecta al capítulo V.
Mitigaciones prácticas
La Ley no prescribe métodos técnicos concretos. Exige que cualesquiera medidas que implementes sean proporcionadas al riesgo identificado y demostrablemente eficaces. En la práctica, los controles que se asignan con mayor claridad al artículo 9 y al artículo 15 son:
Anclaje por recuperación (RAG): restringe el modelo para que genere resultados únicamente a partir de los documentos de origen recuperados, con citas explícitas. Un sistema de resumen médico que cita el párrafo concreto del que está extrayendo no puede fabricar una dosis que no figure allí o, si lo hace, la cita expone el error de inmediato.
Umbrales de confianza: para cada afirmación factual, asigna una puntuación de confianza y marca para revisión humana todo lo que quede por debajo de un umbral definido. Documenta la justificación de la fijación del umbral en el expediente de gestión de riesgos.
Formatos de salida restringidos: cuando el resultado es estructurado —una narrativa crediticia, una evaluación de candidato—, define el esquema y valida frente a él tras la generación. Un campo que requiere una fecha no puede rellenarse con una cifra que suena plausible pero está inventada si la validación rechaza las entradas que no son fechas.
Evaluación frente a referencias: prueba el sistema de forma sistemática antes del despliegue y tras cualquier cambio significativo. Registra las tasas de alucinación por caso de uso y utilízalas para justificar la afirmación de «nivel adecuado de exactitud» en la divulgación del artículo 15.
Divulgación a los usuarios (artículo 50 cuando proceda): el artículo 50 se aplica a determinados sistemas de IA que interactúan con personas físicas —chatbots, reconocimiento de emociones, generadores de contenido sintético. Si tu sistema es de cara al cliente y entra en el ámbito del artículo 50, la divulgación de la intervención de la IA es obligatoria desde el 2 de agosto de 2026, con independencia de que el sistema sea además de alto riesgo. Esa divulgación debe abordar las limitaciones con honestidad, incluidos los límites de exactitud de los resultados.
Cómo ayuda Confir
La evaluación de Confir cubre los controles de exactitud y supervisión como parte del flujo de trabajo estructurado de cumplimiento. El ámbito AITR (Datos y Robustez Técnica, que cubre el artículo 15) capta las especificaciones de exactitud y las medidas de mitigación; el ámbito AITO (Transparencia y Supervisión Humana, que cubre los artículos 13 y 14) capta los requisitos de instrucciones para el responsable del despliegue y el diseño de la supervisión. Ambos forman parte de la misma ejecución de evaluación: documentas el riesgo una vez y el resultado alimenta directamente el paquete de documentación técnica del artículo 11 / Anexo IV.
El motor es basado en reglas y determinista. No genera conclusiones de forma probabilística. Esa decisión de diseño importa para un producto de cumplimiento: la misma admisión, la misma conclusión, con la regla que se activó legible por humanos.
Preguntas frecuentes
¿Es la alucinación de la IA un término definido en la Ley de IA de la UE?
No. La Ley utiliza el lenguaje de los «riesgos conocidos y razonablemente previsibles» (artículo 9) y del «nivel adecuado de exactitud» (artículo 15). La alucinación —resultado del modelo seguro pero falso o infundado— encaja de lleno en ambos planteamientos. La ausencia de la palabra en el texto no reduce la obligación; significa que eres responsable de traducir el fenómeno técnico al vocabulario de gestión de riesgos de la Ley.
¿El riesgo de alucinación se aplica únicamente a los sistemas de IA de alto riesgo?
Las obligaciones vinculantes —gestión de riesgos del artículo 9, especificación de la exactitud del artículo 15, divulgación de las limitaciones del artículo 13, diseño de la supervisión del artículo 14— se aplican únicamente a los sistemas de alto riesgo. Para los sistemas de riesgo limitado sujetos al artículo 50 (chatbots de cara al cliente, por ejemplo), existe una obligación de divulgación pero no un sistema de gestión de riesgos obligatorio. Los sistemas de riesgo mínimo no tienen obligaciones legales de exactitud. Dicho esto, una alucinación que causa un perjuicio real puede generar responsabilidad por completo al margen de la Ley de IA —protección del consumidor, negligencia profesional, artículo 22 del RGPD—, de modo que el argumento comercial para gestionarla existe con independencia del nivel.
¿Qué me exige realmente documentar el artículo 9?
El artículo 9, apartado 3, exige una identificación y un análisis de riesgos por escrito: no una lista de comprobación genérica, sino una cadena causal trazada: el modo de fallo concreto, la decisión posterior a la que afecta, la población que puede resultar perjudicada, las estimaciones de gravedad y probabilidad y la base de esas estimaciones (datos de pruebas, consulta a expertos, evidencia de campo). El artículo 9, apartado 5, exige que las mitigaciones que implementes aborden lo que identificaste. El expediente de gestión de riesgos tiene que sostenerse como un documento coherente que un regulador pueda seguir.
¿Cómo interactúa el artículo 15 con la exactitud en la práctica?
El artículo 15, apartado 1, exige que los niveles de exactitud se especifiquen en las instrucciones de uso. Antes de poder redactar esa especificación, debes haber medido la exactitud, lo que implica pruebas estructuradas frente a referencias definidas antes del despliegue. El seguimiento posterior al despliegue con arreglo al artículo 72 se reincorpora después a la cuestión de si los niveles de exactitud declarados siguen siendo válidos. Para un sistema con riesgo de alucinación, te comprometes a una tasa (de forma implícita o explícita) y demuestras que tienes controles para mantenerte dentro de ella.
¿Cuál es el plazo de cumplimiento para los sistemas de alto riesgo?
En virtud del Ómnibus Digital acordado en mayo de 2026, los sistemas de IA de alto riesgo autónomos enumerados en el Anexo III deben cumplir desde el 2 de diciembre de 2027 (aplazado respecto de la fecha original del 2 de agosto de 2026). La IA de alto riesgo integrada en productos regulados cubiertos por el Anexo I debe cumplir desde el 2 de agosto de 2028. Las obligaciones de los modelos de IA de uso general (GPAI) con arreglo al capítulo V se aplican desde el 2 de agosto de 2025 y no se aplazaron.
¿Tiene un responsable del despliegue obligaciones separadas en materia de alucinación?
Sí. El artículo 14 exige que los responsables del despliegue implementen una supervisión humana capaz de detectar y corregir los resultados problemáticos antes de que activen una decisión. El artículo 13 exige que los proveedores faciliten las instrucciones que indican a los responsables del despliegue cómo hacerlo, de modo que, si un responsable del despliegue se salta el paso de supervisión, la cuestión de si fue instruido adecuadamente se vuelve material. También se espera que los responsables del despliegue supervisen el rendimiento del sistema en su contexto concreto (artículo 26) y comuniquen los problemas de exactitud al proveedor.
¿Puede la generación aumentada por recuperación (RAG) satisfacer el requisito de gestión de riesgos del artículo 9?
La RAG es una mitigación sólida y aborda directamente el modo de fallo de alucinación más habitual al anclar los resultados en documentos de origen verificados. No satisface, por sí sola, el artículo 9. El artículo exige un sistema documentado: identificación de riesgos, análisis, medidas de mitigación, resultados de pruebas y vigilancia poscomercialización. La RAG es un elemento de la capa de mitigación. Sigues necesitando la documentación, las pruebas de exactitud, el diseño de la supervisión humana y el seguimiento continuo, todo trazable hasta el riesgo que identificaste.
Guías relacionadas
- sistema de gestión de riesgos del Artículo 9
- estrategias de mitigación del Artículo 9
- obligaciones de cumplimiento de los Artículos 9 a 15
- visión general del marco de la Ley de IA de la UE
- herramienta de clasificación de riesgo del Artículo 6
- marco de gobernanza de IA responsable
- guía de cumplimiento para empresas
- herramientas de gestión de políticas de IA
- lista de comprobación de obligaciones del proveedor
Gestiona el cumplimiento de la Ley de IA de la UE en un solo lugar
Confir automatiza la clasificación de riesgo, la documentación técnica y los registros de auditoría para cualquier empresa. Sin consultores. Sin proyectos de seis meses. Prueba gratuita de 7 días.
Empieza la prueba gratuita →