Uso indebido razonablemente previsible: definición y obligaciones en la Ley de IA de la UE
El artículo 3, punto 13, de la Ley de IA de la UE define el uso indebido razonablemente previsible. Los proveedores deben evaluarlo con arreglo al artículo 9 y advertir a los responsables del despliegue conforme al artículo 13.
Cuando la Ley de IA de la UE pide a los proveedores que gestionen el riesgo, no limita ese deber a los usos para los que diseñaron el sistema. El artículo 9 exige identificar y evaluar los riesgos derivados del uso indebido razonablemente previsible, junto con el uso previsto. Si se omite esa mitad de la ecuación, el sistema de gestión de riesgos está incompleto — y la evaluación de la conformidad que depende de él se asienta sobre una laguna.
El Reglamento (UE) 2024/1689 define el término, lo vincula a obligaciones concretas de documentación y traza una línea entre el uso indebido que un proveedor debe anticipar y una conducta tan extrema que la persona responsable pasa a adquirir ella misma la condición de proveedor. Comprender dónde se sitúa esa línea determina tanto cómo se documenta el sistema como cómo se redactan las instrucciones que lo acompañan.
La definición de la Ley de IA de la UE
El artículo 3, punto 13, del Reglamento (UE) 2024/1689 define el uso indebido razonablemente previsible como:
«la utilización de un sistema de IA de un modo que no se ajusta a su finalidad prevista, pero que puede derivarse de un comportamiento humano o una interacción con otros sistemas, incluidos otros sistemas de IA, razonablemente previsibles».
De esa definición se desprenden de inmediato dos cosas.
En primer lugar, se vincula explícitamente con la finalidad prevista, definida en el artículo 3, punto 12, como el uso para el que un proveedor concibe un sistema — incluidos el contexto y las condiciones de uso específicos. Los dos conceptos son contrapartidas. El artículo 9 no le permite eludir el deber de gestión de riesgos por la vía de estrechar la finalidad prevista; va más allá de la especificación y pregunta qué hará de forma predecible un usuario real.
En segundo lugar, el criterio es la previsibilidad razonable, no la omnisciencia. No se le exige anticipar todo abuso concebible, todo ataque límite o todo escenario adversarial. El deber se calibra en función de lo que un proveedor competente de su sector preverá — una prueba que varía según el ámbito, la población de usuarios y el contexto de despliegue.
Un modelo de cribado para selección de personal desplegado por los departamentos de RR. HH.: un proveedor puede prever razonablemente que un responsable del despliegue lo aplique a un conjunto de candidatos sobre el que no se informó al proveedor, o que el sistema se consulte a través de una plataforma de RR. HH. integrada que transmite los datos en una forma ligeramente distinta. Esos escenarios deben figurar en el expediente de gestión de riesgos. Un escenario que exija un actor de amenazas patrocinado por un Estado y una vulnerabilidad de día cero en la infraestructura del responsable del despliegue casi con seguridad no.
Por qué importa: el deber de gestión de riesgos del artículo 9
El artículo 9 del Reglamento (UE) 2024/1689 exige que todo sistema de IA de alto riesgo cuente con un sistema de gestión de riesgos — un proceso continuo e iterativo a lo largo de todo el ciclo de vida del sistema, no un ejercicio único previo al lanzamiento.
Dentro de ese proceso, el artículo 9 exige específicamente a los proveedores:
- Identificar y analizar los riesgos conocidos y previsibles asociados al sistema en el contexto de su finalidad prevista — y de su uso indebido razonablemente previsible.
- Estimar y evaluar los riesgos que puedan surgir de ese uso indebido cuando el sistema se utiliza conforme a lo previsto y cuando no.
- Adoptar medidas adecuadas de gestión de riesgos destinadas a abordar los riesgos evaluados, prestando especial atención a los usuarios probables, sus conocimientos técnicos y el contexto de uso.
La expresión «uso indebido razonablemente previsible» desempeña, por tanto, un verdadero papel jurídico dentro del artículo 9. Fija el alcance del ejercicio de identificación de riesgos. Un proveedor que restringe el análisis del artículo 9 al escenario optimista de la finalidad prevista — e ignora las formas predecibles en que los usuarios se desviarán — tiene un sistema de gestión de riesgos incompleto. Esa incompletitud aflorará en la documentación técnica exigida por el artículo 11 y en la evaluación de la conformidad del artículo 43.
El artículo 9 exige además que las medidas sean proporcionadas: el riesgo residual tras la mitigación debe juzgarse aceptable frente a los beneficios. No se le exige eliminar por diseño todo escenario de uso indebido previsible, sino únicamente evaluarlo y adoptar medidas acordes con el nivel de riesgo apreciado.
Cómo lo abordan los proveedores
Pruebas frente a escenarios realistas de uso indebido. Un proveedor que prueba únicamente el rango operativo previsto no está probando los riesgos que el artículo 9 exige abordar. Entre los enfoques prácticos figuran el red-teaming estructurado frente a usos no contemplados (off-label) probables, la evaluación de entradas límite que un usuario podría enviar de buena fe pero que quedan fuera de la distribución de entrenamiento y (cuando proceda) la prueba de interacciones con sistemas de terceros que se situarán en la misma cadena.
Para los sistemas de los ámbitos de empleo, crédito o garantía del cumplimiento del Derecho con arreglo al Anexo III, los escenarios de uso indebido pertinentes están relativamente bien definidos: la aplicación del sistema a una población que sus datos de entrenamiento no cubrían; el uso de los resultados para adoptar decisiones vinculantes sin la revisión humana que el proveedor presuponía; la integración con un sistema descendente que reformatea el resultado antes de que lo vea quien decide. Estos escenarios son previsibles. Deben figurar en el expediente de riesgos.
Instrucciones de uso (artículo 13). El artículo 13 exige que los proveedores de sistemas de IA de alto riesgo faciliten información que permita a los responsables del despliegue comprender el sistema y utilizarlo correctamente. Esa información debe incluir las contraindicaciones — finalidades previstas para las que el sistema no debe utilizarse y escenarios de uso indebido previsible que quedan específicamente excluidos. Un documento de instrucciones del artículo 13 bien redactado hace más que describir lo que el sistema hace; advierte explícitamente frente a los escenarios de uso indebido que el proveedor ha identificado con arreglo al artículo 9.
En la práctica, esto significa nombrar los escenarios de uso indebido en las instrucciones, no limitarse a decir «no utilizar fuera de la finalidad prevista». Si el sistema se ha evaluado y solo se ha constatado su fiabilidad para un segmento de población definido, las instrucciones deben indicarlo. Si la integración con una clase concreta de sistema descendente produce resultados poco fiables, debe hacerse constar. Los responsables del despliegue necesitan orientación accionable, y cuanto más específicas sean las instrucciones, más difícil le resultará a un responsable del despliegue alegar que desconocía un riesgo previsible.
Supervisión humana desde el diseño (artículo 14). El artículo 14 exige que los sistemas de IA de alto riesgo se diseñen para permitir una supervisión humana efectiva. Cuando un escenario de uso indebido previsible implica que un usuario eluda un paso de supervisión previsto — por ejemplo, utilizar un sistema en una cadena automatizada en la que el proveedor presuponía que un humano revisaría los resultados —, el artículo 14 impone una obligación de diseño: construir el sistema de modo que la supervisión siga siendo posible aunque el contexto de despliegue no la garantice. Esto puede significar explicaciones de los resultados que hagan factible la revisión, paradas en firme cuando el sistema encuentre entradas fuera de su rango validado, o un registro que cree una traza revisable.
La previsibilidad razonable frente a lo imprevisible — y la línea del artículo 25
El concepto tiene un límite. «Razonablemente previsible» significa que un proveedor no es responsable de toda desviación concebible. La cuestión es qué esperaría un proveedor competente del sector pertinente, no qué podría lograr un adversario decidido con acceso privilegiado.
Ese límite importa porque el artículo 25 del Reglamento (UE) 2024/1689 crea una regla de cambio de rol: un responsable del despliegue, distribuidor o importador que modifique sustancialmente un sistema de IA de alto riesgo — o que modifique la finalidad prevista de un modo no cubierto por la evaluación de la conformidad del proveedor — pasa a ser proveedor del sistema modificado. Las obligaciones que recaen sobre los proveedores con arreglo al artículo 16 se le aplican entonces a él: documentación técnica, gestión de riesgos, evaluación de la conformidad, registro.
Esto crea un límite analítico nítido. El uso indebido que un proveedor debe anticipar es problema del proveedor: debe evaluarse con arreglo al artículo 9, documentarse y abordarse en las instrucciones. El uso indebido que implica que un responsable del despliegue reutiliza genuinamente el sistema — tomar un modelo de cribado para selección de personal y reorientarlo a la evaluación de la solvencia, por ejemplo — cruza hacia un terreno en el que el artículo 25 puede convertir al responsable del despliegue en proveedor. El proveedor original no carga con una responsabilidad residual ilimitada por usos que no pudo prever y que quedaban fuera del alcance de su evaluación de la conformidad.
En la práctica, el límite no siempre es nítido. Un caso de uso adyacente a la finalidad prevista y verosímilmente previsible no activa el artículo 25 por el mero hecho de que el responsable del despliegue actuara con descuido. La línea del artículo 25 exige una modificación genuina de la finalidad prevista, no un mero cumplimiento deficiente por parte del responsable del despliegue. Pero la distinción importa al redactar las instrucciones de uso: cuanto más precisamente defina la finalidad prevista y más claro sea respecto de los usos excluidos, más sólido será el argumento de que un despliegue fuera de esos límites es responsabilidad del responsable del despliegue y no una laguna en su análisis del artículo 9.
Preguntas frecuentes
P: ¿Se aplica el uso indebido razonablemente previsible a todos los sistemas de IA o solo a los de alto riesgo?
La obligación formal de gestión de riesgos del artículo 9 — que exige explícitamente la evaluación del uso indebido razonablemente previsible — se aplica a los sistemas de IA de alto riesgo. Los sistemas de menor riesgo no están sujetos al artículo 9. No obstante, el concepto de uso indebido previsible también informa el artículo 13 (instrucciones de uso), que es una obligación de alto riesgo, y el artículo 14 (supervisión humana), igualmente de alto riesgo. Para los sistemas de riesgo mínimo o limitado, la previsibilidad sigue siendo una cuestión general de seguridad del producto y contractual, pero el deber legal explícito se circunscribe al nivel de alto riesgo.
P: ¿Cómo determinamos qué se considera «razonablemente previsible» en la práctica?
Parta de la finalidad prevista y trabaje hacia fuera: quiénes son los usuarios realistas, cuál es su nivel técnico, qué usos adyacentes podrían intentar y con qué sistemas de terceros interactuará este sistema. La orientación sectorial, los datos de incidentes de sistemas desplegados comparables y el red-teaming estructurado frente a escenarios de uso no contemplado (off-label) informan todos el análisis. El criterio es lo que anticiparía un proveedor competente de su ámbito, no un máximo teórico. Documente el análisis — si una evaluación de riesgos concluye que un determinado escenario de uso indebido queda fuera de la previsibilidad razonable, deje constancia del porqué.
P: ¿Qué ocurre si un responsable del despliegue utiliza un sistema con una finalidad imprevisible y causa un perjuicio?
Cuando un responsable del despliegue utiliza un sistema de IA de alto riesgo de un modo genuinamente ajeno a la finalidad prevista — especialmente si ello implica reutilizar o modificar sustancialmente el sistema —, el artículo 25 puede convertir al responsable del despliegue en proveedor. La responsabilidad del proveedor original está vinculada a la evaluación de la conformidad que completó y a las instrucciones que emitió. Si un responsable del despliegue lleva el sistema más allá de ese alcance, la responsabilidad se desplaza. La protección más clara del proveedor es un documento de instrucciones del artículo 13 redactado con precisión que nombre aquello para lo que el sistema no debe utilizarse e identifique los escenarios de uso indebido previsible que ha evaluado.
P: ¿Debe diseñarse el sistema para eliminar todo escenario de uso indebido previsible identificado?
No. El artículo 9 exige identificar, evaluar y adoptar medidas adecuadas — no eliminar por diseño todo uso indebido previsible. Se aplica la prueba de proporcionalidad del artículo 9: el riesgo residual tras la mitigación debe ser aceptable a la luz de los beneficios, y las medidas deben ser adecuadas al nivel de riesgo. En la práctica, esto suele significar abordar algunos escenarios mediante advertencias e instrucciones en lugar de controles técnicos. Los escenarios de alta gravedad que afectan a la salud, la seguridad o los derechos fundamentales exigirán una mitigación técnica más sólida; los de menor gravedad pueden abordarse adecuadamente mediante orientación operativa a los responsables del despliegue.
P: ¿Debe mencionarse el uso indebido razonablemente previsible en la documentación técnica?
Sí. El artículo 11 exige una documentación técnica que cubra la finalidad prevista y los usos previsibles, y el artículo 9 exige que el sistema de gestión de riesgos — incluido su tratamiento del uso indebido previsible — esté documentado. La plantilla de documentación técnica del Anexo IV enumera la finalidad prevista, el uso indebido razonablemente previsible y los resultados no deseados, así como las medidas de gestión de riesgos adoptadas. Omitir el análisis del uso indebido previsible en el expediente técnico es una laguna que una autoridad de vigilancia del mercado o un organismo notificado detectarán.
P: ¿Puede un proveedor limitar la responsabilidad por uso indebido previsible restringiendo la finalidad prevista de forma muy estrecha?
Una finalidad prevista estrecha reduce el alcance de lo que el proveedor debe prever — pero solo hasta cierto punto. La referencia del artículo 9 a un «comportamiento humano razonablemente previsible» no está acotada por la autodefinición que el proveedor haga de la finalidad prevista; pregunta qué podría hacer realmente un usuario real. Un proveedor que define la finalidad prevista de forma tan restrictiva que usos adyacentes evidentes quedan fuera de ella, sin abordar esos usos en el análisis del artículo 9, corre el riesgo de un expediente de gestión de riesgos incompleto. Las instrucciones de uso del artículo 13 siguen siendo la herramienta adecuada para trazar la línea: nombre explícitamente los usos excluidos y advierta frente a los escenarios de uso indebido previsible, en lugar de basarse en una definición estrecha por sí sola. ---
Cómo estructura Confir el análisis del artículo 9
El módulo AIGM de Confir — Gobernanza y Vigilancia Poscomercialización — guía a los proveedores a través del flujo de trabajo de gestión de riesgos del artículo 9. El proceso de admisión incluye preguntas estructuradas tanto para la finalidad prevista como para los escenarios de uso indebido razonablemente previsible, produce las conclusiones de la evaluación de riesgos como parte del paquete de documentación técnica del artículo 11 / Anexo IV y señala las lagunas en la sección de instrucciones de uso cuando la cobertura del uso indebido previsible exigida por el artículo 13 es escasa. El motor es determinista y basado en reglas: toda conclusión se remonta a una regla explícita vinculada a un artículo concreto, de modo que el fundamento es auditable.
Términos relacionados
- Finalidad prevista — artículo 3, punto 12
- Sistema de gestión de riesgos — artículo 9
- Gestión de riesgos de la Ley de IA de la UE: obligaciones del proveedor
- Instrucciones de uso — artículo 13
- Supervisión humana — artículo 14
- Modificación sustancial y cambios de rol
Gestiona el cumplimiento de la Ley de IA de la UE en un solo lugar
Confir automatiza la clasificación de riesgo, la documentación técnica y los registros de auditoría para cualquier empresa. Sin consultores. Sin proyectos de seis meses. Prueba gratuita de 7 días.
Empieza la prueba gratuita →