Riesgo de sesgo y discriminación de la IA en la Ley de IA de la UE
El sesgo de la IA en la Ley de IA de la UE: cómo los artículos 9, 10, 14 y 15 abordan la discriminación algorítmica, además del ciclo de vida de mitigación para los sistemas de alto riesgo.
El sesgo algorítmico no es una preocupación ética blanda. En la Ley de IA de la UE es una exposición jurídica firme. Si su sistema de IA toma o influye en decisiones sobre personas —quién consigue un empleo, quién cumple los requisitos para un crédito, quién supera un cribado de admisión— y rinde significativamente peor para un grupo demográfico que para otro, tiene usted un riesgo para los derechos fundamentales que el reglamento le exige identificar, medir y mitigar. No hacerlo es un incumplimiento con un techo sancionador de 15 millones de euros o el 3 % del volumen de negocios anual mundial en virtud del artículo 99, apartado 4.
Este artículo explica qué es el sesgo algorítmico y dónde se origina, cómo lo trata la Ley de IA de la UE a través de cuatro obligaciones entrelazadas y cómo es en la práctica un ciclo de vida de mitigación viable.
Qué es el sesgo algorítmico y por dónde entra en el sistema
El sesgo significa que un sistema de IA produce resultados sistemáticamente diferentes para distintos grupos demográficos de un modo que no puede justificarse por diferencias legítimas y pertinentes entre esos grupos. Cuatro puntos de entrada explican la mayoría de los casos del mundo real.
El sesgo de los datos es la fuente más común. Si los registros históricos utilizados para entrenar un sistema sobrerrepresentan a un grupo, el modelo aprende patrones de la experiencia de ese grupo y generaliza mal a los demás. Un modelo de crédito entrenado con décadas de decisiones de concesión adoptadas por analistas de riesgos que rechazaban sistemáticamente las solicitudes de determinados códigos postales reproducirá ese patrón a escala.
Las variables sustitutivas son un problema más sutil. Las características protegidas por ley —raza, sexo, condición de discapacidad— pueden no aparecer directamente en sus datos de entrenamiento. Pero variables que se correlacionan con ellas, como el código postal, la institución educativa o el apellido, pueden actuar como sustitutos que producen el mismo efecto discriminatorio. La variable es neutra; el resultado no lo es.
Los bucles de retroalimentación se producen cuando los resultados de un sistema se reincorporan a los datos con los que se entrena posteriormente. Una herramienta de selección de personal que despriorice los perfiles de grupos infrarrepresentados generará, con el tiempo, datos de entrenamiento en los que esos perfiles se asocian al rechazo, amplificando la disparidad original.
El sesgo de medición surge cuando las etiquetas o la verdad de referencia (ground truth) utilizadas para entrenar el sistema están sesgadas en sí mismas. Si la «contratación exitosa» se define por las valoraciones de los responsables, y esas valoraciones están influidas por presupuestos demográficos, el modelo aprende a optimizar para una definición sesgada de éxito.
Por qué el sesgo es un problema de alto riesgo en la Ley de IA de la UE
El reglamento no contiene un artículo dedicado al «sesgo». En su lugar, las obligaciones sobre el sesgo están integradas en cuatro artículos que, juntos, forman la pila obligatoria de cumplimiento de alto riesgo. Esto es importante: el sesgo no es una preocupación complementaria que se aborda después de haber completado el verdadero trabajo de cumplimiento. Es parte del verdadero trabajo de cumplimiento.
Artículo 9 — la gestión de riesgos debe abordar la discriminación
El artículo 9 exige a los proveedores de sistemas de IA de alto riesgo que establezcan y mantengan un sistema de gestión de riesgos que abarque todo el ciclo de vida del sistema. El sistema debe identificar y analizar los riesgos conocidos y razonablemente previsibles para la salud, la seguridad y los derechos fundamentales, incluidos los derivados de un uso indebido razonablemente previsible. El sesgo que da lugar a resultados discriminatorios es un riesgo para los derechos fundamentales comprendido en el ámbito de aplicación.
El artículo 9, apartado 2, letra c), exige específicamente que el análisis cubra los riesgos derivados de los datos utilizados para desarrollar el sistema. El artículo 9, apartado 5, obliga a los proveedores a probar los sistemas de alto riesgo en momentos adecuados durante el desarrollo y, en todo caso, antes de su introducción en el mercado, para identificar riesgos y aplicar medidas de mitigación específicas. Esa prueba debe cubrir el rendimiento demográfico. Los riesgos residuales tras la mitigación deben considerarse aceptables; de lo contrario, deben reducirse aún más o el sistema no debe introducirse en el mercado.
Artículo 10 — la gobernanza de datos ataca el sesgo en su origen
El artículo 10 rige los conjuntos de datos de entrenamiento, validación y prueba utilizados para los sistemas de IA de alto riesgo. El apartado 2 exige que los conjuntos de datos estén sujetos a prácticas de gobernanza de datos adecuadas a la finalidad prevista, incluido el examen de posibles sesgos que puedan afectar a la salud o la seguridad o dar lugar a una discriminación prohibida por el Derecho de la Unión.
El artículo 10, apartado 3, exige que los conjuntos de datos sean pertinentes, suficientemente representativos y, en la medida de lo posible, exentos de errores. Para la mitigación del sesgo, esto se traduce en obligaciones concretas sobre los conjuntos de datos: la representatividad demográfica debe evaluarse y documentarse; las lagunas deben subsanarse antes del entrenamiento.
El artículo 10, apartado 5, crea una excepción estrecha pero significativa. Los proveedores y los responsables del despliegue pueden tratar datos personales de categorías especiales —datos que revelen el origen racial o étnico, datos de salud, datos biométricos utilizados para la identificación y similares— estrictamente con el fin de detectar y corregir sesgos, siempre que se establezcan las salvaguardas adecuadas. En la práctica, esto significa que puede tratar datos demográficos sensibles en un contexto de auditoría de sesgos incluso cuando normalmente no tendría base para hacerlo, pero el tratamiento debe limitarse a esa finalidad, el acceso debe controlarse y las salvaguardas deben documentarse.
Artículo 15 — exactitud y robustez entre grupos demográficos
El artículo 15 exige que los sistemas de IA de alto riesgo alcancen niveles adecuados de exactitud, robustez y ciberseguridad. A efectos del sesgo, la obligación pertinente es que el rendimiento debe ser coherente. Un sistema que rinde bien en conjunto pero produce tasas de falsos positivos significativamente mayores o tasas de aprobación menores para un grupo demográfico protegido no es suficientemente robusto con arreglo al artículo 15.
Los proveedores deben definir qué aspecto tiene una exactitud «adecuada» entre grupos, establecer protocolos de prueba que midan el rendimiento desagregado por categoría demográfica y documentar tanto los resultados previos a la comercialización como los umbrales que han fijado para la disparidad aceptable. No hay prescripción regulatoria sobre qué métrica de equidad utilizar —paridad demográfica, igualdad de probabilidades, calibración—, pero la elección debe justificarse y documentarse.
Artículo 14 — la supervisión humana como control del sesgo
El artículo 14 exige que los sistemas de IA de alto riesgo se diseñen para permitir que las personas físicas supervisen e intervengan eficazmente en los resultados del sistema. En un contexto de sesgo, esto significa que las personas que supervisan un despliegue deben poder identificar cuándo el sistema está produciendo resultados que parecen discriminatorios y tener la autoridad y los medios prácticos para anular o suspender el sistema.
El artículo 14, apartado 4, letra c), exige que los supervisores puedan reconocer signos de anomalías, disfunciones o rendimiento inesperado. Formar al personal supervisor para reconocer disparidades demográficas en los resultados en tiempo real es una obligación que se deriva directamente de este requisito.
Qué sistemas tienen la mayor exposición al sesgo
El riesgo de sesgo no se distribuye de manera uniforme entre los casos de uso. Los sistemas con mayor exposición son los que entran en las categorías de alto riesgo del Anexo III en las que la IA afecta directamente al acceso a oportunidades económicas y sociales.
Empleo y gestión de los trabajadores (Anexo III, punto 4) — sistemas de cribado para selección de personal, clasificación de candidatos, decisiones de promoción y supervisión del rendimiento. Una empresa de tecnología de RR. HH. de 40 personas que vende una herramienta de cribado de currículos a empleadores es un proveedor y hereda la pila completa de alto riesgo. El hecho de que sea un humano quien tome la decisión final de contratación no reduce las obligaciones del proveedor.
Acceso a servicios esenciales (Anexo III, punto 5, letra b)) — evaluación de la solvencia y calificación crediticia, excluyendo la detección de fraude. Un prestamista regional que utiliza un modelo de crédito de IA para puntuar solicitudes de préstamo de pymes es un responsable del despliegue de un sistema de alto riesgo. Si el modelo produce sistemáticamente puntuaciones más bajas para empresas propiedad de mujeres o de zonas rurales, el prestamista queda expuesto con arreglo a los artículos 26, 9 y, potencialmente, 27 (si además es un organismo público u opera un programa de crédito de servicio público).
Educación y formación profesional (Anexo III, punto 3) — sistemas de IA utilizados para decisiones de admisión de estudiantes, evaluación del rendimiento y puntuación de exámenes. El sesgo aquí conlleva la exclusión educativa como perjuicio.
Garantía del cumplimiento del Derecho (Anexo III, punto 6) — herramientas de evaluación de riesgos y predictivas utilizadas por las autoridades garantes del cumplimiento del Derecho. Muchas de estas herramientas se ven afectadas por el límite de las prácticas prohibidas: predecir el riesgo de reincidencia basándose únicamente en la elaboración de perfiles está prohibido en virtud del artículo 5, apartado 1, letra d), no es meramente de alto riesgo.
Obsérvese que los responsables del despliegue en las subcategorías de evaluación de la solvencia y de seguros de vida/salud del Anexo III, punto 5, están sujetos a la evaluación de impacto relativa a los derechos fundamentales (EIDF) del artículo 27, al igual que los responsables del despliegue de organismos públicos. La EIDF exige una evaluación estructurada del impacto del sistema en los derechos fundamentales, que debe abordar directamente el riesgo discriminatorio.
La interacción con el Derecho antidiscriminatorio y el RGPD
La Ley de IA de la UE no opera de forma aislada. La discriminación por motivos de sexo, origen racial o étnico, religión, discapacidad, edad y orientación sexual está prohibida por una red de directivas de igualdad de la UE. La discriminación algorítmica es accionable con arreglo a esos marcos exista o no, además, un incumplimiento de la Ley de IA.
En virtud del RGPD, el tratamiento automatizado que produce efectos jurídicos o de similar significación sobre las personas está restringido por el artículo 22 del RGPD, y los interesados tienen derecho a una explicación. Los responsables del despliegue que utilizan IA de terceros para decisiones de contratación o de crédito necesitan tanto una base lícita para el tratamiento como un mecanismo para facilitar explicaciones, y el artículo 10, apartado 5, de la Ley de IA, expuesto más arriba, proporciona la base específica para el tratamiento de detección de sesgos de datos de categorías especiales.
Estos regímenes comparten una característica clave: se basan en los efectos. La intención no es una defensa. Un sistema que produce resultados dispares discrimina, con independencia de que alguien lo haya diseñado para ello.
El ciclo de vida de mitigación en la práctica
Tratar la mitigación del sesgo como un proyecto con una fecha de lanzamiento y una fecha de finalización es un error de cumplimiento. El reglamento exige un enfoque de ciclo de vida.
Antes del entrenamiento: evalúe el caso de uso previsto en cuanto a su exposición al sesgo. Identifique qué grupos demográficos son pertinentes para la decisión que el sistema va a respaldar. Audite los datos de entrenamiento en cuanto a su representatividad demográfica y documente las conclusiones. Aplique el artículo 10, apartado 5, si trata datos de categorías especiales para detectar sesgos existentes en los registros históricos.
Durante el desarrollo: pruebe los modelos candidatos en cuanto a disparidades de rendimiento entre grupos demográficos. Seleccione métricas de equidad adecuadas al caso de uso y documente la elección. Aplique mitigaciones técnicas —reequilibrio de conjuntos de datos, ajuste de umbrales, aplicación de restricciones de equidad— y registre qué se aplicó y qué efecto tuvo.
Antes de la introducción en el mercado: documente el análisis del riesgo de sesgo, la metodología y los resultados de las pruebas, y la evaluación del riesgo residual en el expediente técnico del Anexo IV, conforme exige el artículo 11. El expediente técnico debe demostrar que el sesgo se abordó, no que meramente se reconoció. Establezca umbrales de disparidad de rendimiento aceptable y justifíquelos.
Posdespliegue: el artículo 72 exige a los proveedores establecer y ejecutar un plan de vigilancia poscomercialización. La deriva del sesgo —en la que las disparidades de rendimiento se amplían a medida que los datos del mundo real divergen de los datos de entrenamiento— es un fenómeno conocido que la vigilancia debe detectar. El artículo 26 exige a los responsables del despliegue conservar los registros de los sistemas de IA de alto riesgo durante al menos seis meses. Si la vigilancia detecta un aumento significativo del sesgo, el artículo 73 exige a los proveedores notificar a las autoridades competentes, sin demora indebida, los incidentes graves que afecten a los derechos fundamentales.
El expediente técnico del Anexo IV debe mantenerse actualizado. Si aplica medidas correctoras posdespliegue, la documentación debe reflejarlas.
Cómo ayuda Confir
Gestionar el riesgo de sesgo exige documentación en múltiples puntos del ciclo de vida de desarrollo y despliegue. El módulo AITR de Confir (Datos y Robustez Técnica, que abarca los artículos 10, 11 y 15) estructura los controles que rigen directamente el sesgo: la documentación de gobernanza de datos del artículo 10, el registro de pruebas de rendimiento y de métricas de equidad del artículo 15, y las secciones correspondientes del Anexo IV en el expediente técnico generado.
El módulo AIGM (Gobernanza y Vigilancia Poscomercialización, que abarca los artículos 9, 72 y 73) recoge el plan de gestión de riesgos y las obligaciones de vigilancia posdespliegue: la documentación continua de seguimiento del sesgo que demuestra que el sistema no se ha desviado hacia el incumplimiento tras el lanzamiento. Ambos módulos se rigen por una lógica determinista y basada en reglas: las mismas respuestas de admisión producen el mismo resultado cada vez, y la regla que sustenta cada conclusión es legible por personas y defendible en una auditoría.
Empiece en confir.eu: sin consultores, sin una implementación de seis meses.
Preguntas frecuentes
¿Exige la Ley de IA de la UE una métrica de equidad concreta, como la paridad demográfica o la igualdad de probabilidades?
No. La Ley exige que la exactitud y la robustez sean adecuadas y estén documentadas, pero no impone una definición matemática concreta de equidad. Los proveedores deben seleccionar una métrica adecuada a su caso de uso, justificar la elección y documentar tanto el razonamiento de la selección como los resultados de las pruebas. La elección entre la paridad demográfica y la igualdad de probabilidades, por ejemplo, implica disyuntivas genuinas que dependen del contexto de la decisión.
¿Podemos tratar datos sobre el origen racial o étnico para probar nuestro modelo en cuanto a sesgo?
Sí, en virtud del artículo 10, apartado 5, pero estrictamente con esa finalidad y con las salvaguardas adecuadas. Esta disposición es una excepción específica a la prohibición general de tratar datos de categorías especiales. El tratamiento debe limitarse a la detección y corrección del sesgo, no debe alimentar la lógica de decisión del sistema en producción y debe documentarse, incluidas las salvaguardas aplicadas.
¿Cuál es el plazo de las obligaciones de alto riesgo relativas al sesgo?
En virtud del Ómnibus Digital acordado en mayo de 2026, los sistemas de IA de alto riesgo autónomos enumerados en el Anexo III —incluidas las aplicaciones de selección de personal, calificación crediticia, educación y garantía del cumplimiento del Derecho— deben cumplir a partir del 2 de diciembre de 2027. La IA de alto riesgo integrada en productos regulados del Anexo I tiene hasta el 2 de agosto de 2028. La fecha original del 2 de agosto de 2026 se ha aplazado en virtud de este acuerdo. Dicho esto, la documentación lleva un tiempo considerable de ensamblaje, y 2027 no queda lejos.
¿Tiene también obligaciones relativas al sesgo un responsable del despliegue, o solo el proveedor?
Ambos. Los proveedores soportan las obligaciones más pesadas con arreglo a los artículos 9, 10, 11 y 15. Los responsables del despliegue deben seguir las instrucciones de uso del proveedor, mantener la supervisión humana del artículo 14 tal como se implemente en el contexto desplegado y conservar los registros durante al menos seis meses (artículo 26). Los responsables del despliegue en las categorías de evaluación de la solvencia, seguros de vida/salud y servicio público también deben completar una EIDF con arreglo al artículo 27, que incluye la evaluación del riesgo discriminatorio.
¿Cuáles son las sanciones por incumplimiento relativo al sesgo?
El incumplimiento de los artículos 9, 10, 11 y 15 —gestión de riesgos, gobernanza de datos, documentación técnica y exactitud/robustez— se sitúa en el nivel general de obligaciones de alto riesgo: multas de hasta 15 millones de euros o el 3 % del volumen de negocios anual mundial total, si esta última cifra es mayor (artículo 99, apartado 4). Para una empresa con 5 millones de euros de volumen de negocios, el 3 % son 150 000 euros. Para una empresa con 50 millones de euros de volumen de negocios, el 3 % son 1,5 millones de euros. En virtud del artículo 99, apartado 6, para las pymes y las empresas emergentes la multa se limita al menor de los dos importes, el porcentaje o la cantidad fija.
Guías relacionadas
- Sistema de gestión de riesgos del artículo 9
- Criterios de clasificación de alto riesgo del artículo 6
- Requisitos de cumplimiento del artículo 8
- Marco de clasificación de riesgos
- Sistemas de decisión judicial del Anexo III
- Herramientas educativas de IA del Anexo III
Gestiona el cumplimiento de la Ley de IA de la UE en un solo lugar
Confir automatiza la clasificación de riesgo, la documentación técnica y los registros de auditoría para cualquier empresa. Sin consultores. Sin proyectos de seis meses. Prueba gratuita de 7 días.
Empieza la prueba gratuita →