La estructura
del contenido sustantivo del RIA está condicionada por su enfoque basado en
establecer medidas proporcionales a los riesgos de los sistemas de IA. En
consecuencia, su organización responde a la clasificación de riesgos de los
sistemas de IA en que se funda: inadmisible (prácticas prohibidas en el
capítulo II); alto (sometidos al conjunto elaborado de requisitos y
obligaciones de su capítulo III); limitado (sometidos a las obligaciones de
transparencia de su capítulo IV); y mínimo (que en principio no son objeto de
un régimen específico). Por su parte, el capítulo V, añadido durante la
tramitación legislativa, pues no figuraba en la Propuesta inicial de la Comisión, regula los modelos de IA de uso
general, previendo obligaciones específicas para los proveedores de tales
modelos que generen riesgos sistémicos. Los Capítulos VII a XII del RIA se encuentran dedicados, entre otras cuestiones, a los mecanismos de gobernanza y de aplicación del Reglamento.
I. Prohibición de las
prácticas de IA que generan riesgos inadmisibles
El Capítulo II RIA, integrado únicamente por el
artículo 5, va referido a las prácticas de IA que por generar riesgos
inadmisibles van en contra de “los valores de la Unión de respeto de la
dignidad humana, la libertad, la igualdad, la democracia y el Estado de Derecho
y de los derechos fundamentales consagrados en la Carta, como el derecho a la
no discriminación, a la protección de datos y a la intimidad y los derechos del
niño”. En consecuencia, el artículo 5 prohíbe las prácticas de IA que enumera
en su apartado 1 por resultar especialmente peligrosas.
Las
prácticas prohibidas son las relativas a la introducción en el mercado, la
puesta en servicio o la utilización de ciertos sistemas de IA, así como el uso
de sistemas de identificación biométrica remota en determinadas circunstancias.
En concreto son las siguientes.
-
Los sistemas de IA que se sirvan de técnicas subliminales -como estímulos de
audio o video imperceptibles- o de técnicas deliberadamente manipuladoras o
engañosas para alterar sustancialmente el comportamiento de personas, haciendo
que tomen una decisión que de otro modo no habrían tomado, de un modo que pueda
provocar perjuicios considerables (art. 5.1.a RIA). En lo relativo a las
prácticas manipuladoras o engañosas, esta prohibición complementa las
contenidas en la Directiva 2005/29 sobre prácticas comerciales desleales (cdo.
29 RIA).
-
Los sistemas de IA que exploten vulnerabilidades de personas físicas derivadas
de su edad o discapacidad, o de una situación social o económica específica,
con la finalidad o el efecto de alterar sustancialmente su comportamiento de un
modo que pueda provocar perjuicios considerables (art. 5.1.b RIA).
-
Los sistemas de IA para evaluar o clasificar a personas físicas durante un
período de tiempo atendiendo a su comportamiento social o a características
personales, de forma que la puntuación resultante provoque un trato perjudicial
o desfavorable hacia determinadas personas físicas o colectivos bien en
contextos sociales que no guarden relación con aquellos en los que se generaron
o recabaron los datos originalmente, bien en circunstancias en las que resulte
injustificado o desproporcionado (art. 5.1.c RIA). Esta prohibición, que
fundamentalmente pretende salvaguardar el derecho a la dignidad y a la no
discriminación, no afecta a prácticas lícitas de evaluación de las personas
físicas que se efectúen para un fin específico de conformidad con el Derecho de
la Unión y nacional (cdo. 31).
-
Los sistemas de IA para realizar evaluaciones del riesgo de que una persona
física cometa un delito basándose únicamente en la elaboración del perfil de
una persona o en la evaluación de los rasgos y características de su
personalidad, salvo que se trate de sistemas utilizados para apoyar la
valoración humana de la implicación de una persona en una actividad delictiva
que ya se base en hechos objetivos y verificables directamente relacionados con
una actividad delictiva (art. 5.1.d RIA). Se pretende salvaguardar la
presunción de inocencia y asegurar que las personas físicas deben ser juzgadas
basándose en su comportamiento real (cdo. 42 RIA).
-
Los sistemas de IA que creen o amplíen bases de datos de reconocimiento facial
mediante la extracción no selectiva de imágenes faciales de Internet o de
circuitos cerrados de televisión (art. 5.1.e RIA).
-
Lo sistemas de IA para inferir las emociones de una persona física en los
lugares de trabajo y en los centros educativos, excepto cuando el sistema se
instale o introduzca por motivos médicos o de seguridad (art.
5.1.f RIA).
-
Los sistemas de IA de categorización biométrica que clasifiquen individualmente
a las personas físicas sobre la base de sus datos biométricos -como imágenes de
la persona o huellas dactilares- para deducir o inferir su raza, opiniones
políticas, afiliación sindical, convicciones religiosas o filosóficas, vida u
orientación sexuales. El cdo. 30 y el artículo 5.1.g RIA precisan que esta
prohibición no incluye el etiquetado o filtrado de conjuntos de datos
biométricos adquiridos lícitamente basado en datos biométricos -como el color
del pelo- ni la categorización de datos biométricos en el ámbito de la garantía
del cumplimiento del Derecho.
- El uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho se considera que genera riesgos especialmente graves para la vida privada, pudiendo provocar la sensación de estar bajo una vigilancia constante y disuadir del ejercicio de derechos fundamentales como el de reunión (cdo. 32). Por consiguiente, el artículo 5.1.h RIA prohíbe tales usos de esos sistemas, salvo y en la medida en que sean estrictamente necesarios para alguno de los siguientes objetivos: i) la búsqueda selectiva de víctimas concretas de determinadas actividades delictivas (secuestro, trata o explotación sexual) o de personas desaparecidas; ii) la prevención de una amenaza específica, importante e inminente para la vida o la seguridad física de las personas o de una amenaza real de un atentado terrorista; iii) la localización o identificación de una persona sospechosa de haber cometido alguno de los delitos mencionados en el anexo II del RIA castigado con al menos cuatro años de privación de libertad. El artículo 5 RIA incorpora garantías y limitaciones adicionales en relación con estos usos en los supuestos excepcionales en los que pueden resultar admisibles, incluyendo el que todo uso de este tipo debe ser previamente -salvo puntualmente en situaciones de urgencia- autorizado de manera expresa y específica por una autoridad judicial o una autoridad administrativa independiente cuya decisión sea vinculante (art. 5.3 RIA). Además, debe tenerse en cuenta que la prohibición de estos usos de los sistemas de identificación biométrica para fines de garantía del cumplimiento del Derecho y sus excepciones, operan sin perjuicio de las restricciones que para el tratamiento de datos biométricos con fines distintos establece el artículo 9 RGPD, que prohíbe, entre otros, el tratamiento de determinadas categorías especiales de datos, incluidos los datos biométricos dirigidos a identificar de manera unívoca a una persona física, salvo en las circunstancias excepcionales establecidas en su apartado 2.
II. Régimen aplicable respecto de los sistemas de IA de
alto riesgo
Los sistemas
de riesgo alto son objeto de regulación en el Capítulo III, que constituye el
componente principal del RIA, pues abarca los artículos 6 a 49 (que se
acompañan de ciertos anexos) e incluyen el elaborado régimen de requisitos
exigibles a tales sistemas y de obligaciones que deben ser cumplidas por los
operadores implicados.
Los sistemas
de IA de alto riesgo están permitidos en la Unión, pero sometidos al
cumplimiento de ciertos requisitos y obligaciones, incluyendo una evaluación de
conformidad con carácter previo a su introducción en el mercado, puesta en
servicio y uso. Por ello, resulta de gran importancia, en primer lugar, la
determinación de que sistemas de IA se consideran de alto riesgo y quedan
sometidos al estricto marco de obligaciones y requisitos que establece el
Capítulo III del RIA.
1. Clasificación de un sistema como de alto riesgo
La
calificación como de alto riesgo se lleva a cabo en función del potencial
lesivo del sistema de IA en la seguridad de las personas o respecto de sus
derechos fundamentales, teniendo en cuenta no solo la función que el sistema de
IA desempeña sino también las finalidades concretas para las que se contempla
su uso.
Conforme a lo
previsto en el artículo 6 RIA, la categoría de sistema de IA alto riesgo está
integrada por dos grupos de sistemas de IA. Por una parte, los que están
destinados a ser utilizados como componente de seguridad de los productos -o
constituyen uno de dichos productos- que conforme a la legislación sectorial de
la UE enumerada en el Anexo I del RIA están sometidos a una evaluación de
conformidad con un organismo de evaluación de la conformidad de terceros para
su introducción en el mercado o puesta en servicio (art. 6.1 RIA). Entre otros,
los instrumentos de armonización enumerados en el Anexo I son relativos a
productos como: máquinas, juguetes, embarcaciones de recreo, ascensores,
equipos radioeléctricos, equipos a presión, instalaciones de transporte por
cable, productos sanitarios, vehículos y aeronaves.
Por otra
parte, conforme al artículo 6.2, con respecto a los sistemas de IA que no son
componentes de seguridad de productos o productos en sí mismos comprendidos en
su apartado 1, se clasifican como de alto riesgo si, a la luz de su finalidad
prevista, presentan un alto riesgo de ser perjudiciales para la salud y la
seguridad o los derechos fundamentales de las personas, lo que se traduce en la
clasificación como de alto riesgo de los sistemas de IA contemplados en el
Anexo III del RIA. Los sistemas de IA de alto riesgo aparecen organizados en el
Anexo III en nueve ámbitos, y la enumeración refleja el criterio de que la
clasificación como de alto riesgo toma también en consideración las finalidades
concretas para la que se contempla el uso del sistema de IA en cuestión.
Así, en el
ámbito de la biometría, en la medida en que su uso esté permitido, se
consideran de alto riesgo los sistemas de identificación biométrica remota,
salvo que se utilicen con fines de verificación para confirmar que una persona
es quien afirma ser, así como los sistemas de IA destinados a ser utilizados
para la categorización biométrica en función de atributos o características
sensibles, y los sistemas de IA destinados a ser utilizados para el
reconocimiento de emociones.
En el sector
de las infraestructuras críticas, son de alto riesgo los sistemas de IA destinados
a ser utilizados como componentes de seguridad en la gestión y el
funcionamiento de tales infraestructuras, del tráfico rodado o del suministro
de agua, gas, calefacción o electricidad. En el ámbito de la educación, se
clasifican como de alto riesgo los sistemas de IA destinados a ser utilizados
para determinar el acceso o la admisión a centros educativos o para evaluar los
resultados del aprendizaje o el nivel de educación que recibirá una persona,
así como los utilizados para el seguimiento y la detección de comportamientos
prohibidos durante los exámenes. En el ámbito del empleo, el Anexo III
considera de alto riesgo los sistemas de IA destinados a ser utilizados para la
contratación o la selección de personas físicas, incluyendo el análisis y
filtrado de las solicitudes de empleo y la evaluación de los candidatos, así
como los destinados a ser utilizados para tomar decisiones sobre las
condiciones de las relaciones laborales, la asignación de tareas a partir de
comportamientos individuales o rasgos personales o para supervisar y evaluar el
rendimiento y el comportamiento.
Con respecto
al acceso a servicios privados esenciales y a servicios y prestaciones públicos
esenciales y su disfrute, se consideran como sistemas de IA de alto riesgo los destinados
a ser utilizados para evaluar la admisibilidad de las personas físicas para
beneficiarse de tales servicios y prestaciones, así como para reducirlos; los
destinados a ser utilizados para evaluar la solvencia de personas físicas o
establecer su calificación crediticia, salvo los sistemas de IA utilizados al
objeto de detectar fraudes financieros; los destinados a ser utilizados para la
evaluación de riesgos y la fijación de precios en relación con las personas
físicas en el caso de los seguros de vida y de salud; y los destinados a ser
utilizados para la evaluación y la clasificación de las llamadas de emergencia
y en sistemas de triaje de pacientes.
En el ámbito de la garantía del
cumplimiento del Derecho, en la medida en que el uso de sistemas de IA esté
permitido, se consideran de alto riesgo los destinados a ser utilizados por las
autoridades para evaluar el riesgo de que una persona física sea víctima de
delitos, la fiabilidad de las pruebas durante la investigación o el
enjuiciamiento de delitos, el riesgo de que una persona física cometa un delito
o reincida, o la elaboración de perfiles de personas físicas durante la
detección, la investigación o el enjuiciamiento de delitos. En relación con la
migración, asilo y gestión del control fronterizo, se consideran de alto riesgo
los sistemas de IA destinados a ser utilizados por las autoridades competentes
para evaluar un riesgo, por ejemplo, para la seguridad, la salud o de migración
irregular, que plantee una persona; o para ayudar a examinar las solicitudes de
asilo, visado o permiso de residencia y las reclamaciones conexas; o para
detectar, reconocer o identificar a personas físicas.
En lo relativo
a la “administración de justicia y procesos democráticos”, el Anexo III
considera de alto riesgo los sistemas de IA destinados a ser utilizados para
ayudar a una autoridad judicial -o en una resolución alternativa de litigios- en
la investigación e interpretación de hechos y de la ley, así como en la
garantía del cumplimiento del Derecho a un conjunto concreto de hechos. También
se incluyen los destinados a ser utilizados para influir en el resultado de una
elección o referéndum o en el comportamiento electoral de personas que ejerzan
su derecho de voto.
El
artículo 6 RIA incluye presiones adicionales relevantes en relación con la
clasificación de los sistemas de IA como de alto riesgo. Por una parte, prevé
que los casos de uso enumerados en el Anexo III siempre se considerarán de alto
riesgo cuando el sistema de IA efectúe la elaboración de perfiles de personas
físicas. Por otra parte, sin perjuicio de lo anterior, como elemento de
flexibilización, el artículo 6.3 RIA -objeto de aclaraciones relevantes en el
cdo. 53- admite que pueden existir casos específicos en los que los sistemas de
IA referidos en los ámbitos predefinidos en el Anexo III no entrañen un riesgo
considerable de causar un perjuicio a los intereses jurídicos amparados, en particular,
al no influir sustancialmente en la toma de decisiones o no perjudicar dichos
intereses sustancialmente. Se considera que esta circunstancia concurre cuando
el sistema de IA está destinado a cualquiera de las siguientes actividades: a) una
tarea de procedimiento limitada (como la mera clasificación de los documentos
recibidos o la detección de duplicados); b) mejorar el resultado de una
actividad humana previamente realizada (por ejemplo, mejorar la redacción de un
texto ya redactado); c) detectar ciertos patrones de toma de decisiones (por
ejemplo, determinar si un evaluador se ha haberse desviado de su patrón de
calificación); o d) una tarea preparatoria para una evaluación que sea
pertinente a efectos de los usos enumerados en el anexo III (como la indexación
o la búsqueda en archivos).
Como
elementos ilustrativos del carácter dinámico y susceptible de adaptación del
RIA, cabe reseñar que se prevé la adopción por la Comisión de directrices que
especifiquen la aplicación práctica del artículo 6 (art. 6.5 RIA), actos
delegados que modifiquen su apartado 3 (art. 6.6 y 7 RIA), y también que
modifiquen el anexo III mediante la adición o modificación de casos de uso de
sistemas de IA de alto riesgo (art. 7 RIA).
2) Requisitos de los sistemas de IA de alto riesgo y
obligaciones de los operadores
La
introducción en el mercado de la Unión, la puesta en servicio o la utilización
de sistemas de IA de alto riesgo se supedita al cumplimiento de una serie de
requisitos, con el objetivo de garantizar que tales sistemas no planteen
riesgos inaceptables para intereses públicos importantes, así como que
presentan un alto nivel de fiabilidad. Se trata de requisitos que complementan
los establecidos en legislación de armonización de la Unión, en particular en
la legislación sectorial enumerada en el Anexo I del RIA relativa a productos
sometidos a una evaluación de conformidad con un organismo de evaluación de la
conformidad de terceros para su introducción en el mercado o puesta en servicio,
cuyos requisitos se refieren típicamente a riesgos distintos de los que trata
de hacer frente el RIA. En todo caso, para evitar duplicidades y reducir las
cargas adicionales, se contempla que los proveedores puedan integrar los
procesos de prueba y presentación de información necesarios, y la información y
la documentación que faciliten con respecto a su producto que contenga un
sistema de IA en documentación y procedimientos que ya existan y exijan los
actos legislativos de armonización de la Unión enumerados en el anexo I que les
sean aplicables (art. 8.2 RIA).
Los requisitos
exigidos a los sistemas de IA de alto riesgo, contenidos en la Sección 2 del
Capítulo III del RIA, van referidos al establecimiento de un sistema de gestión
de riesgos (art. 9); la calidad de los conjuntos de datos empleados (gobernanza
de datos) (art. 10); la documentación técnica y conservación de registros
(arts. 11 y 12); la transparencia y la divulgación de información a los responsables
del despliegue (art. 13); la supervisión humana (art. 14); y la precisión,
solidez y ciberseguridad del diseño (art. 15).
Estrechamente
ligadas al cumplimiento de los requisitos reseñados, se encuentran las
obligaciones de carácter horizontal que el RIA impone a los proveedores de
sistemas de IA de alto riesgo (y sus representantes autorizados en situaciones
en que el proveedor está establecido en un tercer país), los fabricantes de
productos comprendidos en la relación del Anexo II.A, los importadores y los
distribuidores (arts. 16 a 24). En concreto, con respecto a los proveedores de
sistemas de IA de alto riesgo, el artículo 16 les impone, entre otras, las
obligaciones de: velar por que sus
sistemas de ese tipo cumplan los requisitos establecidos en la sección 2 el
Capítulo III; indicar en el sistema de IA de alto riesgo o, cuando no sea
posible, en el embalaje o en la documentación que lo acompañe su nombre, marca
registrada y dirección de contacto; contar con un sistema de gestión de la
calidad conforme con el artículo 17; conservar la documentación prevista en el
artículo 18 así como ciertos archivos (art. 19); asegurarse de que los sistemas
de IA de alto riesgo sean sometidos al procedimiento pertinente de evaluación
de la conformidad antes de su introducción en el mercado o puesta en servicio; elaborar
una declaración UE de conformidad; colocar el marcado CE; cumplir ciertas
obligaciones de registro; y demostrar, previa solicitud motivada de la
autoridad nacional competente, la conformidad del sistema de IA de alto riesgo
con los requisitos establecidos en la sección 2.
El artículo 25
RIA contempla las circunstancias en las que cualquier distribuidor, importador,
responsable del despliegue o tercero puede llegar a ser considerado proveedor
de un sistema de IA de alto riesgo a los efectos y estará sujeto a las obligaciones
previstas en el artículo 16 (mucho más gravosas que las impuestas a los meros
importadores -art. 23-, distribuidores -art. 24- o responsables del despliegue).
En particular, esa equiparación al proveedor puede darse en el caso de que ese
otro operador ponga su nombre o marca en un sistema de IA de alto riesgo
previamente introducido en el mercado o puesto en servicio; cuando modifique
sustancialmente un sistema de IA de alto riesgo que ya haya sido introducido en
el mercado o puesto en servicio; o cuando modifiquen la finalidad prevista de
un sistema de IA que no haya sido considerado de alto riesgo y ya haya sido
introducido en el mercado o puesto en servicio, de tal manera que el sistema de
IA se convierta en de alto riesgo. Por último, se imponen obligaciones
específicas a los responsables del despliegue de sistemas de IA de alto riesgo,
incluyendo algunas especificidades respecto a las entidades de crédito y el
cumplimiento de la normativa sobre protección de datos personales (art. 26),
así como en relación con ciertos supuestos en los que los responsables del
despliegue sean organismos de Derecho público, o entidades privadas que prestan
servicios públicos (art. 27)-
Por su parte,
la Sección 4 del Capítulo V (arts. 28 a 39 RIA) se dedica básicamente a
establecer el marco relativo a la participación de los organismos implicados en
los procedimientos de evaluación de conformidad, incluyendo el régimen de las
autoridades notificantes responsables de establecer y llevar a cabo los
procedimientos para la evaluación, designación y notificación de los organismos
de evaluación de la conformidad, así como de su supervisión. Por último, la
Sección 5 del Capítulo V (arts. 40 a 49 RIA) detalla los procedimientos de
evaluación de conformidad de los sistemas de IA de alto riesgo que deben
seguirse antes de su introducción en el mercado o puesta en servicio (art. 43),
la elaboración de la declaración UE de conformidad (art. 47 y anexo V), el
marcado CE (art. 48) y ciertas obligaciones de registro (art. 49 y anexo VIII).
III. Sistemas de IA sometidos
a obligaciones específicas de transparencia
El
Capítulo IV (art. 50 RIA) establece
obligaciones de transparencia para determinados sistemas de IA con
independencia de que sean de alto riesgo (en este caso operan con carácter
cumulativo a las del Capítulo III) o no. En concreto, estas obligaciones van
referidas a sistemas de IA destinados a interactuar con personas físicas o a
generar contenidos que pueden plantear riesgos específicos de suplantación o
engaño. Se trata de obligaciones de facilitar cierta información de manera
clara a las personas físicas que interactúan o están expuestas a los sistemas
de IA en cuestión, a más tardar con ocasión de la primera interacción o
exposición.
En
concreto, el artículo 50.2 RIA exige a los proveedores de sistemas de IA
destinados a interactuar directamente con personas físicas que garanticen que
su diseño y desarrollo permiten que tales personas estén informadas de que
están interactuando con un sistema de IA. Cuando se trate de sistemas de IA que
generan contenido sintético de audio, imagen, vídeo o texto, se exige a sus
proveedores que velen por que los resultados de salida estén marcados en un
formato legible por máquina y que sea posible detectar que han sido generados o
manipulados de manera artificial. Esta exigencia pretende dar respuesta a los
riesgos de desinformación y manipulación asociados a la creciente dificultad
para distinguir el contenido auténtico generado por seres humanos, lo que
justifica requerir a los proveedores de ese tipo de sistemas que integren
soluciones técnicas que permitan detectar los contenidos generados o manipulados
por un sistema de IA (cdo. 133). Esta obligación no se aplica cuando el sistema
de IA desempeña una función de apoyo a la edición estándar o no altera sustancialmente
los datos de entrada, o cuando estén autorizados por ley para prevenir,
investigar o enjuiciar delitos. Además, los responsables del despliegue de un
sistema de reconocimiento de emociones o de un sistema de categorización
biométrica deben informar del funcionamiento de ese sistema a las personas
físicas expuestas a él (art. 50.3).
Se incluyen
obligaciones adicionales en relación con los sistemas de IA que permitan
generar “ultrasuplantaciones” o deep fakes. En concreto, el artículo 3.60 RIA
define “ultrasuplantación” como “un contenido de imagen, audio o vídeo generado
o manipulado por una IA que se asemeja a personas, objetos, lugares, entidades
o sucesos reales y que puede inducir a una persona a pensar erróneamente que
son auténticos o verídicos.” Se exige a los responsables del despliegue de un
sistema de IA que genere o manipule contenidos que constituyan una
ultrasuplantación que hagan público que tales contenidos han sido generados o
manipulados de manera artificial, etiquetando los resultados de salida
generados por la IA. Como excepción para no obstaculizar el derecho a la
libertad de expresión y el derecho a la libertad de las artes y de las ciencias
(cdo. 134), cuando el contenido en cuestión forme parte “de una obra o programa
manifiestamente creativos, satíricos, artísticos, de ficción o análogos”,
únicamente existe la obligación de hacer pública la existencia del contenido
generado o manipulado artificialmente de una manera adecuada que no dificulte
la exhibición o el disfrute de la obra” (art. 50.4 pfo.
1 RIA). Además, se impone una obligación de divulgación similar en relación
con el texto generado o manipulado por una IA cuando se publique con el fin de
informar al público sobre asuntos de interés público, salvo que ese contenido
haya sido sometido a revisión humana o de control editorial y que una persona
física o jurídica ejerza la responsabilidad editorial de la publicación del
contenido (art. 50.4 pfo. 2 RIA). Como ya ha quedado señalado, la inclusión de
este régimen de obligaciones específico tiene lugar sin perjuicio de la
eventual prohibición de ciertos empleos de estas herramientas y de la eventual
responsabilidad -incluso penal- derivadas de otras normas de nuestro
ordenamiento jurídico.
IV. Modelos de IA de uso
general
Previamente
se ha detallada cómo el RIA caracteriza los modelos de IA de uso general,
objeto de regulación en su Capítulo V (arts. 51 a 56) y su distinción de los
sistemas de IA. La introducción finalmente de normas específicas en este ámbito
trata de responder a la peculiar posición estos modelos, que con frecuencia
constituyen la base de diversos sistemas de IA que los integran, al tiempo que
cuando reúnen determinadas características pueden generar riesgos de carácter
sistémico.
Todos
los proveedores de modelos de IA de uso general comprendidos en el ámbito de
aplicación territorial del RIA quedan sometidos a ciertas obligaciones de
transparencia, que aparecen detalladas en su artículo 53. Sin perjuicio de excepciones
puntuales para ciertos proveedores de modelos de IA que se divulguen con
arreglo a una licencia libre y de código abierto, sus obligaciones incluyen elaborar
documentación y mantenerla actualizada -que puede ser solicitada por la Oficina
Europea de Inteligencia Artificial y las autoridades nacionales y cuyo
contenido mínimo aparece detallada en los anexos XI y XII del RIA, susceptibles
de modificación por la Comisión mediante actos delegados-, así como facilitar
información sobre el modelo de IA de uso general para su uso por parte de los
proveedores posteriores. Se exige, además, que establezcan directrices para
cumplir el Derecho de la Unión en materia de derechos de autor y derechos
afines (cuestión a la que se hará referencia específica más adelante), así como
que pongan a disposición del público un resumen del contenido utilizado para el
entrenamiento del modelo de IA de uso general. Se prevé que la Oficina Europea
de Inteligencia Artificial proporcione un modelo de dicho resumen. Por su
parte, el artículo 54 obliga a los proveedores establecidos en terceros Estados
a nombrar, mediante un mandato escrito, a un representante autorizado que esté
establecido en la Unión, antes de introducir en el mercado de la Unión un
modelo de IA de uso general, lo que resulta de gran importancia de cara a
asegurar la efectiva aplicación del RIA respecto de tales proveedores.
Destinatarios
de obligaciones específicas adicionales muy significativas son los proveedores
de modelos de IA de uso general con riesgo sistémico, por lo que la
determinación de qué concretos modelos quedan así clasificados reviste gran
importancia práctica. Conforme al artículo 51.1 RIA, para ser clasificado como
de riesgo sistémico basta con que el modelo de IA de uso general tenga “capacidades
de gran impacto evaluadas a partir de herramientas y metodologías técnicas
adecuadas” -para lo que el apdo. 2 proporciona una presunción cuando la
cantidad acumulada de cálculo utilizada para su entrenamiento supera un
determinado umbral- o que en virtud de una decisión de la Comisión se considere
“tiene capacidades o un impacto equivalente”, tomando en consideración los
criterios del anexo XIII (aunque por sí solo no es un elemento determinante, el
anexo XIII prevé que se dará por supuesto que las repercusiones del modelo
debido a su alcance son importantes para el mercado interior cuando se haya
puesto a disposición de al menos 10.000 usuarios profesionales registrados
establecidos en la Unión). Por su parte, el artículo 52 regula cuestiones de
procedimiento en relación con la clasificación de un modelo de IA general como
de riesgo sistémico, incluidas las relativas a la posibilidad de que el
proveedor desvirtúe la presunción del artículo 51.2, demostrando que pese a
superar ese umbral, excepcionalmente, no presenta riesgos sistémicos, debido a
sus características específicas.
Las
obligaciones adicionales de los de los proveedores de modelos de IA de uso
general con riesgo sistémico aparecen detalladas en el artículo 55 RIA.
Básicamente, van referidas a la evaluación de los modelos de conformidad con
protocolos y herramientas normalizados; la evaluación y mitigación de los
posibles riesgos sistémicos a escala de la Unión de su desarrollo, introducción
en el mercado o utilización; la vigilancia y comunicación a la Oficina Europea
de Inteligencia Artificial y las autoridades nacionales competentes de información
sobre incidentes graves y medidas correctoras para resolverlos; así como la protección
de la ciberseguridad para el modelo de IA en cuestión y su infraestructura
física.
V. Elementos adicionales
El
RIA incorpora en su Capítulo VI ciertas medidas destinadas a fomentar la
innovación, entre las que se contempla la introducción por los Estados miembros
de espacios controlados de pruebas para la IA, que se definen como un marco
establecido por una autoridad que ofrece a los proveedores de sistemas de IA la
posibilidad de desarrollar, entrenar, validar y probar un sistema de IA
innovador, con arreglo a un plan del espacio controlado de pruebas y durante un
tiempo limitado, bajo supervisión regulatoria (art. 3.55 RIA). Su
establecimiento y funcionamiento son objeto de regulación en los artículos 57 a
59, con el propósito de facilitar su implantación con garantías. Además, se regula
de forma específica la posibilidad en determinados supuestos de realizar pruebas
de sistemas de IA de alto riesgo en condiciones reales fuera de los espacios
controlados de pruebas para la IA (arts. 60 y 61). Además, se incluyen ciertas
reglas y excepciones para tratar de favorecer la posición de las pymes y las microempresas
(arts. 62 y 63).
Los Capítulos
VII, VIII y IX del RIA se encuentran dedicados a los mecanismos de gobernanza y
de aplicación del Reglamento. Respecto de la gobernanza, la Oficina Europea de Inteligencia Artificial
(Oficina de IA), a través de la que la Comisión “desarrollará los
conocimientos especializados y las capacidades de la Unión en el ámbito de la
IA” (art. 64). La “Oficina de IA” se define en el art. 3.47 como “la función de
la Comisión consistente en contribuir a la implantación, el seguimiento y la
supervisión de los sistemas de IA y modelos de IA de uso general, y a la
gobernanza de la IA”, precisando que las referencias hechas a la Oficina de IA
se entenderán hechas a la Comisión. La Oficina de IA tiene atribuidas importantes
funciones de supervisión en especial con respecto a las obligaciones de los de
los proveedores de modelos de IA de uso general. Además, destaca la
creación del Consejo Europeo de Inteligencia Artificial. Se trata de un órgano
compuesto por representantes de los Estados miembros, con participación también
del Supervisor Europeo de Protección de Datos y de la Oficina de IA (art. 65).
El Consejo se concibe como una pieza clave para la coordinación de las
autoridades nacionales de control. El artículo 66 detalla sus funciones de asesoramiento
y asistencia a la Comisión y a los Estados miembros para facilitar la aplicación
coherente del RIA.
Se prevé la designación
por todos los Estados miembros de autoridades nacionales competentes para supervisar
la aplicación del Reglamento. Para facilitar la actividad de control por parte
de la Comisión y de las autoridades nacionales el Capítulo VIII (art. 71) contempla
la creación de una base de datos específica en relación con sistemas
independientes (no integrados en productos) de IA de alto riesgo (es decir, los
contemplados en su anexo III de conformidad con el art. 6.2), que gestionará la
Comisión con la información facilitada por los proveedores de esos sistemas a
los que se exige registrarlos antes de introducirlos en el mercado o ponerlos
en servicio (arts. 49 y 71).
El Capítulo IX
regula las obligaciones de control e información de los proveedores de sistemas
de IA tras su comercialización, en particular con respecto a incidentes y
fallos de funcionamiento, así como el control de las autoridades, con una
remisión a las competencias atribuidas por el Reglamento 2019/1020 relativo a
la vigilancia del mercado y la conformidad de los productos y los procedimientos
aplicables con respecto a los sistemas de IA que presentan un riesgo, sin
perjuicio de ciertas previsiones específicas, entre otras, con respecto a los
sistemas de IA de alto riesgo introducidos en el mercado, puestos en servicio o
utilizados por entidades financieras, así como los sistemas de IA conformes que
presenten un riesgo (arts. 74, 79 y 82 RIA). También se incluyen previsiones
específicas con respecto a los modelos de uso general, su supervisión por parte
de la Oficina de IA y la asistencia mutua con las autoridades de vigilancia del
mercado pertinentes. En particular, cuando un sistema de IA se base en un
modelo de IA de uso general y un mismo proveedor desarrolle tanto el modelo
como el sistema, se faculta a la Oficina de IA para vigilar y supervisar el
cumplimiento por dicho sistema de las obligaciones del RIA (art. 75.1).
El artículo 83
RIA prevé que cuando la autoridad de vigilancia del mercado de un Estado
miembro constate un incumplimiento, exigirá al proveedor correspondiente que lo
subsane dentro de un plazo. Los incumplimientos en cuestión son los relativos a
la colocación del marcado CE (art. 48); la declaración UE de conformidad (art. 47);
el registro en la base de datos de la UE (art. 71); la no designación, cuando
proceda, de un representante autorizado; la ausencia de documentación técnica.
En caso de que el incumplimiento persista, se prevé la adopción por la autoridad
de vigilancia del mercado en cuestión de “medidas adecuadas y proporcionadas
para restringir o prohibir la comercialización del sistema de IA de alto riesgo
o para asegurarse de que se recupera o retira del mercado sin demora” (art.
83.2).
Como
complemento de las previsiones contenidas en la Propuesta inicial de la Comisión,
durante el procedimiento legislativo se incorporaron en el Capítulo IX
previsiones adicionales en relación con las vías de recurso específicas derivadas
del RIA para reforzar la posición de las personas afectadas. En concreto, el
artículo 85 contempla el derecho de toda persona física o jurídica que tenga
motivos para considerar que se ha infringido a presentar una reclamación ante
una autoridad de vigilancia del mercado, “sin perjuicio de otras vías
administrativas o judiciales de recurso”. Por su parte, el artículo 86 atribuye
a toda persona que se vea afectada por una decisión que el responsable del
despliegue adopte basándose en los resultados de salida de un sistema de IA de
alto riesgo que figure en el anexo III, el derecho a obtener del responsable
del despliegue “explicaciones claras y significativas acerca del papel que el
sistema de IA ha tenido en el proceso de toma de decisiones y los principales
elementos de la decisión”, salvo en ciertos supuestos excepcionales. A
diferencia del RGPD, el RIA no incluye disposición alguna sobre el derecho a
indemnización en situaciones en las que el sistema de IA infrinja lo previsto
en el Reglamento. Sin perjuicio de que las disposiciones al respecto del RGPD
serán relevantes también en relación con el uso de sistemas de IA cuando se
produzca una infracción del RGPD, debe tenerse en cuenta que está previsto que
el RIA se vea complementado por la Directiva relativa a la adaptación de las
normas de responsabilidad civil extracontractual a la inteligencia artificial (Directiva
sobre responsabilidad en materia de IA) y la nueva Directiva sobre responsabilidad por los daños causados por productos defectuosos.
Con respecto a
los sistemas de IA cuyo riesgo está por debajo del nivel alto reviste
importancia el Capítulo X, que establece un marco para la adopción de códigos
de conducta con la idea de que esta vía voluntaria pueda facilitar la asunción
por lo prestadores de sistemas de IA de ese tipo de compromisos de cumplir con
requisitos que el Capítulo III impone para los sistemas de IA de riesgo alto (art.
95). También el Capítulo X contempla la elaboración por la Comisión de
directrices sobre la aplicación práctica del RIA, con una relación meramente
indicativa de las cuestiones que pueden ser abordadas, que incluyen aspectos del
régimen sustantivo del Reglamento de especial relevancia, como la definición de
sistema de IA, requisitos y obligaciones relativos a los sistemas de IA de alto
riesgo, las prácticas prohibidas en el artículo 5, las obligaciones de
transparencia establecidas en el artículo 50, la interacción entre el RIA y
otras disposiciones del Derecho de la UE incluidas las enumeradas en el Anexo I
del RIA. También de singular relevancia práctica en la aplicación del RIA es la
delegación de poderes y la adopción de actos delegados por la Comisión, objeto
del Capítulo XI (arts. 97 y 98).
El Capítulo
XII RIA está dedicado a regular las posibles sanciones. Conforme al artículo
99, el establecimiento de las sanciones -efectivas, proporcionadas y
disuasorias- y otras medidas de ejecución frente a las infracciones del
Reglamento corresponde a los Estados, respetando las condiciones previstas en
el mismo. Entre tales condicionantes, se prevé que la infracción de la
prohibición de las prácticas de IA establecidas en el artículo 5 puede ser
objeto de multas de hasta 35.000.000 de euros o, si el infractor es una empresa,
de hasta el 7 % de su volumen de negocios mundial total en ejercicio financiero
anterior. Además, se incluyen precisiones sobre los umbrales de las multas respecto
de ciertas infracciones de obligaciones establecidas en los Capítulos III y IV,
así como acerca de las circunstancias a tomar en cuenta al decidir la cuantía
de las multas. Objeto de atención específica son las multas a proveedores de
modelos de IA de uso general, cuya imposición compete a la Comisión. En
concreto, se contempla que podrá imponerles multas que no superen el 3 % de su
volumen de negocios mundial total anual correspondiente al ejercicio financiero
anterior o de 15.000.000 de euros si esta cifra es superior (art. 101 RIA).
