Diario Oficial
de la Unión Europea
ES
Journal officiel
de l'Union européenne
FR
REGLAMENTO (UE) 2024/1689 DEL PARLAMENTO EUROPEO Y DEL CONSEJO
RÈGLEMENT (UE) 2024/1689 DU PARLEMENT EUROPÉEN ET DU CONSEIL
por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) n.o 300/2008, (UE) n.o 167/2013, (UE) n.o 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828 (Reglamento de Inteligencia Artificial)
établissant des règles harmonisées concernant l’intelligence artificielle et modifiant les règlements (CE) no 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (règlement sur l’intelligence artificielle)
(Texto pertinente a efectos del EEE)
(Texte présentant de l’intérêt pour l’EEE)
EL PARLAMENTO EUROPEO Y EL CONSEJO DE LA UNIÓN EUROPEA,
LE PARLEMENT EUROPÉEN ET LE CONSEIL DE L’UNION EUROPÉENNE,
Visto el Tratado de Funcionamiento de la Unión Europea, y en particular sus artículos 16 y 114,
vu le traité sur le fonctionnement de l’Union européenne, et notamment ses articles 16 et 114,
Vista la propuesta de la Comisión Europea,
vu la proposition de la Commission européenne,
Previa transmisión del proyecto de acto legislativo a los Parlamentos nacionales,
après transmission du projet d’acte législatif aux parlements nationaux,
Visto el dictamen del Comité Económico y Social Europeo (1),
vu l’avis du Comité économique et social européen (1),
Visto el dictamen del Banco Central Europeo (2),
vu l’avis de la Banque centrale européenne (2),
Visto el dictamen del Comité de las Regiones (3),
vu l’avis du Comité des régions (3),
De conformidad con el procedimiento legislativo ordinario (4),
statuant conformément à la procédure législative ordinaire (4),
Considerando lo siguiente:
(1)
El objetivo del presente Reglamento es mejorar el funcionamiento del mercado interior mediante el establecimiento de un marco jurídico uniforme, en particular para el desarrollo, la introducción en el mercado, la puesta en servicio y la utilización de sistemas de inteligencia artificial (en lo sucesivo, «sistemas de IA») en la Unión, de conformidad con los valores de la Unión, a fin de promover la adopción de una inteligencia artificial (IA) centrada en el ser humano y fiable, garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta de los Derechos Fundamentales de la Unión Europea (en lo sucesivo, «Carta»), incluidos la democracia, el Estado de Derecho y la protección del medio ambiente, proteger frente a los efectos perjudiciales de los sistemas de IA en la Unión, así como brindar apoyo a la innovación. El presente Reglamento garantiza la libre circulación transfronteriza de mercancías y servicios basados en la IA, con lo que impide que los Estados miembros impongan restricciones al desarrollo, la comercialización y la utilización de sistemas de IA, a menos que el presente Reglamento lo autorice expresamente.
(1)
L’objectif du présent règlement est d’améliorer le fonctionnement du marché intérieur en établissant un cadre juridique uniforme, en particulier pour le développement, la mise sur le marché, la mise en service et l’utilisation de systèmes d’intelligence artificielle (ci-après dénommés «systèmes d’IA») dans l’Union, dans le respect des valeurs de l’Union, de promouvoir l’adoption de l’intelligence artificielle (IA) axée sur l’humain et digne de confiance tout en garantissant un niveau élevé de protection de la santé, de la sécurité et des droits fondamentaux consacrés dans la Charte des droits fondamentaux de l’Union européenne (ci-après dénommée «Charte»), y compris la démocratie, l’état de droit et la protection de l’environnement, de protéger contre les effets néfastes des systèmes d’IA dans l’Union, et de soutenir l’innovation. Le présent règlement garantit la libre circulation transfrontière des biens et services fondés sur l’IA, empêchant ainsi les États membres d’imposer des restrictions au développement, à la commercialisation et à l’utilisation de systèmes d’IA, sauf autorisation expresse du présent règlement.
(2)
El presente Reglamento debe aplicarse de conformidad con los valores de la Unión consagrados en la Carta, lo que facilitará la protección de las personas físicas, las empresas, la democracia, el Estado de Derecho y la protección del medio ambiente y, al mismo tiempo, impulsará la innovación y el empleo y convertirá a la Unión en líder en la adopción de una IA fiable.
(2)
Le présent règlement devrait être appliqué dans le respect des valeurs de l’Union consacrées dans la Charte, en facilitant la protection des personnes physiques, des entreprises, de la démocratie, de l’état de droit et de l’environnement, tout en stimulant l’innovation et l’emploi et en faisant de l’Union un acteur de premier plan dans l’adoption d’une IA digne de confiance.
(3)
Los sistemas de IA pueden desplegarse con facilidad en sectores muy diversos de la economía y en muchas partes de la sociedad, también a escala transfronteriza, y circular fácilmente por toda la Unión. Algunos Estados miembros ya han estudiado adopción de normas nacionales destinadas a garantizar que la IA sea fiable y segura y se desarrolle y utilice de conformidad con las obligaciones relativas a los derechos fundamentales. La existencia de normas nacionales divergentes puede dar lugar a la fragmentación del mercado interior y reducir la seguridad jurídica de los operadores que desarrollan, importan o utilizan sistemas de IA. Por lo tanto, es preciso garantizar un nivel elevado y coherente de protección en toda la Unión para lograr una IA fiable, así como evitar las divergencias que obstaculizan la libre circulación, la innovación, el despliegue y la adopción en el mercado interior de los sistemas de IA y los productos y servicios conexos mediante el establecimiento de obligaciones uniformes para los operadores y la garantía de una protección uniforme de los fines imperiosos de interés general y de los derechos de las personas en todo el mercado interior, sobre la base del artículo 114 del Tratado de Funcionamiento de la Unión Europea (TFUE). En la medida en que el presente Reglamento contiene normas específicas para la protección de las personas en relación con el tratamiento de datos personales que restringen el uso de sistemas de IA para la identificación biométrica remota con fines de garantía del cumplimiento del Derecho, el uso de sistemas de IA para la realización de evaluaciones de riesgos de personas físicas con fines de garantía del cumplimiento del Derecho y el uso de sistemas de IA de categorización biométrica con fines de garantía del cumplimiento del Derecho, resulta adecuado basar este Reglamento, en lo que atañe a dichas normas específicas, en el artículo 16 del TFUE. A la luz de dichas normas específicas y del recurso al artículo 16 del TFUE, conviene consultar al Comité Europeo de Protección de Datos.
(3)
Les systèmes d’IA peuvent être facilement déployés dans un large éventail de secteurs de l’économie et dans de nombreux pans de la société, y compris transfrontières, et peuvent facilement circuler dans toute l’Union. Certains États membres ont déjà envisagé l’adoption de règles nationales destinées à faire en sorte que l’IA soit digne de confiance et sûre et à ce qu’elle soit développée et utilisée dans le respect des obligations en matière de droits fondamentaux. Le fait que les règles nationales divergent peut entraîner une fragmentation du marché intérieur et peut réduire la sécurité juridique pour les opérateurs qui développent, importent ou utilisent des systèmes d’IA. Il convient donc de garantir un niveau de protection cohérent et élevé dans toute l’Union afin de parvenir à une IA digne de confiance, et d’éviter les divergences qui entravent la libre circulation, l’innovation, le déploiement et l’adoption des systèmes d’IA et des produits et services connexes au sein du marché intérieur, en établissant des obligations uniformes pour les opérateurs et en garantissant la protection uniforme des raisons impérieuses d’intérêt général et des droits des citoyens dans l’ensemble du marché intérieur sur la base de l’article 114 du traité sur le fonctionnement de l’Union européenne. Dans la mesure où le présent règlement contient des règles spécifiques sur la protection des personnes physiques en ce qui concerne le traitement des données à caractère personnel, à savoir des restrictions portant sur l’utilisation de systèmes d’IA pour l’identification biométrique à distance à des fins répressives, sur l’utilisation de systèmes d’IA pour l’évaluation des risques liés à des personnes physiques à des fins répressives, et sur l’utilisation de systèmes d’IA de catégorisation biométrique à des fins répressives, il convient de fonder le présent règlement, pour ce qui est de ces règles spécifiques, sur l’article 16 du traité sur le fonctionnement de l’Union européenne. Compte tenu de ces règles spécifiques et du recours à l’article 16 du traité sur le fonctionnement de l’Union européenne, il convient de consulter le comité européen de la protection des données.
(4)
La IA es un conjunto de tecnologías en rápida evolución que contribuye a generar beneficios económicos, medioambientales y sociales muy diversos en todos los sectores económicos y las actividades sociales. El uso de la IA puede proporcionar ventajas competitivas esenciales a las empresas y facilitar la obtención de resultados positivos desde el punto de vista social y medioambiental en los ámbitos de la asistencia sanitaria, la agricultura, la seguridad alimentaria, la educación y la formación, los medios de comunicación, el deporte, la cultura, la gestión de infraestructuras, la energía, el transporte y la logística, los servicios públicos, la seguridad, la justicia, la eficiencia de los recursos y la energía, el seguimiento ambiental, la conservación y restauración de la biodiversidad y los ecosistemas, y la mitigación del cambio climático y la adaptación a él, entre otros, al mejorar la predicción, optimizar las operaciones y la asignación de los recursos, y personalizar las soluciones digitales que se encuentran a disposición de la población y las organizaciones.
(4)
L’IA est une famille de technologies en évolution rapide, contribuant à un large éventail de bienfaits économiques, environnementaux et sociétaux touchant l’ensemble des secteurs économiques et des activités sociales. En fournissant de meilleures prédictions, en optimisant les processus et l’allocation des ressources et en personnalisant les solutions numériques disponibles pour les particuliers et les organisations, le recours à l’IA peut donner des avantages concurrentiels décisifs aux entreprises et produire des résultats bénéfiques pour la société et l’environnement, dans des domaines tels que les soins de santé, l’agriculture, la sécurité des aliments, l’éducation et la formation, les médias, le sport, la culture, la gestion des infrastructures, l’énergie, les transports et la logistique, les services publics, la sécurité, la justice, l’utilisation efficace des ressources et de l’énergie, la surveillance de l’environnement, la préservation et la restauration de la biodiversité et des écosystèmes ainsi que l’atténuation du changement climatique et l’adaptation à celui-ci.
(5)
Al mismo tiempo, dependiendo de las circunstancias relativas a su aplicación, utilización y nivel de desarrollo tecnológico concretos, la IA puede generar riesgos y menoscabar los intereses públicos y los derechos fundamentales que protege el Derecho de la Unión. Dicho menoscabo puede ser tangible o intangible e incluye los perjuicios físicos, psíquicos, sociales o económicos.
(5)
Cependant, en fonction des circonstances concernant son application et son utilisation et du niveau de développement technologique, l’IA peut générer des risques et porter atteinte aux intérêts publics et aux droits fondamentaux protégés par le droit de l’Union. Le préjudice causé peut être matériel ou immatériel, y compris physique, psychologique, sociétal ou économique.
(6)
Dadas las importantes repercusiones que la IA puede tener en la sociedad y la necesidad de generar confianza, es fundamental que la IA y su marco reglamentario se desarrollen de conformidad con los valores de la Unión consagrados en el artículo 2 del Tratado de la Unión Europea (TUE), los derechos y libertades fundamentales consagrados en los Tratados y, de conformidad con el artículo 6 del TUE, la Carta. Como requisito previo, la IA debe ser una tecnología centrada en el ser humano. Además, debe ser una herramienta para las personas y tener por objetivo último aumentar el bienestar humano.
(6)
Compte tenu de l’incidence majeure que l’IA peut avoir sur nos sociétés et de la nécessité de bâtir la confiance, l’IA et son cadre réglementaire doivent impérativement être élaborés dans le respect des valeurs de l’Union consacrées à l’article 2 du traité sur l’Union européenne, des droits et libertés fondamentaux prévus par les traités, et, conformément à l’article 6 du traité sur l’Union européenne, de la Charte. Il est indispensable que l’IA soit une technologie axée sur l’humain. Elle devrait servir d’outil aux personnes, dans le but ultime d’accroître le bien-être des humains.
(7)
Conviene establecer normas comunes para los sistemas de IA de alto riesgo al objeto de garantizar un nivel elevado y coherente de protección de los intereses públicos en lo que respecta a la salud, la seguridad y los derechos fundamentales. Estas normas deben ser coherentes con la Carta, no deben ser discriminatorias y deben estar en consonancia con los compromisos de la Unión en materia de comercio internacional. También deben tener en cuenta la Declaración Europea sobre los Derechos y Principios Digitales para la Década Digital y las Directrices éticas para una IA fiable del Grupo independiente de expertos de alto nivel sobre inteligencia artificial.
(7)
Afin d’assurer un niveau cohérent et élevé de protection des intérêts publics en ce qui concerne la santé, la sécurité et les droits fondamentaux, il convient d’établir des règles communes pour les systèmes d’IA à haut risque. Ces règles devraient être conformes à la Charte, non discriminatoires et compatibles avec les engagements commerciaux internationaux de l’Union. Elles devraient également tenir compte de la déclaration européenne sur les droits et principes numériques pour la décennie numérique et des lignes directrices en matière d’éthique pour une IA digne de confiance rédigées par le groupe d’experts de haut niveau sur l’intelligence artificielle (ci-après dénommé «GEHN IA»).
(8)
En consecuencia, se necesita un marco jurídico de la Unión que establezca unas normas armonizadas en materia de IA para impulsar el desarrollo, la utilización y la adopción en el mercado interior de la IA y que, al mismo tiempo, ofrezca un nivel elevado de protección de los intereses públicos, como la salud y la seguridad y la protección de los derechos fundamentales, incluidos la democracia, el Estado de Derecho y la protección del medio ambiente, reconocidos y protegidos por el Derecho de la Unión. Para alcanzar dicho objetivo, conviene establecer normas que regulen la introducción en el mercado, la puesta en servicio y la utilización de determinados sistemas de IA, lo que garantizará el buen funcionamiento del mercado interior y permitirá que dichos sistemas se beneficien del principio de libre circulación de mercancías y servicios. Esas normas deben ser claras y firmes por lo que respecta a proteger los derechos fundamentales, apoyar nuevas soluciones innovadoras, posibilitar un ecosistema europeo de agentes públicos y privados que creen sistemas de IA en consonancia con los valores de la Unión y liberar el potencial de la transformación digital en todas las regiones de la Unión. Al establecer tales normas, así como medidas en apoyo de la innovación que prestan especial atención a las pequeñas y medianas empresas (pymes), incluidas las empresas emergentes, el presente Reglamento respalda el objetivo de promover el enfoque europeo de la IA centrado en el ser humano y de ser un líder mundial en el desarrollo de IA segura, digna de confianza y ética, como indicó el Consejo Europeo (5), y garantiza la protección de los principios éticos, como solicitó específicamente el Parlamento Europeo (6).
(8)
Un cadre juridique de l’Union établissant des règles harmonisées sur l’IA est donc nécessaire pour favoriser le développement, l’utilisation et l’adoption de l’IA dans le marché intérieur, tout en garantissant un niveau élevé de protection des intérêts publics, comme la santé et la sécurité, et de protection des droits fondamentaux, y compris la démocratie, l’état de droit et la protection de l’environnement, tels qu’ils sont reconnus et protégés par le droit de l’Union. Pour atteindre cet objectif, des règles régissant la mise sur le marché, la mise en service et l’utilisation de certains systèmes d’IA devraient être établies, garantissant ainsi le bon fonctionnement du marché intérieur et permettant à ces systèmes de bénéficier du principe de libre circulation des marchandises et des services. Ces règles devraient être claires et solides pour protéger les droits fondamentaux, soutenir de nouvelles solutions innovantes, permettre la mise en place d’un écosystème européen d’acteurs publics et privés créant des systèmes d’IA conformes aux valeurs de l’Union, et libérer le potentiel de la transformation numérique dans l’ensemble des régions de l’Union. En établissant ces règles, ainsi que des mesures en faveur de l’innovation mettant un accent particulier sur les petites et moyennes entreprises (PME), parmi lesquelles les jeunes pousses, le présent règlement contribue à la réalisation de l’objectif qui consiste à promouvoir l’approche européenne de l’IA axée sur l’humain et faire de l’UE un acteur mondial de premier plan dans le développement d’une IA sûre, fiable et éthique, ainsi que l’avait formulé le Conseil européen (5), et il garantit la protection de principes éthiques expressément demandée par le Parlement européen (6).
(9)
Deben establecerse normas armonizadas aplicables a la introducción en el mercado, la puesta en servicio y la utilización de sistemas de IA de alto riesgo en consonancia con el Reglamento (CE) n.o 765/2008 del Parlamento Europeo y del Consejo (7), la Decisión n.o 768/2008/CE del Parlamento Europeo y del Consejo (8) y el Reglamento (UE) 2019/1020 del Parlamento Europeo y del Consejo (9) (en lo sucesivo, «nuevo marco legislativo»). Las normas armonizadas que se establecen en el presente Reglamento deben aplicarse en todos los sectores y, en consonancia con el nuevo marco legislativo, deben entenderse sin perjuicio del Derecho vigente de la Unión, en particular en materia de protección de datos, protección de los consumidores, derechos fundamentales, empleo, protección de los trabajadores y seguridad de los productos, al que complementa el presente Reglamento. En consecuencia, permanecen inalterados y siguen siendo plenamente aplicables todos los derechos y vías de recurso que el citado Derecho de la Unión otorga a los consumidores y demás personas que puedan verse afectados negativamente por los sistemas de IA, también en lo que respecta a la reparación de los posibles daños de conformidad con la Directiva 85/374/CEE del Consejo (10). Además, en el contexto del empleo y la protección de los trabajadores, el presente Reglamento no debe afectar, por tanto, al Derecho de la Unión en materia de política social ni al Derecho laboral nacional —de conformidad con el Derecho de la Unión— relativa a las condiciones de empleo y de trabajo, incluidas la salud y seguridad en el trabajo y la relación entre empleadores y trabajadores. El presente Reglamento tampoco debe afectar en modo alguno al ejercicio de los derechos fundamentales reconocidos en los Estados miembros y a escala de la Unión, incluidos el derecho o la libertad de huelga o de emprender otras acciones contempladas en los sistemas de relaciones laborales específicos de los Estados miembros y el derecho a negociar, concluir y hacer cumplir convenios colectivos o a llevar a cabo acciones colectivas conforme al Derecho nacional. El presente Reglamento no debe afectar a las disposiciones destinadas a mejorar las condiciones laborales en el trabajo en plataformas digitales establecidas en una Directiva del Parlamento Europeo y del Consejo relativa a la mejora de las condiciones laborales en el trabajo en plataformas digitales. Además, el presente Reglamento tiene por objeto reforzar la eficacia de tales derechos y vías de recurso vigentes mediante el establecimiento de requisitos y obligaciones específicos, también en lo que respecta a la transparencia, la documentación técnica y la conservación de registros de los sistemas de IA. Asimismo, las obligaciones impuestas a los distintos operadores que participan en la cadena de valor de la IA en virtud del presente Reglamento deben aplicarse sin perjuicio del Derecho nacional que, de conformidad con el Derecho de la Unión, tenga por efecto limitar el uso de determinados sistemas de IA cuando dicho Derecho quede fuera del ámbito de aplicación del presente Reglamento o persiga objetivos legítimos de interés público distintos de los perseguidos por el presente Reglamento. Así, por ejemplo, el presente Reglamento no debe afectar al Derecho laboral nacional ni al Derecho en materia de protección de menores, a saber, de personas de menos de dieciocho años, que tienen en cuenta la Observación general n.o 25 (2021) de la Convención sobre los Derechos del Niño de las Naciones Unidas relativa a los derechos de los niños en relación con el entorno digital, en la medida en que no son específicas a los sistemas de IA y persiguen otros objetivos legítimos de interés público.
(9)
Des règles harmonisées applicables à la mise sur le marché, à la mise en service et à l’utilisation de systèmes d’IA à haut risque devraient être établies conformément au règlement (CE) no 765/2008 du Parlement européen et du Conseil (7), à la décision no 768/2008/CE du Parlement européen et du Conseil (8) et au règlement (UE) 2019/1020 du Parlement européen et du Conseil (9) (ci-après dénommé «nouveau cadre législatif»). Les règles harmonisées énoncées dans le présent règlement devraient s’appliquer dans tous les secteurs et, conformément au nouveau cadre législatif, être sans préjudice du droit de l’Union en vigueur, en particulier en ce qui concerne la protection des données, la protection des consommateurs, les droits fondamentaux, l’emploi et la protection des travailleurs, et la sécurité des produits, que le présent règlement vient compléter. En conséquence, tous les droits et recours prévus par ce droit de l’Union pour les consommateurs et les autres personnes sur lesquelles les systèmes d’IA sont susceptibles d’avoir des incidences négatives, y compris en ce qui concerne la réparation de dommages éventuels conformément à la directive 85/374/CEE du Conseil (10), demeurent inchangés et pleinement applicables. En outre, dans le contexte de l’emploi et de la protection des travailleurs, le présent règlement ne devrait donc pas avoir d’incidence sur le droit de l’Union en matière de politique sociale ni sur le droit national du travail, dans le respect du droit de l’Union, en ce qui concerne les conditions d’emploi et de travail, y compris la santé et la sécurité au travail et les relations entre employeurs et travailleurs. Par ailleurs, le présent règlement ne devrait pas porter atteinte à l’exercice des droits fondamentaux reconnus dans les États membres et au niveau de l’Union, notamment le droit ou la liberté de faire grève ou d’entreprendre d’autres actions prévues par les mécanismes de concertation sociale propres aux États membres, ainsi que le droit de négocier, de conclure et d’appliquer des conventions collectives ou de mener des actions collectives conformément au droit national. Le présent règlement ne devrait pas avoir d’incidence sur les dispositions visant à améliorer les conditions de travail dans le cadre du travail via une plateforme, établies dans la directive du Parlement européen et du Conseil relative à l’amélioration des conditions de travail dans le cadre du travail via une plateforme. De plus, le présent règlement vise à renforcer l’efficacité de ces droits et recours existants en établissant des exigences et des obligations spécifiques, y compris en ce qui concerne la transparence, la documentation technique et la tenue de registres des systèmes d’IA. Par ailleurs, les obligations imposées aux différents opérateurs intervenant dans la chaîne de valeur de l’IA en vertu du présent règlement devraient s’appliquer sans préjudice du droit national, dans le respect du droit de l’Union, ayant pour effet de limiter l’utilisation de certains systèmes d’IA lorsque ces législations ne relèvent pas du champ d’application du présent règlement ou poursuivent des objectifs légitimes d’intérêt public autres que ceux poursuivis par le présent règlement. Ainsi, le droit national du travail et les lois sur la protection des mineurs, à savoir des personnes âgées de moins de 18 ans, compte tenu de l’observation générale no 25 (2021) de la CNUDE sur les droits de l’enfant en relation avec l’environnement numérique, dans la mesure où ils ne sont pas spécifiques aux systèmes d’IA et poursuivent d’autres objectifs légitimes d’intérêt public, ne devraient pas être affectés par le présent règlement.
(10)
El derecho fundamental a la protección de los datos personales está garantizado, en particular, por los Reglamentos (UE) 2016/679 (11) y (UE) 2018/1725 (12) del Parlamento Europeo y del Consejo y la Directiva (UE) 2016/680 del Parlamento Europeo y del Consejo (13). Además, la Directiva 2002/58/CE del Parlamento Europeo y del Consejo (14) protege la vida privada y la confidencialidad de las comunicaciones, también estableciendo condiciones para cualquier almacenamiento de datos personales y no personales en los equipos terminales, y el acceso desde estos. Dichos actos legislativos de la Unión constituyen la base para un tratamiento de datos sostenible y responsable, también cuando los conjuntos de datos contengan una combinación de datos personales y no personales. El presente Reglamento no pretende afectar a la aplicación del Derecho de la Unión vigente que regula el tratamiento de datos personales, incluidas las funciones y competencias de las autoridades de supervisión independientes competentes para vigilar el cumplimiento de dichos instrumentos. Tampoco afecta a las obligaciones de los proveedores y los responsables del despliegue de sistemas de IA en su papel de responsables o encargados del tratamiento de datos derivadas del Derecho de la Unión o nacional en materia de protección de datos personales en la medida en que el diseño, el desarrollo o el uso de sistemas de IA impliquen el tratamiento de datos personales. También conviene aclarar que los interesados siguen disfrutando de todos los derechos y garantías que les confiere dicho Derecho de la Unión, incluidos los derechos relacionados con las decisiones individuales totalmente automatizadas, como la elaboración de perfiles. Unas normas armonizadas para la introducción en el mercado, la puesta en servicio y la utilización de sistemas de IA establecidas en virtud del presente Reglamento deben facilitar la aplicación efectiva y permitir el ejercicio de los derechos y otras vías de recurso de los interesados garantizados por el Derecho de la Unión en materia de protección de datos personales, así como de otros derechos fundamentales.
(10)
Le droit fondamental à la protection des données à caractère personnel est garanti en particulier par les règlements (UE) 2016/679 (11) et (UE) 2018/1725 (12) du Parlement européen et du Conseil, ainsi que par la directive (UE) 2016/680 du Parlement européen et du Conseil (13). Par ailleurs, la directive 2002/58/CE du Parlement européen et du Conseil (14) protège la vie privée et la confidentialité des communications, y compris en prévoyant des conditions régissant le stockage de données à caractère personnel et non personnel dans des équipements terminaux ainsi que les conditions d’accès à ces données depuis ces équipements. Ces actes législatifs de l’Union servent de base à un traitement pérenne et responsable des données, y compris lorsque les ensembles de données contiennent un mélange de données à caractère personnel et de données à caractère non personnel. Le présent règlement n’entend pas modifier l’application du droit de l’Union régissant le traitement des données à caractère personnel, ni les tâches et les pouvoirs des autorités de contrôle indépendantes chargées de veiller au respect de ces ins truments. Il n’a pas non plus d’incidence sur les obligations des fournisseurs et des déployeurs de systèmes d’IA en leur qualité de responsables du traitement ou de sous-traitants découlant du droit de l’Union ou du droit national relatif à la protection des données à caractère personnel dans la mesure où la conception, le développement ou l’utilisation de systèmes d’IA implique le traitement de données à caractère personnel. Il convient également de préciser que les personnes concernées continuent de jouir de tous les droits et garanties qui leur sont conférés par le droit de l’Union, dont les droits liés à la prise de décision individuelle entièrement automatisée, y compris le profilage. Des règles harmonisées concernant la mise sur le marché, la mise en service et l’utilisation des systèmes d’IA établies en vertu du présent règlement devraient faciliter la mise en œuvre effective des droits et autres voies de recours garantis par le droit de l’Union relatif à la protection des données à caractère personnel et d’autres droits fondamentaux, et permettre aux personnes concernées de faire valoir ces droits et autres voies de recours.
(11)
El presente Reglamento debe interpretarse sin perjuicio de las disposiciones del Reglamento (UE) 2022/2065 del Parlamento Europeo y del Consejo (15) relativas a la responsabilidad de los prestadores de servicios intermediarios.
(11)
Le présent règlement devrait être sans préjudice des dispositions relatives à la responsabilité des fournisseurs de services intermédiaires prévue dans le règlement (UE) 2022/2065 du Parlement européen et du Conseil (15).
(12)
Debe definirse con claridad el concepto de «sistema de IA» en el presente Reglamento y armonizarlo estrechamente con los trabajos de las organizaciones internacionales que se ocupan de la IA, a fin de garantizar la seguridad jurídica y facilitar la convergencia a escala internacional y una amplia aceptación, al mismo tiempo que se prevé la flexibilidad necesaria para dar cabida a los rápidos avances tecnológicos en este ámbito. Además, la definición debe basarse en las principales características de los sistemas de IA que los distinguen de los sistemas de software o los planteamientos de programación tradicionales y más sencillos, y no debe incluir los sistemas basados en las normas definidas únicamente por personas físicas para ejecutar automáticamente operaciones. Una característica principal de los sistemas de IA es su capacidad de inferencia. Esta capacidad de inferencia se refiere al proceso de obtención de resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que puede influir en entornos físicos y virtuales, y a la capacidad de los sistemas de IA para deducir modelos o algoritmos, o ambos, a partir de información de entrada o datos. Las técnicas que permiten la inferencia al construir un sistema de IA incluyen estrategias de aprendizaje automático que aprenden de los datos cómo alcanzar determinados objetivos y estrategias basadas en la lógica y el conocimiento que infieren a partir de conocimientos codificados o de una representación simbólica de la tarea que debe resolverse. La capacidad de inferencia de un sistema de IA trasciende el tratamiento básico de datos, al permitir el aprendizaje, el razonamiento o la modelización. El término «basado en una máquina» se refiere al hecho de que los sistemas de IA se ejecutan en máquinas.La referencia a objetivos explícitos o implícitos subraya que los sistemas de IA pueden funcionar con arreglo a objetivos definidos explícitos o a objetivos implícitos. Los objetivos del sistema de IA pueden ser diferentes de la finalidad prevista del sistema de IA en un contexto específico. A los efectos del presente Reglamento, debe entenderse por entornos los contextos en los que funcionan los sistemas de IA, mientras que los resultados de salida generados por el sistema de IA reflejan las distintas funciones desempeñadas por los sistemas de IA e incluyen predicciones, contenidos, recomendaciones o decisiones. Los sistemas de IA están diseñados para funcionar con distintos niveles de autonomía, lo que significa que pueden actuar con cierto grado de independencia con respecto a la actuación humana y tienen ciertas capacidades para funcionar sin intervención humana. La capacidad de adaptación que un sistema de IA podría mostrar tras su despliegue se refiere a las capacidades de autoaprendizaje que permiten al sistema cambiar mientras está en uso. Los sistemas de IA pueden utilizarse de manera independiente o como componentes de un producto, con independencia de si el sistema forma parte físicamente del producto (integrado) o contribuye a la funcionalidad del producto sin formar parte de él (no integrado).
(12)
La notion de «système d’IA» figurant dans le présent règlement devrait être clairement définie et devrait être étroitement alignée sur les travaux des organisations internationales œuvrant dans le domaine de l’IA afin de garantir la sécurité juridique, et de faciliter la convergence internationale et une large acceptation, tout en offrant la souplesse nécessaire pour tenir compte des évolutions technologiques rapides dans ce domaine. En outre, la définition devrait être fondée sur les caractéristiques essentielles des systèmes d’IA qui la distinguent des systèmes logiciels ou des approches de programmation traditionnels plus simples, et ne devrait pas couvrir les systèmes fondés sur les règles définies uniquement par les personnes physiques pour exécuter automatiquement des opérations. Une caractéristique essentielle des systèmes d’IA est leur capacité d’inférence. Cette capacité d’inférence concerne le processus consistant à générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions, qui peuvent influencer l’environnement physique ou virtuel, et la capacité des systèmes d’IA à inférer des modèles ou des algorithmes, ou les deux, à partir d’entrées ou de données. Les techniques permettant l’inférence lors de la construction d’un système d’IA comprennent des approches d’apprentissage automatique qui apprennent à partir des données la manière d’atteindre certains objectifs, et des approches fondées sur la logique et les connaissances qui font des inférences à partir des connaissances encodées ou de la représentation symbolique de la tâche à résoudre. La capacité d’un système d’IA à faire des inférences va au-delà du traitement de données de base en ce qu’elle permet l’apprentissage, le raisonnement ou la modélisation. Le terme «fondé sur des machines» renvoie au fait que les systèmes d’IA tournent sur des machines. La référence à des objectifs explicites ou implicites souligne que les systèmes d’IA peuvent fonctionner selon des objectifs explicites définis ou des objectifs implicites. Les objectifs du système d’IA peuvent être différents de la destination du système d’IA dans un contexte spécifique. Aux fins du présent règlement, les environnements devraient s’entendre comme étant les contextes dans lesquels les systèmes d’IA fonctionnent, tandis que les sorties générées par le système d’IA correspondent à différentes fonctions exécutées par les systèmes d’IA et consistent en des prévisions, du contenu, des recommandations ou des décisions. Les systèmes d’IA sont conçus pour fonctionner à différents niveaux d’autonomie, ce qui signifie qu’ils bénéficient d’un certain degré d’indépendance dans leur action par rapport à une ingérence humaine et de capacités à fonctionner sans intervention humaine. La faculté d’adaptation dont un système d’IA pourrait faire preuve après son déploiement est liée à des capacités d’auto-apprentissage, qui permettent au système d’évoluer en cours d’utilisation. Les systèmes d’IA peuvent être utilisés seuls ou en tant que composant d’un produit, que le système soit physiquement incorporé dans le produit (intégré) ou qu’il serve la fonctionnalité du produit sans y être incorporé (non intégré).
(13)
El concepto de «responsable del despliegue» a que hace referencia el presente Reglamento debe interpretarse como cualquier persona física o jurídica, incluida cualquier autoridad pública, órgano u organismo, que utilice un sistema de IA bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional. Dependiendo del tipo de sistema de IA, el uso del sistema puede afectar a personas distintas del responsable del despliegue.
(13)
Il convient d’interpréter la notion de «déployeur» visée dans le présent règlement comme désignant toute personne physique ou morale, y compris une autorité publique, une agence ou un autre organisme, utilisant sous sa propre autorité un système d’IA, sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel. En fonction du type de système d’IA, l’utilisation du système peut concerner des personnes autres que le déployeur.
(14)
El concepto de «datos biométricos» empleado en el presente Reglamento debe interpretarse a la luz del concepto de «datos biométricos» tal como se define en el artículo 4, punto 14, del Reglamento (UE) 2016/679, en el artículo 3, punto 18, del Reglamento (UE) 2018/1725, y en el artículo 3, punto 13, de la Directiva (UE) 2016/680. Los datos biométricos pueden permitir la autenticación, la identificación o la categorización de las personas físicas y el reconocimiento de las emociones de las personas físicas.
(14)
Il convient d’interpréter la notion de «données biométriques» utilisée dans le présent règlement à la lumière de la notion de données biométriques au sens de l’article 4, point 14), du règlement (UE) 2016/679, de l’article 3, point 18), du règlement (UE) 2018/1725, et de l’article 3, point 13), de la directive (UE) 2016/680. Des données biométriques peuvent permettre l’authentification, l’identification ou la catégorisation des personnes physiques, ainsi que la reconnaissance de leurs émotions.
(15)
El concepto de «identificación biométrica» a que hace referencia el presente Reglamento debe definirse como el reconocimiento automatizado de características humanas de tipo físico, fisiológico o conductual, como la cara, el movimiento ocular, la forma del cuerpo, la voz, la entonación, el modo de andar, la postura, la frecuencia cardíaca, la presión arterial, el olor o las características de las pulsaciones de tecla, a fin de determinar la identidad de una persona comparando sus datos biométricos con los datos biométricos de personas almacenados en una base de datos de referencia, independientemente de que la persona haya dado o no su consentimiento. Quedan excluidos los sistemas de IA destinados a la verificación biométrica, que comprende la autenticación, cuyo único propósito es confirmar que una persona física concreta es la persona que dice ser, así como la identidad de una persona física con la finalidad exclusiva de que tenga acceso a un servicio, desbloquee un dispositivo o tenga acceso de seguridad a un local.
(15)
La notion d’«identification biométrique» visée dans le présent règlement devrait être définie comme la reconnaissance automatisée de caractéristiques physiques, physiologiques et comportementales d’une personne, telles que le visage, les mouvements oculaires, la forme du corps, la voix, la prosodie, la démarche, la posture, le rythme cardiaque, la pression sanguine, l’odeur et la frappe au clavier, aux fins d’établir l’identité d’une personne par comparaison des données biométriques de cette personne avec les données biométriques de personnes stockées dans une base de données de référence, que la personne ait donné son approbation ou non. En sont exclus les systèmes d’IA destinés à être utilisés à des fins de vérification biométrique, ce qui inclut l’authentification, dont la seule finalité est de confirmer qu’une personne physique donnée est bien celle qu’elle prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un dispositif ou de disposer d’un accès sécurisé à des locaux.
(16)
El concepto de «categorización biométrica» a que hace referencia el presente Reglamento debe definirse como la inclusión de personas físicas en categorías específicas en función de sus datos biométricos. Estas categorías específicas pueden referirse a aspectos como el sexo, la edad, el color del pelo, el color de los ojos, los tatuajes, los rasgos conductuales o de la personalidad, la lengua, la religión, la pertenencia a una minoría nacional o la orientación sexual o política. No se incluyen los sistemas de categorización biométrica que sean una característica meramente accesoria intrínsecamente vinculada a otro servicio comercial, lo que significa que la característica no puede utilizarse, por razones técnicas objetivas, sin el servicio principal y que la integración de dicha característica o funcionalidad no es un medio para eludir la aplicabilidad de las normas del presente Reglamento. Por ejemplo, los filtros que clasifican las características faciales o corporales utilizados en los mercados en línea podrían constituir una característica accesoria de este tipo, ya que solo pueden utilizarse en relación con el servicio principal, que consiste en vender un producto permitiendo al consumidor previsualizar cómo le quedaría y ayudarlo a tomar una decisión de compra. Los filtros utilizados en los servicios de redes sociales que clasifican las características faciales o corporales a fin de que los usuarios puedan añadir o modificar imágenes o vídeos también podrían considerarse una característica accesoria, ya que dichos filtros no pueden utilizarse sin el servicio principal de las redes sociales, que consiste en compartir contenidos en línea.
(16)
La notion de «catégorisation biométrique» visée dans le présent règlement devrait être définie comme le classement de personnes physiques dans certaines catégories sur la base de leurs données biométriques. Ces catégories spécifiques peuvent concerner des aspects tels que le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, les traits liés au comportement ou à la personnalité, la langue, la religion, l’appartenance à une minorité nationale ou encore l’orientation sexuelle ou politique. Cela n’inclut pas les systèmes de catégorisation biométrique qui sont une caractéristique purement accessoire intrinsèquement liée à un autre service commercial, ce qui signifie que cette caractéristique ne peut, pour des raisons techniques objectives, être utilisée sans le service principal, et l’intégration de cette caractéristique ou fonctionnalité n’est pas un moyen de contourner l’applicabilité des règles du présent règlement. Ainsi, les filtres de catégorisation des caractéristiques faciales ou corporelles qui sont utilisés sur les places de marché en ligne pourraient correspondre à ce type de caractéristique accessoire, étant donné qu’ils ne peuvent être utilisés qu’en lien avec le service principal, qui consiste à vendre un produit en permettant au consommateur d’afficher un aperçu du produit porté par lui-même et de l’aider à prendre une décision d’achat. Les filtres utilisés sur les services de réseaux sociaux en ligne qui classent par catégorie les caractéristiques faciales ou corporelles afin de permettre aux utilisateurs d’ajouter ou de modifier des images ou des vidéos pourraient également être considérés comme des fonctionnalités accessoires, étant donné que ce type de filtre ne peut pas être utilisé sans le service principal des services de réseau social consistant à partager des contenus en ligne.
(17)
El concepto de «sistema de identificación biométrica remota» a que hace referencia el presente Reglamento debe definirse de manera funcional como un sistema de IA destinado a identificar a personas físicas sin su participación activa, generalmente a distancia, comparando sus datos biométricos con los que figuren en una base de datos de referencia, con independencia de la tecnología, los procesos o los tipos de datos biométricos concretos que se usen. Estos sistemas de identificación biométrica remota suelen utilizarse para detectar a varias personas o su comportamiento de forma simultánea, a fin de simplificar considerablemente la identificación de personas sin su participación activa. Quedan excluidos los sistemas de IA destinados a la verificación biométrica, que comprende la autenticación, cuyo único propósito es confirmar que una persona física concreta es la persona que dice ser, así como la identidad de una persona física con la finalidad exclusiva de que tenga acceso a un servicio, desbloquee un dispositivo o tenga acceso de seguridad a un local. Esa exclusión se justifica por el hecho de que tales sistemas probablemente tengan una repercusión menor en los derechos fundamentales de las personas físicas que los sistemas de identificación biométrica remota que puedan utilizarse para el tratamiento de los datos biométricos de un gran número de personas sin su participación activa. En el caso de los sistemas «en tiempo real», la recogida de los datos biométricos, la comparación y la identificación se producen de manera instantánea, casi instantánea o, en cualquier caso, sin una importante demora. En este sentido, no debe existir la posibilidad de eludir las normas contempladas en el presente Reglamento en relación con el uso «en tiempo real» de los sistemas de IA de que se trate generando demoras mínimas. Los sistemas «en tiempo real» implican el uso de materiales «en directo» o «casi en directo», como grabaciones de vídeo, generados por una cámara u otro dispositivo con funciones similares. En cambio, en los sistemas «en diferido» ya se han recabado los datos biométricos y la comparación e identificación se producen con una importante demora. A tal fin se utilizan materiales, como imágenes o grabaciones de vídeo captadas por cámaras de televisión en circuito cerrado o dispositivos privados, generados con anterioridad a la utilización del sistema en relación con las personas físicas afectadas.
(17)
La notion de «système d’identification biométrique à distance» visée dans le présent règlement devrait être définie, sur le plan fonctionnel, comme un système d’IA destiné à identifier des personnes physiques sans leur participation active, en règle générale à distance, par la comparaison des données biométriques d’une personne avec celles contenues dans une base de données de référence, quels que soient la technologie, les processus ou les types de données biométriques particuliers utilisés. Ces systèmes d’identification biométrique à distance sont généralement utilisés pour la perception simultanée de plusieurs personnes ou de leur comportement afin de faciliter sensiblement l’identification de personnes physiques sans leur participation active. Sont exclus les systèmes d’IA destinés à être utilisés à des fins de vérification biométrique, ce qui inclut l’authentification, dont la seule finalité est de confirmer qu’une personne physique donnée est bien celle qu’elle prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un dispositif ou de disposer d’un accès sécurisé à des locaux. Cette exclusion est justifiée par le fait que ces systèmes sont susceptibles d’avoir une incidence mineure sur les droits fondamentaux des personnes physiques par rapport aux systèmes d’identification biométrique à distance qui peuvent être utilisés pour le traitement des données biométriques d’un grand nombre de personnes sans leur participation active. Dans le cas des systèmes «en temps réel», la capture des données biométriques, la comparaison et l’identification se font toutes instantanément, quasi instantanément ou en tout état de cause sans décalage significatif. À cet égard, il convient, en prévoyant la possibilité de légers décalages, d’empêcher le contournement des règles du présent règlement relatives à l’utilisation «en temps réel» des systèmes d’IA concernés. Les systèmes «en temps réel» reposent sur l’utilisation d’éléments «en direct» ou «en léger différé», comme des séquences vidéo, générés par une caméra ou un autre appareil doté de fonctionnalités similaires. Dans le cas des systèmes «a posteriori», en revanche, les données biométriques sont prélevées dans un premier temps et la comparaison et l’identification n’ont lieu qu’après un délai substantiel. Cela suppose des éléments tels que des images ou des séquences vidéo, qui ont été générés par des caméras de télévision en circuit fermé ou des appareils privés avant l’utilisation du système à l’égard des personnes physiques concernées.
(18)
El concepto de «sistema de reconocimiento de emociones» a que hace referencia el presente Reglamento debe definirse como un sistema de IA destinado a distinguir o deducir las emociones o las intenciones de las personas físicas a partir de sus datos biométricos. El concepto se refiere a emociones o intenciones como la felicidad, la tristeza, la indignación, la sorpresa, el asco, el apuro, el entusiasmo, la vergüenza, el desprecio, la satisfacción y la diversión. No incluye los estados físicos, como el dolor o el cansancio, como, por ejemplo, los sistemas utilizados para detectar el cansancio de los pilotos o conductores profesionales con el fin de evitar accidentes. Tampoco incluye la mera detección de expresiones, gestos o movimientos que resulten obvios, salvo que se utilicen para distinguir o deducir emociones. Esas expresiones pueden ser expresiones faciales básicas, como un ceño fruncido o una sonrisa; gestos como el movimiento de las manos, los brazos o la cabeza, o características de la voz de una persona, como una voz alzada o un susurro.
(18)
La notion de «système de reconnaissance des émotions» visée dans le présent règlement devrait être définie comme un système d’IA servant à identifier les émotions ou les intentions de personnes physiques ou à faire des déductions quant à leurs émotions ou intentions, sur la base de leurs données biométriques. Cette notion renvoie à des émotions ou des intentions telles que le bonheur, la tristesse, la colère, la surprise, le dégoût, la gêne, l’excitation, la honte, le mépris, la satisfaction et l’amusement. Cette notion ne recouvre pas les états physiques, tels que la douleur ou la fatigue, qui comprennent, par exemple, des systèmes utilisés pour déceler l’état de fatigue des pilotes ou des conducteurs professionnels aux fins de la prévention des accidents. Elle ne recouvre pas non plus la simple détection d’expressions, de gestes ou de mouvements dont l’apparence est immédiate, à moins que ceux-ci ne soient utilisés pour identifier ou déduire des émotions. Ces expressions peuvent être des expressions faciales toutes simples telles qu’un froncement de sourcils ou un sourire, ou des gestes tels qu’un mouvement de mains, de bras ou de tête, ou encore des caractéristiques de la voix d’une personne, comme le fait de parler fort ou de chuchoter.
(19)
A los efectos del presente Reglamento, debe entenderse que el concepto de «espacio de acceso público» se refiere a cualquier espacio físico al que pueda acceder un número indeterminado de personas físicas y con independencia de si es de propiedad privada o pública y de la actividad para la que pueda utilizarse el espacio, ya sean actividades comerciales, por ejemplo, tiendas, restaurantes, cafeterías; de prestación de servicios, por ejemplo, bancos, actividades profesionales, hostelería; deportivas, por ejemplo, piscinas, gimnasios, estadios; de transporte, por ejemplo, estaciones de autobús, metro y ferrocarril, aeropuertos, medios de transporte; de entretenimiento, por ejemplo, cines, teatros, museos, salas de conciertos, salas de conferencias; de ocio o de otro tipo, por ejemplo, vías y plazas públicas, parques, bosques, parques infantiles. Asimismo, debe considerarse que un espacio es de acceso público si, con independencia de posibles restricciones de capacidad o de seguridad, el acceso está sujeto a determinadas condiciones previamente definidas que puede satisfacer un número indeterminado de personas, como la adquisición de una entrada o un título de transporte, el registro previo o tener una determinada edad. Por el contrario, un espacio no debe considerarse de acceso público si únicamente pueden acceder a él determinadas personas físicas definidas, ya sea en virtud del Derecho de la Unión o del Derecho nacional directamente relacionado con la seguridad pública o en virtud de una clara manifestación de voluntad de la persona que ejerza la autoridad pertinente sobre dicho espacio. La posibilidad real de acceso, como una puerta no cerrada con llave o una verja abierta, no implica por sí sola que el espacio sea de acceso público si hay indicios o circunstancias que sugieran lo contrario, como señales que prohíban o restrinjan el acceso. Los locales de empresas y fábricas, así como las oficinas y lugares de trabajo a los que solo se pretende que accedan los empleados y proveedores de servicios pertinentes, no son espacios de acceso público. No deben incluirse en los espacios de acceso público las prisiones ni las zonas en que se realizan inspecciones fronterizas. Algunos espacios pueden incluir tanto zonas de acceso público como zonas que no son de acceso público, como los aeropuertos o el vestíbulo de un edificio residencial privado por el que se accede a una consulta médica. Los espacios en línea no son lugares de acceso público, ya que no son espacios físicos. No obstante, se debe determinar caso por caso si un espacio es de acceso público o no teniendo en cuenta las particularidades de la situación concreta.
(19)
Aux fins du présent règlement, la notion d’«espace accessible au public» devrait s’entendre comme désignant tout espace physique accessible à un nombre indéterminé de personnes physiques, que l’espace en question soit privé ou public, et indépendamment de l’activité pour laquelle il peut être utilisé, comme pour le commerce, par exemple, magasins, restaurants ou cafés, pour la prestation de services, par exemple, banques, activités professionnelles ou hôtellerie, pour la pratique de sports, par exemple, piscines, salles de sport ou stades, pour les transports, par exemple, gares routières, stations de métro et gares ferroviaires, aéroports ou moyens de transport, pour les divertissements, par exemple, cinémas, théâtres, musées, salles de concert et de conférence, ou pour les loisirs ou autres, par exemple, routes et places publiques, parcs, forêts ou terrains de jeux. Un espace devrait également être classé comme accessible au public si, indépendamment de la capacité potentielle ou des restrictions de sécurité, l’accès est soumis à certaines conditions prédéterminées qui peuvent être remplies par un nombre indéterminé de personnes, telles que l’achat d’un billet ou d’un titre de transport, l’enregistrement préalable ou le fait d’avoir un certain âge. En revanche, un espace ne devrait pas être considéré comme étant accessible au public si l’accès est limité à certaines personnes physiques, définies soit par le droit de l’Union soit par le droit national directement lié à la sûreté ou à la sécurité publiques, ou par la manifestation claire de la volonté de la personne disposant de l’autorité compétente sur l’espace. Le seul fait d’avoir une possibilité d’accès, comme une porte déverrouillée ou une porte ouverte dans une clôture, n’implique pas que l’espace est accessible au public en présence d’indications ou de circonstances suggérant le contraire, comme des signes d’interdiction ou de restriction d’accès. Les locaux des entreprises et des usines, ainsi que les bureaux et les lieux de travail qui sont destinés à être accessibles uniquement aux employés et prestataires de services concernés ne sont pas des espaces accessibles au public. Les espaces accessibles au public ne devraient pas inclure les prisons ni le contrôle aux frontières. D’autres espaces peuvent comprendre à la fois des espaces accessibles au public et des espaces non accessibles au public, comme le hall d’un bâtiment d’habitation privé par lequel il faut passer pour accéder au bureau d’un médecin ou le hall d’un aéroport. Les espaces en ligne ne sont pas couverts, car ce ne sont pas des espaces physiques. Le caractère accessible ou non au public d’un espace donné devrait cependant être déterminé au cas par cas, en tenant compte des particularités de la situation en question.
(20)
Con el fin de obtener los mayores beneficios de los sistemas de IA, protegiendo al mismo tiempo los derechos fundamentales, la salud y la seguridad, y de posibilitar el control democrático, la alfabetización en materia de IA debe dotar a los proveedores, responsables del despliegue y personas afectadas de los conceptos necesarios para tomar decisiones con conocimiento de causa en relación con los sistemas de IA. Esos conceptos pueden variar en función del contexto pertinente e incluir el entendimiento de la correcta aplicación de los elementos técnicos durante la fase de desarrollo del sistema de IA, las medidas que deben aplicarse durante su uso, las formas adecuadas de interpretar los resultados de salida del sistema de IA y, en el caso de las personas afectadas, los conocimientos necesarios para comprender el modo en que las decisiones adoptadas con la ayuda de la IA tendrán repercusiones para ellas. En el contexto de la aplicación del presente Reglamento, la alfabetización en materia de IA debe proporcionar a todos los agentes pertinentes de la cadena de valor de la IA los conocimientos necesarios para garantizar el cumplimiento adecuado y la correcta ejecución. Además, la puesta en práctica general de medidas de alfabetización en materia de IA y la introducción de acciones de seguimiento adecuadas podrían contribuir a mejorar las condiciones de trabajo y, en última instancia, sostener la consolidación y la senda de innovación de una IA fiable en la Unión. El Consejo Europeo de Inteligencia Artificial (en lo sucesivo, «Consejo de IA») debe apoyar a la Comisión para promover las herramientas de alfabetización en materia de IA, la sensibilización pública y la comprensión de los beneficios, los riesgos, las salvaguardias, los derechos y las obligaciones en relación con el uso de sistemas de IA. En cooperación con las partes interesadas pertinentes, la Comisión y los Estados miembros deben facilitar la elaboración de códigos de conducta voluntarios para promover la alfabetización en materia de IA entre las personas que se ocupan del desarrollo, el manejo y el uso de la IA.
(20)
Afin de tirer le meilleur parti des systèmes d’IA tout en protégeant les droits fondamentaux, la santé et la sécurité et de permettre un contrôle démocratique, il convient que les fournisseurs, les déployeurs et les personnes concernées acquièrent, dans le cadre de la maîtrise de l’IA, les notions nécessaires pour prendre des décisions éclairées concernant les systèmes d’IA. Ces notions peuvent varier en fonction du contexte et peuvent recouvrir le faire de comprendre l’application correcte des éléments techniques au cours de la phase de développement du système d’IA, les mesures à appliquer pendant son utilisation, les moyens appropriés d’interpréter les sorties du système d’IA et, dans le cas des personnes concernées, les connaissances nécessaires pour comprendre comment les décisions prises avec l’aide de l’IA auront une incidence sur elles. Dans le cadre de l’application du présent règlement, la maîtrise de l’IA devrait fournir à tous les acteurs pertinents de la chaîne de valeur de l’IA les connaissances nécessaires pour en garantir le respect approprié et la mise en application correcte. En outre, la mise en œuvre à grande échelle de mesures relatives à la maîtrise de l’IA et l’introduction d’actions de suivi appropriées pourraient contribuer à améliorer les conditions de travail et, à terme, soutenir la consolidation et une trajectoire d’innovation d’une IA digne de confiance dans l’Union. Le Comité européen de l’intelligence artificielle (ci-après dénommé «Comité IA») devrait soutenir la Commission afin de promouvoir les outils de maîtrise de l’IA, la sensibilisation du public et la compréhension des avantages, des risques, des garanties, des droits et des obligations liés à l’utilisation des systèmes d’IA. En coopération avec les parties prenantes concernées, la Commission et les États membres devraient faciliter l’élaboration de codes de conduite volontaires au service de la maîtrise de l’IA chez les personnes chargées du développement, du fonctionnement et de l’utilisation de l’IA.
(21)
Con el objetivo de garantizar la igualdad de condiciones y la protección efectiva de los derechos y libertades de las personas en toda la Unión, las normas establecidas en el presente Reglamento deben aplicarse a los proveedores de sistemas de IA sin discriminación, con independencia de si están establecidos en la Unión o en un tercer país, y a los responsables del despliegue de sistemas de IA establecidos en la Unión.
(21)
Afin de garantir des conditions de concurrence équitables et une protection efficace des droits et libertés des citoyens dans toute l’Union, les règles établies par le présent règlement devraient s’appliquer de manière non discriminatoire aux fournisseurs de systèmes d’IA, qu’ils soient établis dans l’Union ou dans un pays tiers, et aux déployeurs de systèmes d’IA établis dans l’Union.
(22)
Debido a su carácter digital, algunos sistemas de IA deben entrar en el ámbito de aplicación del presente Reglamento aunque no se introduzcan en el mercado, se pongan en servicio ni se utilicen en la Unión. Esto sucede, por ejemplo, cuando un operador establecido en la Unión firma con un operador establecido en un tercer país un contrato para la prestación de determinados servicios en relación con una actividad que llevará a cabo un sistema de IA que se consideraría de alto riesgo. En dichas circunstancias, el sistema de IA usado en un tercer país por el operador podría tratar datos recabados lícitamente en la Unión y transferidos desde su territorio, y proporcionar al operador contratante ubicado en la Unión los resultados de salida generados por dicho sistema de IA a raíz de este tratamiento sin que el sistema de IA de que se trate se introduzca en el mercado, se ponga en servicio o se utilice en la Unión. Para evitar la elusión de este Reglamento y garantizar la protección efectiva de las personas físicas ubicadas en la Unión, el presente Reglamento también debe aplicarse a los proveedores y responsables del despliegue de sistemas de IA establecidos en un tercer país, en la medida en que los resultados de salida generados por dichos sistemas estén destinados a utilizarse en la Unión. No obstante, con el objetivo de tener en cuenta los acuerdos existentes y las necesidades especiales de cooperación futura con socios extranjeros con los que se intercambian información y pruebas, el presente Reglamento no debe aplicarse a las autoridades públicas de un tercer país ni a organizaciones internacionales cuando actúen en el marco de acuerdos internacionales o de cooperación celebrados a escala nacional o de la Unión con fines de cooperación policial y judicial con la Unión o sus Estados miembros si el tercer país o la organización internacional correspondiente ofrece garantías suficientes con respecto a la protección de los derechos y libertades fundamentales de las personas. Cuando proceda, ello podrá incluir las actividades de entidades a las que los terceros países hayan encomendado tareas específicas en apoyo de dicha cooperación policial y judicial. Dichos marcos de cooperación o acuerdos se han establecido bilateralmente entre los Estados miembros y terceros países o entre la Unión Europea, Europol y otros órganos de la Unión y terceros países y organizaciones internacionales. Las autoridades competentes para la supervisión de las autoridades policiales y judiciales en virtud del presente Reglamento deben evaluar si dichos marcos de cooperación o acuerdos internacionales incluyen garantías suficientes con respecto a la protección de los derechos y libertades fundamentales de las personas. Las autoridades nacionales y las instituciones, órganos y organismos de la Unión que sean destinatarios de dichos resultados de salida y que la utilicen en la Unión siguen siendo responsables de garantizar que su utilización de la información está en consonancia con el Derecho de la Unión. Cuando, en el futuro, dichos acuerdos internacionales se revisen o se celebren otros nuevos, las partes contratantes deben hacer todo lo posible por que dichos acuerdos se ajusten a los requisitos del presente Reglamento.
(22)
Compte tenu de leur nature numérique, certains systèmes d’IA devraient relever du présent règlement même lorsqu’ils ne sont pas mis sur le marché, mis en service, ou utilisés dans l’Union. Cela devrait notamment être le cas lorsqu’un opérateur établi dans l’Union confie à un opérateur externe établi dans un pays tiers la tâche d’exécuter certains services ayant trait à une activité devant être réalisée par un système d’IA qui serait considéré comme étant à haut risque. Dans ces circonstances, le système d’IA utilisé dans un pays tiers par l’opérateur pourrait traiter des données légalement collectées et transférées depuis l’Union, et fournir à l’opérateur contractant établi dans l’Union les sorties dudit système d’IA provenant de ce traitement, sans que ce système d’IA soit mis sur le marché, mis en service ou utilisé dans l’Union. Afin d’éviter le contournement des règles du présent règlement et d’assurer une protection efficace des personnes physiques situées dans l’Union, le présent règlement devrait également s’appliquer aux fournisseurs et aux déployeurs de systèmes d’IA qui sont établis dans un pays tiers, dans la mesure les sorties produites par ces systèmes sont destinées à être utilisées dans l’Union. Néanmoins, pour tenir compte des dispositions existantes et des besoins particuliers de coopération future avec les partenaires étrangers avec lesquels des informations et des preuves sont échangées, le présent règlement ne devrait pas s’appliquer aux autorités publiques d’un pays tiers ni aux organisations internationales lorsqu’elles agissent dans le cadre d’accords de coopération ou d’accords internationaux conclus au niveau de l’Union ou au niveau national pour la coopération des services répressifs et judiciaires avec l’Union ou avec les États membres, à condition que le pays tiers concerné ou les organisations internationales concernées fournissent des garanties adéquates en ce qui concerne la protection des libertés et droits fondamentaux des personnes. Le cas échéant, cela peut couvrir les activités des entités chargées par les pays tiers d’exécuter des tâches spécifiques à l’appui de cette coopération policière et judiciaire. De tels cadres de coopération ou accords ont été conclus bilatéralement entre des États membres et des pays tiers ou entre l’Union européenne, Europol et d’autres agences de l’Union, des pays tiers et des organisations internationales. Les autorités compétentes pour la surveillance des autorités répressives et judiciaires au titre du présent règlement devraient évaluer si ces cadres de coopération ou accords internationaux comportent des garanties adéquates en ce qui concerne la protection des libertés et droits fondamentaux des personnes. Les autorités nationales bénéficiaires et les institutions, organes et organismes de l’Union qui utilisent ces sorties dans l’Union demeurent responsables de veiller à ce que leur utilisation soit conforme au droit de l’Union. Lors de la révision de ces accords internationaux ou de la conclusion de nouveaux accords à l’avenir, les parties contractantes devraient tout mettre en œuvre pour aligner ces accords sur les exigences du présent règlement.
(23)
El presente Reglamento también debe aplicarse a las instituciones, órganos y organismos de la Unión cuando actúen como proveedores o responsables del despliegue de un sistema de IA.
(23)
Le présent règlement devrait également s’appliquer aux institutions, organes et organismes de l’Union lorsqu’ils agissent en tant que fournisseurs ou déployeurs d’un système d’IA.
(24)
En caso de que, y en la medida en que, los sistemas de IA se introduzcan en el mercado, se pongan en servicio o se utilicen, con o sin modificación, con fines militares, de defensa o de seguridad nacional, deben excluirse del ámbito de aplicación del presente Reglamento, independientemente del tipo de entidad que lleve a cabo esas actividades, por ejemplo, con independencia de que se trate de una entidad pública o de una entidad privada. Por lo que respecta a los fines militares y de defensa, dicha exclusión está justificada tanto por el artículo 4, apartado 2, del TUE como por las especificidades de la política de defensa de los Estados miembros y de la política común de defensa de la Unión a que se refiere el título V, capítulo 2, del TUE, que están sujetas al Derecho internacional público que, por lo tanto, es el marco jurídico más adecuado para la regulación de los sistemas de IA en el contexto del uso de la fuerza letal y de otros sistemas de IA en el contexto de las actividades militares y de defensa. Por lo que respecta a los fines de seguridad nacional, la exclusión está justificada tanto por el hecho de que la seguridad nacional sigue siendo responsabilidad exclusiva de los Estados miembros de conformidad con el artículo 4, apartado 2, del TUE, como por la naturaleza específica y las necesidades operativas de las actividades de seguridad nacional y por las normas nacionales específicas aplicables a dichas actividades. No obstante, si un sistema de IA desarrollado, introducido en el mercado, puesto en servicio o utilizado con fines militares, de defensa o de seguridad nacional se utilizara temporal o permanentemente fuera de estos ámbitos con otros fines (por ejemplo, con fines civiles o humanitarios, de garantía del cumplimiento del Derecho o de seguridad pública), dicho sistema entraría en el ámbito de aplicación del presente Reglamento. En tal caso, la entidad que utilice el sistema de IA con fines que no sean militares, de defensa o de seguridad nacional debe garantizar que el sistema de IA cumple lo dispuesto en el presente Reglamento, a menos que el sistema ya lo haga. Los sistemas de IA introducidos en el mercado o puestos en servicio para un fin excluido, a saber, militar, de defensa o de seguridad nacional, y uno o varios fines no excluidos, como fines civiles o de garantía del cumplimiento del Derecho, entran en el ámbito de aplicación del presente Reglamento y los proveedores de dichos sistemas deben garantizar el cumplimiento del presente Reglamento. En esos casos, el hecho de que un sistema de IA pueda entrar en el ámbito de aplicación del presente Reglamento no debe afectar a la posibilidad de que las entidades que llevan a cabo actividades militares, de defensa y de seguridad nacional, independientemente del tipo de entidad que lleve a cabo estas actividades, utilicen sistemas de IA con fines de seguridad nacional, militares y de defensa, cuyo uso está excluido del ámbito de aplicación del presente Reglamento. Un sistema de IA introducido en el mercado con fines civiles o de garantía del cumplimiento del Derecho que se utilice, con o sin modificaciones, con fines militares, de defensa o de seguridad nacional no debe entrar en el ámbito de aplicación del presente Reglamento, independientemente del tipo de entidad que lleve a cabo esas actividades.
(24)
Si et dans la mesure où des systèmes d’IA sont mis sur le marché, mis en service ou utilisés avec ou sans modification de ces systèmes à des fins militaires, de défense ou de sécurité nationale, ces systèmes devraient être exclus du champ d’application du présent règlement, indépendamment du type d’entité exerçant ces activités, par exemple qu’il s’agisse d’une entité publique ou privée. En ce qui concerne l’usage à des fins militaires et de défense, une telle exclusion est justifiée tant par l’article 4, paragraphe 2, du traité sur l’Union européenne que par les spécificités de la politique de défense des États membres et de la politique de défense commune de l’Union relevant du titre V, chapitre 2, du traité sur l’Union européenne, qui sont soumises au droit international public, lequel constitue donc le cadre juridique le plus approprié pour la réglementation des systèmes d’IA dans le contexte de l’utilisation de la force létale et d’autres systèmes d’IA dans le cadre d’activités militaires et de défense. En ce qui concerne l’usage à des fins de sécurité nationale, l’exclusion est justifiée tant par le fait que la sécurité nationale reste de la seule responsabilité de chaque État membre, conformément à l’article 4, paragraphe 2, du traité sur l’Union européenne, que par la nature spécifique et les besoins opérationnels des activités liées à la sécurité nationale et par les règles nationales spécifiques applicables à ces activités. Néanmoins, si un système d’IA développé, mis sur le marché, mis en service ou utilisé à des fins militaires, de défense ou de sécurité nationale est, temporairement ou définitivement, utilisé en dehors de ce cadre à d’autres fins (par exemple, à des fins civiles ou humanitaires, à des fins répressives ou de sécurité publique), un tel système relèverait du champ d’application du présent règlement. Dans ce cas, l’entité qui utilise le système d’IA à des fins autres que militaires, de défense ou de sécurité nationale devrait veiller à la mise en conformité du système d’IA avec le présent règlement, à moins qu’il le soit déjà. Les systèmes d’IA mis sur le marché ou mis en service à des fins exclues, à savoir à des fins militaires, de défense ou de sécurité nationale, et à une ou plusieurs fins non exclues, comme à des fins civiles ou répressives, relèvent du champ d’application du présent règlement et les fournisseurs de ces systèmes devraient veiller au respect du présent règlement. En l’occurrence, le fait qu’un système d’IA puisse relever du champ d’application du présent règlement ne devrait pas affecter la possibilité pour les entités exerçant des activités de sécurité nationale, de défense et militaires, indépendamment du type d’entité exerçant ces activités, d’utiliser des systèmes d’IA à des fins de sécurité nationale, militaires et de défense, dont l’utilisation est exclue du champ d’application du présent règlement. Un système d’IA mis sur le marché à des fins civiles ou répressives qui est utilisé avec ou sans modification à des fins militaires, de défense ou de sécurité nationale ne devrait pas relever du champ d’application du présent règlement, indépendamment du type d’entité exerçant ces activités.
(25)
El presente Reglamento debe apoyar la innovación, respetar la libertad de ciencia y no socavar la actividad de investigación y desarrollo. Por consiguiente, es necesario excluir de su ámbito de aplicación los sistemas y modelos de IA desarrollados específicamente y puestos en servicio únicamente con fines de investigación y desarrollo científicos. Además, es necesario garantizar que el presente Reglamento no afecte de otro modo a la actividad de investigación y desarrollo científicos sobre sistemas o modelos de IA antes de su introducción en el mercado o su puesta en servicio. Por lo que se refiere a la actividad de investigación, prueba y desarrollo orientada a productos en relación con sistemas o modelos de IA, las disposiciones del presente Reglamento tampoco deben aplicarse antes de que dichos sistemas y modelos se pongan en servicio o se introduzcan en el mercado. Esa exclusión se entiende sin perjuicio de la obligación de cumplir el presente Reglamento cuando se introduzca en el mercado o se ponga en servicio como resultado de dicha actividad de investigación y desarrollo un sistema de IA que entre en el ámbito de aplicación del presente Reglamento, así como de la aplicación de disposiciones sobre espacios controlados de pruebas para la IA y pruebas en condiciones reales. Además, sin perjuicio de la exclusión de los sistemas de IA desarrollados específicamente y puestos en servicio únicamente con fines de investigación y desarrollo científicos, cualquier otro sistema de IA que pueda utilizarse para llevar a cabo cualquier actividad de investigación y desarrollo debe seguir estando sujeto a las disposiciones del presente Reglamento. En cualquier caso, toda actividad de investigación y desarrollo debe llevarse a cabo de conformidad con normas éticas y profesionales reconocidas para la investigación científica y con el Derecho aplicable de la Unión.
(25)
Le présent règlement devrait soutenir l’innovation et respecter la liberté scientifique et ne devrait pas compromettre les activités de recherche et de développement. Il est donc nécessaire d’exclure de son champ d’application les systèmes et modèles d’IA spécifiquement développés et mis en service aux seules fins de la recherche et du développement scientifiques. En outre, il est nécessaire de veiller à ce que le présent règlement n’affecte pas autrement les activités de recherche et de développement scientifiques relatives aux systèmes ou modèles d’IA avant leur mise sur le marché ou leur mise en service. En ce qui concerne les activités de recherche, d’essai et de développement axées sur les produits, relatives aux systèmes ou modèles d’IA, les dispositions du présent règlement ne devraient pas non plus s’appliquer avant la mise en service ou la mise sur le marché de ces systèmes et modèles. Cette exclusion est sans préjudice de l’obligation de se conformer au présent règlement lorsqu’un système d’IA relevant du champ d’application du présent règlement est mis sur le marché ou mis en service à la suite de cette activité de recherche et de développement, et sans préjudice de l’application des dispositions relatives aux bacs à sable réglementaires de l’IA et aux essais en conditions réelles. En outre, sans préjudice de l’exclusion des systèmes d’IA spécifiquement développés et mis en service aux seules fins de la recherche et du développement scientifiques, tout autre système d’IA susceptible d’être utilisé pour mener une activité de recherche et de développement devrait rester soumis aux dispositions du présent règlement. En tout état de cause, toute activité de recherche et de développement devrait être menée conformément à des normes éthiques et professionnelles reconnues en matière de recherche scientifique et dans le respect du droit de l’Union applicable.
(26)
Con el fin de establecer un conjunto proporcionado y eficaz de normas vinculantes para los sistemas de IA, es preciso aplicar un enfoque basado en los riesgos claramente definido, que adapte el tipo y contenido de las normas a la intensidad y el alcance de los riesgos que puedan generar los sistemas de IA de que se trate. Por consiguiente, es necesario prohibir determinadas prácticas de IA que no son aceptables, definir los requisitos que deben cumplir los sistemas de IA de alto riesgo y las obligaciones aplicables a los operadores pertinentes, así como imponer obligaciones de transparencia a determinados sistemas de IA.
(26)
Afin d’introduire un ensemble proportionné et efficace de règles contraignantes pour les systèmes d’IA, il convient de suivre une approche clairement définie fondée sur les risques. Cette approche devrait adapter le type et le contenu de ces règles à l’intensité et à la portée des risques que les systèmes d’IA peuvent générer. Il est donc nécessaire d’interdire certaines pratiques inacceptables en matière d’IA, de fixer des exigences pour les systèmes d’IA à haut risque et des obligations pour les opérateurs concernés, ainsi que de fixer des obligations de transparence pour certains systèmes d’IA.
(27)
Si bien el enfoque basado en el riesgo es la base de un conjunto proporcionado y eficaz de normas vinculantes, es importante recordar las Directrices éticas para una IA fiable, de 2019, elaboradas por el Grupo independiente de expertos de alto nivel sobre IA creado por la Comisión. En dichas directrices, el Grupo independiente de expertos de alto nivel sobre IA desarrolló siete principios éticos no vinculantes para la IA que tienen por objeto contribuir a garantizar la fiabilidad y el fundamento ético de la IA. Los siete principios son: acción y supervisión humanas; solidez técnica y seguridad; gestión de la privacidad y de los datos; transparencia; diversidad, no discriminación y equidad; bienestar social y ambiental, y rendición de cuentas. Sin perjuicio de los requisitos jurídicamente vinculantes del presente Reglamento y de cualquier otro acto aplicable del Derecho de la Unión, esas directrices contribuyen al diseño de una IA coherente, fiable y centrada en el ser humano, en consonancia con la Carta y con los valores en los que se fundamenta la Unión. De acuerdo con las directrices del Grupo independiente de expertos de alto nivel sobre IA, por «acción y supervisión humanas» se entiende que los sistemas de IA se desarrollan y utilizan como herramienta al servicio de las personas, que respeta la dignidad humana y la autonomía personal, y que funciona de manera que pueda ser controlada y vigilada adecuadamente por seres humanos. Por «solidez técnica y seguridad» se entiende que los sistemas de IA se desarrollan y utilizan de manera que sean sólidos en caso de problemas y resilientes frente a los intentos de alterar el uso o el funcionamiento del sistema de IA para permitir su uso ilícito por terceros y reducir al mínimo los daños no deseados. Por «gestión de la privacidad y de los datos» se entiende que los sistemas de IA se desarrollan y utilizan de conformidad con normas en materia de protección de la intimidad y de los datos, al tiempo que tratan datos que cumplen normas estrictas en términos de calidad e integridad. Por «transparencia» se entiende que los sistemas de IA se desarrollan y utilizan de un modo que permita una trazabilidad y explicabilidad adecuadas, y que, al mismo tiempo, haga que las personas sean conscientes de que se comunican o interactúan con un sistema de IA e informe debidamente a los responsables del despliegue acerca de las capacidades y limitaciones de dicho sistema de IA y a las personas afectadas acerca de sus derechos. Por «diversidad, no discriminación y equidad» se entiende que los sistemas de IA se desarrollan y utilizan de un modo que incluya a diversos agentes y promueve la igualdad de acceso, la igualdad de género y la diversidad cultural, al tiempo que se evitan los efectos discriminatorios y los sesgos injustos prohibidos por el Derecho nacional o de la Unión. Por «bienestar social y ambiental» se entiende que los sistemas de IA se desarrollan y utilizan de manera sostenible y respetuosa con el medio ambiente, así como en beneficio de todos los seres humanos, al tiempo que se supervisan y evalúan los efectos a largo plazo en las personas, la sociedad y la democracia. La aplicación de esos principios debe traducirse, cuando sea posible, en el diseño y el uso de modelos de IA. En cualquier caso, deben servir de base para la elaboración de códigos de conducta en virtud del presente Reglamento. Se anima a todas las partes interesadas, incluidos la industria, el mundo académico, la sociedad civil y las organizaciones de normalización, a que tengan en cuenta, según proceda, los principios éticos para el desarrollo de normas y mejores prácticas voluntarias.
(27)
Si l’approche fondée sur les risques constitue la base d’un ensemble proportionné et efficace de règles contraignantes, il importe de rappeler les lignes directrices en matière d’éthique pour une IA digne de confiance, élaborées en 2019 par le GEHN IA indépendant constitué par la Commission. Dans ces lignes directrices, le GEHN IA a élaboré sept principes éthiques non contraignants pour l’IA, qui sont destinés à contribuer à faire en sorte que l’IA soit digne de confiance et saine sur le plan éthique. Il s’agit des sept principes suivants: action humaine et contrôle humain; robustesse technique et sécurité; respect de la vie privée et gouvernance des données; transparence; diversité, non-discrimination et équité; bien-être sociétal et environnemental; et responsabilité. Sans préjudice des exigences juridiquement contraignantes du présent règlement et de toute autre disposition législative de l’Union applicable, ces lignes directrices contribuent à la conception d’une IA cohérente, fiable et axée sur l’humain, conformément à la Charte et aux valeurs sur lesquelles l’Union est fondée. Conformément aux lignes directrices du GEHN IA, «action humaine et contrôle humain» renvoient au fait que les systèmes d’IA sont développés et utilisés comme un outil au service des personnes, qui respecte la dignité humaine et l’autonomie de l’individu, et qui fonctionne de manière à pouvoir être contrôlé et supervisé par des êtres humains.«Robustesse technique et sécurité» renvoient au fait que les systèmes d’IA sont développés et utilisés de manière à ce qu’ils soient techniquement robustes en cas de problème et résilients aux tentatives visant à en corrompre l’utilisation ou les performances afin de permettre à des tiers d’en faire une utilisation abusive, et à réduire le plus possible les atteintes involontaires. «Respect de la vie privée et gouvernance des données» renvoient au fait que les systèmes d’IA sont développés et utilisés conformément aux règles en matière de respect de la vie privée et de protection des données, dans le cadre d’un traitement de données répondant à des normes élevées en matière de qualité et d’intégrité. «Transparence» renvoie au fait que les systèmes d’IA sont développés et utilisés de manière à permettre une traçabilité et une explicabilité appropriées, faisant en sorte que les personnes réalisent qu’elles communiquent ou interagissent avec un système d’IA, que les déployeurs soient dûment informés des capacités et des limites de ce système d’IA et que les personnes concernées soient informées de leurs droits. «Diversité, non-discrimination et équité» renvoient au fait que les systèmes d’IA sont développés et utilisés de manière à inclure des acteurs divers et à promouvoir l’égalité d’accès, l’égalité de genre et la diversité culturelle, tout en évitant les effets discriminatoires et les biais injustes, qui sont interdits par le droit de l’Union ou le droit national. «Bien-être sociétal et environnemental» renvoie au fait que les systèmes d’IA sont développés et utilisés d’une manière durable et respectueuse de l’environnement, mais aussi de manière à ce que tous les êtres humains en profitent, tout en surveillant et en évaluant les effets à long terme sur l’individu, la société et la démocratie. Ces principes devraient se retrouver, autant que possible, dans la conception et l’utilisation des modèles d’IA. Ils devraient en tout état de cause servir de base à l’élaboration de codes de conduite au titre du présent règlement. Toutes les parties prenantes, y compris l’industrie, le monde universitaire, la société civile et les organismes de normalisation, sont encouragées à tenir compte, ainsi qu’il convient, des principes éthiques pour l’élaboration de bonnes pratiques et de normes volontaires.
(28)
Al margen de los múltiples usos beneficiosos de la IA, esta también puede utilizarse indebidamente y proporcionar nuevas y poderosas herramientas para llevar a cabo prácticas de manipulación, explotación y control social. Dichas prácticas son sumamente perjudiciales e incorrectas y deben estar prohibidas, pues van en contra de los valores de la Unión de respeto de la dignidad humana, la libertad, la igualdad, la democracia y el Estado de Derecho y de los derechos fundamentales consagrados en la Carta, como el derecho a la no discriminación, a la protección de datos y a la intimidad y los derechos del niño.
(28)
Si l’IA peut être utilisée à de nombreuses fins positives, elle peut aussi être utilisée à mauvais escient et fournir des outils nouveaux et puissants à l’appui de pratiques de manipulation, d’exploitation et de contrôle social. De telles pratiques sont particulièrement néfastes et abusives et devraient être interdites, car elles sont contraires aux valeurs de l’Union relatives au respect de la dignité humaine, à la liberté, à l’égalité, à la démocratie et à l’état de droit, ainsi qu’aux droits fondamentaux consacrés dans la Charte, y compris le droit à la non-discrimination, le droit à la protection des données et à la vie privée et les droits de l’enfant.
(29)
Las técnicas de manipulación que posibilita la IA pueden utilizarse para persuadir a las personas de que adopten comportamientos no deseados o para engañarlas empujándolas a tomar decisiones de una manera que socava y perjudica su autonomía, su toma de decisiones y su capacidad de elegir libremente. Son especialmente peligrosos y, por tanto, deben prohibirse la introducción en el mercado, la puesta en servicio o la utilización de determinados sistemas de IA con el objetivo o al efecto de alterar de manera sustancial el comportamiento humano, con la consiguiente probabilidad de que se produzcan perjuicios considerables, en particular perjuicios con efectos adversos suficientemente importantes en la salud física o mental o en los intereses financieros. Esos sistemas de IA utilizan componentes subliminales, como estímulos de audio, imagen o vídeo que las personas no pueden percibir —ya que dichos estímulos trascienden la percepción humana—, u otras técnicas manipulativas o engañosas que socavan o perjudican la autonomía, la toma de decisiones o la capacidad de elegir libremente de las personas de maneras de las que estas no son realmente conscientes de dichas técnicas o, cuando lo son, pueden seguir siendo engañadas o no pueden controlarlas u oponerles resistencia. Esto podría facilitarse, por ejemplo, mediante interfaces cerebro-máquina o realidad virtual, dado que permiten un mayor grado de control acerca de qué estímulos se presentan a las personas, en la medida en que pueden alterar sustancialmente su comportamiento de un modo que suponga un perjuicio considerable. Además, los sistemas de IA también pueden explotar de otras maneras las vulnerabilidades de una persona o un colectivo específico de personas derivadas de su edad, su discapacidad en el sentido de lo dispuesto en la Directiva (UE) 2019/882 del Parlamento Europeo y del Consejo (16) o de una situación social o económica concreta que probablemente aumente su vulnerabilidad a la explotación, como vivir en condiciones de pobreza extrema o pertenecer a minorías étnicas o religiosas. Estos sistemas de IA pueden introducirse en el mercado, ponerse en servicio o utilizarse con el objetivo de alterar de manera sustancial el comportamiento de una persona, o tener ese efecto, y de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona o a otra persona o colectivo de personas, incluidos perjuicios que pueden acumularse a lo largo del tiempo y que, por tanto, deben prohibirse. No puede presuponerse que existe la intención de alterar el comportamiento si la alteración es el resultado de factores externos al sistema de IA que escapan al control del proveedor o del responsable del despliegue, a saber, factores que no es lógico prever y que, por tanto, el proveedor o el responsable del despliegue del sistema de IA no pueden mitigar. En cualquier caso, no es necesario que el proveedor o el responsable del despliegue tengan la intención de causar un perjuicio considerable, siempre que dicho perjuicio se derive de las prácticas de manipulación o explotación que posibilita la IA. La prohibición de tales prácticas de IA complementa lo dispuesto en la Directiva 2005/29/CE del Parlamento Europeo y del Consejo (17), en particular la prohibición, en cualquier circunstancia, de las prácticas comerciales desleales que causan perjuicios económicos o financieros a los consumidores, hayan sido establecidas mediante de sistemas de IA o de otra manera. La prohibición de las prácticas de manipulación y explotación establecida en el presente Reglamento no debe afectar a prácticas lícitas en el contexto de un tratamiento médico, como el tratamiento psicológico de una enfermedad mental o la rehabilitación física, cuando dichas prácticas se lleven a cabo de conformidad con el Derecho y las normas médicas aplicables, por ejemplo, con el consentimiento expreso de las personas o de sus representantes legales. Asimismo, no debe considerarse que las prácticas comerciales comunes y legítimas (por ejemplo, en el campo de la publicidad) que cumplan el Derecho aplicable son, en sí mismas, prácticas de manipulación perjudiciales que posibilita la IA.
(29)
Des techniques de manipulation fondées sur l’IA peuvent être utilisées pour persuader des personnes d’adopter des comportements indésirables ou pour les tromper en les poussant à prendre des décisions d’une manière qui met à mal et compromet leur autonomie, leur libre arbitre et leur liberté de choix. La mise sur le marché, la mise en service ou l’utilisation de certains systèmes d’IA ayant pour objectif ou pour effet d’altérer substantiellement les comportements humains, avec le risque de causer des dommages importants, en particulier d’avoir des incidences suffisamment importantes sur la santé physique ou psychologique ou sur les intérêts financiers, sont particulièrement dangereuses et devraient dès lors être interdites. Ces systèmes d’IA font intervenir des composants subliminaux, tels que des stimuli sonores, visuels ou vidéo que l’individu ne peut percevoir, étant donné que ces stimuli échappent à la perception humaine, ou d’autres techniques manipulatrices ou trompeuses qui mettent à mal ou altèrent l’autonomie de la personne, son libre arbitre ou sa liberté de choix de telle sorte que l’individu n’est pas conscient de ces techniques ou, à supposer qu’il le soit, sans qu’il puisse échapper à la duperie ni opposer une résistance ou un contrôle auxdites techniques. Cela pourrait être facilité, par exemple, par des interfaces cerveau-machine ou par la réalité virtuelle étant donné qu’elles permettent d’avoir plus de contrôle sur les stimuli qui sont présentés aux personnes, dans la mesure où elles peuvent en altérer sensiblement le comportement d’une manière très nocive. En outre, des systèmes d’IA peuvent également exploiter les vulnérabilités d’une personne ou d’un groupe particulier de personnes en raison de leur âge, d’un handicap au sens de la directive (UE) 2019/882 du Parlement européen et du Conseil (16), ou d’une situation sociale ou économique spécifique susceptible de rendre ces personnes plus vulnérables à l’exploitation, telles que les personnes vivant dans une extrême pauvreté ou appartenant à des minorités ethniques ou religieuses. De tels systèmes d’IA peuvent être mis sur le marché, mis en service ou utilisés avec pour objectif ou pour effet d’altérer substantiellement le comportement d’une personne d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à une autre personne ou à des groupes de personnes, y compris des dommages susceptibles de s’accumuler au fil du temps, et il y a lieu, par conséquent, de les interdire. Il peut s’avérer impossible de présumer l’existence d’une intention d’altérer le comportement lorsque cette altération résulte de facteurs externes au système d’IA qui échappent au contrôle du fournisseur ou du déployeur, à savoir de facteurs qui ne peuvent être raisonnablement prévisibles, et partant, ne peuvent être atténués par le fournisseur ou le déployeur du système d’IA. En tout état de cause, il n’est pas nécessaire que le fournisseur ou le déployeur ait l’intention de causer un préjudice important, du moment que ce préjudice résulte de pratiques de manipulation ou d’exploitation reposant sur l’IA. Les interdictions de telles pratiques en matière d’IA complètent les dispositions de la directive 2005/29/CE du Parlement européen et du Conseil (17), notamment concernant le fait que les pratiques commerciales déloyales entraînant des préjudices économiques ou financiers pour les consommateurs sont interdites en toutes circonstances, qu’elles soient mises en place au moyen de systèmes d’IA ou autrement. Les interdictions des pratiques de manipulation et d’exploitation prévues par le présent règlement ne devraient pas affecter les pratiques licites dans le cadre de traitements médicaux tels que le traitement psychologique d’une maladie mentale ou la rééducation physique, lorsque ces pratiques sont effectuées conformément à la législation applicable et aux normes médicales, comme le consentement explicite des personnes ou de leurs représentants légaux. En outre, les pratiques commerciales courantes et légitimes, par exemple dans le domaine de la publicité, qui respectent le droit applicable ne devraient pas, en soi, être considérées comme constituant des pratiques de manipulation préjudiciables reposant sur l’IA.
(30)
Deben prohibirse los sistemas de categorización biométrica basados en datos biométricos de las personas físicas, como la cara o las impresiones dactilares de una persona física, para deducir o inferir las opiniones políticas, la afiliación sindical, las convicciones religiosas o filosóficas, la raza, la vida sexual o la orientación sexual de una persona física. Dicha prohibición no debe aplicarse al etiquetado, al filtrado ni a la categorización lícitos de conjuntos de datos biométricos adquiridos de conformidad con el Derecho nacional o de la Unión en función de datos biométricos, como la clasificación de imágenes en función del color del pelo o del color de ojos, que pueden utilizarse, por ejemplo, en el ámbito de la garantía del cumplimiento del Derecho.
(30)
Il y a lieu d’interdire les systèmes de catégorisation biométrique fondés sur les données biométriques des personnes physiques, comme le visage ou les empreintes digitales, utilisés pour arriver à des déductions ou des inférences concernant les opinions politiques d’un individu, son affiliation à une organisation syndicale, ses convictions religieuses ou philosophiques, sa race, sa vie sexuelle ou son orientation sexuelle. Cette interdiction ne devrait pas couvrir l’étiquetage, le filtrage ou la catégorisation licites des ensembles de données biométriques acquis dans le respect du droit de l’Union ou du droit national en fonction de données biométriques, comme le tri des images en fonction de la couleur des cheveux ou de celle des yeux, qui peuvent par exemple être utilisés dans le domaine répressif.
(31)
Los sistemas de IA que permiten a agentes públicos o privados llevar a cabo una puntuación ciudadana de las personas físicas pueden tener resultados discriminatorios y abocar a la exclusión a determinados colectivos. Pueden menoscabar el derecho a la dignidad y a la no discriminación y los valores de igualdad y justicia. Dichos sistemas de IA evalúan o clasifican a las personas físicas o a grupos de estas sobre la base de varios puntos de datos relacionados con su comportamiento social en múltiples contextos o de características personales o de su personalidad conocidas, inferidas o predichas durante determinados períodos de tiempo. La puntuación ciudadana resultante de dichos sistemas de IA puede dar lugar a un trato perjudicial o desfavorable de determinadas personas físicas o colectivos enteros en contextos sociales que no guardan relación con el contexto donde se generaron o recabaron los datos originalmente, o a un trato perjudicial desproporcionado o injustificado en relación con la gravedad de su comportamiento social. Por lo tanto, deben prohibirse los sistemas de IA que impliquen esas prácticas inaceptables de puntuación y den lugar a esos resultados perjudiciales o desfavorables. Esa prohibición no debe afectar a prácticas lícitas de evaluación de las personas físicas que se efectúen para un fin específico de conformidad con el Derecho de la Unión y nacional.
(31)
Les systèmes d’IA permettant la notation sociale des personnes physiques par des acteurs publics ou privés peuvent conduire à des résultats discriminatoires et à l’exclusion de certains groupes. Ils peuvent porter atteinte au droit à la dignité et à la non-discrimination et sont contraires aux valeurs d’égalité et de justice. Ces systèmes d’IA évaluent ou classent les personnes physiques ou les groupes de personnes physiques en fonction de plusieurs points de données liées à leur comportement social dans divers contextes ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites pendant un certain temps. La note sociale obtenue à partir de ces systèmes d’IA peut conduire au traitement préjudiciable ou défavorable de personnes physiques ou de groupes entiers dans des contextes sociaux qui sont dissociés du contexte dans lequel les données ont été initialement générées ou collectées, ou à un traitement préjudiciable disproportionné ou injustifié au regard de la gravité de leur comportement social. Il y a donc lieu d’interdire les systèmes d’IA impliquant de telles pratiques de notation inacceptables et produisant de tels effets préjudiciables ou défavorables. Cette interdiction ne devrait pas avoir d’incidence sur les évaluations licites des personnes physiques qui sont pratiquées dans un but précis, dans le respect du droit de l’Union et du droit national.
(32)
El uso de sistemas de IA para la identificación biométrica remota «en tiempo real» de personas físicas en espacios de acceso público con fines de garantía del cumplimiento del Derecho invade de forma especialmente grave los derechos y las libertades de las personas afectadas, en la medida en que puede afectar a la vida privada de una gran parte de la población, provocar la sensación de estar bajo una vigilancia constante y disuadir indirectamente a los ciudadanos de ejercer su libertad de reunión y otros derechos fundamentales. Las imprecisiones técnicas de los sistemas de IA destinados a la identificación biométrica remota de las personas físicas pueden dar lugar a resultados sesgados y tener efectos discriminatorios. Tales posibles resultados sesgados y efectos discriminatorios son especialmente pertinentes por lo que respecta a la edad, la etnia, la raza, el sexo o la discapacidad. Además, la inmediatez de las consecuencias y las escasas oportunidades para realizar comprobaciones o correcciones adicionales en relación con el uso de sistemas que operan «en tiempo real» acrecientan el riesgo que estos conllevan para los derechos y las libertades de las personas afectadas en el contexto de actividades de garantía del cumplimiento del Derecho, o afectadas por estas.
(32)
L’utilisation de systèmes d’IA pour l’identification biométrique à distance «en temps réel» de personnes physiques dans des espaces accessibles au public à des fins répressives est particulièrement intrusive pour les droits et les libertés des personnes concernées, dans la mesure où elle peut toucher la vie privée d’une grande partie de la population, susciter un sentiment de surveillance constante et dissuader indirectement l’exercice de la liberté de réunion et d’autres droits fondamentaux. Les inexactitudes techniques des systèmes d’IA destinés à l’identification biométrique à distance des personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires. Ce risque de résultats biaisés et d’effets discriminatoires est particulièrement significatif en ce qui concerne l’âge, l’appartenance ethnique, la race, le sexe ou le handicap. En outre, du fait de l’immédiateté des effets et des possibilités limitées d’effectuer des vérifications ou des corrections supplémentaires, l’utilisation de systèmes fonctionnant en temps réel engendre des risques accrus pour les droits et les libertés des personnes concernées dans le cadre d’activités répressives ou affectées par celles-ci.
(33)
En consecuencia, debe prohibirse el uso de dichos sistemas con fines de garantía del cumplimiento del Derecho, salvo en situaciones enumeradas de manera limitativa y definidas con precisión en las que su utilización sea estrictamente necesaria para lograr un interés público esencial cuya importancia compense los riesgos. Esas situaciones son la búsqueda de determinadas víctimas de un delito, incluidas personas desaparecidas; determinadas amenazas para la vida o para la seguridad física de las personas físicas o amenazas de atentado terrorista; y la localización o identificación de los autores o sospechosos de los delitos enumerados en un anexo del presente Reglamento, cuando dichas infracciones se castiguen en el Estado miembro de que se trate con una pena o una medida de seguridad privativas de libertad cuya duración máxima sea de al menos cuatro años, y como se definan en el Derecho de dicho Estado miembro. Fijar ese umbral para la pena o la medida de seguridad privativas de libertad con arreglo al Derecho nacional contribuye a garantizar que la infracción sea lo suficientemente grave como para llegar a justificar el uso de sistemas de identificación biométrica remota «en tiempo real». Por otro lado, la lista de delitos proporcionada en un anexo del presente Reglamento se basa en los treinta y dos delitos enumerados en la Decisión Marco 2002/584/JAI del Consejo (18), si bien es preciso tener en cuenta que, en la práctica, es probable que algunas sean más relevantes que otras en el sentido de que es previsible que recurrir a la identificación biométrica remota «en tiempo real» podría ser necesario y proporcionado en grados muy distintos para llevar a cabo la localización o la identificación de los autores o sospechosos de las distintas infracciones enumeradas, y que es probable que haya diferencias en la gravedad, la probabilidad y la magnitud de los perjuicios o las posibles consecuencias negativas. Una amenaza inminente para la vida o la seguridad física de las personas físicas también podría derivarse de una perturbación grave de infraestructuras críticas, tal como se definen en el artículo 2, punto 4, de la Directiva (UE) 2022/2557 del Parlamento Europeo y del Consejo (19), cuando la perturbación o destrucción de dichas infraestructuras críticas suponga una amenaza inminente para la vida o la seguridad física de una persona, también al perjudicar gravemente el suministro de productos básicos a la población o el ejercicio de la función esencial del Estado. Además, el presente Reglamento debe preservar la capacidad de las autoridades garantes del cumplimiento del Derecho, de control fronterizo, de la inmigración o del asilo para llevar a cabo controles de identidad en presencia de la persona afectada, de conformidad con las condiciones establecidas en el Derecho de la Unión y en el Derecho nacional para estos controles. En particular, las autoridades garantes del cumplimiento del Derecho, del control fronterizo, de la inmigración o del asilo deben poder utilizar sistemas de información, de conformidad con el Derecho de la Unión o el Derecho nacional, para identificar a las personas que, durante un control de identidad, se nieguen a ser identificadas o no puedan declarar o demostrar su identidad, sin que el presente Reglamento exija que se obtenga una autorización previa. Puede tratarse, por ejemplo, de una persona implicada en un delito que no quiera revelar su identidad a las autoridades garantes del cumplimiento del Derecho, o que no pueda hacerlo debido a un accidente o a una afección médica.
(33)
L’utilisation de ces systèmes à des fins répressives devrait donc être interdite, sauf dans des situations précisément répertoriées et rigoureusement définies, dans lesquelles l’utilisation se limite au strict nécessaire à la réalisation d’objectifs d’intérêt général dont l’importance l’emporte sur les risques encourus. Ces situations comprennent la recherche de certaines victimes d’actes criminels, y compris de personnes disparues; certaines menaces pour la vie ou la sécurité physique des personnes physiques, ou des menaces d’attaque terroriste; et la localisation ou l’identification des auteurs ou des suspects des infractions pénales énumérées dans une annexe du présent règlement, lorsque ces infractions pénales sont passibles, dans l’État membre concerné, d’une peine ou d’une mesure de sûreté privative de liberté d’une durée maximale d’au moins quatre ans et telles qu’elles sont définies dans le droit dudit État membre. Le seuil fixé pour la peine ou la mesure de sûreté privative de liberté prévue par le droit national contribue à garantir que l’infraction soit suffisamment grave pour justifier l’utilisation de systèmes d’identification biométrique à distance «en temps réel». En outre, la liste des infractions pénales figurant en annexe du présent règlement sont basées sur les 32 infractions pénales énumérées dans la décision-cadre 2002/584/JAI du Conseil (18), compte tenu du fait que certaines de ces infractions sont, en pratique, susceptibles d’être plus pertinentes que d’autres, dans le sens où le recours à l’identification biométrique à distance «en temps réel» pourrait, vraisemblablement, être nécessaire et proportionné, à des degrés très divers, pour les mesures pratiques de localisation ou d’identification d’un auteur ou d’un suspect de l’une des différentes infractions pénales répertoriées, eu égard également aux différences probables dans la gravité, la probabilité et l’ampleur du préjudice ou des éventuelles conséquences négatives. Une menace imminente pour la vie ou pour la sécurité physique des personnes physiques pourrait également résulter d’une grave perturbation d’une infrastructure critique, au sens de l’article 2, point 4), de la directive (UE) 2022/2557 du Parlement européen et du Conseil (19), lorsque l’arrêt ou la destruction de cette infrastructure critique entraînerait une menace imminente pour la vie ou la sécurité physique d’une personne, notamment en portant gravement atteinte à la fourniture de produits de base à la population ou à l’exercice de la fonction essentielle de l’État. Par ailleurs, le présent règlement devrait préserver la capacité des autorités répressives, des autorités chargées des contrôles aux frontières, des services de l’immigration ou des autorités compétentes en matière d’asile d’effectuer des contrôles d’identité en présence de la personne concernée conformément aux conditions prévues par le droit de l’Union et le droit national pour ces contrôles. En particulier, les autorités répressives, les autorités chargées des contrôles aux frontières, les services de l’immigration ou les autorités compétentes en matière d’asile devraient pouvoir utiliser des systèmes d’information, conformément au droit de l’Union ou au droit national, pour identifier une personne qui, lors d’un contrôle d’identité, soit refuse d’être identifiée, soit n’est pas en mesure de décliner son identité ou de la prouver, sans qu’il leur soit fait obligation par le présent règlement d’obtenir une autorisation préalable. Il peut s’agir, par exemple, d’une personne impliquée dans une infraction, qui ne veut pas ou ne peut pas divulguer son identité aux autorités répressives en raison d’un accident ou de son état de santé.
(34)
Para velar por que dichos sistemas se utilicen de manera responsable y proporcionada, también es importante establecer que, en esas situaciones enumeradas de manera limitativa y definidas con precisión, se tengan en cuenta determinados elementos, en particular en lo que se refiere a la naturaleza de la situación que dé lugar a la solicitud, a las consecuencias que su uso puede tener sobre los derechos y las libertades de todas las personas implicadas, y a las garantías y condiciones que acompañen a su uso. Además, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho debe llevarse a cabo únicamente para confirmar la identidad de la persona que constituya el objetivo específico y limitarse a lo estrictamente necesario en lo que se refiere al período de tiempo, así como al ámbito geográfico y personal, teniendo en cuenta, en particular, las pruebas o indicios relativos a las amenazas, las víctimas o los autores. El uso del sistema de identificación biométrica remota en tiempo real en espacios de acceso público solo debe autorizarse si la correspondiente autoridad garante del cumplimiento del Derecho ha llevado a cabo una evaluación de impacto relativa a los derechos fundamentales y, salvo que se disponga otra cosa en el presente Reglamento, si ha registrado el sistema en la base de datos establecida en el presente Reglamento. La base de datos de personas de referencia debe ser adecuada para cada supuesto de uso en cada una de las situaciones antes mencionadas.
(34)
Afin de s’assurer que ces systèmes soient utilisés de manière responsable et proportionnée, il est également important d’établir que, dans chacune des situations précisément répertoriées et rigoureusement définies, certains éléments devraient être pris en considération, notamment en ce qui concerne la nature de la situation donnant lieu à la demande et les conséquences de l’utilisation pour les droits et les libertés de toutes les personnes concernées, ainsi que les garanties et les conditions associées à l’utilisation. En outre, l’utilisation, à des fins répressives, de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public ne devrait être déployée que pour confirmer l’identité de la personne spécifiquement ciblée et elle devrait être limitée au strict nécessaire dans le temps, ainsi que du point de vue de la portée géographique et personnelle, eu égard en particulier aux preuves ou aux indications concernant les menaces, les victimes ou les auteurs. L’utilisation du système d’identification biométrique à distance en temps réel dans des espaces accessibles au public ne devrait être autorisée que si l’autorité répressive compétente a réalisé une analyse d’impact sur les droits fondamentaux et, sauf disposition contraire du présent règlement, a enregistré le système dans la base de données prévue par le présent règlement. La base de données de référence des personnes devrait être appropriée pour chaque cas d’utilisation dans chacune des situations mentionnées ci-dessus.
(35)
Todo uso de un sistema de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho debe haber sido autorizado de manera expresa y específica por una autoridad judicial o por una autoridad administrativa independiente de un Estado miembro y cuya decisión sea vinculante. En principio, dicha autorización debe obtenerse antes de utilizar el sistema de IA con el fin de identificar a una o varias personas. Deben permitirse excepciones a esa norma en situaciones debidamente justificadas por motivos de urgencia, a saber, en aquellas en las que la necesidad de utilizar los sistemas de que se trate sea tan imperiosa que resulte efectiva y objetivamente imposible obtener una autorización antes de iniciar el uso del sistema de IA. En tales situaciones de urgencia, el uso debe limitarse al mínimo imprescindible y satisfacer las garantías y condiciones oportunas, conforme a lo dispuesto en el Derecho nacional y según corresponda en cada supuesto concreto de uso urgente por parte de la propia autoridad garante del cumplimiento del Derecho. Además, en esas situaciones las autoridades garantes del cumplimiento del Derecho deben solicitar dicha autorización e indicar los motivos por los que no han podido hacerlo antes, sin demora indebida y, como máximo, en un plazo de veinticuatro horas. Si se rechaza dicha autorización, el uso de sistemas de identificación biométrica en tiempo real vinculados a la autorización debe interrumpirse con efecto inmediato y todos los datos relacionados con dicho uso deben desecharse y suprimirse. Entre esos datos se incluyen los datos de entrada directamente adquiridos por un sistema de IA durante el uso de dicho sistema, así como los resultados y la información de salida del uso vinculados a dicha autorización. No debe incluir la información de entrada adquirida legalmente de conformidad con otro acto del Derecho nacional o de la Unión. En cualquier caso, no debe adoptarse ninguna decisión que produzca efectos jurídicos adversos para una persona exclusivamente sobre la base de los resultados de salida del sistema de identificación biométrica remota.
(35)
Toute utilisation d’un système d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives devrait être subordonnée à l’autorisation expresse et spécifique d’une autorité judiciaire ou d’une autorité administrative indépendante d’un État membre dont la décision est contraignante. Cette autorisation devrait en principe être obtenue avant l’utilisation du système d’IA en vue d’identifier une ou plusieurs personnes. Des exceptions à cette règle devraient être autorisées dans des situations dûment justifiées en raison du caractère urgent, c’est-à-dire des situations où la nécessité d’utiliser les systèmes en question est de nature à rendre effectivement et objectivement impossible l’obtention d’une autorisation avant de commencer à utiliser le système d’IA. Dans de telles situations d’urgence, l’utilisation du système d’IA devrait être limitée au strict nécessaire et assortie de garanties et de conditions appropriées, telles qu’elles sont déterminées dans le droit national et spécifiées dans le contexte de chaque cas d’utilisation urgente par les autorités répressives elles-mêmes. En outre, l’autorité répressive devrait, dans ce genre de situation, solliciter une telle autorisation tout en indiquant les raisons pour lesquelles elle n’a pas été en mesure de le faire plus tôt, sans retard injustifié et au plus tard dans un délai de 24 heures. Lorsqu’une demande d’autorisation est rejetée, l’utilisation de systèmes d’identification biométrique en temps réel liés à cette autorisation devrait cesser immédiatement et toutes les données relatives à cette utilisation devraient être mises au rebut et supprimées. Ces données comprennent les données d’entrée directement acquises par un système d’IA au cours de l’utilisation de ce système, ainsi que les résultats et sorties de l’utilisation liée à cette autorisation. Cela ne devrait pas comprendre les entrées qui sont légalement acquises dans le respect d’un autre droit national ou du droit de l’Union. En tout état de cause, aucune décision produisant des effets juridiques défavorables à l’égard d’une personne ne devrait être prise sur la seule base des sorties du système d’identification biométrique à distance.
(36)
A fin de desempeñar sus funciones de conformidad con los requisitos establecidos en el presente Reglamento, así como en las normas nacionales, debe notificarse a la autoridad de vigilancia del mercado pertinente y a la autoridad nacional de protección de datos cada uso del sistema de identificación biométrica en tiempo real. Las autoridades de vigilancia del mercado y las autoridades nacionales de protección de datos que hayan recibido una notificación deben presentar a la Comisión un informe anual sobre el uso de sistemas de identificación biométrica en tiempo real.
(36)
Afin de s’acquitter de leurs tâches conformément aux exigences énoncées dans le présent règlement ainsi que dans les règles nationales, l’autorité de surveillance du marché concernée et l’autorité nationale chargée de la protection des données devraient être informées de chaque utilisation du système d’identification biométrique en temps réel. Les autorités de surveillance du marché et les autorités nationales chargées de la protection des données auxquelles une notification a été adressée devraient présenter à la Commission un rapport annuel sur l’utilisation des systèmes d’identification biométrique en temps réel.
(37)
Por otro lado, conviene disponer, en el marco exhaustivo que establece este Reglamento, que dicho uso en el territorio de un Estado miembro conforme a lo dispuesto en el presente Reglamento solo debe ser posible cuando el Estado miembro de que se trate haya decidido contemplar expresamente la posibilidad de autorizarlo en las normas detalladas de su Derecho nacional, y en la medida en que lo haya contemplado. En consecuencia, con arreglo al presente Reglamento los Estados miembros siguen teniendo la libertad de no ofrecer esta posibilidad en absoluto o de ofrecerla únicamente en relación con algunos de los objetivos que pueden justificar un uso autorizado conforme al presente Reglamento. Dichas normas nacionales deben notificarse a la Comisión en un plazo de treinta días a partir de su adopción.
(37)
En outre, il convient de prévoir, dans le cadre exhaustif établi par le présent règlement, qu’une telle utilisation sur le territoire d’un État membre conformément au présent règlement ne devrait être possible que dans le cas et dans la mesure où l’État membre concerné a décidé de prévoir expressément la possibilité d’autoriser une telle utilisation dans des règles détaillées de son droit national. Par conséquent, les États membres restent libres, en vertu du présent règlement, de ne pas prévoir une telle possibilité, ou de prévoir une telle possibilité uniquement pour certains objectifs parmi ceux susceptibles de justifier l’utilisation autorisée définis dans le présent règlement. Ces règles nationales devraient être notifiées à la Commission dans les 30 jours suivant leur adoption.
(38)
La utilización de sistemas de IA para la identificación biométrica remota en tiempo real de personas físicas en espacios de acceso público con fines de garantía del cumplimiento del Derecho implica, necesariamente, el tratamiento de datos biométricos. Las normas del presente Reglamento que prohíben, con algunas excepciones, ese uso, basadas en el artículo 16 del TFUE, deben aplicarse como lex specialis con respecto a las normas sobre el tratamiento de datos biométricos que figuran en el artículo 10 de la Directiva (UE) 2016/680, con lo que se regula de manera exhaustiva dicho uso y el tratamiento de los correspondientes datos biométricos. Por lo tanto, ese uso y tratamiento deben ser posibles únicamente en la medida en que sean compatibles con el marco establecido por el presente Reglamento, sin que haya margen, fuera de dicho marco, para que las autoridades competentes, cuando actúen con fines de garantía del cumplimiento del Derecho, utilicen tales sistemas y traten dichos datos en los supuestos previstos en el artículo 10 de la Directiva (UE) 2016/680. En ese sentido, el presente Reglamento no tiene por objeto proporcionar la base jurídica para el tratamiento de datos personales en virtud del artículo 8 de la Directiva (UE) 2016/680. Sin embargo, el uso de sistemas de identificación biométrica remota en tiempo real en espacios de acceso público con fines distintos de la garantía del cumplimiento del Derecho, también por parte de las autoridades competentes, no debe estar sujeto al marco específico establecido por el presente Reglamento en lo que respecta al uso de dichos sistemas con fines de garantía del cumplimiento del Derecho. Por consiguiente, su uso con fines distintos de la garantía del cumplimiento del Derecho no debe estar sujeto al requisito de obtener una autorización previsto en el presente Reglamento ni a las normas de desarrollo aplicables del Derecho nacional que puedan hacer efectiva dicha autorización.
(38)
L’utilisation de systèmes d’IA pour l’identification biométrique à distance en temps réel de personnes physiques dans des espaces accessibles au public à des fins répressives passe nécessairement par le traitement de données biométriques. Les règles du présent règlement qui interdisent, sous réserve de certaines exceptions, une telle utilisation, et qui sont fondées sur l’article 16 du traité sur le fonctionnement de l’Union européenne, devraient s’appliquer en tant que lex specialis pour ce qui est des règles sur le traitement des données biométriques figurant à l’article 10 de la directive (UE) 2016/680, réglementant ainsi de manière exhaustive cette utilisation et le traitement des données biométriques qui en résulte. Par conséquent, une telle utilisation et un tel traitement ne devraient être possibles que dans la mesure où ils sont compatibles avec le cadre fixé par le présent règlement, sans qu’il soit possible pour les autorités compétentes, lorsqu’elles agissent à des fins répressives en dehors de ce cadre, d’utiliser ces systèmes et de traiter ces données pour les motifs énumérés à l’article 10 de la directive (UE) 2016/680. Dans ce contexte, le présent règlement ne vise pas à fournir la base juridique pour le traitement des données à caractère personnel en vertu de l’article 8 de la directive (UE) 2016/680. Cependant, l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins autres que répressives, y compris par les autorités compétentes, ne devrait pas être couverte par le cadre spécifique concernant l’utilisation à des fins répressives établi par le présent règlement. L’utilisation à des fins autres que répressives ne devrait donc pas être subordonnée à l’exigence d’une autorisation au titre du présent règlement et des règles détaillées du droit national applicable susceptibles de donner effet à cette autorisation.
(39)
Todo tratamiento de datos biométricos y de datos personales de otra índole asociado al uso de sistemas de IA para la identificación biométrica, salvo el asociado al uso de sistemas de identificación biométrica remota en tiempo real en espacios de acceso público con fines de garantía del cumplimiento del Derecho regulado por el presente Reglamento, debe seguir cumpliendo todos los requisitos derivados del artículo 10 de la Directiva (UE) 2016/680. El artículo 9, apartado 1, del Reglamento (UE) 2016/679 y el artículo 10, apartado 1, del Reglamento (UE) 2018/1725 prohíben el tratamiento de datos biométricos con fines distintos de la garantía del cumplimiento del Derecho, con las excepciones limitadas previstas en dichos artículos. En la aplicación del artículo 9, apartado 1, del Reglamento (UE) 2016/679, el uso de la identificación biométrica remota para fines distintos de la garantía del cumplimiento del Derecho ya ha sido objeto de decisiones de prohibición por parte de las autoridades nacionales de protección de datos.
(39)
Tout traitement de données biométriques et d’autres données à caractère personnel mobilisées lors de l’utilisation de systèmes d’IA pour l’identification biométrique, qui n’est pas lié à l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives, réglementée par le présent règlement, devrait rester conforme à toutes les exigences découlant de l’article 10 de la directive (UE) 2016/680. À des fins autres que répressives, l’article 9, paragraphe 1, du règlement (UE) 2016/679 et l’article 10, paragraphe 1, du règlement (UE) 2018/1725 interdisent le traitement de données biométriques sous réserve d’exceptions limitées prévues dans ces articles. En application de l’article 9, paragraphe 1, du règlement (UE) 2016/679, l’utilisation de l’identification biométrique à distance à des fins autres que répressives a déjà fait l’objet de décisions d’interdiction prises par les autorités nationales chargées de la protection des données.
(40)
De conformidad con el artículo 6 bis del Protocolo n.o 21 sobre la Posición del Reino Unido y de Irlanda respecto del Espacio de Libertad, Seguridad y Justicia, anejo al TUE y al TFUE, las normas establecidas en el artículo 5, apartado 1, párrafo primero, letra g), en la medida en que se aplica al uso de sistemas de categorización biométrica para actividades en el ámbito de la cooperación policial y la cooperación judicial en materia penal, el artículo 5, apartado 1, párrafo primero, letra d), en la medida en que se aplica al uso de sistemas de IA comprendidos en el ámbito de aplicación de dicho artículo, el artículo 5, apartado 1, párrafo primero, letra h), y apartados 2 a 6, y el artículo 26, apartado 10, del presente Reglamento, adoptadas basándose en el artículo 16 del TFUE que se refieran al tratamiento de datos de carácter personal por los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación de la tercera parte, título V, capítulos 4 o 5, de dicho Tratado solo serán vinculantes para Irlanda en la medida en que sean vinculantes para este Estado normas de la Unión que regulen formas de cooperación judicial en materia penal y de cooperación policial en cuyo marco deban respetarse las disposiciones establecidas basándose en el artículo 16 del TFUE.
(40)
Conformément à l’article 6 bis du protocole no 21 sur la position du Royaume-Uni et de l’Irlande à l’égard de l’espace de liberté, de sécurité et de justice, annexé au traité sur l’Union européenne et au traité sur le fonctionnement de l’Union européenne, l’Irlande n’est pas liée par les règles fixées à l’article 5, paragraphe 1, premier alinéa, point g), dans la mesure où il s’applique à l’utilisation de systèmes de catégorisation biométrique pour des activités dans le domaine de la coopération policière et de la coopération judiciaire en matière pénale, à l’article 5, paragraphe 1, premier alinéa, point d), dans la mesure où il s’applique à l’utilisation de systèmes d’IA couverts par cette disposition, à l’article 5, paragraphe 1, premier alinéa, point h), à l’article 5, paragraphes 2 à 6, et l’article 26, paragraphe 10, du présent règlement et adoptées sur la base de l’article 16 du traité sur le fonctionnement de l’Union européenne concernant le traitement de données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou 5 du titre V de la troisième partie du traité sur le fonctionnement de l’Union européenne, lorsque l’Irlande n’est pas liée par les règles qui régissent des formes de coopération judiciaire en matière pénale ou de coopération policière dans le cadre desquelles les dispositions fixées sur la base de l’article 16 du traité sur le fonctionnement de l’Union européenne doivent être respectées.
(41)
De conformidad con lo dispuesto en los artículos 2 y 2 bis del Protocolo n.o 22 sobre la Posición de Dinamarca, anejo al TUE y al TFUE, las normas establecidas en el artículo 5, apartado 1, párrafo primero, letra g), en la medida en que se aplica al uso de sistemas de categorización biométrica para actividades en el ámbito de la cooperación policial y la cooperación judicial en materia penal, el artículo 5, apartado 1, párrafo primero, letra d), en la medida en que se aplican al uso de sistemas de IA comprendidos en el ámbito de aplicación de dicho artículo, el artículo 5, apartado 1, párrafo primero, letra h), y apartados 2 a 6, y el artículo 26, apartado 10, del presente Reglamento, adoptadas sobre la base del artículo 16 del TFUE que se refieran al tratamiento de datos de carácter personal por los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación de la tercera parte, título V, capítulos 4 o 5, de dicho Tratado, no vincularán a Dinamarca ni le serán aplicables.
(41)
Conformément aux articles 2 et 2 bis du protocole no 22 sur la position du Danemark, annexé au traité l’Union européenne et au traité sur le fonctionnement de l’Union européenne, le Danemark n’est pas lié par les règles fixées à l’article 5, paragraphe 1, premier alinéa, point g), dans la mesure où il s’applique à l’utilisation de systèmes de catégorisation biométrique pour des activités dans le domaine de la coopération policière et de la coopération judiciaire en matière pénale, à l’article 5, paragraphe 1, premier alinéa, point d), dans la mesure où il s’applique à l’utilisation de systèmes d’IA couverts par cette disposition, à l’article 5, paragraphe 1, premier alinéa, point h), à l’article 5, paragraphes 2 à 6, et à l’article 26, paragraphe 10, du présent règlement et adoptées sur la base de l’article 16 du traité sur le fonctionnement de l’Union européenne, ni soumis à leur application, lorsqu’elles concernent le traitement des données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou du chapitre 5 du titre V de la troisième partie du traité sur le fonctionnement de l’Union européenne.
(42)
En consonancia con la presunción de inocencia, las personas físicas de la Unión siempre deben ser juzgadas basándose en su comportamiento real. Las personas físicas nunca deben ser juzgadas a partir de comportamientos predichos por una IA basados únicamente en la elaboración de sus perfiles, en los rasgos o características de su personalidad, como la nacionalidad, el lugar de nacimiento, el lugar de residencia, el número de hijos, el nivel de endeudamiento o el tipo de vehículo, sin una valoración humana y sin que exista una sospecha razonable, basada en hechos objetivos comprobables, de que dicha persona está implicada en una actividad delictiva. Por lo tanto, deben prohibirse las evaluaciones de riesgos realizadas con respecto a personas físicas para evaluar la probabilidad de que cometan un delito o para predecir la comisión de un delito real o potencial basándose únicamente en la elaboración de perfiles de esas personas físicas o la evaluación de los rasgos y características de su personalidad. En cualquier caso, dicha prohibición no se refiere o atañe a los análisis de riesgos que no estén basados en la elaboración de perfiles de personas o en los rasgos y características de la personalidad de las personas, como los sistemas de IA que utilizan los análisis de riesgos para evaluar la probabilidad de fraude financiero por parte de empresas sobre la base de transacciones sospechosas o las herramientas de análisis de riesgo para predecir la probabilidad de localización de estupefacientes y mercancías ilícitas por parte de las autoridades aduaneras, por ejemplo basándose en las rutas de tráfico conocidas.
(42)
Conformément à la présomption d’innocence, les personnes physiques dans l’Union devraient toujours être jugées sur leur comportement réel. Une personne physique ne devrait jamais être jugée sur la base d’un comportement prédit par l’IA uniquement sur la base de son profilage, de ses traits de personnalité ou de ses caractéristiques, telles que la nationalité, le lieu de naissance, le lieu de résidence, le nombre d’enfants, le niveau d’endettement ou le type de voiture, sans qu’il existe un motif raisonnable de soupçonner que cette personne est impliquée dans une activité criminelle sur la base de faits objectifs vérifiables et sans évaluation humaine de ceux-ci. Par conséquent, il convient d’interdire les évaluations des risques effectuées en ce qui concerne des personnes physiques dans le but d’évaluer la probabilité que ces dernières commettent une infraction ou de prévoir la survenance d’une infraction pénale, réelle ou potentielle, sur la seule base du profilage de ces personnes physiques ou de l’évaluation de leurs traits de personnalité et caractéristiques. En tout état de cause, cette interdiction ne vise ni ne concerne l’analyse des risques non fondée sur le profilage des personnes ou sur les traits de personnalité et les caractéristiques des individus, tels que les systèmes d’IA utilisant l’analyse des risques pour évaluer la probabilité de fraude financière de la part d’entreprises sur la base de transactions suspectes ou d’outils d’analyse des risques permettant de prédire la probabilité de la localisation de stupéfiants ou de marchandises illicites par les autorités douanières, par exemple sur la base de voies de trafic connues.
(43)
La introducción en el mercado, la puesta en servicio para ese fin concreto o la utilización de sistemas de IA que creen o amplíen bases de datos de reconocimiento facial mediante la extracción no selectiva de imágenes faciales a partir de internet o de imágenes de circuito cerrado de televisión deben estar prohibidas, pues esas prácticas agravan el sentimiento de vigilancia masiva y pueden dar lugar a graves violaciones de los derechos fundamentales, incluido el derecho a la intimidad.
(43)
Il y a lieu d’interdire la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA qui créent ou développent des bases de données de reconnaissance faciale par le moissonnage non ciblé d’images faciales provenant de l’internet ou de la vidéosurveillance, parce que cette pratique ne fait qu’accentuer le sentiment de surveillance de masse et peut entraîner des violations flagrantes des droits fondamentaux, y compris du droit au respect de la vie privée.
(44)
Existe una gran preocupación respecto a la base científica de los sistemas de IA que procuran detectar o deducir las emociones, especialmente porque la expresión de las emociones varía de forma considerable entre culturas y situaciones, e incluso en una misma persona. Algunas de las deficiencias principales de estos sistemas son la fiabilidad limitada, la falta de especificidad y la limitada posibilidad de generalizar. Por consiguiente, los sistemas de IA que detectan o deducen las emociones o las intenciones de las personas físicas a partir de sus datos biométricos pueden tener resultados discriminatorios y pueden invadir los derechos y las libertades de las personas afectadas. Teniendo en cuenta el desequilibrio de poder en el contexto laboral o educativo, unido al carácter intrusivo de estos sistemas, dichos sistemas podrían dar lugar a un trato perjudicial o desfavorable de determinadas personas físicas o colectivos enteros. Por tanto, debe prohibirse la introducción en el mercado, la puesta en servicio y el uso de sistemas de IA destinados a ser utilizados para detectar el estado emocional de las personas en situaciones relacionadas con el lugar de trabajo y el ámbito educativo. Dicha prohibición no debe aplicarse a los sistemas de IA introducidos en el mercado estrictamente con fines médicos o de seguridad, como los sistemas destinados a un uso terapéutico.
(44)
La base scientifique des systèmes d’IA visant à identifier ou à inférer les émotions suscite de vives inquiétudes, d’autant plus que l’expression des émotions varie considérablement d’une culture et d’une situation à l’autre, comme d’ailleurs chez un même individu. Les principaux défauts de ces systèmes sont, entre autres, leur fiabilité limitée, leur manque de précision et leur généralisabilité limitée. Par conséquent, les systèmes d’IA qui identifient ou déduisent les émotions ou les intentions de personnes physiques sur la base de leurs données biométriques peuvent conduire à des résultats discriminatoires et peuvent être intrusifs pour les droits et libertés des personnes concernées. Si l’on considère le déséquilibre de pouvoir qui existe dans le cadre du travail ou de l’enseignement, combiné au caractère intrusif de ces systèmes, ces derniers risqueraient de déboucher sur le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes entiers de personnes physiques. Par conséquent, il convient d’interdire la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA destinés à être utilisés pour déterminer l’état émotionnel de personnes physiques dans des situations liées au lieu de travail et à l’enseignement. Cette interdiction ne devrait pas porter sur les systèmes d’IA mis sur le marché strictement pour des raisons médicales ou de sécurité, tels que les systèmes destinés à un usage thérapeutique.
(45)
El presente Reglamento no debe afectar a las prácticas prohibidas por el Derecho de la Unión, incluido el Derecho de la Unión en materia de protección de datos, de no discriminación, de protección de los consumidores y sobre competencia.
(45)
Le présent règlement devrait être sans effet sur les pratiques interdites par le droit de l’Union, notamment en vertu du droit de la protection des données, de la lutte contre la discrimination, de la protection des consommateurs et de la concurrence.
(46)
La introducción en el mercado de la Unión, la puesta en servicio o la utilización de sistemas de IA de alto riesgo debe supeditarse al cumplimiento por su parte de determinados requisitos obligatorios, los cuales deben garantizar que los sistemas de IA de alto riesgo disponibles en la Unión o cuyos resultados de salida se utilicen en la Unión no planteen riesgos inaceptables para intereses públicos importantes de la Unión, reconocidos y protegidos por el Derecho de la Unión. Sobre la base del nuevo marco legislativo, tal como se aclara en la Comunicación de la Comisión titulada «“Guía azul” sobre la aplicación de la normativa europea relativa a los productos, de 2022» (20), la norma general es que más de un acto jurídico de la legislación de armonización de la Unión, como los Reglamentos (UE) 2017/745 (21) y (UE) 2017/746 (22) del Parlamento Europeo y del Consejo o la Directiva 2006/42/CE del Parlamento Europeo y del Consejo (23) puedan aplicarse a un producto, dado que la introducción en el mercado o la puesta en servicio solo pueden tener lugar cuando el producto cumple toda la legislación de armonización de la Unión aplicable. A fin de garantizar la coherencia y evitar cargas administrativas o costes innecesarios, los proveedores de un producto que contenga uno o varios sistemas de IA de alto riesgo, a los que se apliquen los requisitos del presente Reglamento y de la legislación de armonización de la Unión incluida en una lista de un anexo del presente Reglamento, deben ser flexibles en lo que respecta a las decisiones operativas relativas a la manera de garantizar la conformidad de un producto que contenga uno o varios sistemas de IA con todos los requisitos aplicables de la legislación de armonización de la Unión de manera óptima. La clasificación de un sistema de IA como «de alto riesgo» debe limitarse a aquellos sistemas de IA que tengan un efecto perjudicial considerable en la salud, la seguridad y los derechos fundamentales de las personas de la Unión, y dicha limitación debe reducir al mínimo cualquier posible restricción del comercio internacional.
(46)
Les systèmes d’IA à haut risque ne devraient être mis sur le marché de l’Union, mis en service ou utilisés que s’ils satisfont à certaines exigences obligatoires. Ces exigences devraient garantir que les systèmes d’IA à haut risque disponibles dans l’Union ou dont les sorties sont utilisées d’une autre manière dans l’Union ne présentent pas de risques inacceptables pour d’importants intérêts publics de l’Union tels qu’ils sont reconnus et protégés par le droit de l’Union. Sur la base du nouveau cadre législatif, que la Commission a détaillé dans sa communication présentant le «“Guide bleu” relatif à la mise en œuvre de la réglementation de l’UE sur les produits 2022» (20), la règle générale est que plus d’un acte juridique de la législation d’harmonisation de l’Union, comme les règlements (UE) 2017/745 (21) et (UE) 2017/746 (22) du Parlement européen et du Conseil ou la directive 2006/42/CE du Parlement européen et du Conseil (23), peuvent s’appliquer à un produit dès lors que la mise à disposition ou la mise en service ne peut avoir lieu que lorsque le produit est conforme à l’ensemble de la législation d’harmonisation de l’Union applicable. Dans un souci de cohérence, et afin d’éviter des charges administratives ou des coûts inutiles, les fournisseurs d’un produit contenant un ou plusieurs systèmes d’IA à haut risque, auxquels s’appliquent les exigences du présent règlement et de la législation d’harmonisation de l’Union dont la liste figure en annexe du présent règlement, devraient disposer d’une certaine souplesse en ce qui concerne les décisions opérationnelles à prendre quant à la manière de garantir de façon optimale qu’un produit contenant un ou plusieurs systèmes d’IA est conforme à l’ensemble des exigences applicables de la législation d’harmonisation de l’Union. Les systèmes d’IA désignés comme étant à haut risque devraient être limités aux systèmes qui ont une incidence préjudiciable substantielle sur la santé, la sécurité et les droits fondamentaux des citoyens dans l’Union et une telle limitation devrait réduire au minimum toute éventuelle restriction au commerce international.
(47)
Los sistemas de IA pueden tener un efecto adverso para la salud y la seguridad de las personas, en particular cuando funcionan como componentes de seguridad de productos. En consonancia con los objetivos de la legislación de armonización de la Unión de facilitar la libre circulación de productos en el mercado interior y de velar por que solo lleguen al mercado aquellos productos que sean seguros y conformes, es importante prevenir y mitigar debidamente los riesgos de seguridad que pueda generar un producto en su conjunto debido a sus componentes digitales, entre los que pueden figurar los sistemas de IA. Por ejemplo, los robots cada vez más autónomos que se utilizan en las fábricas o con fines de asistencia y atención personal deben poder funcionar y desempeñar sus funciones de manera segura en entornos complejos. Del mismo modo, en el sector sanitario, donde puede haber repercusiones especialmente importantes en la vida y la salud, los sistemas de diagnóstico y de apoyo a las decisiones humanas, cuya sofisticación es cada vez mayor, deben ser fiables y precisos.
(47)
Les systèmes d’IA pourraient avoir un impact négatif sur la santé et la sécurité des citoyens, en particulier lorsque ces systèmes sont utilisés en tant que composants de sécurité de produits. Conformément aux objectifs de la législation d’harmonisation de l’Union visant à faciliter la libre circulation des produits sur le marché intérieur et à garantir que seuls des produits sûrs et conformes à d’autres égards soient mis sur le marché, il est important de dûment prévenir et atténuer les risques pour la sécurité susceptibles d’être créés par un produit dans son ensemble en raison de ses composants numériques, y compris les systèmes d’IA. Par exemple, des robots de plus en plus autonomes, que ce soit dans le secteur de l’industrie manufacturière ou des services de soins et d’aide à autrui, devraient pouvoir opérer et remplir leurs fonctions en toute sécurité dans des environnements complexes. De même, dans le secteur de la santé, où les enjeux pour la vie et la santé sont particulièrement importants, les systèmes de diagnostic de plus en plus sophistiqués et les systèmes soutenant les décisions humaines devraient être fiables et précis.
(48)
La magnitud de las consecuencias adversas de un sistema de IA para los derechos fundamentales protegidos por la Carta es especialmente importante a la hora de clasificar un sistema de IA como de alto riesgo. Entre dichos derechos se incluyen el derecho a la dignidad humana, el respeto de la vida privada y familiar, la protección de datos de carácter personal, la libertad de expresión y de información, la libertad de reunión y de asociación, el derecho a la no discriminación, el derecho a la educación, la protección de los consumidores, los derechos de los trabajadores, los derechos de las personas discapacitadas, la igualdad entre hombres y mujeres, los derechos de propiedad intelectual, el derecho a la tutela judicial efectiva y a un juez imparcial, los derechos de la defensa y la presunción de inocencia, y el derecho a una buena administración. Además de esos derechos, conviene poner de relieve el hecho de que los menores poseen unos derechos específicos consagrados en el artículo 24 de la Carta y en la Convención sobre los Derechos del Niño de las Naciones Unidas, que se desarrollan con más detalle en la observación general n.o 25 de la Convención sobre los Derechos del Niño de Naciones Unidas relativa a los derechos de los niños en relación con el entorno digital. Ambos instrumentos exigen que se tengan en consideración las vulnerabilidades de los menores y que se les brinde la protección y la asistencia necesarias para su bienestar. Cuando se evalúe la gravedad del perjuicio que puede ocasionar un sistema de IA, también en lo que respecta a la salud y la seguridad de las personas, también se debe tener en cuenta el derecho fundamental a un nivel elevado de protección del medio ambiente consagrado en la Carta y aplicado en las políticas de la Unión.
(48)
L’ampleur de l’incidence négative du système d’IA sur les droits fondamentaux protégés par la Charte est un critère particulièrement pertinent lorsqu’il s’agit de classer un système d’IA en tant que système à haut risque. Ces droits comprennent le droit à la dignité humaine, le respect de la vie privée et familiale, la protection des données à caractère personnel, la liberté d’expression et d’information, la liberté de réunion et d’association, le droit à la non-discrimination, le droit à l’éducation, la protection des consommateurs, les droits des travailleurs, les droits des personnes handicapées, l’égalité de genre, les droits de propriété intellectuelle, le droit à un recours effectif et à accéder à un tribunal impartial, les droits de la défense et la présomption d’innocence, et le droit à une bonne administration. En plus de ces droits, il est important de souligner le fait que les enfants bénéficient de droits spécifiques consacrés à l’article 24 de la Charte et dans la convention des Nations unies relative aux droits de l’enfant (et précisés dans l’observation générale no 25 de la CNUDE en ce qui concerne l’environnement numérique), et que ces deux textes considèrent la prise en compte des vulnérabilités des enfants et la fourniture d’une protection et de soins appropriés comme nécessaires au bien-être de l’enfant. Le droit fondamental à un niveau élevé de protection de l’environnement, consacré dans la Charte et mis en œuvre dans les politiques de l’Union, devrait également être pris en considération lors de l’évaluation de la gravité du préjudice qu’un système d’IA peut causer, notamment en ce qui concerne les conséquences pour la santé et la sécurité des personnes.
(49)
En relación con los sistemas de IA de alto riesgo que son componentes de seguridad de productos o sistemas, o que son en sí mismos productos o sistemas que entran en el ámbito de aplicación del Reglamento (CE) n.o 300/2008 del Parlamento Europeo y del Consejo (24), el Reglamento (UE) n.o 167/2013 del Parlamento Europeo y del Consejo (25), el Reglamento (UE) n.o 168/2013 del Parlamento Europeo y del Consejo (26), la Directiva 2014/90/UE del Parlamento Europeo y del Consejo (27), la Directiva (UE) 2016/797 del Parlamento Europeo y del Consejo (28), el Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo (29), el Reglamento (UE) 2018/1139 del Parlamento Europeo y del Consejo (30), y el Reglamento (UE) 2019/2144 del Parlamento Europeo y del Consejo (31), procede modificar dichos actos para garantizar que, cuando la Comisión adopte actos delegados o de ejecución pertinentes basados en ellos, tenga en cuenta los requisitos obligatorios para los sistemas de IA de alto riesgo previstos en el presente Reglamento, atendiendo a las particularidades técnicas y reglamentarias de los distintos sectores y sin interferir con los mecanismos y las autoridades de gobernanza, evaluación de la conformidad y control del cumplimiento vigentes establecidos en dichos actos.
(49)
En ce qui concerne les systèmes d’IA à haut risque constituant des composants de sécurité de produits ou de systèmes, ou qui sont eux-mêmes des produits ou des systèmes entrant dans le champ d’application du règlement (CE) no 300/2008 du Parlement européen et du Conseil (24), du règlement (UE) no 167/2013 du Parlement européen et du Conseil (25), du règlement (UE) no 168/2013 du Parlement européen et du Conseil (26), de la directive 2014/90/UE du Parlement européen et du Conseil (27), de la directive (UE) 2016/797 du Parlement européen et du Conseil (28), du règlement (UE) 2018/858 du Parlement européen et du Conseil (29), du règlement (UE) 2018/1139 du Parlement européen et du Conseil (30) ou du règlement (UE) 2019/2144 du Parlement européen et du Conseil (31), il convient de modifier ces actes pour veiller à ce que la Commission tienne compte, sur la base des spécificités techniques et réglementaires de chaque secteur, et sans interférer avec les mécanismes et les autorités de gouvernance, d’évaluation de la conformité et de contrôle de l’application déjà en place en vertu de ces règlements, des exigences obligatoires applicables aux systèmes d’IA à haut risque définis dans le présent règlement lors de l’adoption d’actes délégués ou d’actes d’exécution pertinents sur la base de ces actes.
(50)
En cuanto a los sistemas de IA que son componentes de seguridad de productos, o que son productos en sí mismos, y entran dentro del ámbito de aplicación de determinados actos legislativos de armonización de la Unión enumerados en un anexo del presente Reglamento, procede clasificarlos como de alto riesgo en virtud del presente Reglamento si el producto de que se trate es sometido a un procedimiento de evaluación de la conformidad con un organismo de evaluación de la conformidad de terceros de acuerdo con dichos actos legislativos de armonización de la Unión. Esos productos son, en concreto, máquinas, juguetes, ascensores, equipo y sistemas de protección para uso en atmósferas potencialmente explosivas, equipos radioeléctricos, equipos a presión, equipos de embarcaciones de recreo, instalaciones de transporte por cable, aparatos que queman combustibles gaseosos, productos sanitarios, productos sanitarios para diagnóstico in vitro, automoción y aviación.
(50)
En ce qui concerne les systèmes d’IA qui constituent des composants de sécurité de produits relevant de certaines législations d’harmonisation de l’Union dont la liste figure en annexe du présent règlement, ou qui sont eux-mêmes de tels produits, il convient de les classer comme étant à haut risque au titre du présent règlement si le produit concerné est soumis à la procédure d’évaluation de la conformité par un organisme tiers d’évaluation de la conformité conformément à la législation d’harmonisation de l’Union correspondante. Ces produits sont notamment les machines, les jouets, les ascenseurs, les appareils et les systèmes de protection destinés à être utilisés en atmosphères explosibles, les équipements radio, les équipements sous pression, les équipements pour bateaux de plaisance, les installations à câbles, les appareils brûlant des combustibles gazeux, les dispositifs médicaux, les dispositifs médicaux de diagnostic in vitro, l’automobile et l’aviation.
(51)
Que un sistema de IA se clasifique como de alto riesgo en virtud del presente Reglamento no significa necesariamente que el producto del que sea componente de seguridad, o el propio sistema de IA como producto, se considere de «alto riesgo» conforme a los criterios establecidos en la correspondiente legislación de armonización de la Unión que se aplique al producto. Tal es el caso, en particular, de los Reglamentos (UE) 2017/745 y (UE) 2017/746, que prevén una evaluación de la conformidad de terceros de los productos de riesgo medio y alto.
(51)
La classification d’un système d’IA comme étant à haut risque en application du présent règlement ne devrait pas nécessairement signifier que le produit utilisant le système d’IA en tant que composant de sécurité, ou que le système d’IA lui-même en tant que produit, est considéré comme étant à haut risque selon les critères établis dans la législation d’harmonisation de l’Union correspondante qui s’applique au produit en question. Tel est notamment le cas pour le règlement (UE) 2017/745 et le règlement (UE) 2017/746, dans le cadre desquels une évaluation de la conformité par un tiers est prévue pour les produits à risque moyen et les produits à haut risque.
(52)
En cuanto a los sistemas de IA independientes, a saber, aquellos sistemas de IA de alto riesgo que no son componentes de seguridad de productos, o que son productos en sí mismos, deben clasificarse como de alto riesgo si, a la luz de su finalidad prevista, presentan un alto riesgo de ser perjudiciales para la salud y la seguridad o los derechos fundamentales de las personas, teniendo en cuenta tanto la gravedad del posible perjuicio como la probabilidad de que se produzca, y se utilizan en varios ámbitos predefinidos especificados en el presente Reglamento. Para identificar dichos sistemas, se emplean la misma metodología y los mismos criterios previstos para la posible modificación futura de la lista de sistemas de IA de alto riesgo, que la Comisión debe estar facultada para adoptar, mediante actos delegados, a fin de tener en cuenta el rápido ritmo del desarrollo tecnológico, así como los posibles cambios en el uso de los sistemas de IA.
(52)
En ce qui concerne les systèmes d’IA autonomes, à savoir les systèmes d’IA à haut risque autres que ceux qui constituent des composants de sécurité de produits ou qui sont eux-mêmes des produits, il convient de les classer comme étant à haut risque si, au vu de leur destination, ils présentent un risque élevé de causer un préjudice à la santé, à la sécurité ou aux droits fondamentaux des citoyens, en tenant compte à la fois de la gravité et de la probabilité du préjudice éventuel, et s’ils sont utilisés dans un certain nombre de domaines spécifiquement prédéfinis dans le présent règlement. La définition de ces systèmes est fondée sur la même méthode et les mêmes critères que ceux également envisagés pour toute modification ultérieure de la liste des systèmes d’IA à haut risque que la Commission devrait être habilitée à adopter, au moyen d’actes délégués, afin de tenir compte du rythme rapide de l’évolution technologique, ainsi que des changements potentiels dans l’utilisation des systèmes d’IA.
(53)
También es importante aclarar que pueden existir casos específicos en los que los sistemas de IA referidos en ámbitos predefinidos especificados en el presente Reglamento no entrañen un riesgo considerable de causar un perjuicio a los intereses jurídicos amparados por dichos ámbitos, dado que no influyen sustancialmente en la toma de decisiones o no perjudican dichos intereses sustancialmente. A efectos del presente Reglamento, por sistema de IA que no influye sustancialmente en el resultado de la toma de decisiones debe entenderse un sistema de IA que no afecta al fondo, ni por consiguiente al resultado, de la toma de decisiones, ya sea humana o automatizada. Un sistema de IA que no influye sustancialmente en el resultado de la toma de decisiones podría incluir situaciones en las que se cumplen una o varias de las siguientes condiciones. La primera de dichas condiciones debe ser que el sistema de IA esté destinado a realizar una tarea de procedimiento delimitada, como un sistema de IA que transforme datos no estructurados en datos estructurados, un sistema de IA que clasifique en categorías los documentos recibidos o un sistema de IA que se utilice para detectar duplicados entre un gran número de aplicaciones. La naturaleza de esas tareas es tan restringida y limitada que solo presentan riesgos limitados que no aumentan por la utilización de un sistema de IA en un contexto que un anexo al presente Reglamento recoja como uso de alto riesgo. La segunda condición debe ser que la tarea realizada por el sistema de IA esté destinada a mejorar el resultado de una actividad previa llevada a cabo por un ser humano, que pudiera ser pertinente a efectos de las utilizaciones de alto riesgo enumeradas en un anexo del presente Reglamento. Teniendo en cuenta esas características, el sistema de IA solo añade un nivel adicional a la actividad humana, entrañando por consiguiente un riesgo menor. Esa condición se aplicaría, por ejemplo, a los sistemas de IA destinados a mejorar el lenguaje utilizado en documentos ya redactados, por ejemplo, en lo referente al empleo de un tono profesional o de un registro lingüístico académico o a la adaptación del texto a una determinada comunicación de marca. La tercera condición debe ser que el sistema de IA esté destinado a detectar patrones de toma de decisiones o desviaciones respecto de patrones de toma de decisiones anteriores. El riesgo sería menor debido a que el sistema de IA se utiliza tras una valoración humana previamente realizada y no pretende sustituirla o influir en ella sin una revisión adecuada por parte de un ser humano. Por ejemplo, entre los sistemas de IA de este tipo, se incluyen aquellos que pueden utilizarse para comprobar a posteriori si un profesor puede haberse desviado de su patrón de calificación determinado, a fin de llamar la atención sobre posibles incoherencias o anomalías. La cuarta condición debe ser que el sistema de IA esté destinado a realizar una tarea que solo sea preparatoria de cara a una evaluación pertinente a efectos de los sistemas de IA enumerados en el anexo del presente Reglamento, con lo que la posible repercusión de los resultados de salida del sistema sería muy escasa en términos de representar un riesgo para la subsiguiente evaluación. Esa condición comprende, entre otras cosas, soluciones inteligentes para la gestión de archivos, lo que incluye funciones diversas tales como la indexación, la búsqueda, el tratamiento de texto y del habla o la vinculación de datos a otras fuentes de datos, o bien los sistemas de IA utilizados para la traducción de los documentos iniciales. En cualquier caso, debe considerarse que los sistemas de IA utilizados en casos de alto riesgo enumerados en un anexo del presente Reglamento presentan un riesgo significativo de menoscabar la salud y la seguridad o los derechos fundamentales si el sistema de IA conlleva la elaboración de perfiles en el sentido del artículo 4, punto 4, del Reglamento (UE) 2016/679, del artículo 3, punto 4, de la Directiva (UE) 2016/680 o del artículo 3, punto 5, del Reglamento (UE) 2018/1725. Para garantizar la trazabilidad y la transparencia, los proveedores que, basándose en las condiciones antes citadas, consideren que un sistema de IA no es de alto riesgo, deben elaborar la documentación de la evaluación previamente a la introducción en el mercado o la entrada en servicio de dicho sistema de IA y facilitarla a las autoridades nacionales competentes cuando estas lo soliciten. Dichos proveedores deben tener la obligación de registrar el sistema en la base de datos de la UE creada en virtud del presente Reglamento. Con el fin de proporcionar orientaciones adicionales sobre la aplicación práctica de las condiciones con arreglo a las cuales los sistemas de IA enumerados en un anexo del presente Reglamento no se consideran, con carácter excepcional, de alto riesgo, la Comisión debe, previa consulta al Consejo de IA, proporcionar directrices que especifiquen dicha aplicación práctica, completadas por una lista exhaustiva de ejemplos prácticos de casos de uso de sistemas de IA que sean de alto riesgo y de casos de uso que no lo sean.
(53)
Il importe également de préciser qu’il peut exister des cas spécifiques dans lesquels les systèmes d’IA visés dans des domaines prédéfinis spécifiés dans le présent règlement ne présentent pas un risque important d’atteinte aux intérêts juridiques protégés dans ces domaines parce qu’ils n’ont pas d’incidence substantielle sur la prise de décision ou ne causent pas de préjudice important à ces intérêts. Aux fins du présent règlement, il convient d’entendre par système d’IA qui n’a pas d’incidence substantielle sur le résultat de la prise de décision un système d’IA qui n’a pas d’incidence sur la substance et, partant, sur le résultat de la prise de décision, qu’elle soit humaine ou automatisée. Dans les cas où une ou plusieurs des conditions ci-après sont remplies, il pourrait s’agir d’un système d’IA qui n’a pas d’incidence substantielle sur le résultat de la prise de décision. La première de ces conditions devrait être que le système d’IA est destiné à accomplir une tâche procédurale étroite, comme transformer des données non structurées en données structurées, classer les documents entrants par catégories ou détecter les doublons parmi un grand nombre d’applications. Ces tâches sont par nature si étroites et limitées qu’elles ne présentent que des risques limités, qui ne sont pas exacerbés par une utilisation d’un système d’IA dans un contexte répertorié parmi les utilisations à haut risque dans la liste figurant en annexe du présent règlement. La deuxième condition devrait être que la tâche effectuée par le système d’IA est destinée à améliorer le résultat d’une activité humaine préalablement réalisée, susceptible d’être utile aux fins des utilisations à haut risque énumérées dans une annexe du présent règlement. Compte tenu de ces caractéristiques, le système d’IA n’ajoute qu’une couche supplémentaire à une activité humaine, ce qui présente par conséquent un risque réduit. Cette condition s’appliquerait par exemple aux systèmes d’IA destinés à améliorer la façon dont un document est rédigé, pour lui donner un ton professionnel ou un style académique ou pour l’adapter à un message de marque défini. La troisième condition devrait être que le système d’IA est destiné à détecter les constantes en matière de prise de décision ou les écarts par rapport aux constantes habituelles antérieures. Le risque serait réduit parce que l’utilisation du système d’IA intervient après la réalisation d’une évaluation humaine et n’est pas destinée à se substituer à celle-ci ni à l’influencer, sans examen humain approprié. Il s’agit par exemple des systèmes d’IA qui, compte tenu de certaines constantes habituelles observées chez un enseignant au niveau de la notation, peuvent être utilisés pour vérifier a posteriori si l’enseignant s’est éventuellement écarté de ces constantes, de manière à signaler d’éventuelles incohérences ou anomalies. La quatrième condition devrait être que le système d’IA est destiné à exécuter une tâche qui n’est qu’un acte préparatoire à une évaluation pertinente aux fins des systèmes d’IA repris dans la liste figurant dans une annexe du présent règlement et, partant, la probabilité que les sorties produites par le système présentent un risque pour l’évaluation postérieure est très faible. Cette condition s’applique, entre autres, aux solutions intelligentes de traitement des fichiers, qui comprennent diverses fonctions telles que l’indexation, la recherche, le traitement de texte et le traitement de la parole ou le fait de relier des données à d’autres sources de données, ou aux systèmes d’IA utilisés pour la traduction de documents initiaux. En tout état de cause, les systèmes d’IA utilisés dans des cas d’utilisation à haut risque énumérés dans une annexe du présent règlement devraient être considérés comme présentant des risques importants de préjudice pour la santé, la sécurité ou les droits fondamentaux si le système d’IA implique un profilage au sens de l’article 4, point 4), du règlement (UE) 2016/679, de l’article 3, point 4), de la directive (UE) 2016/680 et de l’article 3, point 5), du règlement (UE) 2018/1725. Afin de garantir la traçabilité et la transparence, un fournisseur qui considère qu’un système d’IA n’est pas à haut risque sur la base des conditions susvisées devrait documenter l’évaluation avant la mise sur le marché ou la mise en service de ce système et fournir cette documentation aux autorités nationales compétentes sur demande. Ce fournisseur devrait être tenu d’enregistrer le système d’IA dans la base de données de l’UE établie en vertu du présent règlement. En vue de fournir des orientations supplémentaires pour la mise en œuvre pratique des critères en fonction desquels des systèmes d’IA répertoriés dans la liste figurant dans une annexe du présent règlement sont, à titre exceptionnel, des systèmes qui ne sont pas à haut risque, la Commission devrait, après consultation du Comité IA, fournir des lignes directrices précisant cette mise en œuvre pratique, assorties d’une liste exhaustive d’exemples pratiques de cas d’utilisation de systèmes d’IA qui sont à haut risque et de cas d’utilisation qui ne le sont pas.
(54)
Dado que los datos biométricos constituyen una categoría de datos personales sensibles, procede clasificar como de alto riesgo varios casos de uso críticos de sistemas biométricos, en la medida que su utilización esté permitida con arreglo al Derecho de la Unión y nacional pertinente. Las imprecisiones técnicas de los sistemas de IA destinados a la identificación biométrica remota de las personas físicas pueden dar lugar a resultados sesgados y tener efectos discriminatorios. El riesgo de dichos resultados sesgados y efectos discriminatorios es especialmente pertinente por lo que respecta a la edad, la etnia, la raza, el sexo o la discapacidad. Por lo tanto, los sistemas de identificación biométrica remota deben clasificarse como de alto riesgo debido a los riesgos que entrañan. Quedan excluidos de dicha clasificación los sistemas de IA destinados a la verificación biométrica, que incluye la autenticación, cuyo único propósito es confirmar que una persona física concreta es quien dicha persona dice ser, así como confirmar la identidad de una persona física con la finalidad exclusiva de que tenga acceso a un servicio, desbloquee un dispositivo o tenga un acceso seguro a un local. Además, deben clasificarse como de alto riesgo los sistemas de IA destinados a ser utilizados para la categorización biométrica conforme a atributos o características sensibles protegidos en virtud del artículo 9, apartado 1, del Reglamento (UE) 2016/679 sobre la base de datos biométricos, en la medida en que no estén prohibidos en virtud del presente Reglamento, así como los sistemas de reconocimiento de emociones que no estén prohibidos con arreglo al presente Reglamento. Los sistemas biométricos destinados a ser utilizados exclusivamente a efectos de posibilitar la ciberseguridad y las medidas de protección de los datos personales no deben considerarse sistemas de IA de alto riesgo.
(54)
Étant donné que les données biométriques constituent une catégorie particulière de données à caractère personnel, il convient de classer comme étant à haut risque plusieurs cas d’utilisation critique des systèmes biométriques, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables. Les inexactitudes techniques des systèmes d’IA destinés à l’identification biométrique à distance des personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires. Le risque de tels résultats biaisés et d’effets discriminatoires est particulièrement important en ce qui concerne l’âge, l’appartenance ethnique, la race, le sexe ou le handicap. Il convient par conséquent de classer les systèmes d’identification biométrique à distance comme étant à haut risque compte tenu des risques qu’ils présentent. Sont exclus de cette classification les systèmes d’IA destinés à être utilisés à des fins de vérification biométrique, parmi lesquelles l’authentification, dont la seule finalité est de confirmer qu’une personne physique donnée est bien celle qu’elle prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un dispositif ou de disposer d’un accès sécurisé à des locaux. En outre, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés pour la catégorisation biométrique en fonction d’attributs ou de caractéristiques sensibles protégés en vertu de l’article 9, paragraphe 1, du règlement (UE) 2016/679 sur la base de données biométriques, dans la mesure où ils ne sont pas interdits par le présent règlement, et les systèmes de reconnaissance des émotions qui ne sont pas interdits en vertu du présent règlement. Les systèmes biométriques destinés à être utilisés uniquement dans le but de permettre la cybersécurité et les mesures de protection des données à caractère personnel ne devraient pas être considérés comme des systèmes d’IA à haut risque.
(55)
Por lo que respecta a la gestión y el funcionamiento de infraestructuras críticas, procede clasificar como de alto riesgo los sistemas de IA destinados a ser utilizados como componentes de seguridad en la gestión y el funcionamiento de las infraestructuras digitales críticas que se enumeran en el anexo, punto 8, de la Directiva (UE) 2022/2557; del tráfico rodado y del suministro de agua, gas, calefacción y electricidad, pues un fallo o un defecto de funcionamiento de estos componentes puede poner en peligro la vida y la salud de las personas a gran escala y alterar de manera considerable el desarrollo habitual de las actividades sociales y económicas. Los componentes de seguridad de las infraestructuras críticas, como las infraestructuras digitales críticas, son sistemas utilizados para proteger directamente la integridad física de las infraestructuras críticas o la salud y la seguridad de las personas y los bienes, pero que no son necesarios para el funcionamiento del sistema. El fallo o el defecto de funcionamiento de estos componentes podría dar lugar directamente a riesgos para la integridad física de las infraestructuras críticas y, por tanto, a riesgos para la salud y la seguridad de las personas y los bienes. Los componentes destinados a ser utilizados exclusivamente con fines de ciberseguridad no deben considerarse componentes de seguridad. Entre los componentes de seguridad de esas infraestructuras críticas cabe citar los sistemas de control de la presión del agua o los sistemas de control de las alarmas contra incendios en los centros de computación en la nube.
(55)
En ce qui concerne la gestion et l’exploitation des infrastructures critiques, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés en tant que composants de sécurité dans le cadre de la gestion et de l’exploitation des infrastructures numériques critiques visées à l’annexe, point 8, de la directive (UE) 2022/2557, du trafic routier et de l’approvisionnement en eau, gaz, électricité et chauffage, car leur défaillance ou leur mauvais fonctionnement peut mettre en danger la vie et la santé de personnes à grande échelle et entraîner des perturbations importantes dans le déroulement normal des activités sociales et économiques. Les composants de sécurité des infrastructures critiques, y compris des infrastructures numériques critiques, sont des systèmes utilisés pour protéger directement l’intégrité physique des infrastructures critiques ou la santé et la sécurité des personnes et des biens, mais qui ne sont pas nécessaires au fonctionnement du système. La défaillance ou le mauvais fonctionnement de ces composants pourrait directement entraîner des risques pour l’intégrité physique des infrastructures critiques et, partant, des risques pour la santé et la sécurité des personnes et des biens. Les composants destinés à être utilisés uniquement à des fins de cybersécurité ne devraient pas être considérés comme des composants de sécurité. Les systèmes de surveillance de la pression de l’eau ou les systèmes de commande des alarmes incendie dans les centres d’informatique en nuage sont des exemples de composants de sécurité de ces infrastructures critiques.
(56)
El despliegue de sistemas de IA en el ámbito educativo es importante para fomentar una educación y formación digitales de alta calidad y para que todos los estudiantes y profesores puedan adquirir y compartir las capacidades y competencias digitales necesarias, incluidos la alfabetización mediática, y el pensamiento crítico, para participar activamente en la economía, la sociedad y los procesos democráticos. No obstante, deben clasificarse como de alto riesgo los sistemas de IA que se utilizan en la educación o la formación profesional, y en particular aquellos que determinan el acceso o la admisión, distribuyen a las personas entre distintas instituciones educativas y de formación profesional o programas de todos los niveles, evalúan los resultados del aprendizaje de las personas, evalúan el nivel apropiado de educación de una persona e influyen sustancialmente en el nivel de educación y formación que las personas recibirán o al que podrán acceder, o supervisan y detectan comportamientos prohibidos de los estudiantes durante las pruebas, ya que pueden decidir la trayectoria formativa y profesional de una persona y, en consecuencia, puede afectar a su capacidad para asegurar su subsistencia. Cuando no se diseñan y utilizan correctamente, estos sistemas pueden invadir especialmente y violar el derecho a la educación y la formación, y el derecho a no sufrir discriminación, además de perpetuar patrones históricos de discriminación, por ejemplo contra las mujeres, determinados grupos de edad, las personas con discapacidad o las personas de cierto origen racial o étnico o con una determinada orientación sexual.
(56)
Le déploiement de systèmes d’IA dans l’éducation est important pour promouvoir une éducation et une formation numériques de qualité et pour permettre à tous les apprenants et enseignants d’acquérir et de partager les aptitudes et compétences numériques nécessaires, y compris l’éducation aux médias, ainsi que l’esprit critique, pour participer activement à l’économie, à la société et aux processus démocratiques. Toutefois, les systèmes d’IA utilisés dans l’éducation ou la formation professionnelle, en particulier pour déterminer l’accès ou l’admission, pour affecter des personnes à des établissements ou programmes d’enseignement et de formation professionnelle à tous les niveaux, pour évaluer les acquis d’apprentissage des personnes, pour évaluer le niveau d’enseignement approprié d’une personne et influencer substantiellement le niveau d’enseignement et de formation dont bénéficiera cette personne ou auquel elle pourra avoir accès ou pour surveiller les étudiants au cours des épreuves et détecter les comportements interdits dans ce cadre devraient être classés comme étant à haut risque, car ils peuvent déterminer le parcours éducatif et professionnel d’une personne et peut par conséquent avoir une incidence sur la capacité de cette personne à assurer sa propre subsistance. Lorsqu’ils sont mal conçus et utilisés, ces systèmes peuvent être particulièrement intrusifs et mener à des violations du droit à l’éducation et à la formation ainsi que du droit à ne pas subir de discriminations, et perpétuer des schémas historiques de discrimination, par exemple à l’encontre des femmes, de certains groupes d’âge, des personnes handicapées ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle.
(57)
También deben clasificarse como de alto riesgo los sistemas de IA que se utilizan en los ámbitos del empleo, la gestión de los trabajadores y el acceso al autoempleo, en particular para la contratación y la selección de personal, para la toma de decisiones que afecten a las condiciones de las relaciones de índole laboral, la promoción y la rescisión de relaciones contractuales de índole laboral, para la asignación de tareas a partir de comportamientos individuales o rasgos o características personales y para la supervisión o evaluación de las personas en el marco de las relaciones contractuales de índole laboral, dado que pueden afectar de un modo considerable a las futuras perspectivas laborales, a los medios de subsistencia de dichas personas y a los derechos de los trabajadores. Las relaciones contractuales de índole laboral deben incluir, de manera significativa, a los empleados y las personas que prestan servicios a través de plataformas, como indica el programa de trabajo de la Comisión para 2021. Dichos sistemas pueden perpetuar patrones históricos de discriminación, por ejemplo contra las mujeres, determinados grupos de edad, las personas con discapacidad o las personas de orígenes raciales o étnicos concretos o con una orientación sexual determinada, durante todo el proceso de contratación y en la evaluación, promoción o retención de personas en las relaciones contractuales de índole laboral. Los sistemas de IA empleados para controlar el rendimiento y el comportamiento de estas personas también pueden socavar sus derechos fundamentales a la protección de los datos personales y a la intimidad.
(57)
Les systèmes d’IA utilisés pour des questions liées à l’emploi, à la gestion de la main-d’œuvre et à l’accès à l’emploi indépendant, en particulier pour le recrutement et la sélection de personnes, pour la prise de décisions affectant les conditions des relations professionnelles, ainsi que la promotion et la résiliation des relations professionnelles contractuelles, pour l’attribution de tâches fondée sur le comportement individuel, les traits de personnalité ou les caractéristiques personnelles et pour le suivi ou l’évaluation des personnes dans le cadre de relations professionnelles contractuelles, devraient également être classés comme étant à haut risque car ces systèmes peuvent avoir une incidence considérable sur les perspectives de carrière et les moyens de subsistance de ces personnes ainsi que sur les droits des travailleurs. Les relations professionnelles contractuelles en question devraient concerner également, de manière significative, celles qui lient les employés et les personnes qui fournissent des services sur des plateformes telles que celles visées dans le programme de travail de la Commission pour 2021. Tout au long du processus de recrutement et lors de l’évaluation, de la promotion ou du maintien des personnes dans des relations professionnelles contractuelles, les systèmes d’IA peuvent perpétuer des schémas historiques de discrimination, par exemple à l’égard des femmes, de certains groupes d’âge et des personnes handicapées, ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle. Les systèmes d’IA utilisés pour surveiller les performances et le comportement de ces personnes peuvent aussi porter atteinte à leurs droits fondamentaux à la protection des données et à la vie privée.
(58)
El acceso a determinados servicios y prestaciones esenciales, de carácter público y privado, necesarios para que las personas puedan participar plenamente en la sociedad o mejorar su nivel de vida, y el disfrute de dichos servicios y prestaciones, es otro ámbito en el que conviene prestar especial atención a la utilización de sistemas de IA. En particular, las personas físicas que solicitan a las autoridades públicas o reciben de estas prestaciones y servicios esenciales de asistencia pública, a saber, servicios de asistencia sanitaria, prestaciones de seguridad social, servicios sociales que garantizan una protección en casos como la maternidad, la enfermedad, los accidentes laborales, la dependencia o la vejez y la pérdida de empleo, asistencia social y ayudas a la vivienda, suelen depender de dichas prestaciones y servicios y, por lo general, se encuentran en una posición de vulnerabilidad respecto de las autoridades responsables. La utilización de sistemas de IA para decidir si las autoridades deben conceder, denegar, reducir o revocar dichas prestaciones y servicios o reclamar su devolución, lo que incluye decidir, por ejemplo, si los beneficiarios tienen legítimamente derecho a dichas prestaciones y servicios, podría tener un efecto considerable en los medios de subsistencia de las personas y vulnerar sus derechos fundamentales, como el derecho a la protección social, a la no discriminación, a la dignidad humana o a la tutela judicial efectiva y, por lo tanto, deben clasificarse como de alto riesgo. No obstante, el presente Reglamento no debe obstaculizar el desarrollo y el uso de enfoques innovadores en la Administración, que podrían beneficiarse de una mayor utilización de sistemas de IA conformes y seguros, siempre y cuando dichos sistemas no supongan un alto riesgo para las personas jurídicas y físicas. Además, deben clasificarse como de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o solvencia de las personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones. Los sistemas de IA usados con esos fines pueden discriminar a determinadas personas o colectivos y perpetuar patrones históricos de discriminación, como por motivos de origen racial o étnico, género, discapacidad, edad u orientación sexual, o generar nuevas formas de discriminación. No obstante, los sistemas de IA previstos por el Derecho de la Unión con vistas a detectar fraudes en la oferta de servicios financieros y, a efectos prudenciales, para calcular los requisitos de capital de las entidades de crédito y las empresas de seguros no deben considerarse de alto riesgo en virtud del presente Reglamento. Además, los sistemas de IA destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud también pueden afectar de un modo considerable a los medios de subsistencia de las personas y, si no se diseñan, desarrollan y utilizan debidamente, pueden vulnerar sus derechos fundamentales y pueden tener graves consecuencias para la vida y la salud de las personas, como la exclusión financiera y la discriminación. Por último, los sistemas de IA empleados para evaluar y clasificar llamadas de emergencia de personas físicas o el envío o el establecimiento de prioridades en el envío de servicios de primera intervención en situaciones de emergencia, incluidos policía, bomberos y servicios de asistencia médica, así como sistemas de triaje de pacientes para la asistencia sanitaria de emergencia, también deben considerarse de alto riesgo, dado que adoptan decisiones en situaciones sumamente críticas para la vida y la salud de las personas y de sus bienes.
(58)
Un autre domaine dans lequel l’utilisation des systèmes d’IA mérite une attention particulière est l’accès et le droit à certains services et prestations essentiels, publics et privés, devant permettre aux personnes de participer pleinement à la société ou d’améliorer leur niveau de vie. En particulier, les personnes physiques qui demandent à bénéficier ou bénéficient de prestations et services essentiels d’aide publique de la part des pouvoirs publics, à savoir des services de soins de santé, des prestations de sécurité sociale, des services sociaux fournissant une protection dans des cas tels que la maternité, la maladie, les accidents du travail, la dépendance ou la vieillesse et la perte d’emploi et l’aide sociale et au logement, sont généralement tributaires de ces prestations et services et se trouvent dans une situation vulnérable par rapport aux autorités compétentes. Lorsqu’ils sont utilisés pour déterminer si ces prestations et services devraient être accordés, refusés, réduits, révoqués ou récupérés par les autorités, y compris pour déterminer si les bénéficiaires y ont légitimement droit, les systèmes d’IA peuvent avoir une grande incidence sur les moyens de subsistance des personnes et porter atteinte à leurs droits fondamentaux, tels que le droit à la protection sociale, à la non-discrimination, à la dignité humaine ou à un recours effectif, et devraient donc être classés comme étant à haut risque. Néanmoins, le présent règlement ne devrait pas entraver la mise en place et l’utilisation, dans l’administration publique, d’approches innovantes qui bénéficieraient d’une utilisation plus large de systèmes d’IA conformes et sûrs, à condition que ces systèmes n’entraînent pas de risque élevé pour les personnes physiques et morales. En outre, les systèmes d’IA utilisés pour évaluer la note de crédit ou la solvabilité des personnes physiques devraient être classés en tant que systèmes d’IA à haut risque, car ils déterminent l’accès de ces personnes à des ressources financières ou à des services essentiels tels que le logement, l’électricité et les services de télécommunication. Les systèmes d’IA utilisés à ces fins peuvent conduire à la discrimination entre personnes ou groupes et perpétuer des schémas historiques de discrimination, tels que ceux fondés sur les origines raciales ou ethniques, le sexe, les handicaps, l’âge ou l’orientation sexuelle, ou peuvent créer de nouvelles formes d’incidences discriminatoires. Toutefois, les systèmes d’IA prévus par le droit de l’Union aux fins de détecter les fraudes dans l’offre de services financiers et à des fins prudentielles pour calculer les besoins en fonds propres des établissements de crédit et des compagnies d’assurance ne devraient pas être considérés comme étant à haut risque au titre du présent règlement. Par ailleurs, les systèmes d’IA destinés à être utilisés pour l’évaluation des risques et la tarification en ce qui concerne les personnes physiques en matière d’assurance-santé et vie peuvent avoir une incidence significative sur les moyens de subsistance de ces personnes et, s’ils ne sont pas dûment conçus, développés et utilisés, peuvent porter atteinte à leurs droits fondamentaux et entraîner de graves conséquences pour leur vie et leur santé, y compris l’exclusion financière et la discrimination. Enfin, les systèmes d’IA utilisés pour évaluer et hiérarchiser les appels d’urgence émis par des personnes physiques ou pour envoyer des services d’intervention d’urgence ou établir des priorités dans l’envoi de tels services, y compris la police, les pompiers et les secours, ainsi que dans l’utilisation des systèmes de tri des patients admis dans les services de santé d’urgence, devraient aussi être classés comme étant à haut risque car ils prennent des décisions dans des situations très critiques pour la vie, la santé et les biens des personnes.
(59)
Dado su papel y su responsabilidad, las actuaciones de las autoridades garantes del cumplimiento del Derecho que implican determinados usos de los sistemas de IA se caracterizan por un importante desequilibrio de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de una persona física, así como tener otros efectos negativos sobre los derechos fundamentales consagrados en la Carta. En particular, si el sistema de IA no está entrenado con datos de buena calidad, no cumple los requisitos adecuados en términos de rendimiento, de precisión o de solidez, o no se diseña y prueba debidamente antes de introducirlo en el mercado o ponerlo en servicio, es posible que señale a personas de manera discriminatoria, incorrecta o injusta. Además, podría impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como el derecho a la defensa y a la presunción de inocencia, sobre todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y explicables ni estén suficientemente bien documentados. Por consiguiente, en la medida en que su uso esté permitido conforme al Derecho de la Unión y nacional pertinente, procede clasificar como de alto riesgo varios sistemas de IA destinados a ser utilizados con fines de garantía del cumplimiento del Derecho cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar la rendición de cuentas y unas vías de recurso efectivas. En vista de la naturaleza de las actividades y de los riesgos conexos, entre dichos sistemas de IA de alto riesgo deben incluirse, en particular, los sistemas de IA destinados a ser utilizados por las autoridades garantes del cumplimiento del Derecho, o en nombre de estas, o por las instituciones, órganos u organismos de la Unión en apoyo de las primeras, para evaluar el riesgo de que una persona física sea víctima de delitos, como los polígrafos y otras herramientas similares, para evaluar la fiabilidad de las pruebas durante la investigación o el enjuiciamiento de delitos y, en la medida en que no esté prohibido conforme al presente Reglamento, para evaluar el riesgo de que una persona física cometa un delito o reincida, no solo sobre la base de la elaboración de perfiles de personas físicas o la evaluación de rasgos y características de la personalidad o comportamientos delictivos pasados de personas físicas o grupos de personas, o para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de delitos. Los sistemas de IA destinados específicamente a ser utilizados en procesos administrativos por las autoridades fiscales y aduaneras y las unidades de inteligencia financiera que desempeñan tareas administrativas de análisis de información de conformidad con el Derecho de la Unión en materia de lucha contra el blanqueo de capitales no deben clasificarse como sistemas de IA de alto riesgo usados por las autoridades garantes del cumplimiento del Derecho con el fin de prevenir, detectar, investigar y enjuiciar delitos. El uso de herramientas de IA por parte de las autoridades garantes del cumplimiento del Derecho y otras autoridades pertinentes no debe convertirse en un factor de desigualdad o exclusión. No debe ignorarse el impacto del uso de herramientas de IA en los derechos de defensa de los sospechosos, en particular la dificultad para obtener información significativa sobre el funcionamiento de dichos sistemas y la consiguiente dificultad para impugnar sus resultados ante los tribunales, en particular por parte de las personas físicas investigadas.
(59)
Compte tenu du rôle et de la responsabilité des autorités répressives, les actions menées par celles-ci qui supposent certaines utilisations de systèmes d’IA sont caractérisées par un degré important de déséquilibre des forces et peuvent conduire à la surveillance, à l’arrestation ou à la privation de la liberté d’une personne physique ainsi qu’à d’autres conséquences négatives sur des droits fondamentaux garantis par la Charte. En particulier, si le système d’IA n’est pas entraîné avec des données de haute qualité, ne répond pas aux exigences voulues en termes de performance, d’exactitude ou de robustesse, ou n’est pas correctement conçu et testé avant d’être mis sur le marché ou mis en service, il risque de traiter des personnes de manière discriminatoire ou, plus généralement, incorrecte ou injuste. En outre, l’exercice de droits fondamentaux procéduraux importants, tels que le droit à un recours effectif et à accéder à un tribunal impartial, ainsi que les droits de la défense et la présomption d’innocence, pourrait être entravé, en particulier lorsque ces systèmes d’IA ne sont pas suffisamment transparents, explicables et documentés. Il convient donc de classer comme étant à haut risque, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables, un certain nombre de systèmes d’IA destinés à être utilisés dans un contexte répressif où l’exactitude, la fiabilité et la transparence sont particulièrement importantes pour éviter des conséquences négatives, conserver la confiance du public et garantir que des comptes soient rendus et que des recours puissent être exercés. Compte tenu de la nature des activités et des risques y afférents, ces systèmes d’IA à haut risque devraient inclure en particulier les systèmes d’IA destinés à être utilisés par les autorités répressives ou pour leur compte ou par les institutions, organes et organismes de l’Union pour aider les autorités répressives à évaluer le risque qu’une personne physique ne devienne victime d’infractions pénales, tels que les polygraphes et instruments similaires, à évaluer la fiabilité des preuves dans le cadre d’enquêtes ou de poursuites relatives à des infractions pénales, et, dans la mesure où cela n’est pas interdit par le présent règlement, à évaluer le risque d’infraction ou de récidive d’une personne physique non seulement sur la base du profilage de personnes physiques, mais aussi sur la base de l’évaluation des traits de personnalité, des caractéristiques ou des antécédents judiciaires de personnes physiques ou de groupes, à des fins de profilage dans le cadre de la détection d’infractions pénales, d’enquêtes et de poursuites en la matière. Les systèmes d’IA spécifiquement destinés à être utilisés pour des procédures administratives par les autorités fiscales et douanières ainsi que par les cellules de renseignement financier effectuant des tâches administratives d’analyse d’informations dans le cadre de la législation de l’Union relative à la lutte contre le blanchiment des capitaux ne devraient pas être classés comme des systèmes d’IA à haut risque utilisés par les autorités répressives à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière. L’utilisation des outils d’IA par les autorités répressives et d’autres autorités pertinentes ne devrait pas devenir un facteur d’inégalité ou d’exclusion. Les conséquences de l’utilisation des outils d’IA sur les droits de la défense des suspects ne devraient pas être ignorées, en particulier la difficulté d’obtenir des informations utiles sur le fonctionnement de ces outils et, partant, la difficulté de saisir la justice pour contester leurs résultats, en particulier pour les personnes physiques faisant l’objet d’une enquête.
(60)
Los sistemas de IA empleados en la migración, el asilo y la gestión del control fronterizo afectan a personas que con frecuencia se encuentran en una situación especialmente vulnerable y que dependen del resultado de las actuaciones de las autoridades públicas competentes. Por este motivo, es sumamente importante que los sistemas de IA que se utilicen en estos contextos sean precisos, no discriminatorios y transparentes, a fin de garantizar que se respeten los derechos fundamentales de las personas afectadas y, en particular, su derecho a la libre circulación, a la no discriminación, a la intimidad personal y la protección de los datos personales, a la protección internacional y a una buena administración. Por lo tanto, procede clasificar como de alto riesgo, en la medida en que su utilización esté permitida en virtud del Derecho de la Unión y nacional, aquellos sistemas de IA destinados a ser utilizados por las autoridades públicas competentes, o en su nombre, o por las instituciones, órganos u organismos de la Unión que realizan tareas en el ámbito de la migración, el asilo y la gestión del control fronterizo como polígrafos y herramientas similares, para evaluar determinados riesgos que presenten las personas físicas que entren en el territorio de un Estado miembro o que soliciten un visado o asilo, para ayudar a las autoridades públicas competentes a examinar, con inclusión de la evaluación conexa de la fiabilidad de las pruebas, las solicitudes de asilo, visado y permiso de residencia, así como las reclamaciones conexas en relación con el objetivo de determinar si las personas físicas solicitantes reúnen los requisitos necesarios para que se conceda su solicitud, a efectos de detectar, reconocer o identificar a las personas físicas en el contexto de la migración, el asilo y la gestión del control fronterizo, con excepción de la verificación de los documentos de viaje. Los sistemas de IA en el ámbito de la migración, el asilo y la gestión del control fronterizo sujetos al presente Reglamento deben cumplir los requisitos procedimentales pertinentes establecidos por el Reglamento (CE) n.o 810/2009 del Parlamento Europeo y del Consejo (32), la Directiva 2013/32/UE del Parlamento Europeo y del Consejo (33) y otro Derecho de la Unión pertinente. El empleo de los sistemas de IA en la migración, el asilo y la gestión del control fronterizo no debe, en ningún caso, ser utilizado por los Estados miembros o las instituciones, órganos u organismos de la Unión como medio para eludir sus obligaciones internacionales en virtud de la Convención de las Naciones Unidas sobre el Estatuto de los Refugiados, hecha en Ginebra el 28 de julio de 1951, modificada por el Protocolo de 31 de enero de 1967. Tampoco debe ser utilizado para infringir en modo alguno el principio de no devolución, ni para negar unas vías jurídicas seguras y efectivas de acceso al territorio de la Unión, incluido el derecho a la protección internacional.
(60)
Les systèmes d’IA utilisés dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières touchent des personnes qui se trouvent souvent dans une situation particulièrement vulnérable et qui sont tributaires du résultat des actions des autorités publiques compétentes. L’exactitude, la nature non discriminatoire et la transparence des systèmes d’IA utilisés dans ces contextes sont donc particulièrement importantes pour garantir le respect des droits fondamentaux des personnes concernées, en particulier leurs droits à la libre circulation, à la non-discrimination, à la protection de la vie privée et des données à caractère personnel, à une protection internationale et à une bonne administration. Il convient donc de classer comme étant à haut risque, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables, les systèmes d’IA destinés à être utilisés par les autorités publiques compétentes ou pour leur compte ou par les institutions, organes et organismes de l’Union chargés de tâches dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières, tels que les polygraphes et instruments similaires, pour évaluer certains risques présentés par des personnes physiques entrant sur le territoire d’un État membre ou demandant un visa ou l’asile, et pour aider les autorités publiques compétentes à procéder à l’examen, y compris l’évaluation connexe de la fiabilité des éléments de preuve, des demandes d’asile, de visas et de titres de séjour et des plaintes connexes au regard de l’objectif visant à établir l’éligibilité des personnes physiques demandant un statut, aux fins de détecter, de reconnaître ou d’identifier des personnes physiques dans le cadre de la migration, de l’asile et de la gestion des contrôles aux frontières, à l’exception de la vérification des documents de voyage. Les systèmes d’IA utilisés dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières couverts par le présent règlement devraient être conformes aux exigences procédurales pertinentes fixées par le règlement (CE) no 810/2009 du Parlement européen et du Conseil (32), la directive 2013/32/UE du Parlement européen et du Conseil (33) et tout autre acte législatif pertinent de l’Union. Les systèmes d’IA ne devraient en aucun cas être utilisés par les États membres ou les institutions, organes ou organismes de l’Union dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières comme moyen de contourner les obligations internationales qui leur incombent en vertu de la convention des Nations unies relative au statut des réfugiés, signée à Genève le 28 juillet 1951, telle que modifiée par le protocole du 31 janvier 1967. Ils ne devraient pas non plus être utilisés pour enfreindre de quelque manière que ce soit le principe de non-refoulement ou pour refuser des voies d’accès légales sûres et effectives au territoire de l’Union, y compris le droit à la protection internationale.
(61)
Deben clasificarse como de alto riesgo determinados sistemas de IA destinados a la administración de justicia y los procesos democráticos, dado que pueden tener efectos potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales y el derecho a la tutela judicial efectiva y a un juez imparcial. En particular, a fin de hacer frente al riesgo de posibles sesgos, errores y opacidades, procede clasificar como de alto riesgo aquellos sistemas de IA destinados a ser utilizados por una autoridad judicial o en su nombre para ayudar a las autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos. También deben considerarse de alto riesgo los sistemas de IA destinados a ser utilizados por los organismos de resolución alternativa de litigios con esos fines, cuando los resultados de los procedimientos de resolución alternativa de litigios surtan efectos jurídicos para las partes. La utilización de herramientas de IA puede apoyar el poder de decisión de los jueces o la independencia judicial, pero no debe substituirlas: la toma de decisiones finales debe seguir siendo una actividad humana. No obstante, la clasificación de los sistemas de IA como de alto riesgo no debe hacerse extensiva a los sistemas de IA destinados a actividades administrativas meramente accesorias que no afectan a la administración de justicia propiamente dicha en casos concretos, como la anonimización o seudonimización de resoluciones judiciales, documentos o datos, la comunicación entre los miembros del personal o las tareas administrativas.
(61)
Certains systèmes d’IA destinés à être utilisés pour l’administration de la justice et les processus démocratiques devraient être classés comme étant à haut risque, compte tenu de leur incidence potentiellement significative sur la démocratie, l’état de droit, les libertés individuelles ainsi que le droit à un recours effectif et à accéder à un tribunal impartial. En particulier, pour faire face aux risques de biais, d’erreurs et d’opacité, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés par une autorité judiciaire ou pour le compte de celle-ci pour aider les autorités judiciaires à rechercher et à interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits. Les systèmes d’IA destinés à être utilisés par des organismes de règlement extrajudiciaire des litiges à ces fins devraient également être considérés comme étant à haut risque lorsque les résultats des procédures de règlement extrajudiciaire des litiges produisent des effets juridiques pour les parties. L’utilisation d’outils d’IA peut soutenir le pouvoir de décision des juges ou l’indépendance judiciaire, mais ne devrait pas les remplacer, car la décision finale doit rester une activité humaine. La classification des systèmes d’IA comme étant à haut risque ne devrait cependant pas s’étendre aux systèmes d’IA destinés à être utilisés pour des activités administratives purement accessoires qui n’ont aucune incidence sur l’administration réelle de la justice dans des cas individuels, telles que l’anonymisation ou la pseudonymisation de décisions judiciaires, de documents ou de données, la communication entre membres du personnel ou les tâches administratives.
(62)
Sin perjuicio de las normas previstas en el Reglamento (UE) 2024/900 del Parlamento Europeo y del Consejo (34), y a fin de hacer frente a los riesgos de injerencia externa indebida en el derecho de voto consagrado en el artículo 39 de la Carta, y de efectos adversos sobre la democracia y el Estado de Derecho, deben clasificarse como sistemas de IA de alto riesgo los sistemas de IA destinados a ser utilizados para influir en el resultado de una elección o un referéndum, o en el comportamiento electoral de las personas físicas en el ejercicio de su voto en elecciones o referendos, con excepción de los sistemas de IA a cuyos resultados de salida las personas físicas no están directamente expuestas, como las herramientas utilizadas para organizar, optimizar y estructurar campañas políticas desde un punto de vista administrativo y logístico.
(62)
Sans préjudice des règles prévues dans le règlement (UE) 2024/900 du Parlement européen et du Conseil (34), et afin de faire face aux risques d’ingérence extérieure indue dans le droit de vote consacré à l’article 39 de la Charte et d’effets négatifs sur la démocratie et l’état de droit, les systèmes d’IA destinés à être utilisés pour influencer le résultat d’une élection ou d’un référendum ou le comportement électoral de personnes physiques dans l’exercice de leur vote lors d’élections ou de référendums devraient être classés comme étant à haut risque, à l’exception des systèmes d’IA dont les sorties ne touchent pas directement les personnes physiques, tels que les outils utilisés pour organiser, optimiser et structurer les campagnes politiques d’un point de vue administratif et logistique.
(63)
El hecho de que un sistema de IA sea clasificado como un sistema de IA de alto riesgo en virtud del presente Reglamento no debe interpretarse como indicador de que su uso sea lícito con arreglo a otros actos del Derecho de la Unión o del Derecho nacional compatible con el Derecho de la Unión, por ejemplo, en materia de protección de los datos personales o la utilización de polígrafos y herramientas similares u otros sistemas para detectar el estado emocional de las personas físicas. Todo uso de ese tipo debe seguir realizándose exclusivamente en consonancia con los requisitos oportunos derivados de la Carta y de los actos aplicables del Derecho derivado de la Unión y del Derecho nacional. No debe entenderse que el presente Reglamento constituye un fundamento jurídico para el tratamiento de datos personales, incluidas las categorías especiales de datos personales, en su caso, salvo que el presente Reglamento disponga específicamente otra cosa.
(63)
Le fait qu’un système d’IA soit classé comme étant à haut risque au titre du présent règlement ne devrait pas être interprété comme indiquant que l’utilisation du système est licite au titre d’autres actes législatifs de l’Union ou au titre du droit national compatible avec le droit de l’Union, concernant notamment la protection des données à caractère personnel ou l’utilisation de polygraphes et d’instruments similaires ou d’autres systèmes d’analyse de l’état émotionnel des personnes physiques. Toute utilisation de ce type devrait continuer à être subordonnée aux exigences applicables découlant de la Charte et des actes applicables du droit dérivé de l’Union et du droit national. Le présent règlement ne saurait être considéré comme constituant un fondement juridique pour le traitement des données à caractère personnel, y compris des catégories particulières de données à caractère personnel, le cas échéant, sauf disposition contraire expresse du présent règlement.
(64)
Con el objetivo de mitigar los riesgos que presentan los sistemas de IA de alto riesgo que se introducen en el mercado o se ponen en servicio, y para garantizar un alto nivel de fiabilidad, deben aplicarse a los sistemas de IA de alto riesgo ciertos requisitos obligatorios que tengan en cuenta la finalidad prevista y el contexto del uso del sistema de IA y estén en consonancia con el sistema de gestión de riesgos que debe establecer el proveedor. Las medidas adoptadas por los proveedores para cumplir los requisitos obligatorios del presente Reglamento deben tener en cuenta el estado actual de la técnica generalmente reconocido en materia de IA, ser proporcionadas y eficaces para alcanzar los objetivos del presente Reglamento. Sobre la base del nuevo marco legislativo, como se aclara en la Comunicación de la Comisión titulada «“Guía azul” sobre la aplicación de la normativa europea relativa a los productos, de 2022», la norma general es que más de un acto jurídico de la legislación de armonización de la Unión puede ser aplicable a un producto, ya que la comercialización o la puesta en servicio solamente puede producirse cuando el producto cumple toda la legislación de armonización de la Unión aplicable. Los peligros de los sistemas de IA cubiertos por los requisitos del presente Reglamento se refieren a aspectos diferentes de los contemplados en la legislación de armonización de la Unión existente y, por consiguiente, los requisitos del presente Reglamento completarían el conjunto existente de legislación de armonización de la Unión. Por ejemplo, las máquinas o los productos sanitarios que incorporan un sistema de IA pueden presentar riesgos de los que no se ocupan los requisitos esenciales de salud y seguridad establecidos en la legislación armonizada de la Unión pertinente, ya que esa legislación sectorial no aborda los riesgos específicos de los sistemas de IA. Esto exige una aplicación simultánea y complementaria de diversos actos legislativos. A fin de garantizar la coherencia y evitar una carga administrativa innecesaria y costes innecesarios, los proveedores de un producto que contenga uno o varios sistemas de IA de alto riesgo, a los que se apliquen los requisitos del presente Reglamento y de los actos legislativos de armonización de la Unión basados en el nuevo marco legislativo y enumerados en un anexo del presente Reglamento, deben ser flexibles en lo que respecta a las decisiones operativas relativas a la manera de garantizar la conformidad de un producto que contenga uno o varios sistemas de IA con todos los requisitos aplicables de la legislación armonizada de la Unión de manera óptima. Esa flexibilidad podría significar, por ejemplo, la decisión del proveedor de integrar una parte de los procesos de prueba y notificación necesarios, así como la información y la documentación exigidas en virtud del presente Reglamento, en la documentación y los procedimientos ya existentes exigidos en virtud de los actos legislativos de armonización de la Unión vigentes basados en el nuevo marco legislativo y enumerados en un anexo del presente Reglamento. Esto no debe socavar en modo alguno la obligación del proveedor de cumplir todos los requisitos aplicables.
(64)
Afin d’atténuer les risques liés aux systèmes d’IA à haut risque mis sur le marché ou mis en service et de garantir un niveau élevé de fiabilité, certaines exigences obligatoires devraient s’appliquer aux systèmes d’IA à haut risque, en tenant compte de la destination du système d’IA et du contexte de son utilisation et en fonction du système de gestion des risques à mettre en place par le fournisseur. Les mesures adoptées par les fournisseurs pour se conformer aux exigences obligatoires du présent règlement devraient tenir compte de l’état de la technique généralement reconnu en matière d’IA, et être proportionnées et effectives pour atteindre les objectifs du présent règlement. Reposant sur le nouveau cadre législatif, tel que précisé dans la communication de la Commission intitulée «“Guide bleu” relatif à la mise en œuvre de la réglementation de l’UE sur les produits 2022», la règle générale est que plus d’un acte juridique de la législation d’harmonisation de l’Union peuvent être applicables à un produit donné, étant donné que la mise à disposition ou la mise en service ne peut avoir lieu que si le produit est conforme à l’ensemble de la législation d’harmonisation de l’Union applicable. Les dangers des systèmes d’IA couverts par les exigences du présent règlement concernent des aspects différents de ceux qui sont énoncés dans la législation d’harmonisation existante de l’Union, et, par conséquent, les exigences du présent règlement compléteraient l’ensemble existant de la législation d’harmonisation de l’Union. Par exemple, les machines ou les dispositifs médicaux incorporant un système d’IA peuvent présenter des risques qui ne sont pas couverts par les exigences essentielles en matière de santé et de sécurité énoncées dans la législation harmonisée pertinente de l’Union, étant donné que cette législation sectorielle ne traite pas des risques spécifiques aux systèmes d’IA. Cela implique d’appliquer conjointement et de manière complémentaire les divers actes législatifs. Dans un souci de cohérence, et afin d’éviter une charge administrative et des coûts inutiles, les fournisseurs d’un produit contenant un ou plusieurs systèmes d’IA à haut risque, auxquels s’appliquent les exigences du présent règlement ainsi que les exigences de la législation d’harmonisation de l’Union reposant sur le nouveau cadre législatif et dont la liste figure dans une annexe du présent règlement, devraient disposer d’une certaine souplesse en ce qui concerne les décisions opérationnelles à prendre quant à la manière de garantir de façon optimale qu’un produit contenant un ou plusieurs systèmes d’IA est conforme à l’ensemble des exigences applicables de cette législation harmonisée de l’Union. Cette souplesse pourrait signifier, par exemple, que le fournisseur décide d’intégrer une partie des processus d’essai et de déclaration nécessaires, ainsi que des informations et de la documentation requises en vertu du présent règlement dans la documentation et les procédures existantes requises en vertu de la législation d’harmonisation de l’Union en vigueur reposant sur le nouveau cadre législatif et dont la liste figure en annexe du présent règlement. Cela ne devrait en aucun cas porter atteinte à l’obligation qu’a le fournisseur de se conformer à toutes les exigences applicables.
(65)
El sistema de gestión de riesgos debe consistir en un proceso iterativo continuo que sea planificado y ejecutado durante todo el ciclo de vida del sistema de IA de alto riesgo. Dicho proceso debe tener por objeto detectar y mitigar los riesgos pertinentes de los sistemas de IA para la salud, la seguridad y los derechos fundamentales. El sistema de gestión de riesgos debe revisarse y actualizarse periódicamente para garantizar su eficacia continua, así como la justificación y documentación de cualesquiera decisiones y acciones significativas adoptadas con arreglo al presente Reglamento. Este proceso debe garantizar que el proveedor determine los riesgos o efectos negativos y aplique medidas de mitigación de los riesgos conocidos y razonablemente previsibles de los sistemas de IA para la salud, la seguridad y los derechos fundamentales, habida cuenta de su finalidad prevista y de su uso indebido razonablemente previsible, incluidos los posibles riesgos derivados de la interacción entre el sistema de IA y el entorno en el que opera. El sistema de gestión de riesgos debe adoptar las medidas de gestión de riesgos más adecuadas a la luz del estado actual de la técnica en materia de IA. Al determinar las medidas de gestión de riesgos más adecuadas, el proveedor debe documentar y explicar las elecciones realizadas y, cuando proceda, contar con la participación de expertos y partes interesadas externas. Al determinar el uso indebido razonablemente previsible de los sistemas de IA de alto riesgo, el proveedor debe tener en cuenta los usos de los sistemas de IA que, aunque no estén directamente cubiertos por la finalidad prevista ni establecidos en las instrucciones de uso, cabe esperar razonablemente que se deriven de un comportamiento humano fácilmente previsible en el contexto de las características específicas y del uso de un sistema de IA concreto. Debe incluirse en las instrucciones de uso que sean facilitadas por el proveedor cualquier circunstancia conocida o previsible, asociada a la utilización del sistema de IA de alto riesgo conforme a su finalidad prevista o a un uso indebido razonablemente previsible, que pueda dar lugar a riesgos para la salud y la seguridad o los derechos fundamentales. Con ello se pretende garantizar que el responsable del despliegue sea consciente de estos riesgos y los tenga en cuenta al utilizar el sistema de IA de alto riesgo. La identificación y la aplicación de medidas de reducción del riesgo en caso de uso indebido previsible con arreglo al presente Reglamento no deben suponer la exigencia, para su acometida, de entrenamiento adicional específico para el sistema de IA de alto riesgo por parte del proveedor para hacer frente a usos indebidos previsibles. No obstante, se anima a los proveedores a considerar dichas medidas de entrenamiento adicionales para mitigar los usos indebidos razonablemente previsibles, cuando resulte necesario y oportuno.
(65)
Le système de gestion des risques devrait consister en un processus itératif continu planifié et se dérouler sur l’ensemble du cycle de vie d’un système d’IA à haut risque. Ce processus devrait viser à identifier et à atténuer les risques des systèmes d’IA qui se posent pour la santé, la sécurité et les droits fondamentaux. Le système de gestion des risques devrait être régulièrement réexaminé et mis à jour afin de garantir le maintien de son efficacité, ainsi que la justification et la documentation de toutes les décisions et mesures importantes prises en vertu du présent règlement. Ce processus devrait garantir que le fournisseur détermine les risques ou les incidences négatives et mette en œuvre des mesures d’atténuation des risques connus et raisonnablement prévisibles des systèmes d’IA pour la santé, la sécurité et les droits fondamentaux à la lumière de leur destination et de leur mauvaise utilisation raisonnablement prévisible, y compris les risques éventuels découlant de l’interaction entre les systèmes d’IA et l’environnement dans lequel ils fonctionnent. Le système de gestion des risques devrait adopter les mesures de gestion des risques les plus appropriées à la lumière de l’état de la technique en matière d’IA. Lorsqu’il détermine les mesures de gestion des risques les plus appropriées, le fournisseur devrait documenter et expliquer les choix effectués et, le cas échéant, associer des experts et des parties prenantes externes. Lorsqu’il s’agit de déterminer la mauvaise utilisation raisonnablement prévisible des systèmes d’IA à haut risque, le fournisseur devrait couvrir les utilisations des systèmes d’IA dont on peut raisonnablement prévoir, bien qu’elles ne soient pas directement couvertes par la destination et prévues dans la notice d’utilisation, qu’elles résultent d’un comportement humain aisément prévisible dans le contexte des caractéristiques et de l’utilisation spécifiques d’un système d’IA donné. Toutes circonstances connues ou prévisibles liées à l’utilisation du système d’IA à haut risque conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, susceptibles d’entraîner des risques pour la santé, la sécurité ou les droits fondamentaux, devraient figurer dans la notice d’utilisation fournie par le fournisseur. Il s’agit de veiller à ce que le déployeur en ait connaissance et en tienne compte lors de l’utilisation du système d’IA à haut risque. La détermination et la mise en œuvre de mesures d’atténuation des risques en cas de mauvaise utilisation prévisible au titre du présent règlement ne devraient pas nécessiter de la part du fournisseur, pour remédier à la mauvaise utilisation prévisible, des mesures d’entraînement supplémentaires spécifiques pour le système d’IA à haut risque. Les fournisseurs sont toutefois encouragés à envisager de telles mesures d’entraînement supplémentaires pour atténuer les mauvaises utilisations raisonnablement prévisibles, si cela est nécessaire et approprié.
(66)
Deben aplicarse a los sistemas de IA de alto riesgo requisitos referentes a la gestión de riesgos, la calidad y la pertinencia de los conjuntos de datos utilizados, la documentación técnica y la conservación de registros, la transparencia y la comunicación de información a los responsables del despliegue, la supervisión humana, la solidez, la precisión y la ciberseguridad. Dichos requisitos son necesarios para mitigar de forma efectiva los riesgos para la salud, la seguridad y los derechos fundamentales. Al no disponerse razonablemente de otras medidas menos restrictivas del comercio, dichos requisitos no son restricciones injustificadas al comercio.
(66)
Des exigences devraient s’appliquer aux systèmes d’IA à haut risque en ce qui concerne la gestion des risques, la qualité et la pertinence des jeux de données utilisés, la documentation technique et la tenue de registres, la transparence et la fourniture d’informations aux déployeurs, le contrôle humain, ainsi que la robustesse, l’exactitude et la sécurité. Ces exigences sont nécessaires pour atténuer efficacement les risques pour la santé, la sécurité et les droits fondamentaux. Aucune autre mesure moins contraignante pour le commerce n’étant raisonnablement disponible, ces exigences ne constituent pas des restrictions injustifiées aux échanges.
(67)
Los datos de alta calidad y el acceso a datos de alta calidad desempeñan un papel esencial a la hora de proporcionar una estructura y garantizar el funcionamiento de muchos sistemas de IA, en especial cuando se emplean técnicas que implican el entrenamiento de modelos, con vistas a garantizar que el sistema de IA de alto riesgo funcione del modo previsto y en condiciones de seguridad y no se convierta en una fuente de algún tipo de discriminación prohibida por el Derecho de la Unión. Es preciso instaurar prácticas adecuadas de gestión y gobernanza de datos para lograr que los conjuntos de datos para el entrenamiento, la validación y la prueba sean de alta calidad. Los conjuntos de datos para el entrenamiento, la validación y la prueba, incluidas las etiquetas, deben ser pertinentes, lo suficientemente representativos y, en la mayor medida posible, estar libres de errores y ser completos en vista de la finalidad prevista del sistema. A fin de facilitar el cumplimiento del Derecho de la Unión en materia de protección de datos, como el Reglamento (UE) 2016/679, las prácticas de gestión y gobernanza de datos deben incluir, en el caso de los datos personales, la transparencia sobre el fin original de la recopilación de datos. Los conjuntos de datos deben tener las propiedades estadísticas adecuadas, también en lo que respecta a las personas o los colectivos de personas en relación con los que esté previsto utilizar el sistema de IA de alto riesgo, prestando una atención especial a la mitigación de los posibles sesgos en los conjuntos de datos que puedan afectar a la salud y la seguridad de las personas físicas, tener repercusiones negativas en los derechos fundamentales o dar lugar a algún tipo de discriminación prohibida por el Derecho de la Unión, especialmente cuando los datos de salida influyan en la información de entrada de futuras operaciones (bucles de retroalimentación). Los sesgos, por ejemplo, pueden ser inherentes a los conjuntos de datos subyacentes, especialmente cuando se utilizan datos históricos, o generados cuando los sistemas se despliegan en entornos del mundo real. Los resultados de los sistemas de IA dependen de dichos sesgos inherentes, que tienden a aumentar gradualmente y, por tanto, perpetúan y amplifican la discriminación existente, en particular con respecto a las personas pertenecientes a determinados colectivos vulnerables, incluidos colectivos raciales o étnicos. El requisito de que los conjuntos de datos, en la mayor medida posible, sean completos y estén libres de errores no debe afectar al uso de técnicas de protección de la intimidad en el contexto del desarrollo y la prueba de sistemas de IA. En particular, los conjuntos de datos deben tener en cuenta, en la medida en que lo exija su finalidad prevista, los rasgos, características o elementos particulares del entorno geográfico, contextual, conductual o funcional específico en el que esté previsto que se utilice el sistema de IA. Los requisitos relacionados con la gobernanza de datos pueden cumplirse recurriendo a terceros que ofrezcan servicios certificados de cumplimiento, incluida la verificación de la gobernanza de datos, la integridad del conjunto de datos y las prácticas de entrenamiento, validación y prueba de datos, en la medida en que se garantice el cumplimiento de los requisitos en materia de datos del presente Reglamento.
(67)
Les données de haute qualité et l’accès à ces données jouent un rôle essentiel pour ce qui est de fournir une structure et d’assurer le bon fonctionnement de nombreux systèmes d’IA, en particulier lorsque des techniques axées sur l’entraînement de modèles sont utilisées, afin de garantir que le système d’IA à haut risque fonctionne comme prévu et en toute sécurité et qu’il ne devient pas une source de discrimination interdite par le droit de l’Union. Les jeux de données d’entraînement, de validation et de test de haute qualité nécessitent la mise en œuvre de pratiques de gouvernance et de gestion des données appropriées. Les jeux de données d’entraînement, de validation et de test, y compris les étiquettes, devraient être pertinents, suffisamment représentatifs et, dans toute la mesure du possible, exempts d’erreurs et complets au regard de la destination du système. Afin de faciliter le respect du droit de l’Union sur la protection des données, tel que le règlement (UE) 2016/679, les pratiques en matière de gouvernance et de gestion des données devraient inclure, dans le cas des données à caractère personnel, la transparence quant à la finalité initiale de la collecte des données. Les jeux de données devraient également posséder les propriétés statistiques voulues, y compris en ce qui concerne les personnes ou groupes de personnes pour lesquels le système d’IA à haut risque est destiné à être utilisé, en accordant une attention particulière à l’atténuation des éventuels biais dans les jeux de données qui sont susceptibles de porter atteinte à la santé et à la sécurité des personnes, d’avoir une incidence négative sur les droits fondamentaux ou de se traduire par une discrimination interdite par le droit de l’Union, en particulier lorsque les données de sortie influencent les entrées pour les opérations futures («boucles de rétroaction»). Des biais peuvent, par exemple, être inhérents à des jeux de données sous-jacents, en particulier lorsque des données historiques sont utilisées, ou générés lorsque les systèmes sont mis en œuvre dans des conditions réelles. Les résultats produits par les systèmes d’IA pourraient être influencés par ces biais inhérents, qui ont tendance à se renforcer progressivement et ainsi à perpétuer et à amplifier les discriminations existantes, en particulier pour les personnes appartenant à certains groupes vulnérables, y compris les groupes ethniques ou raciaux. L’exigence selon laquelle les jeux de données doivent être dans toute la mesure du possible complets et exempts d’erreurs ne devrait pas avoir d’effet sur l’utilisation de techniques respectueuses de la vie privée dans le contexte du développement et de la mise à l’essai des systèmes d’IA. En particulier, les jeux de données devraient prendre en considération, dans la mesure requise au regard de leur destination, les propriétés, les caractéristiques ou les éléments qui sont propres au cadre géographique, contextuel, comportemental ou fonctionnel spécifique dans lequel le système d’IA est destiné à être utilisé. Les exigences relatives à la gouvernance des données peuvent être respectées en faisant appel à des tiers qui proposent des services de conformité certifiés, y compris la vérification de la gouvernance des données, l’intégrité des jeux de données et les pratiques d’entraînement, de validation et de mise à l’essai des données, dans la mesure où le respect des exigences du présent règlement en matière de données est garanti.
(68)
Para poder desarrollar y evaluar sistemas de IA de alto riesgo, determinados agentes, tales como proveedores, organismos notificados y otras entidades pertinentes, como centros europeos de innovación digital, instalaciones de ensayo y experimentación e investigadores, deben tener acceso a conjuntos de datos de alta calidad en sus campos de actividad relacionados con el presente Reglamento y deben poder utilizarlos. Los espacios comunes europeos de datos establecidos por la Comisión y la facilitación del intercambio de datos entre empresas y con los Gobiernos en favor del interés público serán esenciales para brindar un acceso fiable, responsable y no discriminatorio a datos de alta calidad con los que entrenar, validar y probar los sistemas de IA. Por ejemplo, en el ámbito de la salud, el espacio europeo de datos sanitarios facilitará el acceso no discriminatorio a datos sanitarios y el entrenamiento, a partir de esos conjuntos de datos, de algoritmos de IA de una manera segura, oportuna, transparente, fiable y que respete la intimidad, y contando con la debida gobernanza institucional. Las autoridades competentes pertinentes, incluidas las sectoriales, que proporcionan acceso a datos o lo facilitan también pueden brindar apoyo al suministro de datos de alta calidad con los que entrenar, validar y probar los sistemas de IA.
(68)
Pour le développement et l’évaluation de systèmes d’IA à haut risque, certains acteurs, tels que les fournisseurs, les organismes notifiés et d’autres entités concernées, telles que les pôles européens d’innovation numérique, les installations d’expérimentation et d’essai et les centres de recherche, devraient être en mesure d’avoir accès à des jeux de données de haute qualité dans leurs domaines d’activité liés au présent règlement et d’utiliser de tels jeux de données. Les espaces européens communs des données créés par la Commission et la facilitation du partage de données d’intérêt public entre les entreprises et avec le gouvernement seront essentiels pour fournir un accès fiable, responsable et non discriminatoire à des données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA. Par exemple, dans le domaine de la santé, l’espace européen des données de santé facilitera l’accès non discriminatoire aux données de santé et l’entraînement d’algorithmes d’IA à l’aide de ces jeux de données, d’une manière respectueuse de la vie privée, sûre, rapide, transparente et digne de confiance, et avec une gouvernance institutionnelle appropriée. Les autorités compétentes concernées, y compris les autorités sectorielles, qui fournissent ou facilitent l’accès aux données peuvent aussi faciliter la fourniture de données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA.
(69)
El derecho a la intimidad y a la protección de datos personales debe garantizarse a lo largo de todo el ciclo de vida del sistema de IA. A este respecto, los principios de minimización de datos y de protección de datos desde el diseño y por defecto, establecidos en el Derecho de la Unión en materia de protección de datos, son aplicables cuando se tratan datos personales. Las medidas adoptadas por los proveedores para garantizar el cumplimiento de estos principios podrán incluir no solo la anonimización y el cifrado, sino también el uso de una tecnología que permita llevar los algoritmos a los datos y el entrenamiento de los sistemas de IA sin que sea necesaria la transmisión entre las partes ni la copia de los datos brutos o estructurados, sin perjuicio de los requisitos en materia de gobernanza de datos establecidos en el presente Reglamento.
(69)
Le droit au respect de la vie privée et à la protection des données à caractère personnel doit être garanti tout au long du cycle de vie du système d’IA. À cet égard, les principes de minimisation et de protection des données dès la conception et par défaut, tels qu’énoncés dans le droit de l’Union sur la protection des données, sont applicables lorsque des données à caractère personnel sont traitées. Les mesures prises par les fournisseurs pour garantir le respect de ces principes peuvent inclure non seulement l’anonymisation et le cryptage, mais aussi l’utilisation d’une technologie qui permet l’introduction d’algorithmes dans les données ainsi que l’entraînement des systèmes d’IA sans transmission entre parties ou copie des données brutes ou structurées elles-mêmes, sans préjudice des exigences en matière de gouvernance des données prévues par le présent règlement.
(70)
A fin de proteger los derechos de terceros frente a la discriminación que podría provocar el sesgo de los sistemas de IA, los proveedores deben —con carácter excepcional, en la medida en que sea estrictamente necesario para garantizar la detección y corrección de los sesgos asociados a los sistemas de IA de alto riesgo, con sujeción a las garantías adecuadas para los derechos y libertades fundamentales de las personas físicas y tras la aplicación de todas las condiciones aplicables establecidas en el presente Reglamento, además de las condiciones establecidas en los Reglamentos (UE) 2016/679 y (UE) 2018/1725 y la Directiva (UE) 2016/680— ser capaces de tratar también categorías especiales de datos personales, como cuestión de interés público esencial en el sentido del artículo 9, apartado 2, letra g), del Reglamento (UE) 2016/679 y del artículo 10, apartado 2, letra g), del Reglamento (UE) 2018/1725.
(70)
Afin de protéger le droit d’autrui contre la discrimination qui pourrait résulter des biais dans les systèmes d’IA, les fournisseurs devraient, à titre exceptionnel, et dans la mesure où cela est strictement nécessaire aux fins de la détection et de la correction des biais en ce qui concerne les systèmes d’IA à haut risque, sous réserve de garanties appropriées pour les libertés et droits fondamentaux des personnes physiques et à la suite de l’application de toutes les conditions applicables prévues par le présent règlement en plus des conditions énoncées dans les règlements (UE) 2016/679 et (UE) 2018/1725 et dans la directive (UE) 2016/680, être en mesure de traiter également des catégories particulières de données à caractère personnel, pour des raisons d’intérêt public important au sens de l’article 9, paragraphe 2, point g), du règlement (UE) 2016/679 et de l’article 10, paragraphe 2, point g), du règlement (UE) 2018/1725.
(71)
Para permitir la trazabilidad de los sistemas de IA de alto riesgo, verificar si cumplen los requisitos previstos en el presente Reglamento, así como vigilar su funcionamiento y llevar a cabo la vigilancia poscomercialización, resulta esencial disponer de información comprensible sobre el modo en que se han desarrollado y sobre su funcionamiento durante toda su vida útil. A tal fin, es preciso llevar registros y disponer de documentación técnica que contenga la información necesaria para evaluar si el sistema de IA de que se trate cumple los requisitos pertinentes y facilitar la vigilancia poscomercialización. Dicha información debe incluir las características generales, las capacidades y las limitaciones del sistema y los algoritmos, datos y procesos de entrenamiento, prueba y validación empleados, así como documentación sobre el sistema de gestión de riesgos pertinente, elaborada de manera clara y completa. La documentación técnica debe mantenerse adecuadamente actualizada durante toda la vida útil del sistema de IA. Además, los sistemas de IA de alto riesgo deben permitir técnicamente el registro automático de acontecimientos, mediante archivos de registro, durante toda la vida útil del sistema.
(71)
Il est essentiel de disposer d’informations compréhensibles sur la manière dont les systèmes d’IA à haut risque ont été développés et sur leur fonctionnement tout au long de leur durée de vie afin de permettre la traçabilité de ces systèmes, de vérifier le respect des exigences du présent règlement et de surveiller le fonctionnement des systèmes en question et d’assurer leur surveillance après commercialisation. Cela nécessite la tenue de registres et la disponibilité d’une documentation technique contenant les informations nécessaires pour évaluer la conformité du système d’IA avec les exigences pertinentes et faciliter la surveillance après commercialisation. Ces informations devraient notamment porter sur les caractéristiques générales, les capacités et les limites du système, sur les algorithmes, les données et les processus d’entraînement, de mise à l’essai et de validation utilisés, ainsi que sur le système de gestion des risques mis en place et être établies de façon claire et exhaustive. La documentation technique devrait être dûment tenue à jour tout au long de la durée de vie du système d’IA. Par ailleurs, les systèmes d’IA à haut risque devraient permettre, sur le plan technique, l’enregistrement automatique des événements, au moyen de journaux, tout au long de la durée de vie du système.
(72)
A fin de abordar las preocupaciones relacionadas con la opacidad y complejidad de determinados sistemas de IA y ayudar a los responsables del despliegue a cumplir sus obligaciones en virtud del presente Reglamento, debe exigirse transparencia respecto de los sistemas de IA de alto riesgo antes de su introducción en el mercado o su puesta en servicio. Los sistemas de IA de alto riesgo deben diseñarse de modo que permitan a los responsables del despliegue comprender la manera en que el sistema de IA funciona, evaluar su funcionalidad y comprender sus fortalezas y limitaciones. Los sistemas de IA de alto riesgo deben ir acompañados de la información adecuada en forma de instrucciones de uso. Dicha información debe incluir las características, las capacidades y las limitaciones del funcionamiento del sistema de IA. Estas comprenderían la información sobre las posibles circunstancias conocidas y previsibles relacionadas con el uso del sistema de IA de alto riesgo, incluida la actuación del responsable del despliegue capaz de influir en el comportamiento y el funcionamiento del sistema, en cuyo marco el sistema de IA puede dar lugar a riesgos para la salud, la seguridad y los derechos fundamentales, sobre los cambios que el proveedor haya predeterminado y evaluado para comprobar su conformidad y sobre las medidas pertinentes de supervisión humana, incluidas las medidas para facilitar la interpretación de los resultados de salida del sistema de IA por parte de los responsables del despliegue. La transparencia, incluidas las instrucciones de uso que acompañan a los sistemas de IA, debe ayudar a los responsables del despliegue a utilizar el sistema y tomar decisiones con conocimiento de causa. Los responsables del despliegue deben, entre otras cosas, estar en mejores condiciones para elegir correctamente el sistema que pretenden utilizar a la luz de las obligaciones que les son aplicables, estar informados sobre los usos previstos y excluidos y utilizar el sistema de IA correctamente y según proceda. A fin de mejorar la legibilidad y la accesibilidad de la información incluida en las instrucciones de uso, cuando proceda, deben incluirse ejemplos ilustrativos, por ejemplo sobre las limitaciones y sobre los usos previstos y excluidos del sistema de IA. Los proveedores deben garantizar que toda la documentación, incluidas las instrucciones de uso, contenga información significativa, exhaustiva, accesible y comprensible, que tenga en cuenta las necesidades y los conocimientos previsibles de los responsables del despliegue destinatarios. Las instrucciones de uso deben estar disponibles en una lengua fácilmente comprensible para los responsables del despliegue destinatarios, según lo que decida el Estado miembro de que se trate.
(72)
Afin de répondre aux préoccupations liées à l’opacité et à la complexité de certains systèmes d’IA et d’aider les déployeurs à remplir les obligations qui leur incombent en vertu du présent règlement, la transparence devrait être requise pour les systèmes d’IA à haut risque avant leur mise sur le marché ou leur mise en service. Les systèmes d’IA à haut risque devraient être conçus de manière à permettre aux déployeurs de comprendre le fonctionnement du système d’IA, d’évaluer sa fonctionnalité et de comprendre ses forces et ses limites. Les systèmes d’IA à haut risque devraient être accompagnés d’informations appropriées sous la forme d’une notice d’utilisation. Ces informations devraient inclure les caractéristiques, les capacités et les limites de la performance du système d’IA. Il s’agirait des informations sur les éventuelles circonstances connues et prévisibles liées à l’utilisation du système d’IA à haut risque, y compris l’action des déployeurs susceptible d’influencer le comportement et la performance du système, dans le cadre desquelles le système d’IA peut entraîner des risques pour la santé, la sécurité et les droits fondamentaux, sur les changements qui ont été déterminés au préalable et évalués à des fins de conformité par le fournisseur et sur les mesures de contrôle humain pertinentes, y compris les mesures visant à faciliter l’interprétation des sorties du système d’IA par les déployeurs. La transparence, y compris la notice d’utilisation jointe au système, devrait aider les déployeurs à utiliser celui-ci et à prendre des décisions en connaissance de cause. Les déployeurs devraient, entre autres, être mieux à même de faire le bon choix quant au système qu’ils ont l’intention d’utiliser à la lumière des obligations qui leur sont applicables, d’être informés sur les utilisations prévues et interdites et d’utiliser le système d’IA correctement et le cas échéant. Afin d’améliorer la lisibilité et l’accessibilité des informations figurant dans la notice d’utilisation, il convient, le cas échéant, d’inclure des exemples illustratifs, par exemple sur les limitations et sur les utilisations prévues et interdites du système d’IA. Les fournisseurs devraient veiller à ce que toute la documentation, y compris la notice d’utilisation, contienne des informations utiles, complètes, accessibles et compréhensibles, compte tenu des besoins et des connaissances prévisibles des déployeurs visés. La notice d’utilisation devrait être mise à disposition dans une langue aisément compréhensible par les déployeurs visés, déterminée par l’État membre concerné.
(73)
Los sistemas de IA de alto riesgo deben diseñarse y desarrollarse de tal modo que las personas físicas puedan supervisar su funcionamiento, así como asegurarse de que se usan según lo previsto y de que sus repercusiones se abordan a lo largo del ciclo de vida del sistema. A tal fin, el proveedor del sistema debe definir las medidas adecuadas de supervisión humana antes de su introducción en el mercado o puesta en servicio. Cuando proceda, dichas medidas deben garantizar, en concreto, que el sistema esté sujeto a limitaciones operativas incorporadas en el propio sistema que este no pueda desactivar, que responda al operador humano y que las personas físicas a quienes se haya encomendado la supervisión humana posean las competencias, la formación y la autoridad necesarias para desempeñar esa función. También es esencial, según proceda, garantizar que los sistemas de IA de alto riesgo incluyan mecanismos destinados a orientar e informar a las personas físicas a las que se haya asignado la supervisión humana para que tomen decisiones con conocimiento de causa acerca de si intervenir, cuándo hacerlo y de qué manera, a fin de evitar consecuencias negativas o riesgos, o de detener el sistema si no funciona según lo previsto. Teniendo en cuenta las enormes consecuencias para las personas en caso de una correspondencia incorrecta efectuada por determinados sistemas de identificación biométrica, conviene establecer un requisito de supervisión humana reforzada para dichos sistemas, de modo que el responsable del despliegue no pueda actuar ni tomar ninguna decisión basándose en la identificación generada por el sistema, salvo si al menos dos personas físicas la han verificado y confirmado por separado. Dichas personas podrían proceder de una o varias entidades e incluir a la persona que maneja o utiliza el sistema. Este requisito no debe suponer una carga ni retrasos innecesarios y podría bastar con que las verificaciones que las distintas personas efectúen por separado se registren automáticamente en los registros generados por el sistema. Dadas las especificidades de los ámbitos de la garantía del cumplimiento del Derecho, la migración, el control fronterizo y el asilo, ese requisito no debe aplicarse cuando el Derecho nacional o de la Unión considere que su aplicación es desproporcionada.
(73)
Les systèmes d’IA à haut risque devraient être conçus et développés de manière à ce que les personnes physiques puissent superviser leur fonctionnement et veiller à ce qu’ils soient utilisés comme prévu et à ce que leurs incidences soient prises en compte tout au long de leur cycle de vie. À cette fin, des mesures appropriées de contrôle humain devraient être établies par le fournisseur du système avant sa mise sur le marché ou sa mise en service. En particulier, le cas échéant, de telles mesures devraient garantir que le système est soumis à des contraintes opérationnelles intégrées qui ne peuvent pas être ignorées par le système lui-même, que le système répond aux ordres de l’opérateur humain et que les personnes physiques auxquelles le contrôle humain a été confié ont les compétences, la formation et l’autorité nécessaires pour s’acquitter de ce rôle. Il est également essentiel, le cas échéant, de veiller à ce que les systèmes d’IA à haut risque comprennent des mécanismes destinés à guider et à informer une personne physique à laquelle le contrôle humain a été confié, afin qu’elle puisse décider en connaissance de cause s’il faut intervenir, à quel moment et de quelle manière, pour éviter des conséquences négatives ou des risques, ou arrêter le système s’il ne fonctionne pas comme prévu. Compte tenu des conséquences importantes pour les personnes en cas d’erreur dans les correspondances établies par certains systèmes d’identification biométrique, il convient de prévoir pour ces systèmes une exigence de contrôle humain accru, de manière qu’aucune mesure ou décision ne puisse être prise par le déployeur sur la base de l’identification obtenue par le système, à moins qu’elle n’ait été vérifiée et confirmée séparément par au moins deux personnes physiques. Ces personnes pourraient provenir d’une ou de plusieurs entités et compter parmi elles la personne qui fait fonctionner le système ou l’utilise. Cette exigence ne devrait pas entraîner de charges ou de retards inutiles, et il pourrait suffire que les vérifications effectuées séparément par les différentes personnes soient automatiquement enregistrées dans les journaux générés par le système. Compte tenu des spécificités des domaines que sont les activités répressives, la migration, les contrôles aux frontières et l’asile, cette exigence ne devrait pas s’appliquer lorsque le droit de l’Union ou le droit national considère que cette application est disproportionnée.
(74)
Los sistemas de IA de alto riesgo deben funcionar de manera uniforme durante todo su ciclo de vida y presentar un nivel adecuado de precisión, solidez y ciberseguridad, a la luz de su finalidad prevista y con arreglo al estado actual de la técnica generalmente reconocido. Se anima a la Comisión y las organizaciones y partes interesadas pertinentes a que tengan debidamente en cuenta la mitigación de los riesgos y las repercusiones negativas del sistema de IA. El nivel previsto de los parámetros de funcionamiento debe declararse en las instrucciones de uso que acompañen a los sistemas de IA. Se insta a los proveedores a que comuniquen dicha información a los responsables del despliegue de manera clara y fácilmente comprensible, sin malentendidos ni afirmaciones engañosas. El Derecho de la Unión en materia de metrología legal, incluidas las Directivas 2014/31/UE (35) y 2014/32/UE (36) del Parlamento Europeo y del Consejo, tiene por objeto garantizar la precisión de las mediciones y contribuir a la transparencia y la equidad de las transacciones comerciales. En ese contexto, en cooperación con las partes interesadas y las organizaciones pertinentes, como las autoridades de metrología y de evaluación comparativa, la Comisión debe fomentar, según proceda, el desarrollo de parámetros de referencia y metodologías de medición para los sistemas de IA. Al hacerlo, la Comisión debe tomar nota de los socios internacionales que trabajan en la metrología y los indicadores de medición pertinentes relacionados con la IA y colaborar con ellos.
(74)
Les systèmes d’IA à haut risque devraient produire des résultats d’une qualité constante tout au long de leur cycle de vie et assurer un niveau approprié d’exactitude, de robustesse et de cybersécurité, au vu de leur destination et conformément à l’état de la technique généralement reconnu. La Commission et les organisations et parties prenantes concernées sont encouragées à tenir dûment compte de l’atténuation des risques et des incidences négatives du système d’IA. Le niveau attendu des indicateurs de performance devrait être indiqué dans la notice d’utilisation jointe au système. Les fournisseurs sont instamment invités à communiquer ces informations aux déployeurs d’une manière claire et aisément compréhensible, sans malentendus ou déclarations trompeuses. Le droit de l’Union en matière de métrologie légale, y compris les directives 2014/31/UE (35) et 2014/32/UE (36) du Parlement européen et du Conseil, vise à garantir l’exactitude des mesures et à contribuer à la transparence et à la loyauté des transactions commerciales. Dans ce contexte, en coopération avec les parties prenantes et organisations concernées, telles que les autorités de métrologie et d’étalonnage des performances, la Commission devrait encourager, le cas échéant, l’élaboration de critères de référence et de méthodes de mesure pour les systèmes d’IA. Ce faisant, la Commission devrait prendre note des partenaires internationaux travaillant sur la métrologie et les indicateurs de mesure pertinents relatifs à l’IA et collaborer avec ceux-ci.
(75)
La solidez técnica es un requisito clave para los sistemas de IA de alto riesgo, que deben ser resilientes en relación con los comportamientos perjudiciales o indeseables por otros motivos que puedan derivarse de limitaciones en los sistemas o del entorno en el que estos funcionan (p. ej., errores, fallos, incoherencias o situaciones inesperadas). Por consiguiente, deben adoptarse medidas técnicas y organizativas para garantizar la solidez de los sistemas de IA de alto riesgo, por ejemplo mediante el diseño y desarrollo de soluciones técnicas adecuadas para prevenir o reducir al mínimo ese comportamiento perjudicial o indeseable. Estas soluciones técnicas pueden incluir, por ejemplo, mecanismos que permitan al sistema interrumpir de forma segura su funcionamiento (planes de prevención contra fallos) en presencia de determinadas anomalías o cuando el funcionamiento tenga lugar fuera de determinados límites predeterminados. El hecho de no adoptar medidas de protección frente a estos riesgos podría tener consecuencias para la seguridad o afectar de manera negativa a los derechos fundamentales, por ejemplo, debido a decisiones equivocadas o resultados de salida erróneos o sesgados generados por el sistema de IA.
(75)
La robustesse technique est une exigence essentielle pour les systèmes d’IA à haut risque. Il convient qu’ils soient résilients face aux comportements préjudiciables ou, plus généralement, indésirables pouvant résulter de limites intrinsèques aux systèmes ou dues à l’environnement dans lequel les systèmes fonctionnent (par exemple les erreurs, les défaillances, les incohérences et les situations inattendues). Par conséquent, des mesures techniques et organisationnelles devraient être prises pour garantir la robustesse des systèmes d’IA à haut risque, par exemple en concevant et développant des solutions techniques appropriées pour prévenir ou réduire au minimum les comportements préjudiciables ou, plus généralement, indésirables. Ces solutions techniques peuvent comprendre, par exemple, des mécanismes permettant au système d’interrompre son fonctionnement en toute sécurité (mesures de sécurité après défaillance) en présence de certaines anomalies ou en cas de fonctionnement en dehors de certaines limites déterminées au préalable. L’absence de protection contre ces risques pourrait avoir des incidences sur la sécurité ou entraîner des violations des droits fondamentaux, par exemple en raison de décisions erronées ou de sorties inexactes ou biaisées générées par le système d’IA.
(76)
La ciberseguridad es fundamental para garantizar que los sistemas de IA resistan a las actuaciones de terceros maliciosos que, aprovechando las vulnerabilidades del sistema, traten de alterar su uso, comportamiento o funcionamiento o de poner en peligro sus propiedades de seguridad. Los ciberataques contra sistemas de IA pueden dirigirse contra activos específicos de la IA, como los conjuntos de datos de entrenamiento (p. ej., envenenamiento de datos) o los modelos entrenados (p. ej., ataques adversarios o inferencia de pertenencia), o aprovechar las vulnerabilidades de los activos digitales del sistema de IA o la infraestructura de TIC subyacente. Por lo tanto, para garantizar un nivel de ciberseguridad adecuado a los riesgos, los proveedores de sistemas de IA de alto riesgo deben adoptar medidas adecuadas, como los controles de seguridad, teniendo también en cuenta, cuando proceda, la infraestructura de TIC subyacente.
(76)
La cybersécurité joue un rôle crucial pour ce qui est de garantir la résilience des systèmes d’IA face aux tentatives de détourner leur utilisation, leur comportement ou leur performance ou de compromettre leurs propriétés de sûreté par des tiers malveillants exploitant les vulnérabilités du système. Les cyberattaques contre les systèmes d’IA peuvent passer par des ressources propres à l’IA, telles que les jeux de données d’entraînement (par exemple pour l’empoisonnement de données) ou l’entraînement des modèles (par exemple pour des attaques contradictoires ou des attaques par inférence d’appartenance), ou exploiter les vulnérabilités des ressources numériques du système d’IA ou de l’infrastructure TIC sous-jacente. Pour garantir un niveau de cybersécurité adapté aux risques, des mesures appropriées, telles que des contrôles de sécurité, devraient donc être prises par les fournisseurs de systèmes d’IA à haut risque, en tenant également compte, si nécessaire, de l’infrastructure TIC sous-jacente.
(77)
Sin perjuicio de los requisitos relacionados con la solidez y la precisión establecidos en el presente Reglamento, los sistemas de IA de alto riesgo que entren en el ámbito de aplicación de un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales, de conformidad con dicho reglamento, pueden demostrar el cumplimiento con los requisitos de ciberseguridad del presente Reglamento mediante el cumplimiento de los requisitos esenciales de ciberseguridad establecidos en dicho reglamento. Cuando los sistemas de IA de alto riesgo cumplan los requisitos esenciales de ciberseguridad de un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales, debe presumirse que cumplen los requisitos de ciberseguridad del presente Reglamento en la medida en que la satisfacción de esos requisitos se demuestre en la declaración UE de conformidad de emitida con arreglo a dicho reglamento, o partes de esta. A tal fin, la evaluación de los riesgos de ciberseguridad asociados a un producto con elementos digitales clasificado como un sistema de IA de alto riesgo con arreglo al presente Reglamento, realizada en virtud de un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales, debe tener en cuenta los riesgos para la ciberresiliencia de un sistema de IA por lo que respecta a los intentos de terceros no autorizados de alterar su uso, comportamiento o funcionamiento, incluidas las vulnerabilidades específicas de la IA, como el envenenamiento de datos o los ataques adversarios, así como, en su caso, los riesgos para los derechos fundamentales, tal como exige el presente Reglamento.
(77)
Sans préjudice des exigences relatives à la robustesse et à l’exactitude énoncées dans le présent règlement, les systèmes d’IA à haut risque qui relèvent du champ d’application du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques, conformément audit règlement, peuvent démontrer leur conformité avec les exigences de cybersécurité du présent règlement en satisfaisant aux exigences essentielles de cybersécurité énoncées audit règlement. Lorsqu’ils satisfont aux exigences essentielles du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques, les systèmes d’IA à haut risque devraient être réputés conformes aux exigences de cybersécurité énoncées dans le présent règlement dans la mesure où le respect de ces exigences est démontré dans la déclaration UE de conformité, ou dans des parties de celle-ci, délivrée en vertu dudit règlement. À cette fin, l’évaluation des risques en matière de cybersécurité associés à un produit comportant des éléments numériques classé comme système d’IA à haut risque conformément au présent règlement, effectuée en vertu du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques, devrait tenir compte des risques pesant sur la cyberrésilience d’un système d’IA en ce qui concerne les tentatives de tiers non autorisés de modifier son utilisation, son comportement ou sa performance, y compris les vulnérabilités spécifiques à l’IA telles que l’empoisonnement des données ou les attaques hostiles, ainsi que, le cas échéant, les risques pesant sur les droits fondamentaux, comme l’exige le présent règlement.
(78)
El procedimiento de evaluación de la conformidad establecido en el presente Reglamento debe aplicarse en relación con los requisitos esenciales de ciberseguridad de un producto con elementos digitales regulado por un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales y clasificado como sistema de IA de alto riesgo con arreglo al presente Reglamento. Sin embargo, esta norma no debe dar lugar a una reducción del nivel de garantía necesario para los productos críticos con elementos digitales sujetos a un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales. Por consiguiente, no obstante lo dispuesto en esta norma, los sistemas de IA de alto riesgo que entran dentro del ámbito de aplicación del presente Reglamento y que también se consideran productos críticos importantes con elementos digitales en virtud de un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales, y a los que se aplica el procedimiento de evaluación de la conformidad fundamentado en un control interno que se establece en un anexo del presente Reglamento, están sujetos a lo dispuesto en un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales en materia de evaluación de la conformidad por lo que se refiere a los requisitos esenciales de ciberseguridad de dicho reglamento. En tal caso, en relación con todos los demás aspectos que entren en el ámbito de aplicación del presente Reglamento, debe aplicarse lo dispuesto en el anexo VI del presente Reglamento en materia de evaluación de la conformidad fundamentada en un control interno. Habida cuenta de los conocimientos y la experiencia de la Agencia de la Unión Europea para la Ciberseguridad (ENISA) en materia de política de ciberseguridad y de las tareas que se le encomiendan en virtud del Reglamento (UE) 2019/881 del Parlamento Europeo y del Consejo (37), la Comisión debe cooperar con ENISA en las cuestiones relacionadas con la ciberseguridad de los sistemas de IA.
(78)
La procédure d’évaluation de la conformité prévue par le présent règlement devrait s’appliquer en ce qui concerne les exigences essentielles de cybersécurité d’un produit comportant des éléments numériques relevant du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques et classé comme système d’IA à haut risque en vertu du présent règlement. Toutefois, l’application de cette règle ne devrait pas entraîner de réduction du niveau d’assurance nécessaire pour les produits critiques comportant des éléments numériques couverts par le règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques. Par conséquent, par dérogation à cette règle, les systèmes d’IA à haut risque qui relèvent du champ d’application du présent règlement et sont également considérés comme des produits critiques importants comportant des éléments numériques en vertu du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques et auxquels s’applique la procédure d’évaluation de la conformité fondée sur le contrôle interne visée à l’annexe du présent règlement, sont soumis aux dispositions relatives à l’évaluation de la conformité du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques en ce qui concerne les exigences essentielles de cybersécurité énoncées dans ledit règlement. Dans ce cas, les dispositions respectives relatives à l’évaluation de la conformité fondée sur le contrôle interne énoncées à l’annexe du présent règlement devraient s’appliquer à tous les autres aspects couverts par le présent règlement. En s’appuyant sur les connaissances et l’expertise de l’ENISA en ce qui concerne la politique de cybersécurité et les tâches qui lui sont confiées en vertu du règlement (UE) 2019/881 du Parlement européen et du Conseil (37), la Commission devrait coopérer avec l’ENISA sur les questions liées à la cybersécurité des systèmes d’IA.
(79)
Conviene que una persona física o jurídica concreta, definida como el proveedor, asuma la responsabilidad asociada a la introducción en el mercado o la puesta en servicio de un sistema de IA de alto riesgo, con independencia de si dicha persona física o jurídica es o no quien diseñó o desarrolló el sistema.
(79)
Il convient qu’une personne physique ou morale spécifique, définie comme étant le fournisseur, assume la responsabilité de la mise sur le marché ou de la mise en service d’un système d’IA à haut risque, indépendamment du fait que cette personne physique ou morale soit ou non la personne qui a conçu ou développé le système.
(80)
Como signatarios de la Convención sobre los Derechos de las Personas con Discapacidad, la Unión y todos los Estados miembros están legalmente obligados a proteger a las personas con discapacidad contra la discriminación y a promover su igualdad, a garantizar que las personas con discapacidad tengan acceso, en igualdad de condiciones con las demás, a las tecnologías y sistemas de la información y las comunicaciones, y a garantizar el respeto a la intimidad de las personas con discapacidad. Habida cuenta de la importancia y el uso crecientes de los sistemas de IA, la aplicación de los principios de diseño universal a todas las nuevas tecnologías y servicios debe garantizar el acceso pleno e igualitario de todas las personas a las que puedan afectar las tecnologías de IA o que puedan utilizar dichas tecnologías, incluidas las personas con discapacidad, de forma que se tenga plenamente en cuenta su dignidad y diversidad inherentes. Por ello es esencial que los proveedores garanticen el pleno cumplimiento de los requisitos de accesibilidad, incluidas la Directiva (UE) 2016/2102 del Parlamento Europeo y del Consejo (38) y la Directiva (UE) 2019/882. Los proveedores deben garantizar el cumplimiento de estos requisitos desde el diseño. Por consiguiente, las medidas necesarias deben integrarse en la medida de lo posible en el diseño de los sistemas de IA de alto riesgo.
(80)
En leur qualité de signataires de la convention des Nations unies relative aux droits des personnes handicapées, l’Union et les États membres sont légalement tenus de protéger les personnes handicapées contre la discrimination et de promouvoir leur égalité, de veiller à ce que les personnes handicapées aient accès, au même titre que les autres, aux technologies et aux systèmes d’information et de communication, ainsi que de garantir le respect de leur vie privée. Compte tenu de l’importance et de l’utilisation croissantes des systèmes d’IA, l’application des principes de conception universelle à toutes les nouvelles technologies et à tous les nouveaux services devrait garantir un accès complet et égal à toute personne potentiellement concernée par les technologies d’IA ou les utilisant, y compris les personnes handicapées, d’une manière qui tienne pleinement compte de leur dignité et de leur diversité intrinsèques. Il est donc essentiel que les fournisseurs garantissent la pleine conformité avec les exigences en matière d’accessibilité, y compris la directive (UE) 2016/2102 du Parlement européen et du Conseil (38) et la directive (UE) 2019/882. Les fournisseurs devraient veiller au respect de ces exigences dès la conception. Les mesures nécessaires devraient donc être aussi intégrées que possible dans la conception des systèmes d’IA à haut risque.
(81)
El proveedor debe instaurar un sistema de gestión de la calidad sólido, velar por que se siga el procedimiento de evaluación de la conformidad necesario, elaborar la documentación pertinente y establecer un sistema de vigilancia poscomercialización sólido. Los proveedores de sistemas de IA de alto riesgo que estén sujetos a obligaciones relativas a los sistemas de gestión de la calidad con arreglo al Derecho sectorial pertinente de la Unión deben tener la posibilidad de integrar los elementos del sistema de gestión de la calidad establecido en el presente Reglamento en el sistema de gestión de la calidad establecido en dicho Derecho sectorial de la Unión. La complementariedad entre el presente Reglamento y el Derecho sectorial vigente de la Unión también debe tenerse en cuenta en las futuras actividades de normalización o en las orientaciones adoptadas por la Comisión al respecto. Las autoridades públicas que pongan en servicio sistemas de IA de alto riesgo para su propio uso pueden aprobar y aplicar las normas que regulen el sistema de gestión de la calidad en el marco del sistema de gestión de la calidad adoptado a escala nacional o regional, según proceda, teniendo en cuenta las particularidades del sector y las competencias y la organización de la autoridad pública de que se trate.
(81)
Le fournisseur devrait mettre en place un système solide de gestion de la qualité, garantir le respect de la procédure d’évaluation de la conformité requise, rédiger la documentation pertinente et mettre en place un système solide de surveillance après commercialisation. Les fournisseurs de systèmes d’IA à haut risque qui sont soumis à des obligations en matière de systèmes de gestion de la qualité en vertu du droit sectoriel pertinent de l’Union devraient avoir la possibilité d’intégrer les éléments du système de gestion de la qualité prévus par le présent règlement dans le système de gestion de la qualité existant prévu dans cet autre droit sectoriel de l’Union. La complémentarité entre le présent règlement et le droit sectoriel existant de l’Union devrait également être prise en compte dans les futures activités ou orientations de normalisation de la Commission. Les autorités publiques qui mettent en service des systèmes d’IA à haut risque destinés à être utilisés exclusivement par elles peuvent adopter et mettre en œuvre les règles relatives au système de gestion de la qualité dans le cadre du système de gestion de la qualité adopté au niveau national ou régional, selon le cas, en tenant compte des spécificités du secteur, ainsi que des compétences et de l’organisation de l’autorité publique concernée.
(82)
Para permitir la ejecución del presente Reglamento y ofrecer igualdad de condiciones a los operadores, es importante velar por que una persona establecida en la Unión pueda, en cualquier circunstancia, facilitar a las autoridades toda la información necesaria sobre la conformidad de un sistema de IA, teniendo en cuenta las distintas formas en que se pueden ofrecer productos digitales. Por lo tanto, antes de comercializar sus sistemas de IA en la Unión, los proveedores establecidos fuera de su territorio deben designar, mediante un mandato escrito, a un representante autorizado que se encuentre en la Unión. El representante autorizado desempeña un papel fundamental a la hora de velar por la conformidad de los sistemas de IA de alto riesgo introducidos en el mercado o puestos en servicio en la Unión por esos proveedores no establecidos en la Unión y servir de persona de contacto establecida en la Unión.
(82)
Pour permettre le contrôle de l’application du présent règlement et créer des conditions de concurrence équitables pour les opérateurs, et compte tenu des différentes formes de mise à disposition des produits numériques, il est important de veiller à ce que, en toutes circonstances, une personne établie dans l’Union puisse fournir aux autorités toutes les informations nécessaires sur la conformité d’un système d’IA. Par conséquent, avant de mettre leurs systèmes d’IA à disposition dans l’Union, les fournisseurs établis dans des pays tiers devraient nommer, par mandat écrit, un mandataire établi dans l’Union. Ce mandataire joue un rôle capital en ce sens qu’il veille à la conformité des systèmes d’IA à haut risque mis sur le marché ou mis en service dans l’Union par des fournisseurs qui ne sont pas établis dans l’Union et sert à ces derniers de point de contact établi dans l’Union.
(83)
Teniendo en cuenta la naturaleza y la complejidad de la cadena de valor de los sistemas de IA y de conformidad con el nuevo marco legislativo, es esencial garantizar la seguridad jurídica y facilitar el cumplimiento del presente Reglamento. Por ello es necesario aclarar la función y las obligaciones específicas de los operadores pertinentes de toda dicha cadena de valor, como los importadores y los distribuidores, que pueden contribuir al desarrollo de sistemas de IA. En determinadas situaciones, esos operadores pueden desempeñar más de una función al mismo tiempo y, por lo tanto, deben cumplir de forma acumulativa todas las obligaciones pertinentes asociadas a dichas funciones. Por ejemplo, un operador puede actuar como distribuidor e importador al mismo tiempo.
(83)
Compte tenu de la nature et de la complexité de la chaîne de valeur des systèmes d’IA, et conformément au nouveau cadre législatif, il est essentiel de garantir la sécurité juridique et de faciliter le respect du présent règlement. Par conséquent, il est nécessaire de préciser le rôle et les obligations spécifiques des opérateurs concernés tout au long de ladite chaîne de valeur, tels que les importateurs et les distributeurs qui peuvent contribuer au développement des systèmes d’IA. Dans certaines situations, ces opérateurs pourraient jouer plus d’un rôle en même temps et devraient donc remplir toutes les obligations pertinentes associées à ces rôles. Par exemple, un opérateur pourrait agir à la fois en tant que distributeur et importateur.
(84)
Para garantizar la seguridad jurídica, es necesario aclarar que, en determinadas condiciones específicas, debe considerarse proveedor de un sistema de IA de alto riesgo a cualquier distribuidor, importador, responsable del despliegue u otro tercero que, por tanto, debe asumir todas las obligaciones pertinentes. Este sería el caso si, por ejemplo, esa persona pone su nombre o marca en un sistema de IA de alto riesgo ya introducido en el mercado o puesto en servicio, sin perjuicio de los acuerdos contractuales que estipulen otra distribución de las obligaciones. Este también sería el caso si dicha parte modifica sustancialmente un sistema de IA de alto riesgo que ya se haya introducido en el mercado o puesto en servicio de tal manera que el sistema modificado siga siendo un sistema de IA de alto riesgo de conformidad con el presente Reglamento, o si modifica la finalidad prevista de un sistema de IA, como un sistema de IA de uso general, que ya se haya introducido en el mercado o puesto en servicio y que no esté clasificado como sistema de alto riesgo, de tal manera que el sistema modificado pase a ser un sistema de IA de alto riesgo de conformidad con el presente Reglamento. Esas disposiciones deben aplicarse sin perjuicio de las disposiciones más específicas establecidas en determinados actos legislativos de armonización de la Unión basados en el nuevo marco legislativo que se deben aplicar en conjunción con el presente Reglamento. Por ejemplo, el artículo 16, apartado 2, del Reglamento (UE) 2017/745, que establece que determinados cambios no deben considerarse modificaciones de un producto que puedan afectar al cumplimiento de los requisitos aplicables, debe seguir aplicándose a los sistemas de IA de alto riesgo que sean productos sanitarios en el sentido de dicho Reglamento.
(84)
Afin de garantir la sécurité juridique, il est nécessaire de préciser que, dans certaines conditions particulières, tout distributeur, importateur, déployeur ou autre tiers devrait être considéré comme un fournisseur d’un système d’IA à haut risque et, par conséquent, assumer toutes les obligations correspondantes. Tel serait le cas si cette partie met son nom ou sa marque sur un système d’IA à haut risque déjà mis sur le marché ou mis en service, sans préjudice des dispositions contractuelles stipulant que les obligations sont attribuées d’une autre manière. Tel serait aussi le cas si cette partie apporte une modification substantielle à un système d’IA à haut risque qui a déjà été mis sur le marché ou a déjà été mis en service et de telle sorte qu’il demeure un système d’IA à haut risque conformément au présent règlement, ou si elle modifie la destination d’un système d’IA, y compris un système d’IA à usage général, qui n’a pas été classé comme étant à haut risque et qui a déjà été mis sur le marché ou mis en service, de telle sorte que le système d’IA devient un système d’IA à haut risque conformément au présent règlement. Ces dispositions devraient s’appliquer sans préjudice de dispositions plus spécifiques établies dans certains actes législatifs de l’Union en matière d’harmonisation reposant sur le nouveau cadre législatif avec lesquels le présent règlement devrait s’appliquer. Par exemple, l’article 16, paragraphe 2, du règlement (UE) 2017/745, qui dispose que certaines modifications ne devraient pas être considérées comme des modifications d’un dispositif susceptibles d’influer sur sa conformité avec les exigences applicables, devrait continuer de s’appliquer aux systèmes d’IA à haut risque constituant des dispositifs médicaux au sens dudit règlement.
(85)
Los sistemas de IA de uso general pueden utilizarse como sistemas de IA de alto riesgo por sí solos o ser componentes de sistemas de IA de alto riesgo. Así pues, debido a su particular naturaleza y a fin de garantizar un reparto equitativo de responsabilidades a lo largo de toda la cadena de valor, los proveedores de tales sistemas, con independencia de que estos sistemas puedan ser utilizados como sistemas de IA de alto riesgo por sí solos por otros proveedores o como componentes de sistemas de IA de alto riesgo, y salvo que se disponga otra cosa en el presente Reglamento, deben cooperar estrechamente con los proveedores de los sistemas de IA de alto riesgo correspondientes para que estos puedan cumplir las obligaciones pertinentes en virtud del presente Reglamento, así como con las autoridades competentes establecidas en virtud del presente Reglamento.
(85)
Les systèmes d’IA à usage général peuvent être utilisés comme des systèmes d’IA à haut risque en tant que tels ou comme des composants d’autres systèmes d’IA à haut risque. Dès lors, en raison de leur nature particulière, et afin de garantir un partage équitable des responsabilités tout au long de la chaîne de valeur de l’IA, les fournisseurs de systèmes d’IA à usage général, indépendamment du fait que ces systèmes puissent être utilisés comme des systèmes d’IA à haut risque en tant que tels par d’autres fournisseurs ou comme des composants de systèmes d’IA à haut risque, et sauf dispositions contraires du présent règlement, devraient coopérer étroitement avec les fournisseurs des systèmes d’IA à haut risque concernés afin de leur permettre de se conformer aux obligations pertinentes prévues par le présent règlement et avec les autorités compétentes établies en vertu du présent règlement.
(86)
Cuando, con arreglo a las condiciones establecidas en el presente Reglamento, el proveedor que introdujo inicialmente el sistema de IA en el mercado o lo puso en servicio ya no deba considerarse el proveedor a los efectos del presente Reglamento, y cuando dicho proveedor no haya excluido expresamente la transformación del sistema de IA en un sistema de IA de alto riesgo, el primer proveedor debe, no obstante, cooperar estrechamente, facilitar la información necesaria y proporcionar el acceso técnico u otra asistencia que quepa esperar razonablemente y que sean necesarios para el cumplimiento de las obligaciones establecidas en el presente Reglamento, en particular en lo que respecta al cumplimiento de la evaluación de la conformidad de los sistemas de IA de alto riesgo.
(86)
Lorsque, dans les conditions prévues par le présent règlement, le fournisseur qui a initialement mis sur le marché ou mis en service le système d’IA ne devrait plus être considéré comme le fournisseur aux fins du présent règlement, et lorsque ce fournisseur n’a pas expressément exclu le changement du système d’IA en un système d’IA à haut risque, ce fournisseur devrait néanmoins coopérer étroitement, mettre à disposition les informations nécessaires et fournir l’accès technique raisonnablement attendu et toute autre assistance qui sont requis pour le respect des obligations énoncées dans le présent règlement, notamment en ce qui concerne la conformité avec l’évaluation de la conformité des systèmes d’IA à haut risque.
(87)
Además, cuando un sistema de IA de alto riesgo que sea un componente de seguridad de un producto que entre dentro del ámbito de aplicación de un acto legislativo de armonización de la Unión basado en el nuevo marco legislativo no se introduzca en el mercado ni se ponga en servicio de forma independiente del producto, el fabricante del producto, tal como se define en el acto legislativo pertinente, debe cumplir las obligaciones que el presente Reglamento impone al proveedor y, en particular, debe garantizar que el sistema de IA integrado en el producto final cumpla los requisitos del presente Reglamento.
(87)
En outre, lorsqu’un système d’IA à haut risque qui est un composant de sécurité d’un produit relevant du champ d’application de la législation d’harmonisation de l’Union reposant sur le nouveau cadre législatif n’est pas mis sur le marché ou mis en service indépendamment du produit, le fabricant du produit défini par cette législation devrait se conformer aux obligations du fournisseur établies dans le présent règlement et devrait, en particulier, garantir que le système d’IA intégré dans le produit final est conforme aux exigences du présent règlement.
(88)
A lo largo de la cadena de valor de la IA, numerosas partes suministran a menudo no solo sistemas, herramientas y servicios de IA, sino también componentes o procesos que el proveedor incorpora al sistema de IA con diversos objetivos, como el entrenamiento de modelos, el reentrenamiento de modelos, la prueba y evaluación de modelos, la integración en el software u otros aspectos del desarrollo de modelos. Dichas partes desempeñan un papel importante en la cadena de valor en relación con el proveedor del sistema de IA de alto riesgo en el que se integran sus sistemas, herramientas, servicios, componentes o procesos de IA, y deben proporcionar a dicho proveedor, mediante acuerdo escrito, la información, las capacidades, el acceso técnico y demás asistencia que sean necesarios habida cuenta del estado actual de la técnica generalmente reconocido, a fin de que el proveedor pueda cumplir íntegramente las obligaciones establecidas en el presente Reglamento, sin comprometer sus propios derechos de propiedad intelectual e industrial o secretos comerciales.
(88)
Tout au long de la chaîne de valeur de l’IA, plusieurs parties fournissent souvent des systèmes, des outils et des services d’IA, mais aussi des composants ou des processus que le fournisseur intègre dans le système d’IA avec plusieurs objectifs, dont l’entraînement de modèles, le réentraînement de modèles, la mise à l’essai et l’évaluation de modèles, l’intégration dans des logiciels ou d’autres aspects du développement de modèles. Ces parties ont un rôle important à jouer dans la chaîne de valeur vis-à-vis du fournisseur du système d’IA à haut risque dans lequel leurs systèmes, outils, services, composants ou processus d’IA sont intégrés, et devraient fournir à ce fournisseur, en vertu d’un accord écrit, les informations, les capacités, l’accès technique et toute autre assistance nécessaires sur la base de l’état de la technique généralement reconnu, afin de lui permettre de se conformer pleinement aux obligations énoncées dans le présent règlement, sans compromettre leurs propres droits de propriété intellectuelle ou secrets d’affaires.
(89)
A los terceros que ponen a disposición del público herramientas, servicios, procesos o componentes de IA que no sean modelos de IA de uso general no se les debe imponer la obligación de cumplir los requisitos relativos a las responsabilidades a lo largo de la cadena de valor de la IA, en particular por lo que respecta al proveedor que haya utilizado o integrado dichas herramientas, servicios, procesos o componentes de IA, cuando el acceso a dichas herramientas, servicios, procesos o componentes de IA esté sujeto a una licencia libre y de código abierto. No obstante, se debe animar a los desarrolladores de herramientas, servicios, procesos o componentes de IA libres y de código abierto que no sean modelos de IA de uso general a que apliquen prácticas de documentación ampliamente adoptadas, como tarjetas de modelo y hojas de datos, como una forma de acelerar el intercambio de información a lo largo de la cadena de valor de la IA, permitiendo la promoción en la Unión de sistemas de IA fiables.
(89)
Les tiers qui rendent accessibles au public des outils, services, processus ou composants d’IA autres que des modèles d’IA à usage général ne devraient pas être tenus de se conformer aux exigences visant les responsabilités tout au long de la chaîne de valeur de l’IA, en particulier à l’égard du fournisseur qui les a utilisés ou intégrés, lorsque ces outils, services, processus ou composants d’IA sont rendus accessibles sous licence libre et ouverte. Les développeurs d’outils, de services, de processus ou de composants d’IA libres et ouverts autres que les modèles d’IA à usage général devraient être encouragés à mettre en œuvre des pratiques documentaires largement adoptées, telles que les cartes modèles et les fiches de données, afin d’accélérer le partage d’informations tout au long de la chaîne de valeur de l’IA, ce qui permettrait de promouvoir des systèmes d’IA fiables dans l’Union.
(90)
La Comisión podría elaborar y recomendar cláusulas contractuales tipo, de carácter voluntario, entre los proveedores de sistemas de IA de alto riesgo y los terceros que suministren herramientas, servicios, componentes o procesos que se utilicen o integren en los sistemas de IA de alto riesgo, a fin de facilitar la cooperación a lo largo de la cadena de valor. Cuando elabore estas cláusulas contractuales tipo de carácter voluntario, la Comisión también debe tener en cuenta los posibles requisitos contractuales aplicables en determinados sectores o modelos de negocio.
(90)
La Commission pourrait élaborer et recommander des clauses contractuelles types volontaires à établir entre les fournisseurs de systèmes d’IA à haut risque et les tiers qui fournissent des outils, des services, des composants ou des processus qui sont utilisés ou intégrés dans les systèmes d’IA à haut risque, afin de faciliter la coopération tout au long de la chaîne de valeur. Lorsqu’elle élabore des clauses contractuelles types volontaires, la Commission devrait aussi tenir compte des éventuelles exigences contractuelles applicables dans des secteurs ou des activités spécifiques.
(91)
Habida cuenta de las características de los sistemas de IA y de los riesgos que su uso lleva aparejado para la seguridad y los derechos fundamentales, también en lo que respecta a la necesidad de garantizar la correcta vigilancia del funcionamiento de un sistema de IA en un entorno real, conviene establecer las responsabilidades específicas de los responsables del despliegue. En particular, los responsables del despliegue deben adoptar las medidas técnicas y organizativas adecuadas para garantizar que utilizan los sistemas de IA de alto riesgo conforme a las instrucciones de uso. Además, es preciso definir otras obligaciones en relación con la vigilancia del funcionamiento de los sistemas de IA y la conservación de registros, según proceda. Asimismo, los responsables del despliegue deben garantizar que las personas encargadas de poner en práctica las instrucciones de uso y la supervisión humana establecidas en el presente Reglamento tengan las competencias necesarias, en particular un nivel adecuado de alfabetización, formación y autoridad en materia de IA para desempeñar adecuadamente dichas tareas. Dichas obligaciones deben entenderse sin perjuicio de otras obligaciones que tenga el responsable del despliegue en relación con los sistemas de IA de alto riesgo con arreglo al Derecho nacional o de la Unión.
(91)
Compte tenu de la nature des systèmes d’IA et des risques pour la sécurité et les droits fondamentaux potentiellement associés à leur utilisation, notamment en ce qui concerne la nécessité d’assurer un suivi adéquat de la performance d’un système d’IA dans un contexte réel, il convient de définir des responsabilités spécifiques pour les déployeurs. Les déployeurs devraient en particulier prendre des mesures techniques et organisationnelles appropriées pour pouvoir utiliser les systèmes d’IA à haut risque conformément à la notice d’utilisation, et certaines autres obligations devraient être prévues en ce qui concerne la surveillance du fonctionnement des systèmes d’IA et la tenue de registres, selon le cas. En outre, les déployeurs devraient veiller à ce que les personnes chargées de mettre en œuvre la notice d’utilisation et au contrôle humain des systèmes énoncées dans le présent règlement possèdent les compétences nécessaires, en particulier un niveau adéquat de maîtrise, de formation et d’autorité en matière d’IA pour s’acquitter correctement de ces tâches. Ces obligations devraient être sans préjudice des autres obligations des déployeurs en ce qui concerne les systèmes d’IA à haut risque en vertu du droit de l’Union ou du droit national.
(92)
El presente Reglamento se entiende sin perjuicio de la obligación de los empleadores de informar o de informar y consultar a los trabajadores o a sus representantes, en virtud del Derecho o las prácticas nacionales o de la Unión, incluida la Directiva 2002/14/CE del Parlamento Europeo y del Consejo (39), sobre la decisión de poner en servicio o utilizar sistemas de IA. Se debe velar por que se informe a los trabajadores y a sus representantes sobre el despliegue previsto de sistemas de IA de alto riesgo en el lugar de trabajo incluso aunque no se cumplan las condiciones de las citadas obligaciones de información o de información y consulta previstas en otros instrumentos jurídicos. Además, este derecho de información es accesorio y necesario para el objetivo de protección de los derechos fundamentales que subyace al presente Reglamento. Por consiguiente, debe establecerse en el presente Reglamento un requisito de información a tal efecto, sin que dicho requisito afecte a ningún derecho vigente de los trabajadores.
(92)
Le présent règlement est sans préjudice de l’obligation qu’ont les employeurs d’informer ou d’informer et de consulter les travailleurs ou leurs représentants en vertu du droit et des pratiques nationales ou de l’Union, y compris la directive 2002/14/CE du Parlement européen et du Conseil (39), sur les décisions de mise en service ou d’utilisation de systèmes d’IA. Il reste nécessaire de veiller à ce que les travailleurs et leurs représentants soient informés du déploiement prévu de systèmes d’IA à haut risque sur le lieu de travail lorsque les conditions de cette obligation d’information ou d’information et de consultation figurant dans d’autres instruments juridiques ne sont pas remplies. En outre, ce droit à l’information est accessoire et nécessaire à l’objectif de protection des droits fondamentaux qui sous-tend le présent règlement. Par conséquent, il convient de prévoir une obligation d’information à cet effet dans le présent règlement, sans porter atteinte aux droits existants des travailleurs.
(93)
Aunque los riesgos relacionados con los sistemas de IA pueden derivarse de su diseño, también pueden derivarse riesgos del uso que se hace de ellos. Por ello, los responsables del despliegue de un sistema de IA de alto riesgo desempeñan un papel fundamental a la hora de garantizar la protección de los derechos fundamentales, como complemento de las obligaciones del proveedor al desarrollar el sistema de IA. Los responsables del despliegue se encuentran en una posición óptima para comprender el uso concreto que se le dará al sistema de IA de alto riesgo y pueden, por lo tanto, detectar potenciales riesgos significativos que no se previeron en la fase de desarrollo, al tener un conocimiento más preciso del contexto de uso y de las personas o los colectivos de personas que probablemente se vean afectados, entre los que se incluyen colectivos vulnerables. Los responsables del despliegue de los sistemas de IA de alto riesgo que se enumeran en un anexo del presente Reglamento también desempeñan un papel fundamental a la hora de informar a las personas físicas y, cuando tomen decisiones o ayuden a tomar decisiones relacionadas con personas físicas, deben, en su caso, informar a las personas físicas de que son objeto de la utilización de un sistema de IA de alto riesgo. Esta información debe incluir la finalidad prevista y el tipo de decisiones que se toman. El responsable del despliegue también debe informar a las personas físicas de su derecho a una explicación con arreglo al presente Reglamento. Por lo que respecta a los sistemas de IA de alto riesgo que se utilizan a efectos de la garantía del cumplimiento del Derecho, esa obligación debe ejecutarse de conformidad con el artículo 13 de la Directiva (UE) 2016/680.
(93)
Si des risques liés aux systèmes d’IA peuvent découler de la manière dont ces systèmes sont conçus, ils peuvent également provenir de la manière dont ces systèmes d’IA sont utilisés. Les déployeurs de systèmes d’IA à haut risque jouent donc un rôle essentiel pour ce qui est de garantir la protection des droits fondamentaux, en complétant les obligations du fournisseur lors du développement du système d’IA. Les déployeurs sont les mieux placés pour comprendre comment le système d’IA à haut risque sera utilisé concrètement et peuvent donc identifier les risques importants potentiels qui n’étaient pas prévus au cours de la phase de développement, en raison d’une connaissance plus précise du contexte d’utilisation et des personnes ou groupes de personnes susceptibles d’être concernés, y compris les groupes vulnérables. Les déployeurs de systèmes d’IA à haut risque énumérés dans une annexe du présent règlement contribuent également de façon essentielle à informer les personnes physiques et devraient, lorsqu’ils prennent des décisions ou facilitent la prise de décisions concernant des personnes physiques, selon le cas, informer lesdites personnes physiques qu’elles sont soumises à l’utilisation du système d’IA à haut risque. Cette information devrait comprendre la destination du système et le type de décisions prises. Les déployeurs devraient aussi informer les personnes physiques de leur droit à une explication prévu par le présent règlement. En ce qui concerne les systèmes d’IA à haut risque utilisés à des fins répressives, cette obligation devrait être mise en œuvre conformément à l’article 13 de la directive (UE) 2016/680.
(94)
Todo tratamiento de datos biométricos que se produzca en el marco de la utilización de un sistema de IA para la identificación biométrica con fines de garantía del cumplimiento del Derecho debe cumplir lo dispuesto en el artículo 10 de la Directiva (UE) 2016/680, que permite dicho tratamiento solo cuando sea estrictamente necesario, con sujeción a las salvaguardias adecuadas para los derechos y libertades del interesado y cuando así lo autorice el Derecho de la Unión o de los Estados miembros. Dicho uso, cuando esté autorizado, también debe respetar los principios establecidos en el artículo 4, apartado 1, de la Directiva (UE) 2016/680, como, entre otros, que el tratamiento sea lícito y leal, la transparencia, la limitación de la finalidad, la exactitud y la limitación del plazo de conservación.
(94)
Tout traitement de données biométriques intervenant dans l’utilisation de systèmes d’IA à des fins d’identification biométrique de nature répressive doit être conforme à l’article 10 de la directive (UE) 2016/680, qui n’autorise un tel traitement que lorsque cela est strictement nécessaire, sous réserve de garanties appropriées pour les droits et libertés de la personne concernée, et lorsqu’il est autorisé par le droit de l’Union ou le droit d’un État membre. Une telle utilisation, lorsqu’elle est autorisée, doit également respecter les principes énoncés à l’article 4, paragraphe 1, de la directive (UE) 2016/680, notamment la licéité, la loyauté et la transparence, la limitation des finalités, l’exactitude et la limitation de la conservation.
(95)
Sin perjuicio del Derecho de la Unión aplicable, en particular el Reglamento (UE) 2016/679 y la Directiva (UE) 2016/680, teniendo en cuenta el carácter intrusivo de los sistemas de identificación biométrica remota en diferido, el uso de este tipo de sistemas debe estar sujeto a garantías. Los sistemas de identificación biométrica remota en diferido deben utilizarse siempre de manera proporcionada y legítima, en la medida de lo estrictamente necesario y, por ende, de forma selectiva por lo que respecta a las personas que deben identificarse, la ubicación y el alcance temporal y a partir de un conjunto limitado de datos de grabaciones de vídeo obtenidas legalmente. En cualquier caso, los sistemas de identificación biométrica remota en diferido no deben utilizarse en el marco de la garantía del cumplimiento del Derecho de tal forma que se produzca una vigilancia indiscriminada. Las condiciones para la identificación biométrica remota en diferido en ningún caso deben servir para eludir las condiciones de la prohibición y las estrictas excepciones aplicables a la identificación biométrica remota en tiempo real.
(95)
Sans préjudice du droit de l’Union applicable, en particulier le règlement (UE) 2016/679 et la directive (UE) 2016/680, et compte tenu de la nature intrusive des systèmes d’identification biométrique à distance a posteriori, l’utilisation de systèmes d’identification biométrique à distance a posteriori devrait être soumise à des garanties. Les systèmes d’identification biométrique à distance a posteriori devraient toujours être utilisés d’une manière proportionnée, légitime et strictement nécessaire, et donc ciblée, en ce qui concerne les personnes à identifier, le lieu et la portée temporelle et fondée sur un jeu de données fermé d’images vidéo légalement acquises. En tout état de cause, les systèmes d’identification biométrique à distance a posteriori ne devraient pas être utilisés dans le cadre d’activités répressives pour mener à une surveillance aveugle. Les conditions d’identification biométrique à distance a posteriori ne devraient en aucun cas constituer une base permettant de contourner les conditions applicables en ce qui concerne l’interdiction et les exceptions strictes pour l’identification biométrique à distance en temps réel.
(96)
A fin de garantizar eficazmente la protección de los derechos fundamentales, los responsables del despliegue de sistemas de IA de alto riesgo que sean organismos de Derecho público, o las entidades privadas que presten servicios públicos y los responsables del despliegue de determinados sistemas de IA de alto riesgo enumerados en un anexo del presente Reglamento, como las entidades bancarias o de seguros, deben llevar a cabo una evaluación de impacto relativa a los derechos fundamentales antes de su puesta en funcionamiento. Algunos servicios importantes para las personas que son de carácter público también pueden ser prestados por entidades privadas. Las entidades privadas que prestan estos servicios públicos se vinculan a funciones de interés público, por ejemplo, en el ámbito de la educación, la asistencia sanitaria, los servicios sociales, la vivienda y la administración de justicia. El objetivo de la evaluación de impacto relativa a los derechos fundamentales es que el responsable del despliegue determine los riesgos específicos para los derechos de las personas o colectivos de personas que probablemente se vean afectados y defina las medidas que deben adoptarse en caso de que se materialicen dichos riesgos. La evaluación de impacto debe llevarse a cabo antes del despliegue del sistema de IA de alto riesgo y debe actualizarse cuando el responsable del despliegue considere que alguno de los factores pertinentes ha cambiado. La evaluación de impacto debe determinar los procesos pertinentes del responsable del despliegue en los que se utilizará el sistema de IA de alto riesgo en consonancia con su finalidad prevista y debe incluir una descripción del plazo de tiempo y la frecuencia en que se pretende utilizar el sistema, así como de las categorías concretas de personas físicas y de colectivos de personas que probablemente se vean afectados por el uso del sistema de IA de alto riesgo en ese contexto de uso específico. La evaluación también debe determinar los riesgos de perjuicio específicos que probablemente afecten a los derechos fundamentales de dichas personas o colectivos. Al llevar a cabo esta evaluación, el responsable del despliegue debe tener en cuenta la información pertinente para una evaluación adecuada del impacto, lo que incluye, por ejemplo, la información facilitada por el proveedor del sistema de IA de alto riesgo en las instrucciones de uso. A la luz de los riesgos detectados, los responsables del despliegue deben determinar las medidas que han de adoptarse en caso de que se materialicen dichos riesgos, entre las que se incluyen, por ejemplo, sistemas de gobernanza para ese contexto de uso específico, como los mecanismos de supervisión humana con arreglo a las instrucciones de uso, los procedimientos de tramitación de reclamaciones y de recurso, ya que podrían ser fundamentales para mitigar los riesgos para los derechos fundamentales en casos de uso concretos. Tras llevar a cabo dicha evaluación de impacto, el responsable del despliegue debe notificarlo a la autoridad de vigilancia del mercado pertinente. Cuando proceda, para recopilar la información pertinente necesaria para llevar a cabo la evaluación de impacto, los responsables del despliegue de un sistema de IA de alto riesgo, en particular cuando el sistema de IA se utilice en el sector público, pueden contar con la participación de las partes interesadas pertinentes, como, por ejemplo, los representantes de colectivos de personas que probablemente se vean afectados por el sistema de IA, expertos independientes u organizaciones de la sociedad civil, en la realización de dichas evaluaciones de impacto y en el diseño de las medidas que deben adoptarse en caso de materialización de los riesgos. La Oficina Europea de Inteligencia Artificial (en lo sucesivo, «Oficina de IA») debe elaborar un modelo de cuestionario con el fin de facilitar el cumplimiento y reducir la carga administrativa para los responsables del despliegue.
(96)
Afin de garantir efficacement la protection des droits fondamentaux, les déployeurs de systèmes d’IA à haut risque qui sont des organismes de droit public ou des entités privées fournissant des services publics et des déployeurs de certains systèmes d’IA à haut risque énumérés dans une annexe du présent règlement, tels que des entités bancaires ou d’assurance, devraient procéder à une analyse d’impact de ces systèmes concernant les droits fondamentaux avant de les mettre en service. Les services à caractère public importants pour les personnes peuvent également être fournis par des entités privées. Les entités privées fournissant de tels services publics sont liées à des missions d’intérêt public dans des domaines tels que l’éducation, les soins de santé, les services sociaux, le logement et l’administration de la justice. L’analyse d’impact concernant les droits fondamentaux vise à ce que le déployeur identifie les risques spécifiques pour les droits des personnes ou groupes de personnes susceptibles d’être concernés et à ce qu’il détermine les mesures à prendre en cas de matérialisation de ces risques. L’analyse d’impact devrait être réalisée avant le premier déploiement du système d’IA à haut risque et être mise à jour lorsque le déployeur estime que l’un des facteurs pertinents a changé. L’analyse d’impact devrait identifier les processus pertinents du déployeur dans lesquels le système d’IA à haut risque sera utilisé conformément à sa destination, et devrait indiquer la durée pendant laquelle le système est destiné à être utilisé et selon quelle fréquence ainsi que les catégories spécifiques de personnes physiques et de groupes susceptibles d’être concernés dans le contexte spécifique d’utilisation. L’analyse devrait aussi déterminer les risques spécifiques de préjudice susceptibles d’avoir une incidence sur les droits fondamentaux de ces personnes ou groupes. Afin que cette analyse soit réalisée correctement, le déployeur devrait tenir compte des informations pertinentes, y compris, mais sans s’y limiter, les informations communiquées par le fournisseur du système d’IA à haut risque dans la notice d’utilisation. À la lumière des risques recensés, les déployeurs devraient déterminer les mesures à prendre en cas de matérialisation de ces risques, y compris, par exemple, les dispositions en matière de gouvernance dans ce contexte spécifique d’utilisation, telles que les dispositions pour le contrôle humain conformément à la notice d’utilisation ou les procédures de traitement des plaintes et de recours, en ce qu’elles pourraient contribuer à atténuer les risques pour les droits fondamentaux dans des cas d’utilisation concrets. Après avoir réalisé cette analyse d’impact, le déployeur devrait en informer l’autorité de surveillance du marché concernée. Le cas échéant, pour recueillir les informations pertinentes nécessaires à la réalisation de l’analyse d’impact, les déployeurs de systèmes d’IA à haut risque, en particulier lorsque des systèmes d’IA sont utilisés dans le secteur public, pourraient associer les parties prenantes concernées, y compris les représentants de groupes de personnes susceptibles d’être concernés par le système d’IA, les experts indépendants et les organisations de la société civile, à la réalisation de cette analyse d’impact et à la conception des mesures à prendre en cas de matérialisation des risques. Le Bureau européen de l’intelligence artificielle (ci-après dénommé «Bureau de l’IA») devrait élaborer un modèle de questionnaire afin de faciliter la mise en conformité et de réduire la charge administrative pesant sur les déployeurs.
(97)
El concepto de modelos de IA de uso general debe definirse claramente y diferenciarse del concepto de sistemas de IA con el fin de garantizar la seguridad jurídica. La definición debe basarse en las características funcionales esenciales de un modelo de IA de uso general, en particular la generalidad y la capacidad de realizar de manera competente una amplia variedad de tareas diferenciadas. Estos modelos suelen entrenarse usando grandes volúmenes de datos y a través de diversos métodos, como el aprendizaje autosupervisado, no supervisado o por refuerzo. Los modelos de IA de uso general pueden introducirse en el mercado de diversas maneras, por ejemplo, a través de bibliotecas, interfaces de programación de aplicaciones (API), como descarga directa o como copia física. Estos modelos pueden modificarse o perfeccionarse y transformarse en nuevos modelos. Aunque los modelos de IA son componentes esenciales de los sistemas de IA, no constituyen por sí mismos sistemas de IA. Los modelos de IA requieren que se les añadan otros componentes, como, por ejemplo, una interfaz de usuario, para convertirse en sistemas de IA. Los modelos de IA suelen estar integrados en los sistemas de IA y formar parte de dichos sistemas. El presente Reglamento establece normas específicas para los modelos de IA de uso general y para los modelos de IA de uso general que entrañan riesgos sistémicos, que deben aplicarse también cuando estos modelos estén integrados en un sistema de IA o formen parte de un sistema de IA. Debe entenderse que las obligaciones de los proveedores de modelos de IA de uso general deben aplicarse una vez que los modelos de IA de uso general se introduzcan en el mercado. Cuando el proveedor de un modelo de IA de uso general integre un modelo propio en un sistema de IA propio que se comercialice o ponga en servicio, se debe considerar que dicho modelo se ha introducido en el mercado y, por tanto, se deben seguir aplicando las obligaciones establecidas en el presente Reglamento en relación con los modelos, además de las establecidas en relación con los sistemas de IA. En cualquier caso, las obligaciones establecidas en relación con los modelos no deben aplicarse cuando un modelo propio se utilice en procesos puramente internos que no sean esenciales para suministrar un producto o un servicio a un tercero y los derechos de las personas físicas no se vean afectados. Teniendo en cuenta su potencial para causar efectos negativos importantes, los modelos de IA de uso general con riesgo sistémico deben estar siempre sujetos a las obligaciones pertinentes establecidas en el presente Reglamento. La definición no debe incluir los modelos de IA utilizados antes de su introducción en el mercado únicamente para actividades de investigación, desarrollo y creación de prototipos. Lo anterior se entiende sin perjuicio de la obligación de cumplir lo dispuesto en el presente Reglamento cuando, tras haber realizado dichas actividades, el modelo se introduzca en el mercado.
(97)
La notion de modèles d’IA à usage général devrait être clairement définie et distincte de la notion de systèmes d’IA afin de garantir la sécurité juridique. La définition devrait se fonder sur les principales caractéristiques fonctionnelles d’un modèle d’IA à usage général, en particulier la généralité et la capacité d’exécuter de manière compétente un large éventail de tâches distinctes. Ces modèles sont généralement entraînés avec de grandes quantités de données, au moyen de diverses méthodes, telles que l’apprentissage auto-supervisé, non supervisé ou par renforcement. Les modèles d’IA à usage général peuvent être mis sur le marché de différentes manières, notamment au moyen de bibliothèques, d’interfaces de programmation d’applications (API), de téléchargements directs ou de copies physiques. Ces modèles peuvent être modifiés ou affinés et ainsi se transformer en nouveaux modèles. Bien que les modèles d’IA soient des composants essentiels des systèmes d’IA, ils ne constituent pas en soi des systèmes d’IA. Les modèles d’IA nécessitent l’ajout d’autres composants, tels qu’une interface utilisateur, pour devenir des systèmes d’IA. Les modèles d’IA sont généralement intégrés dans les systèmes d’IA et en font partie. Le présent règlement prévoit des règles spécifiques pour les modèles d’IA à usage général et pour les modèles d’IA à usage général qui présentent des risques systémiques, lesquelles devraient également s’appliquer lorsque ces modèles sont intégrés dans un système d’IA ou en font partie. Il convient de considérer que les obligations incombant aux fournisseurs de modèles d’IA à usage général devraient s’appliquer une fois que ces modèles sont mis sur le marché. Lorsque le fournisseur d’un modèle d’IA à usage général intègre un propre modèle dans son propre système d’IA qui est mis à disposition sur le marché ou mis en service, ce modèle devrait être considéré comme étant mis sur le marché et, par conséquent, les obligations prévues par le présent règlement pour les modèles devraient continuer de s’appliquer en plus de celles applicables aux systèmes d’IA. Les obligations prévues pour les modèles ne devraient en aucun cas s’appliquer lorsqu’un propre modèle est utilisé pour des processus purement internes qui ne sont pas essentiels à la fourniture d’un produit ou d’un service à des tiers et que les droits des personnes physiques ne sont pas affectés. Compte tenu de leurs effets potentiellement très négatifs, les modèles d’IA à usage général présentant un risque systémique devraient toujours être soumis aux obligations pertinentes prévues par le présent règlement. La définition ne devrait pas couvrir les modèles d’IA utilisés avant leur mise sur le marché aux seules fins d’activités de recherche, de développement et de prototypage. Cela est sans préjudice de l’obligation de se conformer au présent règlement lorsque, à la suite de telles activités, un modèle est mis sur le marché.
(98)
Aunque la generalidad de un modelo también podría determinarse, entre otras cosas, mediante una serie de parámetros, debe considerarse que los modelos que tengan al menos mil millones de parámetros y se hayan entrenado con un gran volumen de datos utilizando la autosupervisión a escala presentan un grado significativo de generalidad y realizan de manera competente una amplia variedad de tareas diferenciadas.
(98)
Alors que la généralité d’un modèle pourrait, entre autres, également être déterminée par un nombre de paramètres, les modèles comptant au moins un milliard de paramètres et entraînés à l’aide d’un grand nombre de données utilisant l’auto-supervision à grande échelle devraient être considérés comme présentant une généralité significative et exécutant de manière compétente un large éventail de tâches distinctes.
(99)
Los grandes modelos de IA generativa son un ejemplo típico de un modelo de IA de uso general, ya que permiten la generación flexible de contenidos, por ejemplo, en formato de texto, audio, imágenes o vídeo, que pueden adaptarse fácilmente a una amplia gama de tareas diferenciadas.
(99)
Les grands modèles d’IA génératifs sont un exemple typique d’un modèle d’IA à usage général, étant donné qu’ils permettent la production flexible de contenus, tels que du texte, de l’audio, des images ou de la vidéo, qui peuvent aisément s’adapter à un large éventail de tâches distinctes.
(100)
Cuando un modelo de IA de uso general esté integrado en un sistema de IA o forme parte de él, este sistema debe considerarse un sistema de IA de uso general cuando, debido a esta integración, el sistema tenga la capacidad de servir a diversos fines. Un sistema de IA de uso general puede utilizarse directamente e integrarse en otros sistemas de IA.
(100)
Lorsqu’un modèle d’IA à usage général est intégré dans un système d’IA ou en fait partie, ce système devrait être considéré comme un système d’IA à usage général lorsque, en raison de cette intégration, ce système a la capacité de répondre à divers usages. Un système d’IA à usage général peut être utilisé directement ou être intégré dans d’autres systèmes d’IA.
(101)
Los proveedores de modelos de IA de uso general tienen una función y una responsabilidad particulares a lo largo de la cadena de valor de la IA, ya que los modelos que suministran pueden constituir la base de diversos sistemas de etapas posteriores, que a menudo son suministrados por proveedores posteriores que necesitan entender bien los modelos y sus capacidades, tanto para permitir la integración de dichos modelos en sus productos como para cumplir sus obligaciones en virtud del presente Reglamento o de otros reglamentos. Por consiguiente, deben establecerse medidas de transparencia proporcionadas, lo que incluye elaborar documentación y mantenerla actualizada y facilitar información sobre el modelo de IA de uso general para su uso por parte de los proveedores posteriores. El proveedor del modelo de IA de uso general debe elaborar y mantener actualizada la documentación técnica con el fin de ponerla a disposición, previa solicitud, de la Oficina de IA y de las autoridades nacionales competentes. Los elementos mínimos que debe contener dicha documentación deben establecerse en anexos específicos del presente Reglamento. La Comisión debe estar facultada para modificar dichos anexos mediante actos delegados en función de los avances tecnológicos.
(101)
Les fournisseurs de modèles d’IA à usage général ont un rôle et une responsabilité particuliers tout au long de la chaîne de valeur de l’IA, étant donné que les modèles qu’ils fournissent peuvent constituer la base d’une série de systèmes en aval, souvent fournis par des fournisseurs en aval, qui nécessitent une bonne compréhension des modèles et de leurs capacités, à la fois pour permettre l’intégration de ces modèles dans leurs produits et pour remplir les obligations qui leur incombent en vertu du présent règlement ou d’autres règlements. Par conséquent, des mesures de transparence proportionnées devraient être prévues, y compris l’élaboration et la tenue à jour de la documentation, et la fourniture d’informations sur le modèle d’IA à usage général en vue de son utilisation par les fournisseurs en aval. La documentation technique devrait être élaborée et tenue à jour par le fournisseur de modèles d’IA à usage général afin qu’elle puisse être mise, sur demande, à la disposition du Bureau de l’IA et des autorités nationales compétentes. L’ensemble minimal d’éléments à inclure dans cette documentation devrait figurer dans des annexes spécifiques du présent règlement. La Commission devrait être habilitée à modifier ces annexes par voie d’actes délégués à la lumière des évolutions technologiques.
(102)
El software y los datos, incluidos los modelos, divulgados con arreglo a una licencia libre y de código abierto que permita compartirlos abiertamente y que los usuarios puedan acceder a ellos, o a versiones modificadas de dicho software y dichos datos, o utilizarlos, modificarlos y redistribuirlos libremente, pueden contribuir a la investigación y la innovación en el mercado y pueden ofrecer importantes oportunidades de crecimiento para la economía de la Unión. Debe considerarse que los modelos de IA de uso general divulgados con arreglo a una licencia libre y de código abierto garantizan altos niveles de transparencia y apertura si sus parámetros, incluidos los pesos, la información sobre la arquitectura del modelo y la información sobre el uso del modelo, se ponen a disposición del público. La licencia debe considerarse libre y de código abierto cuando permita a los usuarios ejecutar, copiar, distribuir, estudiar, modificar y mejorar el software y los datos, incluidos los modelos a condición de que se cite al proveedor original del modelo, si se respetan unas condiciones de distribución idénticas o comparables.
(102)
Les logiciels et les données, y compris les modèles, publiés dans le cadre d’une licence libre et ouverte grâce à laquelle ils peuvent être partagés librement et qui permet aux utilisateurs de librement consulter, utiliser, modifier et redistribuer ces logiciels et données ou leurs versions modifiées peuvent contribuer à la recherche et à l’innovation sur le marché et offrir d’importantes possibilités de croissance pour l’économie de l’Union. Les modèles d’IA à usage général publiés sous licence libre et ouverte devraient être considérés comme garantissant des niveaux élevés de transparence et d’ouverture si leurs paramètres, y compris les poids, les informations sur l’architecture du modèle et les informations sur l’utilisation du modèle, sont rendus publics. La licence devrait également être considérée comme libre et ouverte lorsqu’elle permet aux utilisateurs d’exploiter, de copier, de distribuer, d’étudier, de modifier et d’améliorer les logiciels et les données, y compris les modèles, à condition que le fournisseur initial du modèle soit crédité et que les conditions de distribution identiques ou comparables soient respectées.
(103)
Los componentes de IA libres y de código abierto comprenden el software y los datos, incluidos los modelos y los modelos de IA de uso general, las herramientas, los servicios y los procesos de un sistema de IA. Los componentes de IA libres y de código abierto pueden suministrarse a través de diferentes canales, lo que incluye la posibilidad de desarrollarlos en repositorios abiertos. A los efectos del presente Reglamento, los componentes de IA que se suministren a cambio de una contraprestación o que se moneticen de cualquier otro modo, como, por ejemplo, mediante la prestación de apoyo técnico u otros servicios en relación con el componente de IA, ya sea a través de una plataforma de software o por otros medios, o mediante el uso de datos personales con fines que no se refieran exclusivamente a la mejora de la seguridad, la compatibilidad o la interoperabilidad del software, salvo si se trata de operaciones entre microempresas, no deben poder acogerse a las excepciones previstas para los componentes de IA libres y de código abierto. La disponibilidad de un componente de IA a través de repositorios abiertos no debe constituir, de por sí, una monetización.
(103)
Les composants d’IA libres et ouverts couvrent les logiciels et les données, y compris les modèles et les modèles à usage général, outils, services ou processus d’un système d’IA. Les composants d’IA libres et ouverts peuvent être fournis par différents canaux, y compris leur développement dans des référentiels ouverts. Aux fins du présent règlement, les composants d’IA qui sont fournis contre paiement ou monétisés, y compris par la fourniture d’un soutien technique ou d’autres services, notamment au moyen d’une plateforme logicielle, liés au composant d’IA, ou l’utilisation de données à caractère personnel pour des raisons autres qu’aux fins exclusives de l’amélioration de la sécurité, de la compatibilité ou de l’interopérabilité des logiciels, à l’exception des transactions entre micro-entreprises, ne devraient pas bénéficier des exceptions prévues pour les composants d’IA libres et ouverts. La mise à disposition de composants d’IA au moyen de référentiels ouverts ne devrait pas, en soi, constituer une monétisation.
(104)
Los proveedores de modelos de IA de uso general divulgados con arreglo a una licencia libre y de código abierto cuyos parámetros, incluidos los pesos, la información sobre la arquitectura del modelo y la información sobre el uso del modelo, se ponen a disposición del público deben estar sujetos a excepciones por lo que respecta a los requisitos de transparencia que se imponen a los modelos de IA de uso general, a menos que pueda considerarse que presentan un riesgo sistémico, en cuyo caso la circunstancia de que el modelo sea transparente y vaya acompañado de una licencia de código abierto no debe considerarse una razón suficiente para que quede exento del cumplimiento de las obligaciones establecidas en el presente Reglamento. En cualquier caso, dado que la divulgación de modelos de IA de uso general con arreglo a una licencia libre y de código abierto no necesariamente revela información sustancial sobre el conjunto de datos utilizado para entrenar el modelo o realizar ajustes en relación con este ni sobre la manera en que se garantizó el cumplimiento del Derecho en materia de derechos de autor, la excepción prevista para los modelos de IA de uso general en relación con el cumplimiento de los requisitos de transparencia no debe eximir de la obligación de presentar un resumen del contenido utilizado para el entrenamiento del modelo ni de la obligación de adoptar directrices para el cumplimiento del Derecho de la Unión en materia de derechos de autor, en particular para identificar y respetar la reserva de derechos prevista en el artículo 4, apartado 3, de la Directiva (UE) 2019/790 del Parlamento Europeo y del Consejo (40).
(104)
Les fournisseurs de modèles d’IA à usage général qui sont publiés sous licence libre et ouverte et dont les paramètres, y compris les poids, les informations sur l’architecture des modèles et les informations sur l’utilisation des modèles, sont rendus publics devraient faire l’objet d’exceptions en ce qui concerne les exigences en matière de transparence imposées pour les modèles d’IA à usage général, à moins que les modèles ne puissent être considérés comme présentant un risque systémique, auquel cas le fait que les modèles soient transparents et accompagnés d’une licence ouverte ne devrait pas être considéré comme une raison suffisante pour exclure le respect des obligations prévues par le présent règlement. En tout état de cause, étant donné que la publication de modèles d’IA à usage général sous licence libre et ouverte ne révèle pas nécessairement des informations importantes sur le jeu de données utilisé pour l’entraînement ou de réglage fin du modèle et sur la manière dont le respect de la législation sur le droit d’auteur a été assuré, l’exception prévue pour les modèles d’IA à usage général en ce qui concerne les exigences en matière de transparence ne devrait pas concerner l’obligation de produire un résumé du contenu utilisé pour l’entraînement des modèles ni l’obligation de mettre en place une politique visant à respecter la législation de l’Union sur le droit d’auteur, en particulier pour identifier et respecter la réservation de droits au titre de l’article 4, paragraphe 3, de la directive (UE) 2019/790 du Parlement européen et du Conseil (40).
(105)
Los modelos de IA de uso general, en particular los grandes modelos de IA generativos, capaces de generar texto, imágenes y otros contenidos, presentan unas oportunidades de innovación únicas, pero también representan un desafío para los artistas, autores y demás creadores y para la manera en que se crea, distribuye, utiliza y consume su contenido creativo. El desarrollo y el entrenamiento de estos modelos requiere acceder a grandes cantidades de texto, imágenes, vídeos y otros datos. Las técnicas de prospección de textos y datos pueden utilizarse ampliamente en este contexto para la recuperación y el análisis de tales contenidos, que pueden estar protegidos por derechos de autor y derechos afines. Todo uso de contenidos protegidos por derechos de autor requiere la autorización del titular de los derechos de que se trate, salvo que se apliquen las excepciones y limitaciones pertinentes en materia de derechos de autor. La Directiva (UE) 2019/790 introdujo excepciones y limitaciones que permiten reproducciones y extracciones de obras y otras prestaciones con fines de prospección de textos y datos en determinadas circunstancias. Con arreglo a estas normas, los titulares de derechos pueden optar por reservarse sus derechos en relación con sus obras u otras prestaciones para evitar la prospección de textos y datos, salvo que su finalidad sea la investigación científica. Cuando el titular del derecho se haya reservado de manera adecuada el derecho de exclusión, los proveedores de modelos de IA de uso general deben obtener su autorización para llevar a cabo una prospección de textos y datos con dichas obras.
(105)
Les modèles d’IA à usage général, en particulier les grands modèles d’IA génératifs, capables de générer du texte, des images et d’autres contenus, présentent des possibilités d’innovation uniques mais aussi des défis pour les artistes, les auteurs et les autres créateurs, et la manière dont leur contenu créatif est créé, distribué, utilisé et consommé. Le développement et l’entraînement de ces modèles requièrent un accès à de grandes quantités de texte, d’images, de vidéos et d’autres données. Les techniques de fouille de textes et de données peuvent être largement utilisées dans ce contexte pour extraire et analyser ces contenus, qui peuvent être protégés par le droit d’auteur et les droits voisins. Toute utilisation d’un contenu protégé par le droit d’auteur nécessite l’autorisation du titulaire de droits concerné, à moins que des exceptions et limitations pertinentes en matière de droit d’auteur ne s’appliquent. La directive (UE) 2019/790 a introduit des exceptions et des limitations autorisant les reproductions et extractions d’œuvres ou d’autres objets protégés aux fins de la fouille de textes et de données, sous certaines conditions. En vertu de ces règles, les titulaires de droits peuvent choisir de réserver leurs droits sur leurs œuvres ou autres objets protégés afin d’empêcher la fouille de textes et de données, à moins que celle-ci ne soit effectuée à des fins de recherche scientifique. Lorsque les droits d’exclusion ont été expressément réservés de manière appropriée, les fournisseurs de modèles d’IA à usage général doivent obtenir une autorisation des titulaires de droits s’ils souhaitent procéder à une fouille de textes et de données sur ces œuvres.
(106)
Los proveedores que introduzcan modelos de IA de uso general en el mercado de la Unión deben garantizar el cumplimiento de las obligaciones pertinentes establecidas en el presente Reglamento. A tal fin, los proveedores de modelos de IA de uso general deben adoptar directrices para el cumplimiento del Derecho de la Unión en materia de derechos de autor y derechos afines, en particular para detectar y cumplir la reserva de derechos expresada por los titulares de derechos con arreglo al artículo 4, apartado 3, de la Directiva (UE) 2019/790. Todo proveedor que introduzca un modelo de IA de uso general en el mercado de la Unión debe cumplir esta obligación, independientemente de la jurisdicción en la que tengan lugar los actos pertinentes en materia de derechos de autor que sustentan el entrenamiento de dichos modelos de IA de uso general. Esta medida es necesaria para garantizar unas condiciones de competencia equitativas entre los proveedores de modelos de IA de uso general que impidan que un proveedor obtenga una ventaja competitiva en el mercado de la Unión aplicando normas en materia de derechos de autor menos estrictas que las establecidas en la Unión.
(106)
Les fournisseurs qui mettent des modèles d’IA à usage général sur le marché de l’Union devraient veiller au respect des obligations pertinentes prévues par le présent règlement. À cette fin, les fournisseurs de modèles d’IA à usage général devraient mettre en place une politique visant à respecter la législation de l’Union sur le droit d’auteur et les droits voisins, en particulier pour identifier et respecter la réservation de droits exprimées par les titulaires de droits conformément à l’article 4, paragraphe 3, de la directive (UE) 2019/790. Tout fournisseur qui met un modèle d’IA à usage général sur le marché de l’Union devrait se conformer à cette obligation, quelle que soit la juridiction dans laquelle se déroulent les actes pertinents au titre du droit d’auteur qui sous-tendent l’entraînement de ces modèles d’IA à usage général. Cela est nécessaire pour garantir des conditions de concurrence équitables entre les fournisseurs de modèles d’IA à usage général, lorsqu’aucun fournisseur ne devrait pouvoir obtenir un avantage concurrentiel sur le marché de l’Union en appliquant des normes en matière de droit d’auteur moins élevées que celles prévues dans l’Union.
(107)
Con el fin de aumentar la transparencia en relación con los datos utilizados en el entrenamiento previo y el entrenamiento de los modelos de IA de uso general, incluidos los textos y los datos protegidos por el Derecho en materia de derechos de autor, procede que los proveedores de dichos modelos elaboren y pongan a disposición del público un resumen suficientemente detallado de los contenidos utilizados para el entrenamiento del modelo de IA de uso general. Este resumen debe tener debidamente en cuenta la necesidad de proteger los secretos comerciales y la información empresarial confidencial y, al mismo tiempo, debe ser exhaustivo en general en su alcance en vez de técnicamente detallado, a fin de facilitar que las partes con intereses legítimos, incluidos los titulares de derechos de autor, ejerzan y hagan cumplir sus derechos en virtud del Derecho de la Unión, por ejemplo, enumerando los principales conjuntos o recopilaciones de datos que hayan servido para entrenar al modelo, como los grandes archivos de datos o bases de datos privados o públicos, y proporcionando una explicación descriptiva sobre otras fuentes de datos utilizadas. Conviene que la Oficina de IA proporcione un modelo para el resumen, que debe ser sencillo y eficaz y permitir que el proveedor proporcione el resumen requerido en forma descriptiva.
(107)
Afin d’accroître la transparence concernant les données utilisées dans le cadre de l’entraînement préalable et de l’entraînement des modèles d’IA à usage général, y compris le texte et les données protégés par la législation sur le droit d’auteur, il convient que les fournisseurs de ces modèles élaborent et mettent à la disposition du public un résumé suffisamment détaillé du contenu utilisé pour entraîner les modèles d’IA à usage général. Tout en tenant dûment compte de la nécessité de protéger les secrets d’affaires et les informations commerciales confidentielles, ce résumé devrait être généralement complet en termes de contenu plutôt que détaillé sur le plan technique afin d’aider les parties ayant des intérêts légitimes, y compris les titulaires de droits d’auteur, à exercer et à faire respecter les droits que leur confère la législation de l’Union, par exemple en énumérant les principaux jeux ou collections de données utilisés pour entraîner le modèle, tels que les archives de données ou bases de données publiques ou privées de grande ampleur, et en fournissant un texte explicatif sur les autres sources de données utilisées. Il convient que le Bureau de l’IA fournisse un modèle de résumé, qui devrait être simple et utile et permettre au fournisseur de fournir le résumé requis sous forme descriptive.
(108)
Por lo que se refiere a las obligaciones impuestas a los proveedores de modelos de IA de uso general de adoptar directrices para el cumplimiento del Derecho de la Unión en materia de derechos de autor y de poner a disposición del público un resumen de los contenidos utilizados para el entrenamiento, la Oficina de IA debe supervisar si el proveedor ha cumplido dichas obligaciones sin verificar ni proceder a una evaluación obra por obra de los datos de entrenamiento en cuanto al respeto de los derechos de autor. El presente Reglamento no afecta al cumplimiento de las normas en materia de derechos de autor previstas en el Derecho de la Unión.
(108)
En ce qui concerne l’obligation imposée aux fournisseurs de modèles d’IA à usage général de mettre en place une politique visant à respecter la législation de l’Union sur le droit d’auteur et de mettre à la disposition du public un résumé du contenu utilisé pour l’entraînement, le Bureau de l’IA devrait vérifier si le fournisseur a rempli cette obligation sans vérifier ou évaluer œuvre par œuvre les données d’entraînement en ce qui concerne le respect du droit d’auteur. Le présent règlement n’affecte pas l’application des règles en matière de droit d’auteur prévues par la législation de l’Union.
(109)
El cumplimiento de las obligaciones aplicables a los proveedores de modelos de IA de uso general debe ser proporcionado y adecuado al tipo de proveedor de modelos. Debe eximirse de la obligación de cumplimiento a las personas que desarrollan o utilizan modelos con fines no profesionales o de investigación científica. No obstante, debe animarse a estas personas a cumplir voluntariamente estos requisitos. Sin perjuicio del Derecho de la Unión en materia de derechos de autor, el cumplimiento de esas obligaciones debe tener debidamente en cuenta el tamaño del proveedor y permitir formas simplificadas de cumplimiento para las pymes, incluidas las empresas emergentes, que no deben suponer un coste excesivo ni desincentivar el uso de dichos modelos. En caso de que se modifique o ajuste un modelo, las obligaciones de los proveedores de modelos de IA de uso general deben limitarse a esa modificación o esos ajustes, por ejemplo, complementando la documentación técnica ya existente con información sobre las modificaciones, incluidas las nuevas fuentes de datos de entrenamiento, para cumplir las obligaciones relacionadas con la cadena de valor establecidas en el presente Reglamento.
(109)
Le respect des obligations applicables aux fournisseurs de modèles d’IA à usage général devrait correspondre et être proportionné au type de fournisseur de modèles, excluant la nécessité de se conformer pour les personnes qui développent ou utilisent des modèles à des fins non professionnelles ou de recherche scientifique, lesquelles devraient néanmoins être encouragées à se conformer volontairement à ces exigences. Sans préjudice de la législation de l’Union sur le droit d’auteur, le respect de ces obligations devrait tenir dûment compte de la taille du fournisseur et permettre aux PME, y compris aux jeunes pousses, de recourir à des méthodes simplifiées de mise en conformité qui ne devraient pas représenter un coût excessif et décourager l’utilisation de tels modèles. En cas de modification ou de réglage fin d’un modèle, les obligations incombant aux fournisseurs de modèles d’IA à usage général devraient se limiter à cette modification ou à ce réglage fin, par exemple en complétant la documentation technique existante avec des informations sur les modifications, y compris les nouvelles sources de données d’entraînement, aux fins de conformité avec les obligations relatives à la chaîne de valeur prévues par le présent règlement.
(110)
Los modelos de IA de uso general pueden plantear riesgos sistémicos, por ejemplo, cualquier efecto negativo real o razonablemente previsible en relación con accidentes graves, perturbaciones de sectores críticos y consecuencias graves para la salud y la seguridad públicas, cualquier efecto negativo real o razonablemente previsible sobre los procesos democráticos y la seguridad pública y económica o la difusión de contenidos ilícitos, falsos o discriminatorios. Debe entenderse que los riesgos sistémicos aumentan con las capacidades y el alcance de los modelos, pueden surgir durante todo el ciclo de vida del modelo y se ven influidos por las condiciones de uso indebido, la fiabilidad del modelo, la equidad y la seguridad del modelo, el nivel de autonomía del modelo, su acceso a herramientas, modalidades novedosas o combinadas, las estrategias de divulgación y distribución, la posibilidad de eliminar las salvaguardias y otros factores. En particular, los enfoques internacionales han establecido hasta la fecha la necesidad de prestar atención a los riesgos derivados de posibles usos indebidos intencionados o de problemas en materia de control relacionados con la armonización con la intención humana no deseados, a los riesgos químicos, biológicos, radiológicos y nucleares, como las maneras en que las barreras a la entrada pueden reducirse, también para el desarrollo, el diseño, la adquisición o el uso de armas, a las cibercapacidades ofensivas, como las maneras en que pueden propiciarse el descubrimiento, la explotación o el uso operativo de vulnerabilidades, a los efectos de la interacción y el uso de herramientas, incluida, por ejemplo, la capacidad de controlar sistemas físicos e interferir en el funcionamiento de infraestructuras críticas, a los riesgos derivados del hecho que los modelos hagan copias de sí mismos o se «autorrepliquen» o entrenen a otros modelos, a las maneras en que los modelos pueden dar lugar a sesgos dañinos y discriminación que entrañan riesgos para las personas, las comunidades o las sociedades, a la facilitación de la desinformación o el menoscabo de la intimidad, que suponen una amenaza para los valores democráticos y los derechos humanos, al riesgo de que un acontecimiento concreto dé lugar a una reacción en cadena con efectos negativos considerables que podrían afectar incluso a una ciudad entera, un ámbito de actividad entero o una comunidad entera.
(110)
Les modèles d’IA à usage général pourraient présenter des risques systémiques qui comprennent, sans s’y limiter, tout effet négatif réel ou raisonnablement prévisible en rapport avec des accidents majeurs, des perturbations de secteurs critiques et des conséquences graves pour la santé et la sécurité publiques, tout effet négatif réel ou raisonnablement prévisible sur les processus démocratiques, la sécurité publique et la sécurité économique, et la diffusion de contenus illicites, faux ou discriminatoires. Les risques systémiques devraient être perçus comme augmentant avec les capacités et la portée du modèle, peuvent survenir tout au long du cycle de vie du modèle et sont influencés par les conditions de mauvaise utilisation, la fiabilité du modèle, l’équité et la sécurité du modèle, le niveau d’autonomie du modèle, son accès aux outils, les modalités nouvelles ou combinées, les stratégies de publication et de distribution, le potentiel de suppression des garde-fous et d’autres facteurs. En particulier, les approches internationales ont jusqu’à présent mis en évidence la nécessité de prêter attention aux risques liés à une potentielle mauvaise utilisation intentionnelle ou à des problèmes non intentionnels de contrôle liés à l’alignement sur l’intention humaine, aux risques chimiques, biologiques, radiologiques et nucléaires, tels que les moyens d’abaisser les barrières à l’entrée, y compris pour la mise au point, l’acquisition ou l’utilisation d’armes, aux cybercapacités offensives, tels que les moyens permettant la découverte, l’exploitation ou l’utilisation opérationnelle de vulnérabilités, aux effets de l’interaction et de l’utilisation des outils, y compris, par exemple, la capacité de contrôler les systèmes physiques et d’interférer avec les infrastructures critiques, aux risques liés à la possibilité que les modèles fassent des copies d’eux-mêmes ou «s’auto-reproduisent» ou qu’ils entraînent d’autres modèles, à la manière dont les modèles peuvent donner lieu à des préjugés et des discriminations préjudiciables présentant des risques pour les individus, les communautés ou les sociétés, à la facilitation de la désinformation ou au préjudice porté à la vie privée par des menaces pour les valeurs démocratiques et les droits de l’homme, et au risque qu’un événement particulier entraîne une réaction en chaîne s’accompagnant d’effets négatifs considérables qui pourraient aller jusqu’à affecter toute une ville, tout un secteur d’activité ou toute une communauté.
(111)
Conviene establecer una metodología para la clasificación de los modelos de IA de uso general como modelos de IA de uso general con riesgos sistémicos. Dado que los riesgos sistémicos se derivan de capacidades especialmente elevadas, debe considerarse que un modelo de IA de uso general presenta riesgos sistémicos si tiene capacidades de gran impacto —evaluadas mediante herramientas y metodologías técnicas adecuadas— o unas repercusiones considerables en el mercado interior debido a su alcance. Las capacidades de gran impacto en modelos de IA de uso general son capacidades que igualan o superan las capacidades mostradas por los modelos de IA de uso general más avanzados. La introducción en el mercado de un modelo o las interacciones de los responsables del despliegue con él permiten comprender mejor el conjunto de sus capacidades. Según el estado de la técnica en el momento de la entrada en vigor del presente Reglamento, la cantidad acumulada de cálculo utilizado para el entrenamiento del modelo de IA de uso general, medida en operaciones de coma flotante, es una de las aproximaciones pertinentes para las capacidades del modelo. La cantidad acumulada de cálculo utilizado para el entrenamiento incluye los cálculos utilizados en las distintas actividades y métodos destinados a mejorar las capacidades del modelo antes del despliegue, como el entrenamiento previo, la generación de datos sintéticos y la realización de ajustes. Por lo tanto, debe establecerse un umbral inicial de operaciones de coma flotante que, de ser alcanzado por un modelo de IA de uso general, dé lugar a la presunción de que el modelo es un modelo de IA de uso general con riesgos sistémicos. Este umbral deberá irse ajustando para reflejar los cambios tecnológicos e industriales, como las mejoras algorítmicas o el aumento de la eficiencia del hardware, y debe complementarse con parámetros de referencia e indicadores de la capacidad de los modelos. Para fundamentar esto, la Oficina de IA debe colaborar con la comunidad científica, la industria, la sociedad civil y otros expertos. Los umbrales, así como las herramientas y los parámetros de referencia para la evaluación de las capacidades de gran impacto, deben servir para predecir con fiabilidad la generalidad, las capacidades y el riesgo sistémico asociado de los modelos de IA de uso general, y podrían tener en cuenta la manera en que el modelo se introducirá en el mercado o el número de usuarios a los que podría afectar. Para complementar este sistema, la Comisión debe poder adoptar decisiones individuales por las que se designe un modelo de IA de uso general como modelo de IA de uso general con riesgo sistémico si se determina que dicho modelo tiene capacidades o repercusiones equivalentes a las reflejadas por el umbral establecido. Dicha decisión debe adoptarse atendiendo a una evaluación global de los criterios para la designación de modelos de IA de uso general con riesgo sistémico establecidos en un anexo del presente Reglamento, como la calidad o el tamaño del conjunto de datos de entrenamiento, el número de usuarios profesionales y finales, sus modalidades de entrada y de salida, su nivel de autonomía y escalabilidad o las herramientas a las que tiene acceso. Previa solicitud motivada de un proveedor cuyo modelo haya sido designado como modelo de IA de uso general con riesgo sistémico, la Comisión debe tener en cuenta la solicitud y podrá decidir reevaluar si puede seguir considerándose que el modelo de IA de uso general presenta riesgos sistémicos.
(111)
Il convient d’établir une méthode de classification des modèles d’IA à usage général en tant que modèle d’IA à usage général présentant des risques systémiques. Étant donné que les risques systémiques résultent de capacités particulièrement élevées, un modèle d’IA à usage général devrait être considéré comme présentant des risques systémiques s’il a des capacités à fort impact, évaluées sur la base de méthodologies et d’outils techniques appropriés, ou une incidence significative sur le marché intérieur en raison de sa portée. Les capacités à fort impact des modèles d’IA à usage général sont des capacités égales ou supérieures aux capacités des modèles d’IA à usage général les plus avancés. L’éventail complet des capacités d’un modèle pourrait être mieux compris après sa mise sur le marché ou lorsque les déployeurs interagissent avec le modèle. Selon l’état de la technique au moment de l’entrée en vigueur du présent règlement, la quantité cumulée de calculs utilisée pour l’entraînement du modèle d’IA à usage général mesurée en opérations en virgule flottante est l’une des approximations pertinentes pour les capacités du modèle. La quantité cumulée de calculs utilisée pour l’entraînement inclut les calculs utilisés pour l’ensemble des activités et méthodes destinées à renforcer les capacités du modèle avant le déploiement, telles que l’entraînement préalable, la production de données synthétiques et le réglage fin. Par conséquent, il convient de fixer un seuil initial d’opérations en virgule flottante, qui, s’il est atteint par un modèle d’IA à usage général, conduit à présumer qu’il s’agit d’un modèle d’IA à usage général présentant des risques systémiques. Ce seuil devrait être ajusté au fil du temps pour tenir compte des évolutions technologiques et industrielles, telles que les améliorations algorithmiques ou l’amélioration de l’efficacité des matériels, et être complété par des critères de référence et des indicateurs pour la capacité du modèle. À cette fin, le Bureau de l’IA devrait coopérer avec la communauté scientifique, l’industrie, la société civile et d’autres experts. Les seuils, ainsi que les outils et les critères de référence pour l’évaluation des capacités à fort impact, devraient être de bons indicateurs de la généralité et des capacités des modèles d’IA à usage général ainsi que du risque systémique qui y est associé, et pourraient tenir compte de la manière dont le modèle sera mis sur le marché ou du nombre d’utilisateurs qu’il pourrait affecter. Afin de compléter ce système, la Commission devrait avoir la possibilité de prendre des décisions individuelles désignant un modèle d’IA à usage général comme modèle d’IA à usage général présentant un risque systémique s’il est constaté que ce modèle a des capacités ou une incidence équivalentes à celles relevant du seuil fixé. Ces décisions devraient être prises sur la base d’une évaluation globale des critères de désignation des modèles d’IA à usage général présentant un risque systémique énoncés dans une annexe du présent règlement, tels que la qualité ou la taille du jeu de données d’entraînement, le nombre d’utilisateurs professionnels et finaux du modèle, ses modalités d’entrée et de sortie, son niveau d’autonomie et d’évolutivité, ou les outils auxquels il a accès. Sur demande motivée d’un fournisseur dont le modèle a été désigné comme modèle d’IA à usage général présentant un risque systémique, la Commission devrait tenir compte de la demande et peut décider de réévaluer si le modèle d’IA à usage général peut encore être considéré comme présentant un risque systémique.
(112)
También es necesario aclarar un procedimiento para la clasificación de un modelo de IA de uso general con riesgos sistémicos. Debe presumirse que un modelo de IA de uso general que alcanza el umbral aplicable para las capacidades de gran impacto es un modelo de IA de uso general con riesgo sistémico. El proveedor debe enviar una notificación a la Oficina de IA a más tardar dos semanas después de que se cumplan los requisitos o de que se sepa que un modelo de IA de uso general cumplirá los requisitos que conducen a la presunción. Esto es especialmente pertinente en relación con el umbral de operaciones de coma flotante, ya que el entrenamiento de los modelos de IA de uso general requiere una planificación considerable que incluye la asignación previa de recursos computacionales y, por tanto, los proveedores de modelos de IA de uso general pueden saber si su modelo alcanzará el umbral antes del fin del entrenamiento. En el contexto de dicha notificación, el proveedor debe poder demostrar que, debido a sus características específicas, un modelo de IA de uso general no presenta excepcionalmente riesgos sistémicos y que, por tanto, no debe clasificarse como modelo de IA de uso general con riesgos sistémicos. Esa información es valiosa para que la Oficina de IA anticipe la introducción en el mercado de modelos de IA de uso general con riesgos sistémicos y para que los proveedores pueden empezar a colaborar con la Oficina de IA en una fase temprana. Dicha información es especialmente importante cuando esté previsto divulgar un modelo de IA de uso general como modelo de código abierto, dado que, tras la divulgación de modelos de código abierto, puede resultar más difícil aplicar las medidas necesarias para garantizar el cumplimiento de las obligaciones establecidas en el presente Reglamento.
(112)
Il convient également d’établir de façon précise une procédure de classification d’un modèle d’IA à usage général présentant un risque systémique. Il convient de présumer qu’un modèle d’IA à usage général qui atteint le seuil applicable pour les capacités à fort impact est un modèle d’IA à usage général présentant un risque systémique. Le fournisseur devrait informer le Bureau de l’IA au plus tard deux semaines après que les exigences ont été remplies ou qu’il a été établi qu’un modèle d’IA à usage général répondra aux exigences qui conduisent à la présomption. Cela est particulièrement important en ce qui concerne le seuil d’opérations en virgule flottante, car l’entraînement des modèles d’IA à usage général nécessite une planification considérable qui inclut l’allocation préalable des ressources de calcul, et, par conséquent, les fournisseurs de modèles d’IA à usage général sont en mesure de savoir si leur modèle atteindra le seuil avant l’achèvement de l’entraînement. Dans le cadre de cette information, le fournisseur devrait pouvoir démontrer que, en raison de ses caractéristiques spécifiques, un modèle d’IA à usage général ne présente pas, exceptionnellement, de risques systémiques et qu’il ne devrait donc pas être classé comme modèle d’IA à usage général présentant des risques systémiques. Ces éléments d’information sont utiles pour le Bureau de l’IA en ce qu’ils lui permettent d’anticiper la mise sur le marché de modèles d’IA à usage général présentant des risques systémiques, et les fournisseurs peuvent ainsi commencer à coopérer avec le Bureau de l’IA à un stade précoce. Ils sont particulièrement importants en ce qui concerne les modèles d’IA à usage général qu’il est prévu de publier en tant que source ouverte, étant donné que, après la publication des modèles de source ouverte, les mesures nécessaires pour garantir le respect des obligations prévues par le présent règlement peuvent être plus difficiles à mettre en œuvre.
(113)
Si la Comisión descubre que un modelo de IA de uso general del que no tenía conocimiento o que el proveedor pertinente no le había notificado cumple los requisitos para ser clasificado como modelo de IA de uso general con riesgo sistémico, la Comisión debe estar facultada para designarlo. Además de las actividades de supervisión de la Oficina de IA, un sistema de alertas cualificadas debe garantizar que la Oficina de IA sea informada por el grupo de expertos científicos de la existencia de modelos de IA de uso general que podrían ser clasificados como modelos de IA de uso general con riesgo sistémico.
(113)
Si la Commission prend connaissance du fait qu’un modèle d’IA à usage général satisfait aux exigences de classification en tant que modèle d’IA à usage général présentant un risque systémique, qui n’était pas connu auparavant ou dont le fournisseur concerné n’avait pas informé la Commission, celle-ci devrait être habilitée à désigner ce modèle comme tel. Un système d’alertes qualifiées devrait garantir que le Bureau de l’IA est informé par le panel scientifique des modèles d’IA à usage général qui devraient éventuellement être classés comme modèles d’IA à usage général présentant un risque systémique, en plus des activités de suivi du Bureau de l’IA.
(114)
Los proveedores de modelos de IA de uso general que presenten riesgos sistémicos deben estar sujetos, además de a las obligaciones impuestas a los proveedores de modelos de IA de uso general, a obligaciones encaminadas a detectar y atenuar dichos riesgos y a garantizar un nivel adecuado de protección en materia de ciberseguridad, independientemente de si dichos modelos se ofrecen como modelos independientes o están integrados en sistemas de IA o en productos. Para alcanzar esos objetivos, el presente Reglamento debe exigir a los proveedores que lleven a cabo las evaluaciones de los modelos necesarias, en particular antes de la primera introducción en el mercado, y que, por ejemplo, lleven a cabo y documenten pruebas de simulación de adversarios, también, según proceda, mediante pruebas externas independientes o pruebas internas. Además, los proveedores de modelos de IA de uso general con riesgos sistémicos deben evaluar y mitigar continuamente los riesgos sistémicos, por ejemplo, mediante el establecimiento de políticas de gestión de riesgos, como procesos de rendición de cuentas y gobernanza, la puesta en práctica de la vigilancia poscomercialización, la adopción de medidas adecuadas durante todo el ciclo de vida del modelo y la cooperación con los agentes pertinentes a lo largo de la cadena de valor de la IA.
(114)
Les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient être soumis non seulement aux obligations prévues pour les fournisseurs de modèles d’IA à usage général mais aussi à des obligations visant à identifier et à atténuer ces risques et à garantir un niveau adéquat de protection de la cybersécurité, que les modèles en question soient fournis en tant que modèles autonomes ou qu’ils soient intégrés dans un système ou un produit d’IA. Pour atteindre ces objectifs, le présent règlement devrait exiger des fournisseurs qu’ils effectuent les évaluations nécessaires des modèles, en particulier avant leur première mise sur le marché, y compris la réalisation et la documentation d’essais contradictoires des modèles, ainsi que, le cas échéant, au moyen d’essais internes ou externes indépendants. En outre, les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient évaluer et atténuer en permanence les risques systémiques, y compris, par exemple, en mettant en place des politiques de gestion des risques, telles que des processus de responsabilité et de gouvernance, en mettant en œuvre une surveillance après commercialisation, en prenant des mesures appropriées tout au long du cycle de vie du modèle et en coopérant avec les acteurs pertinents tout au long de la chaîne de valeur de l’IA.
(115)
Los proveedores de modelos de IA de uso general con riesgos sistémicos deben evaluar y mitigar los posibles riesgos sistémicos. Si, a pesar de los esfuerzos por detectar y prevenir los riesgos relacionados con un modelo de IA de uso general que pueda presentar riesgos sistémicos, el desarrollo o el uso del modelo provoca un incidente grave, el proveedor del modelo de IA de uso general debe, sin demora indebida, hacer un seguimiento del incidente y comunicar toda la información pertinente y las posibles medidas correctoras a la Comisión y a las autoridades nacionales competentes. Además, los proveedores deben garantizar que el modelo y su infraestructura física, si procede, tengan un nivel adecuado de protección en materia de ciberseguridad durante todo el ciclo de vida del modelo. La protección en materia de ciberseguridad relacionada con los riesgos sistémicos asociados al uso malintencionado o a los ataques debe tener debidamente en cuenta las fugas accidentales de modelos, las divulgaciones no autorizadas, la elusión de las medidas de seguridad y la defensa contra los ciberataques, el acceso no autorizado o el robo de modelos. Esa protección podría facilitarse asegurando los pesos, los algoritmos, los servidores y los conjuntos de datos del modelo, por ejemplo, mediante medidas de seguridad operativa para la seguridad de la información, medidas específicas en materia de ciberseguridad, soluciones técnicas adecuadas y establecidas y controles de acceso cibernéticos y físicos, en función de las circunstancias pertinentes y los riesgos existentes.
(115)
Les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient évaluer et atténuer les éventuels risques systémiques. Si, malgré les efforts déployés pour recenser et prévenir les risques liés à un modèle d’IA à usage général susceptible de présenter des risques systémiques, le développement ou l’utilisation du modèle cause un incident grave, le fournisseur de modèle d’IA à usage général devrait, sans retard injustifié, réaliser un suivi de l’incident et communiquer toute information pertinente et toute mesure corrective éventuelle à la Commission et aux autorités nationales compétentes. En outre, les fournisseurs devraient garantir un niveau approprié de protection en matière de cybersécurité en ce qui concerne le modèle et son infrastructure physique, le cas échéant, tout au long du cycle de vie du modèle. La protection en matière de cybersécurité contre les risques systémiques associés à une utilisation malveillante ou à des attaques devrait tenir dûment compte des fuites accidentelles du modèle, des publications non autorisées, du contournement des mesures de sécurité ainsi que de la défense contre les cyberattaques, l’accès non autorisé ou le vol de modèle. Une telle protection pourrait être facilitée par la sécurisation des poids du modèle, des algorithmes, des serveurs et des jeux de données, notamment au moyen de mesures de sécurité opérationnelle relatives à la sécurité de l’information, de politiques spécifiques en matière de cybersécurité, de solutions techniques établies adéquates, et de contrôles de l’accès physique ou informatique, qui soient adaptés aux circonstances particulières et aux risques encourus.
(116)
La Oficina de IA debe fomentar y facilitar la elaboración, revisión y adaptación de códigos de buenas prácticas, teniendo en cuenta los enfoques internacionales. Podría invitarse a participar a todos los proveedores de modelos de IA de uso general. Para garantizar que los códigos de buenas prácticas reflejen el estado actual de la técnica y tengan debidamente en cuenta perspectivas distintas, la Oficina de IA debe colaborar con las autoridades nacionales competentes pertinentes y, cuando proceda, podrá consultar a organizaciones de la sociedad civil y a otras partes interesadas y expertos pertinentes, incluido el Grupo de Expertos Científicos, por lo que respecta a la elaboración de dichos códigos. Los códigos de buenas prácticas deben comprender las obligaciones de los proveedores de modelos de IA de uso general y de modelos de IA de uso general que presenten riesgos sistémicos. Además, en lo que respecta a los riesgos sistémicos, los códigos de buenas prácticas deben ayudar a establecer una taxonomía de riesgos en la que figuren el tipo y la naturaleza de los riesgos sistémicos a escala de la Unión, incluidas sus fuentes. Asimismo, los códigos de buenas prácticas deben centrarse en medidas específicas de evaluación y reducción de riesgos.
(116)
Le Bureau de l’IA devrait encourager et faciliter l’élaboration, le réexamen et l’adaptation des codes de bonne pratique, en tenant compte des approches internationales. Tous les fournisseurs de modèles d’IA à usage général pourraient être invités à participer. Afin de veiller à ce que les codes de bonne pratique correspondent à l’état de la technique et prennent dûment en compte un ensemble divers de perspectives, le Bureau de l’IA devrait collaborer avec les autorités nationales compétentes concernées et pourrait, selon qu’il convient, consulter les organisations de la société civile et d’autres parties prenantes et experts pertinents, notamment le groupe scientifique, pour l’élaboration de ces codes. Les codes de bonne pratique devraient traiter des obligations incombant aux fournisseurs de modèles d’IA à usage général, et de modèles d’IA à usage général présentant des risques systémiques. En outre, en ce qui concerne les risques systémiques, les codes de bonne pratique devraient contribuer à établir une taxinomie des risques reprenant le type et la nature des risques systémiques au niveau de l’Union, ainsi que leur source. Les codes de bonne pratique devraient également mettre l’accent sur une évaluation des risques et des mesures d’atténuation spécifiques.
(117)
Los códigos de buenas prácticas deben constituir una herramienta fundamental para el cumplimiento adecuado de las obligaciones previstas en el presente Reglamento para los proveedores de modelos de IA de uso general. Los proveedores deben poder basarse en códigos de buenas prácticas para demostrar el cumplimiento de las obligaciones. Mediante actos de ejecución, la Comisión podrá decidir aprobar un código de buenas prácticas y conferirle una validez general dentro de la Unión o, alternativamente, establecer normas comunes para la puesta en práctica de las obligaciones pertinentes si, para el momento en que el presente Reglamento sea aplicable, no ha podido finalizarse un código de buenas prácticas o la Oficina de IA no lo considera adecuado. Una vez que se haya publicado una norma armonizada y que la Oficina de IA la considere adecuada para cubrir las obligaciones pertinentes, el cumplimiento de una norma armonizada europea debe dar a los proveedores la presunción de conformidad. Además, los proveedores de modelos de IA de uso general deben poder demostrar el cumplimiento utilizando medios alternativos adecuados si no se dispone de códigos de buenas prácticas o de normas armonizadas, o si deciden no basarse en ellos.
(117)
Les codes de bonne pratique devraient constituer un outil central pour assurer le bon respect des obligations qui incombent aux fournisseurs de modèles d’IA à usage général au titre du présent règlement. Les fournisseurs devraient pouvoir s’appuyer sur des codes de bonne pratique pour démontrer qu’ils respectent leurs obligations. Par voie d’actes d’exécution, la Commission pourrait décider d’approuver un code de bonnes pratiques et de lui conférer une validité générale au sein de l’Union ou, à défaut, de fixer des règles communes pour la mise en œuvre des obligations pertinentes si un code de bonnes pratiques ne peut pas être mis au point avant que le présent règlement ne devienne applicable, ou si un tel code n’est pas considéré comme adéquat par le Bureau de l’IA. Dès lors qu’une norme harmonisée est publiée et jugée appropriée par le Bureau de l’IA au regard des obligations pertinentes, les fournisseurs devraient bénéficier de la présomption de conformité lorsqu’ils respectent une norme européenne harmonisée. En outre, les fournisseurs de modèles d’IA à usage général devraient être en mesure de démontrer la conformité en utilisant d’autres moyens adéquats en l’absence de codes de bonne pratique ou de normes harmonisées ou s’ils choisissent de ne pas s’appuyer sur ceux-ci.
(118)
El presente Reglamento regula los sistemas de IA y modelos de IA imponiendo determinados requisitos y obligaciones a los agentes pertinentes del mercado que los introduzcan en el mercado, los pongan en servicio o los utilicen en la Unión, complementando así las obligaciones de los prestadores de servicios intermediarios que integren dichos sistemas o modelos en sus servicios, regulados por el Reglamento (UE) 2022/2065. En la medida en que dichos sistemas o modelos estén integrados en plataformas en línea de muy gran tamaño o en motores de búsqueda en línea de muy gran tamaño que hayan sido designados, están sujetos al marco de gestión de riesgos establecido en el Reglamento (UE) 2022/2065. Por consiguiente, debe presumirse que se han cumplido las obligaciones correspondientes del presente Reglamento a menos que surjan riesgos sistémicos significativos no cubiertos por el Reglamento (UE) 2022/2065 y se detecten en dichos modelos. En este marco, los prestadores de plataformas en línea de muy gran tamaño y de motores de búsqueda en línea de muy gran tamaño están obligados a evaluar los posibles riesgos sistémicos derivados del diseño, el funcionamiento y el uso de sus servicios, incluido el modo en que el diseño de los sistemas algorítmicos utilizados en el servicio puede contribuir a dichos riesgos, así como los riesgos sistémicos derivados de posibles usos indebidos. Dichos prestadores también están obligados a adoptar las medidas de reducción de riesgos adecuadas respetando los derechos fundamentales.
(118)
Le présent règlement régit les systèmes et modèles d’IA en instituant certaines exigences et obligations visant les acteurs du marché concernés qui les mettent sur le marché, les mettent en service ou les utilisent dans l’Union, complétant ainsi les obligations incombant aux fournisseurs de services intermédiaires qui intègrent de tels systèmes ou modèles dans leurs services relevant du règlement (UE) 2022/2065. Dans la mesure où ces systèmes ou modèles sont intégrés dans des très grandes plateformes en ligne ou des très grands moteurs de recherche en ligne, ils sont soumis au cadre de gestion des risques établi par le règlement (UE) 2022/2065. Par conséquent, il devrait être présumé que les obligations correspondantes du présent règlement sont remplies, à moins que des risques systémiques importants non couverts par le règlement (UE) 2022/2065 n’apparaissent et ne soient recensés dans de tels modèles. Dans ce contexte, les fournisseurs de très grandes plateformes en ligne et de très grands moteurs de recherche en ligne sont tenus d’évaluer les risques systémiques découlant de la conception, du fonctionnement et de l’utilisation de leurs services, y compris la manière dont la conception des systèmes algorithmiques utilisés dans un service pourrait contribuer à ces risques, ainsi que les risques systémiques découlant de mauvaises utilisations éventuelles. Ces fournisseurs sont également tenus de prendre les mesures d’atténuation appropriées pour assurer le respect des droits fondamentaux.
(119)
Tomando en consideración el rápido ritmo de innovación y la evolución tecnológica de los servicios digitales incluidos en el ámbito de aplicación de diferentes instrumentos del Derecho de la Unión, en particular teniendo en cuenta el uso y la percepción de sus destinatarios, los sistemas de IA sujetos al presente Reglamento pueden prestarse como servicios intermediarios, o partes de estos, en el sentido del Reglamento (UE) 2022/2065, que debe interpretarse de manera tecnológicamente neutra. Por ejemplo, los sistemas de IA pueden utilizarse para ofrecer motores de búsqueda en línea, en particular en la medida en que un sistema de IA, como un chatbot en línea, efectúe búsquedas, en principio, en todos los sitios web, incorpore a continuación los resultados a sus conocimientos existentes y utilice los conocimientos actualizados para generar una única información de salida que combine diferentes fuentes de información.
(119)
Compte tenu du rythme rapide de l’innovation et de l’évolution technologique des services numériques relevant du champ d’application de différents instruments du droit de l’Union, en particulier à la lumière de l’utilisation et de la perception de leurs destinataires, les systèmes d’IA régis par le présent règlement pourraient être fournis en tant que services intermédiaires ou parties de ceux-ci au sens du règlement (UE) 2022/2065, qui devrait être interprété de manière neutre sur le plan technologique. Par exemple, les systèmes d’IA pourraient être utilisés pour fournir des moteurs de recherche en ligne, en particulier, dans la mesure où un système d’IA tel qu’un dialogueur réalise des recherches sur, en principe, tous les sites web, puis en intègre les résultats dans ses connaissances existantes et utilise les connaissances mises à jour pour générer une sortie unique qui combine différentes sources d’information.
(120)
Además, las obligaciones impuestas a los proveedores y a los responsables del despliegue de determinados sistemas de IA en el presente Reglamento destinadas a permitir que se detecte y divulgue que los resultados de salida de dichos sistemas han sido generados o manipulados de manera artificial resultan especialmente pertinentes para facilitar la aplicación efectiva del Reglamento (UE) 2022/2065. Esto se aplica en particular a las obligaciones de los prestadores de plataformas en línea de muy gran tamaño o de motores de búsqueda en línea de muy gran tamaño de detectar y mitigar los riesgos sistémicos que pueden surgir de la divulgación de contenidos que hayan sido generados o manipulados de manera artificial, en particular el riesgo de los efectos negativos reales o previsibles sobre los procesos democráticos, el discurso cívico y los procesos electorales, también a través de la desinformación.
(120)
En outre, les obligations imposées aux fournisseurs et aux déployeurs de certains systèmes d’IA au titre du présent règlement afin de permettre la détection et la mention du fait que les sorties produites par ces systèmes sont générées ou manipulées par une IA revêtent une importance particulière pour faciliter la mise en œuvre effective du règlement (UE) 2022/2065. Cela vaut en particulier pour les obligations incombant aux fournisseurs de très grandes plateformes en ligne ou de très grands moteurs de recherche en ligne consistant à recenser et à atténuer les risques systémiques susceptibles de découler de la diffusion de contenus qui ont été générés ou manipulés par une IA, en particulier le risque d’effets négatifs réels ou prévisibles sur les processus démocratiques, le débat public et les processus électoraux, notamment par le biais de la désinformation.
(121)
La normalización debe desempeñar un papel fundamental para proporcionar soluciones técnicas a los proveedores para garantizar el cumplimiento del presente Reglamento, en consonancia con el estado actual de la técnica, para promover la innovación, así como la competitividad y el crecimiento en el mercado único. El cumplimiento de las normas armonizadas definidas en el artículo 2, punto 1, letra c), del Reglamento (UE) n.o 1025/2012 del Parlamento Europeo y del Consejo (41), que generalmente se espera que reflejen el estado actual de la técnica, debe ser un medio para que los proveedores demuestren la conformidad con los requisitos previstos en el presente Reglamento. Por consiguiente, debe fomentarse una representación equilibrada de los intereses de todas las partes interesadas pertinentes —en particular las pymes, las organizaciones de consumidores y las partes interesadas de los ámbitos social y medioambiental— en la elaboración de normas, de conformidad con los artículos 5 y 6 del Reglamento (UE) n.o 1025/2012. A fin de facilitar el cumplimiento, la Comisión debe emitir las peticiones de normalización sin demora indebida. Al preparar la petición de normalización, la Comisión debe consultar al foro consultivo y al Consejo de IA para recabar los conocimientos especializados pertinentes. No obstante, a falta de referencias pertinentes a las normas armonizadas, la Comisión debe poder establecer, mediante actos de ejecución y previa consulta al foro consultivo, especificaciones comunes para determinados requisitos previstos en el presente Reglamento. Las especificaciones comunes deben ser una solución alternativa excepcional para facilitar la obligación del proveedor de cumplir los requisitos del presente Reglamento cuando ninguna de las organizaciones europeas de normalización haya aceptado la petición de normalización, cuando las normas armonizadas pertinentes respondan de forma insuficiente a las preocupaciones en materia de derechos fundamentales, cuando las normas armonizadas no cumplan la petición o cuando se produzcan retrasos en la adopción de una norma armonizada adecuada. Cuando dichos retrasos en la adopción de una norma armonizada se deban a la complejidad técnica de dicha norma, la Comisión debe tenerlo en cuenta antes de considerar la posibilidad de establecer especificaciones comunes. Se anima a la Comisión a que, a la hora de elaborar especificaciones comunes, coopere con los socios internacionales y los organismos internacionales de normalización.
(121)
La normalisation devrait jouer un rôle essentiel pour fournir des solutions techniques aux fournisseurs afin de garantir la conformité avec le présent règlement, suivant les technologies les plus récentes, et de promouvoir l’innovation ainsi que la compétitivité et la croissance dans le marché unique. Le respect des normes harmonisées telles que définies à l’article 2, point 1) c), du règlement (UE) no 1025/2012 du Parlement européen et du Conseil (41), qui doivent normalement tenir compte des évolutions technologiques les plus récentes, devrait être un moyen pour les fournisseurs de démontrer la conformité avec les exigences du présent règlement. Il convient donc d’encourager une représentation équilibrée des intérêts en associant toutes les parties prenantes concernées à l’élaboration des normes, en particulier les PME, les organisations de consommateurs et les acteurs environnementaux et sociaux, conformément aux articles 5 et 6 du règlement (UE) no 1025/2012. Afin de faciliter le respect de la législation, les demandes de normalisation devraient être formulées par la Commission sans retard injustifié. Lorsqu’elle élabore les demandes de normalisation, la Commission devrait consulter le forum consultatif et le Comité IA afin de recueillir l’expertise pertinente. Toutefois, en l’absence de références pertinentes à des normes harmonisées, la Commission devrait être en mesure d’établir, au moyen d’actes d’exécution, et après consultation du forum consultatif, des spécifications communes pour certaines exigences au titre du présent règlement. Les spécifications communes devraient être une solution de repli exceptionnelle pour faciliter l’obligation du fournisseur de se conformer aux exigences du présent règlement, lorsque la demande de normalisation n’a été acceptée par aucune des organisations européennes de normalisation, ou lorsque les normes harmonisées pertinentes ne répondent pas suffisamment aux préoccupations en matière de droits fondamentaux, ou lorsque les normes harmonisées ne sont pas conformes à la demande, ou lorsque l’adoption d’une norme harmonisée appropriée accuse des retards. Lorsqu’un tel retard dans l’adoption d’une norme harmonisée est dû à la complexité technique de ladite norme, la Commission devrait en tenir compte avant d’envisager l’établissement de spécifications communes. Lorsqu’elle élabore des spécifications communes, la Commission est encouragée à coopérer avec des partenaires internationaux et des organismes internationaux de normalisation.
(122)
Conviene que, sin perjuicio del uso de normas armonizadas y especificaciones comunes, se presuma que los proveedores de un sistema de IA de alto riesgo que haya sido entrenado y probado con datos que reflejan el entorno geográfico, conductual, contextual o funcional específico en el que esté previsto que se utilice el sistema de IA cumplen la medida pertinente prevista en el requisito en materia de gobernanza de datos establecido en el presente Reglamento. Sin perjuicio de los requisitos relacionados con la solidez y la precisión establecidos en el presente Reglamento, de conformidad con el artículo 54, apartado 3, del Reglamento (UE) 2019/881, debe presumirse que los sistemas de IA de alto riesgo que cuenten con una certificación o una declaración de conformidad en virtud de un esquema de certificación de la ciberseguridad con arreglo a dicho Reglamento y cuyas referencias se hayan publicado en el Diario Oficial de la Unión Europea cumplen el requisito de ciberseguridad del presente Reglamento en la medida en que el certificado de ciberseguridad o la declaración de conformidad, o partes de estos, contemplen dicho requisito. Esto se entiende sin perjuicio del carácter voluntario de dicho esquema de ciberseguridad.
(122)
Il convient que, sans préjudice de l’utilisation de normes harmonisées et de spécifications communes, les fournisseurs d’un système d’IA à haut risque qui a été entraîné et testé avec des données reflétant le cadre géographique, comportemental, contextuel ou fonctionnel spécifique dans lequel il est destiné à être utilisé soient présumés comme se conformant à la mesure pertinente prévue au titre de l’exigence en matière de gouvernance des données énoncée dans le présent règlement. Sans préjudice des exigences liées à la robustesse et à l’exactitude énoncées dans le présent règlement, conformément à l’article 54, paragraphe 3, du règlement (UE) 2019/881, les systèmes d’IA à haut risque qui ont été certifiés ou pour lesquels une déclaration de conformité a été délivrée dans le cadre d’un schéma de cybersécurité en vertu dudit règlement et dont les références ont été publiées au Journal officiel de l’Union européenne devraient être présumés conformes aux exigences de cybersécurité du présent règlement dans la mesure où le certificat de cybersécurité ou la déclaration de conformité, ou des parties de ceux-ci, couvrent l’exigence de cybersécurité du présent règlement. Cet aspect demeure sans préjudice du caractère volontaire dudit schéma de cybersécurité.
(123)
A fin de garantizar que los sistemas de IA de alto riesgo sean altamente fiables, debe someterse a dichos sistemas a una evaluación de la conformidad antes de su introducción en el mercado o puesta en servicio.
(123)
Afin de garantir un niveau élevé de fiabilité des systèmes d’IA à haut risque, ces systèmes devraient être soumis à une évaluation de la conformité avant leur mise sur le marché ou leur mise en service.
(124)
Para reducir al mínimo la carga que deben soportar los operadores y evitar posibles duplicidades, conviene, en el caso de los sistemas de IA de alto riesgo asociados a productos regulados por la legislación de armonización de la Unión vigente basada en el nuevo marco legislativo, que la conformidad de dichos sistemas de IA con los requisitos establecidos en el presente Reglamento se evalúe en el marco de la evaluación de la conformidad ya prevista en dicha legislación. Por lo tanto, la aplicabilidad de los requisitos del presente Reglamento no debe afectar a la lógica, la metodología o la estructura general específicas de la evaluación de la conformidad prevista en los actos legislativos de armonización pertinentes de la Unión.
(124)
Afin de réduire au minimum la charge pesant sur les opérateurs et d’éviter les éventuels doubles emplois, la conformité avec les exigences du présent règlement des systèmes d’IA à haut risque liés à des produits couverts par la législation d’harmonisation existante de l’Union fondée sur le nouveau cadre législatif devrait être évaluée dans le cadre de l’évaluation de la conformité déjà prévue en vertu de cette législation. L’applicabilité des exigences du présent règlement ne devrait donc pas avoir d’incidence sur la logique, la méthode ou la structure générale propres à l’évaluation de la conformité au titre de la législation d’harmonisation de l’Union pertinente.
(125)
Dada la complejidad de los sistemas de IA de alto riesgo y los riesgos asociados a ellos, es importante desarrollar un procedimiento adecuado de evaluación de la conformidad de los sistemas de IA de alto riesgo en el que participen organismos notificados, denominado «evaluación de la conformidad de terceros». No obstante, habida cuenta de la experiencia actual de los profesionales que realizan la certificación previa a la comercialización en el campo de la seguridad de los productos y de la distinta naturaleza de los riesgos implicados, procede limitar, al menos en la fase inicial de aplicación del presente Reglamento, el alcance de las evaluaciones externas de la conformidad a los sistemas de IA de alto riesgo que no están asociados a productos. En consecuencia, el proveedor es quien, por norma general, debe llevar a cabo la evaluación de la conformidad de dichos sistemas bajo su propia responsabilidad, con la única excepción de los sistemas de IA que están destinados a utilizarse para la biometría.
(125)
Compte tenu de la complexité des systèmes d’IA à haut risque et des risques qui y sont associés, il importe d’élaborer une procédure d’évaluation de la conformité adéquat faisant intervenir les organismes notifiés pour ces systèmes, dite «évaluation de conformité par un tiers». Toutefois, étant donné l’expérience actuelle des organismes professionnels de certification avant mise sur le marché dans le domaine de la sécurité des produits et de la nature différente des risques encourus, il convient de limiter, au moins dans une phase initiale d’application du présent règlement, le champ d’application des évaluations de la conformité réalisées par un tiers aux systèmes d’IA à haut risque autres que ceux liés à des produits. Par conséquent, l’évaluation de la conformité de ces systèmes devrait en règle générale être réalisée par le fournisseur sous sa propre responsabilité, à la seule exception des systèmes d’IA destinés à être utilisés à des fins de biométrie.
(126)
Para poder realizar las evaluaciones de la conformidad de terceros cuando así se les exija, las autoridades nacionales competentes deben notificar, en virtud del presente Reglamento, a los organismos notificados, siempre que cumplan una serie de requisitos, en particular en lo que respecta a su independencia, sus competencias y la ausencia de conflictos de intereses, así como requisitos adecuados de ciberseguridad. Las autoridades nacionales competentes deben enviar la notificación de dichos organismos a la Comisión y a los demás Estados miembros a través del sistema de notificación electrónica desarrollado y gestionado por la Comisión con arreglo a lo dispuesto en el artículo R23 del anexo I de la Decisión n.o 768/2008/CE.
(126)
Afin de procéder à des évaluations de la conformité par un tiers lorsque cela est nécessaire, les organismes notifiés devraient être notifiés en vertu du présent règlement par les autorités nationales compétentes, sous réserve qu’ils satisfassent à un ensemble d’exigences portant en particulier sur leur indépendance, leur compétence, l’absence de conflits d’intérêts et les exigences appropriées en matière de cybersécurité. La notification de ces organismes devrait être envoyée par les autorités nationales compétentes à la Commission et aux autres États membres à l’aide de l’outil de notification électronique mis au point et géré par la Commission, conformément à l’annexe I, article R23, de la décision no 768/2008/CE.
(127)
En consonancia con los compromisos contraídos por la Unión en virtud del Acuerdo sobre Obstáculos Técnicos al Comercio, de la Organización Mundial del Comercio, es adecuado facilitar el reconocimiento mutuo de los resultados de las evaluaciones de la conformidad realizadas por organismos de evaluación de la conformidad competentes, con independencia del territorio en el que estén establecidos, siempre que dichos organismos de evaluación de la conformidad establecidos con arreglo al Derecho de un tercer país cumplan los requisitos aplicables del presente Reglamento y la Unión haya celebrado un acuerdo en ese sentido. En este contexto, la Comisión debe estudiar activamente posibles instrumentos internacionales a tal efecto y, en particular, procurar celebrar acuerdos de reconocimiento mutuo con terceros países.
(127)
Conformément aux engagements pris par l’Union au titre de l’accord de l’Organisation mondiale du commerce sur les obstacles techniques au commerce, il convient de faciliter la reconnaissance mutuelle des résultats des évaluations de la conformité produits par les organismes d’évaluation de la conformité compétents, indépendamment du territoire sur lequel ils sont établis, à condition que ces organismes d’évaluation de la conformité établis en vertu du droit d’un pays tiers satisfassent aux exigences applicables en vertu du présent règlement et que l’Union ait conclu un accord en ce sens. Dans ce contexte, la Commission devrait étudier activement d’éventuels instruments internationaux à cette fin et, en particulier, œuvrer à la conclusion d’accords de reconnaissance mutuelle avec des pays tiers.
(128)
En consonancia con el concepto comúnmente establecido de «modificación sustancial» de los productos regulados por los actos legislativos de armonización de la Unión, conviene que, cada vez que se produzca un cambio que pueda afectar al cumplimiento del presente Reglamento por parte de un sistema de IA de alto riesgo (por ejemplo, un cambio de sistema operativo o de arquitectura de software) o cuando cambie la finalidad prevista del sistema, dicho sistema de IA se considere un sistema de IA nuevo que debe someterse a una nueva evaluación de la conformidad. Sin embargo, los cambios que se produzcan en el algoritmo y en el funcionamiento de los sistemas de IA que sigan «aprendiendo» después de su introducción en el mercado o su puesta en servicio, a saber, adaptando automáticamente el modo en que desempeñan sus funciones, no deben constituir una modificación sustancial, siempre que dichos cambios hayan sido predeterminados por el proveedor y se hayan evaluado en el momento de la evaluación de la conformidad.
(128)
Conformément à la notion communément établie de modification substantielle pour les produits réglementés par la législation d’harmonisation de l’Union, chaque fois que survient une modification susceptible d’avoir une incidence sur la conformité d’un système d’IA à haut risque avec le présent règlement (par exemple, un changement de système d’exploitation ou d’architecture logicielle) ou que la destination du système change, il convient de considérer ledit système d’IA comme un nouveau système d’IA devant être soumis à nouvelle procédure d’évaluation de la conformité. Cependant, les changements intervenant sur l’algorithme et la performance de systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service, à savoir l’adaptation automatique de la façon dont les fonctions sont exécutées, ne devraient pas constituer une modification substantielle, à condition que ces changements aient été prédéterminés par le fournisseur et évalués au moment de l’évaluation de la conformité.
(129)
Los sistemas de IA de alto riesgo deben llevar el marcado CE para acreditar su conformidad con el presente Reglamento y así poder circular libremente por el mercado interior. En el caso de los sistemas de IA de alto riesgo integrados en un producto, se debe colocar un marcado CE físico, que puede complementarse con un marcado CE digital. En el caso de los sistemas de IA de alto riesgo que solo se proporcionen digitalmente, debe utilizarse un marcado CE digital. Los Estados miembros no deben crear obstáculos injustificados a la introducción en el mercado o la puesta en servicio de sistemas de IA de alto riesgo que cumplan los requisitos establecidos en el presente Reglamento y lleven el marcado CE.
(129)
Le marquage «CE» devrait être apposé sur les systèmes d’IA à haut risque pour indiquer leur conformité avec le présent règlement afin qu’ils puissent circuler librement dans le marché intérieur. Pour les systèmes d’IA à haut risque intégrés à un produit, un marquage «CE» physique devrait être apposé, éventuellement complété par un marquage «CE» numérique. Pour les systèmes d’IA à haut risque fournis uniquement sous forme numérique, il convient d’utiliser un marquage «CE» numérique. Les États membres devraient s’abstenir de créer des entraves injustifiées à la mise sur le marché ou à la mise en service de systèmes d’IA à haut risque qui satisfont aux exigences fixées dans le présent règlement et portent le marquage «CE».
(130)
En determinadas condiciones, la rápida disponibilidad de tecnologías innovadoras puede ser crucial para la salud y la seguridad de las personas, la protección del medio ambiente y la mitigación del cambio climático, y para la sociedad en su conjunto. Por consiguiente, resulta oportuno que las autoridades de vigilancia del mercado puedan autorizar, por motivos excepcionales de seguridad pública o con vistas a proteger la vida y la salud de personas físicas, el medio ambiente y activos fundamentales de la industria y de las infraestructuras, la introducción en el mercado o la puesta en servicio de sistemas de IA que no hayan sido sometidos a una evaluación de la conformidad. En situaciones debidamente justificadas previstas en el presente Reglamento, las autoridades garantes del cumplimiento del Derecho o las autoridades de protección civil podrán poner en servicio un sistema de IA de alto riesgo específico sin la autorización de la autoridad de vigilancia del mercado, siempre que se solicite la autorización durante el uso o después de este sin demora indebida.
(130)
Dans certaines conditions, la disponibilité rapide de technologies innovantes peut être cruciale pour la santé et la sécurité des personnes, pour la protection de l’environnement et la lutte contre le changement climatique et pour la société dans son ensemble. Il convient donc que, pour des motifs exceptionnels liés à la sécurité publique ou à la protection de la vie et de la santé des personnes physiques, à la protection de l’environnement et à la protection d’actifs industriels et d’infrastructures d’importance majeure, les autorités de surveillance du marché puissent autoriser la mise sur le marché ou la mise en service de systèmes d’IA qui n’ont pas fait l’objet d’une évaluation de la conformité. Dans des situations dûment justifiées, prévues dans le présent règlement, les autorités répressives ou les autorités de protection civile peuvent mettre en service un système d’IA à haut risque spécifique sans avoir obtenu l’autorisation de l’autorité de surveillance du marché, à condition que cette autorisation soit demandée sans retard injustifié pendant ou après l’utilisation.
(131)
Con el objetivo de facilitar la labor de la Comisión y de los Estados miembros en el ámbito de la IA, así como de incrementar la transparencia de cara al público, debe exigirse a los proveedores de sistemas de IA de alto riesgo que no estén asociados a productos que entren dentro del ámbito de aplicación de los actos legislativos de armonización de la Unión que sean pertinentes y estén en vigor, y a los proveedores que consideren que alguno de los sistemas de IA enumerados en los casos de uso de alto riesgo en un anexo del presente Reglamento no es de alto riesgo sobre la base de una excepción que se registren y que registren información sobre sus sistemas de IA en una base de datos de la UE, de cuya creación y gestión se encargará la Comisión. Antes de utilizar tal sistema de IA enumerado en los casos de uso de alto riesgo en un anexo del presente Reglamento, los responsables del despliegue de sistemas de IA de alto riesgo que sean autoridades, órganos u organismos públicos deben registrarse en dicha base de datos y seleccionar el sistema que tengan previsto utilizar. Los demás responsables del despliegue deben poder efectuar dicho registro con carácter voluntario. Esta sección de la base de datos de la UE debe ser de acceso público y gratuito, debe ser fácil navegar por la información, y esta ha de ser comprensible y legible por máquina. La base de datos de la UE también debe ser fácil de utilizar, por ejemplo, proporcionando funcionalidades de búsqueda, también a través de palabras clave, que permitan al público en general encontrar la información que debe presentarse para el registro de los sistemas de IA de alto riesgo y relativa a los casos de uso de sistemas de IA de alto riesgo contemplados en un anexo del presente Reglamento, a la que corresponden los sistemas de IA de alto riesgo. También debe registrarse en la base de datos de la UE toda modificación sustancial de sistemas de IA de alto riesgo. En el caso de los sistemas de IA de alto riesgo en el ámbito de la garantía del cumplimiento del Derecho y de la gestión de la migración, el asilo y el control fronterizo, las obligaciones de registro deben cumplirse en una sección segura no pública de la base de datos de la UE. El acceso a esa sección debe limitarse estrictamente a la Comisión y a las autoridades de vigilancia del mercado en lo que respecta a su sección nacional de dicha base de datos. Los sistemas de IA de alto riesgo en el ámbito de las infraestructuras críticas solo deben registrarse a nivel nacional. La Comisión debe ser la responsable del tratamiento de la base de datos de la UE, de conformidad con el Reglamento (UE) 2018/1725. Con vistas a garantizar la funcionalidad plena de la base de datos de la UE una vez que esté en funcionamiento, el procedimiento para su creación debe comprender el desarrollo de especificaciones funcionales por parte de la Comisión y la redacción de un informe de auditoría independiente. Al ejercer sus funciones como responsable del tratamiento de la base de datos de la UE, la Comisión debe tener en cuenta los riesgos de ciberseguridad. Con el fin de maximizar la disponibilidad y el uso de la base de datos de la UE por parte del público, la base de datos de la UE y la información facilitada a través de ella deben cumplir los requisitos establecidos en la Directiva (UE) 2019/882.
(131)
Afin de faciliter les travaux de la Commission et des États membres dans le domaine de l’IA et d’accroître la transparence à l’égard du public, les fournisseurs de systèmes d’IA à haut risque autres que ceux liés à des produits relevant du champ d’application de la législation d’harmonisation existante de l’Union en la matière, ainsi que les fournisseurs qui considèrent qu’un système d’IA inscrit sur la liste des cas d’utilisation à haut risque dans une annexe du présent règlement n’est pas à haut risque sur la base d’une dérogation, devraient être tenus de s’enregistrer eux-mêmes et d’enregistrer les informations relatives à leur système d’IA dans une base de données de l’UE, qui sera établie et gérée par la Commission. Avant d’utiliser un système d’IA inscrit sur la liste des cas d’utilisation à haut risque dans une annexe du présent règlement, les déployeurs de systèmes d’IA à haut risque qui sont des autorités, des agences ou des organismes publics devraient s’enregistrer dans une telle base de données et sélectionner le système qu’ils envisagent d’utiliser. Les autres déployeurs devraient être autorisés à le faire volontairement. Cette section de la base de données de l’UE devrait être accessible au public sans frais, et les informations qu’elle contient devraient être consultables grâce à une navigation aisée et être facilement compréhensibles et lisibles par machine. La base de données de l’UE devrait également être conviviale, par exemple en offrant des fonctionnalités de recherche, y compris par mots-clés, afin de permettre au grand public de trouver les informations pertinentes devant être transmises au moment de l’enregistrement des systèmes d’IA à haut risque et les informations sur le cas d’utilisation de systèmes d’IA à haut risque, énoncés dans une annexe du présent règlement, auquel les systèmes d’IA à haut risque correspondent. Toute modification substantielle de systèmes d’IA à haut risque devrait également être enregistrée dans la base de données de l’UE. En ce qui concerne les systèmes d’IA à haut risque dans les domaines des activités répressives, de la migration, de l’asile et de la gestion des contrôles aux frontières, les obligations en matière d’enregistrement devraient être remplies dans une section non publique sécurisée de la base de données de l’UE. L’accès à la section non publique sécurisée devrait être strictement réservé à la Commission, ainsi qu’aux autorités de surveillance du marché pour ce qui est de la section nationale de cette base de données les concernant. Les systèmes d’IA à haut risque dans le domaine des infrastructures critiques ne devraient être enregistrés qu’au niveau national. La Commission devrait faire fonction de responsable du traitement pour la base de données de l’UE, conformément au règlement (UE) 2018/1725. Afin de garantir que la base de données de l’UE soit pleinement opérationnelle une fois déployée, la procédure de création de la base de données devrait prévoir le développement de spécifications fonctionnelles par la Commission et un rapport d’audit indépendant. La Commission devrait tenir compte des risques liés à la cybersécurité dans l’accomplissement de ses missions en tant que responsable du traitement des données dans la base de données de l’UE. Afin de maximiser la disponibilité et l’utilisation de la base de données de l’UE, y compris les informations mises à disposition par son intermédiaire, la base de données de l’UE devrait être conforme aux exigences prévues par la directive (UE) 2019/882.
(132)
Determinados sistemas de IA destinados a interactuar con personas físicas o a generar contenidos pueden plantear riesgos específicos de suplantación o engaño, con independencia de si cumplen las condiciones para ser considerados como de alto riesgo o no. Por consiguiente, el uso de estos sistemas debe estar sujeto, en determinadas circunstancias, a obligaciones de transparencia específicas, sin perjuicio de los requisitos y las obligaciones aplicables a los sistemas de IA de alto riesgo y a excepciones específicas a fin de tener en cuenta las necesidades especiales de la garantía del cumplimiento del Derecho. En particular, es preciso comunicar a las personas físicas que están interactuando con un sistema de IA, excepto cuando resulte evidente desde el punto de vista de una persona física normalmente informada y razonablemente atenta y perspicaz, teniendo en cuenta las circunstancias y el contexto de utilización. Al aplicar dicha obligación, deben tenerse en cuenta las características de las personas físicas pertenecientes a colectivos vulnerables debido a su edad o discapacidad en la medida en que el sistema de IA esté destinado a interactuar también con dichos colectivos. Además, es preciso notificar a las personas físicas cuando estén expuestas a sistemas de IA que, mediante el tratamiento de sus datos biométricos, puedan determinar o inferir sus emociones o intenciones o incluirlas en categorías específicas. Estas categorías específicas pueden referirse a aspectos como el sexo, la edad, el color del pelo, el color de ojos, los tatuajes, los rasgos personales, el origen étnico o las preferencias e intereses personales. Esta información y estas notificaciones deben facilitarse en formatos accesibles a las personas con discapacidad.
(132)
Certains systèmes d’IA destinés à interagir avec des personnes physiques ou à générer du contenu peuvent présenter des risques spécifiques d’usurpation d’identité ou de tromperie, qu’ils soient ou non considérés comme étant à haut risque. Dans certaines circonstances, l’utilisation de ces systèmes devrait donc être soumise à des obligations de transparence spécifiques sans préjudice des exigences et obligations relatives aux systèmes d’IA à haut risque et sous réserve d’exemptions ciblées destinées à tenir compte des besoins spécifiques des activités répressives. En particulier, les personnes physiques devraient être avisées qu’elles interagissent avec un système d’IA, sauf si cela ressort clairement du point de vue d’une personne physique normalement informée et raisonnablement attentive et avisée, compte tenu des circonstances et du contexte d’utilisation. Lors de la mise en œuvre de cette obligation, les caractéristiques des personnes physiques appartenant à des groupes vulnérables en raison de leur âge ou d’un handicap devraient être prises en compte dans la mesure où le système d’IA est destiné à interagir également avec ces groupes. En outre, les personnes physiques devraient être mises au courant lorsqu’elles sont exposées à des systèmes d’IA qui, en traitant leurs données biométriques, peuvent identifier ou déduire les émotions ou intentions de ces personnes ou les affecter à des catégories spécifiques. Ces catégories spécifiques peuvent avoir trait à des aspects tels que le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, les traits personnels, l’origine ethnique, les préférences et les intérêts personnels. Ces informations et notifications devraient être fournies dans des formats accessibles aux personnes handicapées.
(133)
Una diversidad de sistemas de IA puede generar grandes cantidades de contenidos sintéticos que para las personas cada vez es más difícil distinguir del contenido auténtico generado por seres humanos. La amplia disponibilidad y las crecientes capacidades de dichos sistemas tienen importantes repercusiones en la integridad del ecosistema de la información y en la confianza en este, haciendo surgir nuevos riesgos de desinformación y manipulación a escala, fraude, suplantación de identidad y engaño a los consumidores. En vista de estos efectos, el rápido desarrollo tecnológico y la necesidad de nuevos métodos y técnicas para asegurar la trazabilidad del origen de la información, procede exigir a los proveedores de tales sistemas que integren soluciones técnicas que permitan marcar, en un formato legible por máquina, y detectar que el resultado de salida ha sido generado o manipulado por un sistema de IA y no por un ser humano. Dichas técnicas y métodos deben ser lo suficientemente fiables, interoperables, eficaces y sólidos, en la medida en que sea técnicamente viable, teniendo en cuenta las técnicas disponibles o una combinación de dichas técnicas, como marcas de agua, identificación de metadatos, métodos criptográficos para demostrar la procedencia y la autenticidad del contenido, métodos de registro, impresiones dactilares u otras técnicas, según proceda. A la hora de aplicar esta obligación, los proveedores también deben tener en cuenta las especificidades y las limitaciones de los diferentes tipos de contenidos y los avances tecnológicos y del mercado pertinentes en ese ámbito, tal como se refleja en el estado de la técnica generalmente reconocido. Dichas técnicas y métodos pueden implantarse a nivel de sistema de IA o a nivel de modelo de IA, incluidos modelos de IA de uso general que generan contenidos, facilitando así el cumplimiento de esta obligación por parte del proveedor posterior del sistema de IA. Para garantizar la proporcionalidad, conviene prever que esta obligación de marcado no se aplique a los sistemas de IA que desempeñen una función de apoyo a la edición estándar o no alteren sustancialmente los datos de entrada facilitados por el responsable del despliegue o su semántica.
(133)
Divers systèmes d’IA peuvent générer de grandes quantités de contenu de synthèse qu’il devient de plus en plus difficile pour les êtres humains de distinguer du contenu authentique généré par des humains. La large disponibilité et les capacités croissantes de ces systèmes ont des conséquences importantes sur l’intégrité de l’écosystème informationnel et la confiance en celui-ci, ce qui pose de nouveaux risques de désinformation et de manipulation à grande échelle, de fraude, d’usurpation d’identité et de tromperie des consommateurs. Compte tenu de ces effets, du rythme rapide de l’évolution technologique et de la nécessité de nouvelles méthodes et techniques pour déterminer l’origine des informations, il convient d’exiger que les fournisseurs de ces systèmes intègrent des solutions techniques permettant le marquage dans un format lisible par machine et la détection du fait que les sorties ont été générées ou manipulées par un système d’IA, et non par un être humain. De telles techniques et méthodes devraient être aussi fiables, interopérables, efficaces et solides que la technologie le permet, et tenir compte des techniques disponibles ou d’une combinaison de ces techniques, telles que les filigranes, les identifications de métadonnées, les méthodes cryptographiques permettant de prouver la provenance et l’authenticité du contenu, les méthodes d’enregistrement, les empreintes digitales ou d’autres techniques, selon qu’il convient. Lorsqu’ils mettent en œuvre cette obligation, les fournisseurs devraient également tenir compte des spécificités et des limites des différents types de contenu, ainsi que des évolutions technologiques et du marché pertinentes dans le domaine, tels qu’elles ressortent de l’état de la technique généralement reconnu. Ces techniques et méthodes peuvent être mises en œuvre au niveau du système d’IA ou au niveau du modèle d’IA, y compris pour les modèles d’IA à usage général qui génèrent du contenu, ce qui facilitera l’accomplissement de cette obligation par le fournisseur en aval du système d’IA. Dans un souci de proportionnalité, il convient d’envisager que cette obligation de marquage ne s’applique pas aux systèmes d’IA qui remplissent une fonction d’assistance pour la mise en forme standard ou les systèmes d’IA qui ne modifient pas de manière substantielle les données d’entrée fournies par le déployeur ou leur sémantique.
(134)
Además de las soluciones técnicas utilizadas por los proveedores del sistema de IA, los responsables del despliegue que utilicen un sistema de IA para generar o manipular un contenido de imagen, audio o vídeo generado o manipulado por una IA que se asemeje notablemente a personas, objetos, lugares, entidades o sucesos reales y que puede inducir a una persona a pensar erróneamente que son auténticos o verídicos (ultrasuplantaciones) deben también hacer público, de manera clara y distinguible, que este contenido ha sido creado o manipulado de manera artificial etiquetando los resultados de salida generados por la IA en consecuencia e indicando su origen artificial. El cumplimiento de esta obligación de transparencia no debe interpretarse como un indicador de que la utilización del sistema de IA o de sus resultados de salida obstaculiza el derecho a la libertad de expresión y el derecho a la libertad de las artes y de las ciencias, garantizados por la Carta, en particular cuando el contenido forme parte de una obra o programa manifiestamente creativos, satíricos, artísticos, de ficción o análogos, con sujeción a unas garantías adecuadas para los derechos y libertades de terceros. En tales casos, la obligación de transparencia en relación con las ultrasuplantaciones establecida en el presente Reglamento se limita a revelar la existencia de tales contenidos generados o manipulados de una manera adecuada que no obstaculice la presentación y el disfrute de la obra, también su explotación y uso normales, al tiempo que se conservan la utilidad y la calidad de la obra. Además, también conviene prever una obligación de divulgación similar en relación con el texto generado o manipulado por una IA en la medida en que se publique con el fin de informar al público sobre asuntos de interés público, a menos que el contenido generado por la IA haya sido sometido a un proceso de revisión humana o de control editorial y que una persona física o jurídica ejerza la responsabilidad editorial de la publicación del contenido.
(134)
Outre les solutions techniques utilisées par les fournisseurs du système, les déployeurs qui se servent d’un système d’IA pour générer ou manipuler des images ou des contenus audio ou vidéo présentant une ressemblance sensible avec des personnes, des objets, des lieux, des entités ou des événements existants et pouvant être perçu à tort par une personne comme authentiques ou véridiques (hypertrucages), devraient aussi déclarer de manière claire et reconnaissable que le contenu a été créé ou manipulé par une IA en étiquetant les sorties d’IA en conséquence et en mentionnant son origine artificielle. Le respect de cette obligation de transparence ne devrait pas être interprété comme indiquant que l’utilisation du système d’IA ou des sorties qu’il génère entrave le droit à la liberté d’expression et le droit à la liberté des arts et des sciences garantis par la Charte, en particulier lorsque le contenu fait partie d’un travail ou d’un programme manifestement créatif, satirique, artistique; de fiction ou analogue, sous réserve de garanties appropriées pour les droits et libertés de tiers. Dans ces cas, l’obligation de transparence s’appliquant aux hypertrucages au titre du présent règlement se limite à la divulgation de l’existence de tels contenus générés ou manipulés, d’une manière appropriée qui n’entrave pas l’affichage ou la jouissance de l’œuvre, y compris son exploitation et son utilisation normales, tout en préservant l’utilité et la qualité de l’œuvre. En outre, il convient d’envisager une obligation d’information similaire en ce qui concerne le texte généré ou manipulé par l’IA dans la mesure où celui-ci est publié dans le but d’informer le public sur des questions d’intérêt public, à moins que le contenu généré par l’IA n’ait fait l’objet d’un processus d’examen humain ou de contrôle éditorial et qu’une personne physique ou morale assume la responsabilité éditoriale pour la publication du contenu.
(135)
Sin perjuicio del carácter obligatorio y de la plena aplicabilidad de las obligaciones de transparencia, la Comisión podrá también fomentar y facilitar la elaboración de códigos de buenas prácticas a escala de la Unión, a fin de facilitar la aplicación eficaz de las obligaciones en materia de detección y etiquetado de contenidos generados o manipulados de manera artificial, también para apoyar disposiciones prácticas para que, según proceda, los mecanismos de detección sean accesibles y facilitar la cooperación con otros agentes de la cadena de valor, difundiendo los contenidos o comprobando su autenticidad y procedencia, a fin de que el público pueda distinguir efectivamente los contenidos generados por IA.
(135)
Sans préjudice de la nature obligatoire et de la pleine applicabilité des obligations de transparence, la Commission peut également encourager et faciliter l’élaboration de codes de bonne pratique au niveau de l’Union afin de faciliter la mise en œuvre effective des obligations relatives à la détection et à l’étiquetage des contenus générés ou manipulés par une IA, y compris pour favoriser des modalités pratiques visant, selon qu’il convient, à rendre les mécanismes de détection accessibles et à faciliter la coopération avec d’autres acteurs tout au long de la chaîne de valeur, à diffuser les contenus ou à vérifier leur authenticité et leur provenance pour permettre au public de reconnaître efficacement les contenus générés par l’IA.
(136)
Las obligaciones impuestas a los proveedores y a los responsables del despliegue de determinados sistemas de IA en el presente Reglamento destinadas a permitir que se detecte y divulgue que los resultados de salida de dichos sistemas han sido generados o manipulados de manera artificial resultan especialmente pertinentes para facilitar la aplicación efectiva del Reglamento (UE) 2022/2065. Esto se aplica en particular en lo referente a las obligaciones de los prestadores de plataformas en línea de muy gran tamaño o de motores de búsqueda en línea de muy gran tamaño para detectar y mitigar los riesgos sistémicos que pueden surgir de la divulgación de contenidos que hayan sido generados o manipulados de manera artificial, en particular el riesgo de los efectos negativos reales o previsibles sobre los procesos democráticos, el discurso cívico y los procesos electorales, como a través de la desinformación. La exigencia de etiquetar los contenidos generados por sistemas de IA con arreglo al presente Reglamento se entiende sin perjuicio de la obligación prevista en el artículo 16, apartado 6, del Reglamento (UE) 2022/2065 para los prestadores de servicios de alojamiento de datos de tratar las notificaciones que reciban sobre contenidos ilícitos en virtud del artículo 16, apartado 1, de dicho Reglamento, y no debe influir en la evaluación y la decisión sobre el carácter ilícito del contenido de que se trate. Dicha evaluación debe realizarse únicamente con referencia a las normas que rigen la legalidad del contenido.
(136)
Les obligations incombant aux fournisseurs et aux déployeurs de certains systèmes d’IA au titre du présent règlement afin de permettre la détection et la mention du fait que les sorties de ces systèmes sont générées ou manipulées par une IA revêtent une importance particulière pour faciliter la mise en œuvre effective du règlement (UE) 2022/2065. Cela vaut en particulier pour les obligations incombant aux fournisseurs de très grandes plateformes en ligne ou de très grands moteurs de recherche en ligne consistant à recenser et à atténuer les risques systémiques susceptibles de découler de la diffusion de contenus qui ont été générés ou manipulés par une IA, en particulier le risque d’effets négatifs réels ou prévisibles sur les processus démocratiques, le débat public et les processus électoraux, notamment par le biais de la désinformation. L’exigence relative à l’étiquetage des contenus générés par des systèmes d’IA au titre du présent règlement est sans préjudice de l’obligation prévue à l’article 16, paragraphe 6, du règlement (UE) 2022/2065 imposant aux fournisseurs de services d’hébergement de traiter les signalements de contenus illégaux qu’ils reçoivent au titre de l’article 16, paragraphe 1, dudit règlement, et elle ne devrait pas influencer l’évaluation et la décision quant à l’illégalité du contenu en question. Cette évaluation ne devrait être effectuée qu’au regard des règles régissant la légalité du contenu.
(137)
El cumplimiento de las obligaciones de transparencia aplicables a los sistemas de IA que entran en el ámbito de aplicación del presente Reglamento no debe interpretarse como un indicador de que la utilización del sistema de IA o de sus resultados de salida es lícito en virtud del presente Reglamento o de otras disposiciones del Derecho de la Unión y de los Estados miembros, y debe entenderse sin perjuicio de otras obligaciones de transparencia aplicables a los responsables del despliegue de sistemas de IA establecidas en el Derecho de la Unión o nacional.
(137)
Le respect des obligations de transparence applicables aux systèmes d’IA relevant du présent règlement ne devrait pas être interprété comme indiquant que l’utilisation du système d’IA ou de ses sorties est licite en vertu du présent règlement ou d’autres actes législatifs de l’Union et des États membres et devrait être sans préjudice d’autres obligations de transparence pour les déployeurs de systèmes d’IA prévues par le droit de l’Union ou le droit national.
(138)
La IA es una familia de tecnologías de rápida evolución que requiere vigilancia regulatoria y un espacio seguro y controlado para la experimentación, así como que se garantice la innovación responsable y la integración de salvaguardias éticas y medidas de reducción de riesgos adecuadas. Para conseguir un marco jurídico que promueva la innovación, resista el paso del tiempo y sea resiliente a las perturbaciones, los Estados miembros deben velar por que sus autoridades nacionales competentes establezcan al menos un espacio controlado de pruebas para la IA a escala nacional que facilite el desarrollo y la prueba de sistemas de IA innovadores bajo una estricta vigilancia regulatoria antes de su introducción en el mercado o puesta en servicio. Los Estados miembros también podrían cumplir esta obligación participando en los espacios controlados de pruebas ya existentes o estableciendo un espacio de pruebas conjuntamente con las autoridades competentes de uno o varios Estados miembros, en la medida en que dicha participación proporcione un nivel de cobertura nacional equivalente para los Estados miembros participantes. Los espacios controlados de pruebas para la IA podrían establecerse de forma física, digital o híbrida y podrán albergar productos tanto físicos como digitales. Las autoridades que los creen deben también garantizar que los espacios controlados de pruebas para la IA dispongan de recursos adecuados para su funcionamiento, incluidos recursos financieros y humanos.
(138)
L’IA est une famille de technologies en évolution rapide qui nécessite la mise en place d’un contrôle réglementaire et d’un espace sûr et contrôlé pour l’expérimentation, garantissant également une innovation responsable et l’intégration de garanties et de mesures d’atténuation des risques appropriées. Pour garantir un cadre juridique favorable à l’innovation, à l’épreuve du temps et résilient face aux perturbations, les États membres devraient veiller à ce que leurs autorités nationales compétentes mettent en place au moins un bac à sable réglementaire de l’IA au niveau national pour faciliter le développement et la mise à l’essai de systèmes d’IA innovants sous un contrôle réglementaire strict avant que ces systèmes ne soient mis sur le marché ou mis en service d’une autre manière. Les États membres pourraient également satisfaire à cette obligation en participant à des bacs à sable réglementaires déjà existants ou en établissant conjointement un bac à sable avec les autorités compétentes d’un ou de plusieurs États membres, pour autant que cette participation offre un niveau de couverture nationale équivalent pour les États membres participants. Les bacs à sable réglementaires de l’IA pourraient être mis en place sous forme physique, numérique ou hybride et admettre des produits tant physiques que numériques. Les autorités chargées de les mettre en place devraient également veiller à ce que les bacs à sable réglementaires de l’IA disposent des ressources appropriées pour assurer leur fonctionnement, y compris les ressources financières et humaines.
(139)
Los espacios controlados de pruebas para la IA deben tener los objetivos de impulsar la innovación en el ámbito de la IA estableciendo un entorno de experimentación y prueba controlado en la fase de desarrollo y previa a la comercialización, con vistas a garantizar que los sistemas de IA innovadores cumplan lo dispuesto en el presente Reglamento y en otras disposiciones pertinentes del Derecho de la Unión y nacional. Además, los espacios controlados de pruebas para la IA deben tener por objeto mejorar la seguridad jurídica de que gozan los innovadores y favorecer la vigilancia de las autoridades competentes y su entendimiento de las oportunidades, los riesgos emergentes y las consecuencias del uso de la IA, de facilitar el aprendizaje normativo de las autoridades y empresas, también con vistas a futuras adaptaciones del marco jurídico, de apoyar la cooperación y el intercambio de mejores prácticas con las autoridades que intervienen en el espacio controlado de pruebas y de acelerar el acceso a los mercados, también eliminando los obstáculos para las pequeñas y medianas empresas, incluidas las empresas emergentes. Los espacios controlados de pruebas para la IA deben estar ampliamente disponibles en toda la Unión y debe prestarse especial atención a que sean accesibles para las pymes, incluidas las empresas emergentes. La participación en el espacio controlado de pruebas para la IA debe centrarse en cuestiones que generen inseguridad jurídica y que, por lo tanto, dificulten que los proveedores y los proveedores potenciales innoven y experimenten con la IA en la Unión y contribuir a un aprendizaje normativo basado en datos contrastados. Por consiguiente, la supervisión de los sistemas de IA en el espacio controlado de pruebas para la IA debe comprender su desarrollo, entrenamiento, prueba y validación antes de su introducción en el mercado o puesta en servicio, así como el concepto de «modificación sustancial» y su materialización, que puede hacer necesario un nuevo procedimiento de evaluación de la conformidad. Cualquier riesgo significativo detectado durante el proceso de desarrollo y prueba de estos sistemas de IA debe dar lugar a la adopción de medidas de reducción adecuadas y, en su defecto, a la suspensión del proceso de desarrollo y prueba. Cuando proceda, las autoridades nacionales competentes que establezcan espacios controlados de pruebas para la IA deben cooperar con otras autoridades pertinentes, incluidas las que supervisan la protección de los derechos fundamentales, y pueden dar cabida a otros agentes del ecosistema de la IA, como organizaciones de normalización nacionales o europeas, organismos notificados, instalaciones de ensayo y experimentación, laboratorios de investigación y experimentación, centros europeos de innovación digital y organizaciones de partes interesadas y de la sociedad civil pertinentes. Para garantizar una aplicación uniforme en toda la Unión y conseguir economías de escala, resulta oportuno establecer normas comunes para la creación de espacios controlados de pruebas para la IA, así como un marco para la cooperación entre las autoridades pertinentes implicadas en la supervisión de dichos espacios. Los espacios controlados de pruebas para la IA establecidos en virtud del presente Reglamento deben entenderse sin perjuicio de otros actos legislativos que permitan el establecimiento de otros espacios controlados de pruebas encaminados a garantizar el cumplimiento de actos legislativos distintos del presente Reglamento. Cuando proceda, las autoridades competentes pertinentes encargadas de esos otros espacios controlados de pruebas deben ponderar las ventajas de utilizarlos también con el fin de garantizar el cumplimiento del presente Reglamento por parte de los sistemas de IA. Previo acuerdo entre las autoridades nacionales competentes y los participantes en el espacio controlado de pruebas para la IA, las pruebas en condiciones reales también podrán gestionarse y supervisarse en el marco del espacio controlado de pruebas para la IA.
(139)
Les bacs à sable réglementaires de l’IA devraient avoir pour objectif de favoriser l’innovation dans le domaine de l’IA en créant un environnement contrôlé d’expérimentation et d’essai au stade du développement et de la précommercialisation afin de garantir la conformité des systèmes d’IA innovants avec le présent règlement et d’autres dispositions pertinentes du droit de l’Union et du droit national. De plus, les bacs à sable réglementaires de l’IA devraient viser à renforcer la sécurité juridique pour les innovateurs ainsi que le contrôle et la compréhension, par les autorités compétentes, des possibilités, des risques émergents et des conséquences de l’utilisation de l’IA, de faciliter l’apprentissage réglementaire pour les autorités et les entreprises, y compris en vue d’ajustements futurs du cadre juridique, de soutenir la coopération et l’échange de bonnes pratiques avec les autorités participant au bac à sable réglementaire de l’IA, et d’accélérer l’accès aux marchés, notamment en supprimant les obstacles pour les PME, y compris les jeunes pousses. Les bacs à sable réglementaires de l’IA devraient être largement disponibles dans toute l’Union, et il convient de prêter une attention particulière à leur accessibilité pour les PME, y compris les jeunes pousses. La participation au bac à sable réglementaire de l’IA devrait se concentrer sur les questions qui créent une insécurité juridique pour les fournisseurs et les fournisseurs potentiels avant d’innover, d’expérimenter l’IA dans l’Union et de contribuer à un apprentissage réglementaire fondé sur des données probantes. La surveillance des systèmes d’IA dans le bac à sable réglementaire de l’IA devrait donc porter sur leur développement, leur entraînement, leur mise à l’essai et leur validation avant que les systèmes ne soient mis sur le marché ou mis en service, ainsi que sur la notion et la survenance de modifications substantielles susceptibles de nécessiter une nouvelle procédure d’évaluation de la conformité. Tout risque important recensé lors du développement et de la mise à l’essai de ces systèmes d’IA devrait donner lieu à des mesures d’atténuation adéquates et, à défaut, à la suspension du processus de développement et d’essai. Au besoin, les autorités nationales compétentes mettant en place des bacs à sable réglementaires de l’IA devraient coopérer avec d’autres autorités concernées, y compris celles qui supervisent la protection des droits fondamentaux, et pourraient permettre la participation d’autres acteurs de l’écosystème de l’IA, tels que les organisations nationales ou européennes de normalisation, les organismes notifiés, les installations d’essai et d’expérimentation, les laboratoires de recherche et d’expérimentation, les pôles européens d’innovation numérique, ainsi que les parties prenantes et les organisations de la société civile concernées. Pour assurer une mise en œuvre uniforme dans toute l’Union et des économies d’échelle, il convient d’établir des règles communes pour la mise en place des bacs à sable réglementaires de l’IA ainsi qu’un cadre de coopération entre les autorités compétentes intervenant dans la surveillance des bacs à sable. Les bacs à sable réglementaires de l’IA établis en vertu du présent règlement devraient être sans préjudice d’autres actes législatifs autorisant la création d’autres bacs à sable en vue de garantir le respect de dispositions de droit autres que le présent règlement. Le cas échéant, les autorités compétentes concernées chargées de ces autres bacs à sable réglementaires devraient prendre en considération les avantages de l’utilisation de ces bacs à sable également aux fins d’assurer la conformité des systèmes d’IA avec le présent règlement. Sous réserve d’un accord entre les autorités nationales compétentes et les participants au bac à sable réglementaire de l’IA, il peut également être procédé à des essais en conditions réelles supervisés dans le cadre du bac à sable réglementaire de l’IA.
(140)
El presente Reglamento debe proporcionar la base jurídica para que los proveedores y los proveedores potenciales en el espacio controlado de pruebas para la IA utilicen datos personales recabados para otros fines para desarrollar determinados sistemas de IA en favor del interés público en el espacio controlado de pruebas para la IA, únicamente en determinadas condiciones, de conformidad con el artículo 6, apartado 4, y el artículo 9, apartado 2, letra g), del Reglamento (UE) 2016/679 y los artículos 5, 6 y 10 del Reglamento (UE) 2018/1725, y sin perjuicio de lo dispuesto en el artículo 4, apartado 2, y el artículo 10 de la Directiva (UE) 2016/680. Siguen siendo aplicables las demás obligaciones de los responsables del tratamiento y los derechos de los interesados en virtud del Reglamento (UE) 2016/679, el Reglamento (UE) 2018/1725 y la Directiva (UE) 2016/680. En particular, el presente Reglamento no debe ofrecer una base jurídica en el sentido del artículo 22, apartado 2, letra b), del Reglamento (UE) 2016/679 y del artículo 24, apartado 2, letra b), del Reglamento (UE) 2018/1725. Los proveedores y los proveedores potenciales en el espacio controlado de pruebas para la IA deben proporcionar las garantías adecuadas y cooperar con las autoridades competentes, también siguiendo sus indicaciones y actuando con rapidez y de buena fe para mitigar adecuadamente cualquier riesgo considerable para la seguridad, la salud y los derechos fundamentales que se detecte y pueda surgir durante el desarrollo, las pruebas y la experimentación en dicho espacio.
(140)
Le présent règlement devrait constituer la base juridique pour l’utilisation, par les fournisseurs et fournisseurs potentiels du bac à sable réglementaire de l’IA, des données à caractère personnel collectées à d’autres fins pour le développement de certains systèmes d’IA d’intérêt public dans le cadre du bac à sable réglementaire de l’IA, uniquement dans des conditions déterminées, conformément à l’article 6, paragraphe 4, et à l’article 9, paragraphe 2, point g), du règlement (UE) 2016/679 et aux articles 5, 6 et 10 du règlement (UE) 2018/1725, et sans préjudice de l’article 4, paragraphe 2, et de l’article 10 de la directive (UE) 2016/680. Toutes les autres obligations des responsables du traitement et tous les autres droits des personnes concernées en vertu des règlements (UE) 2016/679 et (UE) 2018/1725 et de la directive (UE) 2016/680 restent applicables. En particulier, le présent règlement ne devrait pas constituer une base juridique au sens de l’article 22, paragraphe 2, point b), du règlement (UE) 2016/679 et de l’article 24, paragraphe 2, point b), du règlement (UE) 2018/1725. Les fournisseurs et fournisseurs potentiels participant au bac à sable réglementaire de l’IA devraient prévoir des garanties appropriées et coopérer avec les autorités compétentes, notamment en suivant leurs orientations et en agissant rapidement et de bonne foi pour atténuer adéquatement tout risque important recensé pour la sécurité, la santé et les droits fondamentaux susceptible de survenir au cours du développement, de la mise à l’essai et de l’expérimentation dans ledit bac à sable.
(141)
A fin de acelerar el proceso de desarrollo e introducción en el mercado de los sistemas de IA de alto riesgo enumerados en un anexo del presente Reglamento, es importante que los proveedores o proveedores potenciales de dichos sistemas también puedan beneficiarse de un régimen específico para probar dichos sistemas en condiciones reales, sin participar en un espacio controlado de pruebas para la IA. No obstante, en tales casos, teniendo en cuenta las posibles consecuencias de dichas pruebas para las personas físicas, debe garantizarse que el Reglamento establezca garantías y condiciones adecuadas y suficientes para los proveedores o proveedores potenciales. Estas garantías deben incluir, entre otras cosas, la solicitud del consentimiento informado de las personas físicas para participar en pruebas en condiciones reales, salvo en lo que respecta a la garantía del cumplimiento del Derecho cuando intentar obtener el consentimiento informado impediría que se probara el sistema de IA. El consentimiento de los sujetos para participar en tales pruebas en virtud del presente Reglamento es distinto del consentimiento de los interesados para el tratamiento de sus datos personales con arreglo al Derecho pertinente en materia de protección de datos y se entiende sin perjuicio de este. También es importante reducir al mínimo los riesgos y permitir la supervisión por parte de las autoridades competentes y, por tanto, exigir a los proveedores potenciales que presenten a la autoridad de vigilancia del mercado competente un plan de la prueba en condiciones reales, registren la prueba en las secciones específicas de la base de datos de la UE, sin perjuicio de algunas excepciones limitadas, establezcan limitaciones sobre el período durante el que puede llevarse a cabo la prueba y exijan garantías adicionales para las personas pertenecientes a determinados colectivos vulnerables, así como un acuerdo por escrito que defina las funciones y responsabilidades de los proveedores potenciales y de los responsables del despliegue y una supervisión eficaz por parte de personal competente que intervenga en la prueba en condiciones reales. Además, conviene prever garantías adicionales para asegurarse de que sea posible revertir efectivamente y descartar las predicciones, recomendaciones o decisiones del sistema de IA y de que los datos personales se protejan y se supriman cuando los sujetos retiren su consentimiento a participar en la prueba, sin perjuicio de sus derechos como interesados en virtud del Derecho de la Unión en materia de protección de datos. Por lo que respecta a la transferencia de datos, conviene también prever que los datos recopilados y tratados a efectos de las pruebas en condiciones reales solo deben transferirse a terceros países cuando existan garantías adecuadas y aplicables con arreglo al Derecho de la Unión, en particular, de conformidad con las bases para la transferencia de datos personales previstas en el Derecho de la Unión en materia de protección de datos y, en lo referente a los datos no personales, existan garantías adecuadas con arreglo al Derecho de la Unión, como los Reglamentos (UE) 2022/868 (42) y (UE) 2023/2854 (43) del Parlamento Europeo y del Consejo.
(141)
Afin d’accélérer le processus de développement et la mise sur le marché des systèmes d’IA à haut risque énumérés dans une annexe du présent règlement, il importe que les fournisseurs ou fournisseurs potentiels de ces systèmes puissent également bénéficier d’un régime particulier pour soumettre ces systèmes à des essais en conditions réelles sans participer à un bac à sable réglementaire de l’IA. Toutefois, dans de tels cas, compte tenu des conséquences possibles de ces essais sur des personnes physiques, il convient de veiller à ce que le présent règlement introduise des garanties et des conditions appropriées et suffisantes pour les fournisseurs ou fournisseurs potentiels. Ces garanties devraient comprendre, entre autres, une demande de consentement éclairé de la part des personnes physiques pour participer à des essais en conditions réelles, sauf en ce qui concerne les services répressifs lorsque la recherche d’un consentement éclairé empêcherait que le système d’IA ne soit mis à l’essai. Le consentement des participants à la participation à ces essais au titre du présent règlement est distinct et sans préjudice du consentement des personnes concernées au traitement de leurs données à caractère personnel en vertu de la législation applicable en matière de protection des données. Il importe également important de réduire les risques au minimum et de permettre aux autorités compétentes d’exercer un contrôle et, par conséquent, d’exiger des fournisseurs potentiels qu’ils disposent d’un plan d’essais en conditions réelles présenté à l’autorité de surveillance du marché compétente, d’enregistrer les essais dans des sections spécifiques de la base de données de l’UE, sous réserve de quelques exceptions limitées, de fixer des limitations de la période pendant laquelle les essais peuvent être menés et d’exiger des garanties supplémentaires pour les personnes appartenant à certains groupes vulnérables, ainsi qu’un accord écrit définissant les rôles et les responsabilités des fournisseurs potentiels et des déployeurs et établissant un contrôle effectif par le personnel compétent participant aux essais en conditions réelles. En outre, il convient d’envisager des garanties supplémentaires pour veiller à ce que les prédictions, recommandations ou décisions d’un système d’IA puissent être infirmées et ignorées de manière effective et à ce que les données à caractère personnel soient protégées et supprimées lorsque les personnes concernées ont retiré leur consentement à participer aux essais, sans qu’il soit porté atteinte aux droits dont elles disposent en tant que personnes concernées en vertu du droit de l’Union en matière de protection des données. En ce qui concerne le transfert de données, il convient en outre d’envisager que les données collectées et traitées aux fins des essais en conditions réelles ne soient transférées vers des pays tiers que lorsque des garanties appropriées et applicables en vertu du droit de l’Union sont en place, en particulier conformément aux bases pour le transfert de données à caractère personnel prévues par le droit de l’Union en matière de protection des données, et que des garanties appropriées soient mises en place pour les données à caractère non personnel conformément au droit de l’Union, notamment les règlements (UE) 2022/868 (42) et (UE) 2023/2854 (43) du Parlement européen et du Conseil.
(142)
A fin de garantizar que la IA conduzca a resultados positivos desde el punto de vista social y medioambiental, se anima a los Estados miembros a que respalden y promuevan la investigación y el desarrollo de soluciones de IA en apoyo a tales resultados, como soluciones basadas en la IA para aumentar la accesibilidad para las personas con discapacidad, atajar desigualdades socioeconómicas o cumplir los objetivos en materia de medio ambiente, asignando recursos suficientes, incluidos fondos públicos y de la Unión, y, cuando proceda y siempre que se cumplan los criterios de admisibilidad y selección, teniendo en consideración especialmente proyectos que persigan tales objetivos. Dichos proyectos deben basarse en el principio de cooperación interdisciplinaria entre desarrolladores de IA, expertos en desigualdad y no discriminación, en accesibilidad y en derechos del consumidor, medioambientales y digitales, así como representantes del mundo académico.
(142)
Afin de veiller à ce que l’IA engendre des résultats bénéfiques sur le plan social et environnemental, les États membres sont encouragés à soutenir et à promouvoir la recherche et le développement de solutions d’IA propices à tels résultats, telles que des solutions fondées sur l’IA destinées à renforcer l’accessibilité pour les personnes handicapées, à réduire les inégalités socio-économiques ou à atteindre les objectifs environnementaux, en y affectant des ressources suffisantes, y compris des financements publics et de l’Union, et, lorsqu’il convient et pour autant que les critères d’éligibilité et de sélection soient remplis, en envisageant des projets spécifiques qui poursuivent ces objectifs. Ces projets devraient être fondés sur le principe d’une coopération interdisciplinaire entre les développeurs d’IA, les experts en matière d’inégalité et de non-discrimination, d’accessibilité, de droits des consommateurs, de droits environnementaux et numériques, ainsi que les universitaires.
(143)
Para promover y proteger la innovación, es importante tener en particular consideración los intereses de las pymes, incluidas las empresas emergentes, que sean proveedores o responsables del despliegue de sistemas de IA. A tal fin, los Estados miembros deben desarrollar iniciativas en materia de concienciación y comunicación de información, entre otros aspectos, dirigidas a dichos operadores. Los Estados miembros deben proporcionar a las pymes, incluidas las empresas emergentes, que tengan un domicilio social o una sucursal en la Unión, un acceso prioritario a los espacios controlados de pruebas para la IA, siempre que cumplan las condiciones de admisibilidad y los criterios de selección y sin impedir que otros proveedores y proveedores potenciales accedan a los espacios controlados de pruebas, siempre que se cumplan las mismas condiciones y criterios. Los Estados miembros deben utilizar los canales existentes y establecer, cuando proceda, nuevos canales de comunicación específicos con las pymes, incluidos las empresas emergentes, los responsables del despliegue, otros innovadores y, cuando proceda, las autoridades públicas locales, para apoyar a las pymes durante toda su trayectoria de desarrollo ofreciendo orientaciones y respondiendo a las preguntas sobre la aplicación del presente Reglamento. Cuando proceda, estos canales deben trabajar juntos para crear sinergias y garantizar la homogeneidad de sus orientaciones para las pymes, incluidas las empresas emergentes, y los responsables del despliegue. Además, los Estados miembros deben fomentar la participación de las pymes y otras partes interesadas pertinentes en los procesos de desarrollo de la normalización. Asimismo, los organismos notificados deben tener en cuenta las necesidades y los intereses específicos de los proveedores que sean pymes, incluidas las empresas emergentes, cuando establezcan las tasas aplicables a las evaluaciones de la conformidad. La Comisión debe evaluar periódicamente los costes de la certificación y el cumplimiento para las pymes, incluidas las empresas emergentes, a través de consultas transparentes, y debe trabajar con los Estados miembros para reducir dichos costes. Por ejemplo, los costes de traducción ligados a la documentación obligatoria y a la comunicación con las autoridades pueden ser considerables para los proveedores y otros operadores, en particular para los de menor tamaño. En la medida de lo posible, los Estados miembros deben velar por que una de las lenguas en las que acepten que los proveedores presenten la documentación pertinente y que pueda usarse para la comunicación con los operadores sea ampliamente conocida por el mayor número posible de responsables del despliegue transfronterizos. A fin de abordar las necesidades específicas de las pymes, incluidas las empresas emergentes, la Comisión debe proporcionar modelos normalizados para los ámbitos regulados por el presente Reglamento, previa solicitud del Consejo de IA. Además, la Comisión debe complementar los esfuerzos de los Estados miembros proporcionando una plataforma única de información con información fácil de utilizar sobre el presente Reglamento para todos los proveedores y responsables del despliegue, organizando campañas de comunicación adecuadas para sensibilizar sobre las obligaciones derivadas del presente Reglamento y evaluando y fomentando la convergencia de las mejores prácticas en los procedimientos de contratación pública en relación con los sistemas de IA. Las medianas empresas que hace poco se consideraban pequeñas empresas en el sentido del anexo de la Recomendación 2003/361/CE de la Comisión (44) deben tener acceso a esas medidas de apoyo, ya que dichas nuevas medianas empresas a veces pueden carecer de los recursos jurídicos y la formación necesarios para garantizar la comprensión y el cumplimiento adecuados del presente Reglamento.
(143)
Afin de promouvoir et de protéger l’innovation, il est important que les intérêts des PME, y compris les jeunes pousses, qui sont des fournisseurs ou des déployeurs de systèmes d’IA bénéficient d’une attention particulière. À cette fin, les États membres devraient prendre des initiatives à l’intention de ces opérateurs, notamment en matière de sensibilisation et de communication d’informations. Les États membres devraient fournir aux PME, y compris les jeunes pousses, qui ont leur siège social ou une succursale dans l’Union un accès prioritaire aux bacs à sable réglementaires de l’IA, à condition qu’elles remplissent les conditions d’éligibilité et les critères de sélection et sans exclure que d’autres fournisseurs et fournisseurs potentiels accèdent aux bacs à sable pour autant que les mêmes conditions et critères soient remplis. Les États membres devraient utiliser les canaux de communication existants, et en établissent de nouveaux s’il y a lieu, avec les PME, y compris les jeunes pousses, les déployeurs, d’autres innovateurs et, le cas échéant, les autorités publiques locales afin de soutenir les PME tout au long de leur trajectoire de développement en leur fournissant des orientations et en répondant à leurs questions concernant la mise en œuvre du présent règlement. Le cas échéant, ces canaux devraient collaborer pour créer des synergies et assurer la cohérence des orientations fournies aux PME, y compris les jeunes pousses, et aux déployeurs. En outre, les États membres devraient faciliter la participation des PME et d’autres parties concernées aux processus d’élaboration de la normalisation. Par ailleurs, les intérêts et les besoins spécifiques des fournisseurs qui sont des PME, y compris des jeunes pousses, devraient être pris en considération lorsque les organismes notifiés fixent les redevances d’évaluation de la conformité. La Commission devrait évaluer régulièrement les coûts de certification et de mise en conformité pour les PME, y compris les jeunes pousses, en menant des consultations transparentes, et devrait collaborer avec les États membres pour réduire ces coûts. Par exemple, les frais de traduction liés à la documentation obligatoire et à la communication avec les autorités peuvent représenter un coût important pour les fournisseurs et d’autres opérateurs, en particulier pour ceux de plus petite envergure. Les États membres devraient éventuellement veiller à ce qu’une des langues qu’ils choisissent et acceptent pour la documentation pertinente des fournisseurs et pour la communication avec les opérateurs soit une langue comprise par le plus grand nombre possible de déployeurs transfrontières. Afin de répondre aux besoins spécifiques des PME, y compris les jeunes pousses, la Commission devrait fournir des modèles normalisés pour les domaines qui relèvent du présent règlement, sur demande du Comité IA. En outre, la Commission devrait compléter les efforts déployés par les États membres en mettant en place une plateforme d’information unique présentant des informations facilement exploitables concernant le présent règlement à l’intention de tous les fournisseurs et déployeurs, en organisant des campagnes de communication appropriées pour faire connaître les obligations découlant du présent règlement, et en évaluant et en promouvant la convergence des bonnes pratiques dans les procédures de passation de marchés publics relatifs aux systèmes d’IA. Les entreprises qui jusqu’à récemment relevaient des «petites entreprises» au sens de l’annexe à la recommandation 2003/361/CE de la Commission (44) devraient avoir accès à ces mesures de soutien, étant donné que ces nouvelles moyennes entreprises peuvent parfois manquer des ressources juridiques et de la formation nécessaires pour avoir une bonne compréhension du présent règlement et en respecter les dispositions.
(144)
Con el fin de promover y proteger la innovación, la plataforma de IA a la carta y todos los programas y proyectos de financiación de la Unión pertinentes, como el programa Europa Digital u Horizonte Europa, ejecutados por la Comisión y los Estados miembros a escala nacional o de la Unión deben, cuando proceda, contribuir a la consecución de los objetivos del presente Reglamento.
(144)
Afin de promouvoir et de protéger l’innovation, la plateforme d’IA à la demande, ainsi que l’ensemble des programmes et projets de financement pertinents de l’Union, tels que le programme pour une Europe numérique et Horizon Europe, mis en œuvre par la Commission et les États membres au niveau national ou de l’Union, selon qu’il convient, devraient contribuer à la réalisation des objectifs du présent règlement.
(145)
A fin de reducir al mínimo los riesgos para la aplicación derivados de la falta de conocimientos y experiencia en el mercado, y con el objetivo de facilitar que los proveedores, en particular las pymes, incluidas las empresas emergentes, y los organismos notificados cumplan las obligaciones que les impone el presente Reglamento, la plataforma de IA a la carta, los centros europeos de innovación digital y las instalaciones de ensayo y experimentación establecidos por la Comisión y los Estados miembros a escala nacional o de la Unión deben contribuir a la aplicación de este Reglamento. En concreto, la plataforma de IA a la carta, los centros europeos de innovación digital y las instalaciones de ensayo y experimentación son capaces de proporcionar a los proveedores y organismos notificados asistencia técnica y científica dentro de sus respectivas misiones y esferas de competencia.
(145)
Afin de réduire au minimum les risques pour la mise en œuvre résultant du manque de connaissances et d’expertise sur le marché, ainsi que de faciliter la mise en conformité des fournisseurs, en particulier des PME, y compris les jeunes pousses, et des organismes notifiés avec les obligations qui leur incombent au titre du présent règlement, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et les installations d’expérimentation et d’essai mis en place par la Commission et les États membres au niveau de l’Union ou au niveau national devraient contribuer à la mise en œuvre du présent règlement. Dans le cadre de leurs missions et domaines de compétence respectifs, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et les installations d’expérimentation et d’essai sont notamment en mesure d’apporter un soutien technique et scientifique aux fournisseurs et aux organismes notifiés.
(146)
Además, a la luz del tamaño muy pequeño de algunos operadores y con el fin de garantizar la proporcionalidad en relación con los costes de innovación, conviene permitir que las microempresas cumplan una de las obligaciones más costosas, a saber, la de establecer un sistema de gestión de la calidad, de manera simplificada, lo que reduciría la carga administrativa y los costes para dichas empresas sin afectar al nivel de protección ni a la necesidad de cumplir los requisitos aplicables a los sistemas de IA de alto riesgo. La Comisión debe elaborar directrices para especificar los elementos del sistema de gestión de la calidad que las microempresas deben cumplir de esta manera simplificada.
(146)
En outre, au vu de la très petite taille de certains opérateurs et afin d’assurer la proportionnalité en ce qui concerne les coûts de l’innovation, il convient de permettre aux microentreprises de satisfaire à l’une des obligations les plus coûteuses, à savoir celle de mettre en place un système de gestion de la qualité, d’une manière simplifiée qui réduirait la charge administrative et les coûts pour ces entreprises sans affecter le niveau de protection et la nécessité de se conformer aux exigences applicables aux systèmes d’IA à haut risque. La Commission devrait élaborer des lignes directrices pour préciser quels éléments du système de gestion de la qualité les microentreprises doivent respecter dans le système simplifié.
(147)
Resulta adecuado que la Comisión facilite, en la medida de lo posible, el acceso a las instalaciones de ensayo y experimentación a organismos, grupos o laboratorios establecidos o acreditados con arreglo a la legislación de armonización de la Unión pertinente y que realicen tareas en el marco de la evaluación de la conformidad de productos o dispositivos regulados por dicha legislación. Tal es el caso, en particular, en lo que respecta a los paneles de expertos, los laboratorios especializados y los laboratorios de referencia en el ámbito de los productos sanitarios, de conformidad con los Reglamentos (UE) 2017/745 y (UE) 2017/746.
(147)
Il convient que la Commission facilite, dans la mesure du possible, l’accès aux installations d’expérimentation et d’essai pour les organismes, groupes ou laboratoires qui ont été créés ou accrédités en vertu d’une législation d’harmonisation de l’Union pertinente et qui accomplissent des tâches dans le cadre de l’évaluation de la conformité des produits ou dispositifs couverts par la législation d’harmonisation de l’Union en question. C’est en particulier le cas en ce qui concerne les groupes d’experts, les laboratoires spécialisés et les laboratoires de référence dans le domaine des dispositifs médicaux conformément aux règlements (UE) 2017/745 et (UE) 2017/746.
(148)
El presente Reglamento debe establecer un marco de gobernanza que permita tanto coordinar y apoyar su aplicación a escala nacional, como desarrollar capacidades a escala de la Unión e integrar a las partes interesadas en el ámbito de la IA. La aplicación y el cumplimiento efectivos del presente Reglamento requieren un marco de gobernanza que permita coordinar y adquirir conocimientos especializados centrales a escala de la Unión. La Oficina de IA se creó mediante Decisión de la Comisión (45) y tiene como misión desarrollar conocimientos especializados y capacidades de la Unión en el ámbito de la IA y contribuir a la aplicación del Derecho de la Unión en materia de IA. Los Estados miembros deben facilitar las tareas de la Oficina de IA con vistas a apoyar el desarrollo de conocimientos especializados y capacidades a escala de la Unión y a fortalecer el funcionamiento del mercado único digital. Además, debe crearse un Consejo de IA compuesto por representantes de los Estados miembros, un grupo de expertos científicos para integrar a la comunidad científica y un foro consultivo para facilitar las aportaciones de las partes interesadas a la aplicación del presente Reglamento, a escala de la Unión y nacional. El desarrollo de conocimientos especializados y capacidades de la Unión también debe incluir la utilización de los recursos y conocimientos especializados existentes, en particular a través de sinergias con estructuras creadas en el contexto de la aplicación a escala de la Unión de otros actos legislativos y de sinergias con iniciativas conexas a escala de la Unión, como la Empresa Común EuroHPC y las instalaciones de ensayo y experimentación de IA en el marco del programa Europa Digital.
(148)
Le présent règlement devrait établir un cadre de gouvernance qui permette à la fois de coordonner et de soutenir l’application du présent règlement au niveau national, ainsi que de renforcer les capacités au niveau de l’Union et d’intégrer les parties prenantes dans le domaine de l’IA. La mise en œuvre et le contrôle de l’application effectifs du présent règlement requièrent un cadre de gouvernance qui permette de coordonner et de renforcer l’expertise centrale au niveau de l’Union. Le Bureau de l’IA a été créé par voie d’une décision de la Commission (45) et a pour mission d’approfondir l’expertise et de renforcer les capacités de l’Union dans le domaine de l’IA ainsi que de contribuer à la mise en œuvre de la législation de l’Union sur l’IA. Les États membres devraient faciliter l’accomplissement des missions du Bureau de l’IA en vue de soutenir le développement de l’expertise de l’Union et des capacités au niveau de l’Union et de renforcer le fonctionnement du marché unique numérique. En outre, il convient d’établir un Comité IA composé de représentants des États membres, un groupe scientifique visant à intégrer la communauté scientifique et un forum consultatif visant à recueillir les contributions des parties concernées en vue de la mise en œuvre du présent règlement, au niveau de l’Union et au niveau national. Le développement de l’expertise et des capacités de l’Union devrait également consister à utiliser les ressources et l’expertise existantes, en particulier grâce à des synergies avec les structures établies dans le contexte de l’application au niveau de l’Union d’autres dispositions législatives et à des synergies avec des initiatives connexes au niveau de l’Union, telles que l’entreprise commune EuroHPC et les installations de mise à l’essai de l’IA et d’expérimentations relevant du programme pour une Europe numérique.
(149)
Debe establecerse un Consejo de IA que facilite la aplicación fluida, efectiva y armonizada del presente Reglamento. El Consejo de IA debe reflejar los diversos intereses del ecosistema de la IA y estar formado por representantes de los Estados miembros. El Consejo de IA debe encargarse de diversas tareas de asesoramiento. Entre otras cosas, debe emitir dictámenes, recomendaciones e informes de asesoramiento o contribuir a orientaciones sobre asuntos relacionados con la aplicación de este Reglamento, también en lo que respecta la ejecución, las especificaciones técnicas o las normas existentes en relación con los requisitos previstos en el presente Reglamento, y asesorar a la Comisión y a los Estados miembros, así como a sus autoridades nacionales competentes, en cuestiones específicas vinculadas a la IA. Con el fin de dar cierta flexibilidad a los Estados miembros en la designación de sus representantes en el Consejo de IA, cualquier persona perteneciente a una entidad pública que tenga las competencias y facultades pertinentes para facilitar la coordinación a escala nacional y contribuir al cumplimiento de las funciones del Consejo de IA podrá ser designada representante. El Consejo de IA debe establecer dos subgrupos permanentes a fin de proporcionar una plataforma de cooperación e intercambio entre las autoridades de vigilancia del mercado y las autoridades notificantes sobre cuestiones relacionadas, respectivamente, con la vigilancia del mercado y los organismos notificados. El subgrupo permanente de vigilancia del mercado debe actuar como grupo de cooperación administrativa (ADCO) para el presente Reglamento en el sentido del artículo 30 del Reglamento (UE) 2019/1020. De conformidad con el artículo 33 de dicho Reglamento, la Comisión debe apoyar las actividades del subgrupo permanente de vigilancia del mercado mediante la realización de evaluaciones o estudios de mercado, en particular con vistas a determinar los aspectos del presente Reglamento que requieran una coordinación específica y urgente entre las autoridades de vigilancia del mercado. El Consejo de IA puede establecer otros subgrupos de carácter permanente o temporal, según proceda, para examinar asuntos específicos. El Consejo de IA también debe cooperar, según proceda, con los organismos, grupos de expertos y redes pertinentes de la Unión activos en el contexto del Derecho de la Unión pertinente, incluidos, en particular, los activos en virtud del Derecho de la Unión pertinente en materia de datos y productos y servicios digitales.
(149)
Afin de faciliter une mise en œuvre aisée, efficace et harmonisée du présent règlement, il convient de créer un Comité IA. Ce Comité IA devrait tenir compte des différents intérêts de l’écosystème de l’IA et être composé de représentants des États membres. Le Comité IA devrait être chargé d’un certain nombre de tâches consultatives, parmi lesquelles la formulation d’avis, de recommandations, de conseils ou la contribution à des orientations sur des questions liées à la mise en œuvre du présent règlement, y compris sur les questions relatives à l’exécution, les spécifications techniques ou les normes existantes concernant les exigences établies dans le présent règlement, et la fourniture de conseils à la Commission et aux États membres ainsi qu’à leurs autorités nationales compétentes sur des questions spécifiques liées à l’IA. Afin d’offrir une certaine souplesse aux États membres dans la désignation de leurs représentants au sein du Comité IA, ces représentants peuvent être toute personne appartenant à des entités publiques qui devraient avoir les compétences et les pouvoirs nécessaires pour faciliter la coordination au niveau national et contribuer à l’accomplissement des tâches du Comité IA. Le Comité IA devrait établir deux sous-groupes permanents chargés de fournir une plateforme de coopération et d’échange entre les autorités de surveillance du marché et les autorités notifiantes sur des questions liées respectivement à la surveillance du marché et aux organismes notifiés. Le sous-groupe permanent pour la surveillance du marché devrait agir au titre de groupe de coopération administrative (ADCO) pour le présent règlement au sens de l’article 30 du règlement (UE) 2019/1020. Conformément à l’article 33 dudit règlement, la Commission devrait apporter son soutien aux activités du sous-groupe permanent en procédant à des évaluations ou à des études du marché, en particulier en vue de recenser les aspects du présent règlement appelant une coordination particulière urgente entre les autorités de surveillance du marché. Le Comité IA peut créer d’autres sous-groupes permanents ou temporaires, s’il y a lieu, afin d’examiner des questions spécifiques. Le Comité IA devrait également coopérer, lorsqu’il y a lieu, avec les organes, groupes d’experts et réseaux compétents de l’Union actifs dans le contexte de dispositions législatives pertinentes de l’Union, notamment ceux qui agissent au titre de la législation applicable de l’Union en matière de données, et de produits et services numériques.
(150)
Con vistas a garantizar la participación de las partes interesadas en la ejecución y aplicación del presente Reglamento, debe crearse un foro consultivo para asesorar al Consejo de IA y a la Comisión y proporcionarles conocimientos técnicos. A fin de garantizar una representación variada y equilibrada de las partes interesadas que tenga en cuenta los intereses comerciales y no comerciales y, dentro de la categoría de los intereses comerciales, por lo que se refiere a las pymes y otras empresas, el foro consultivo debe incluir, entre otros, a la industria, las empresas emergentes, las pymes, el mundo académico, la sociedad civil, en particular los interlocutores sociales, así como a la Agencia de los Derechos Fundamentales de la Unión Europea, ENISA, el Comité Europeo de Normalización (CEN), el Comité Europeo de Normalización Electrotécnica (Cenelec) y el Instituto Europeo de Normas de Telecomunicaciones (ETSI).
(150)
En vue d’assurer la participation des parties prenantes à la mise en œuvre et à l’application du présent règlement, il convient d’établir un forum consultatif chargé de conseiller le Comité IA et la Commission et de leur fournir une expertise technique. Afin d’assurer une représentation diversifiée et équilibrée des parties prenantes tenant compte des différents intérêts commerciaux et non commerciaux et, au sein de la catégorie des intérêts commerciaux, eu égard aux PME et autres entreprises, le forum consultatif devrait être composé, entre autres, de représentants du secteur, des jeunes pousses, des PME, du milieu universitaire, de la société civile, y compris les partenaires sociaux, ainsi que de l’Agence des droits fondamentaux, de l’ENISA, du Comité européen de normalisation (CEN), du Comité européen de normalisation électrotechnique (CENELEC) et de l’Institut européen de normalisation des télécommunications (ETSI).
(151)
Para apoyar la aplicación y el cumplimiento del presente Reglamento, en particular las actividades de supervisión de la Oficina de IA en lo que respecta a los modelos de IA de uso general, debe crearse un grupo de expertos científicos formado por expertos independientes. Los expertos independientes que constituyan el grupo de expertos científicos deben seleccionarse sobre la base de conocimientos científicos o técnicos actualizados en el ámbito de la IA y deben desempeñar sus funciones con imparcialidad y objetividad y garantizar la confidencialidad de la información y los datos obtenidos en el ejercicio de sus funciones y actividades. A fin de permitir el refuerzo de las capacidades nacionales necesarias para el cumplimiento efectivo del presente Reglamento, los Estados miembros deben poder solicitar el apoyo de los expertos que constituyan el grupo científico para sus actividades de garantía del cumplimiento.
(151)
Afin de soutenir la mise en œuvre et le contrôle du respect du présent règlement, en particulier les activités de suivi du Bureau de l’IA concernant les modèles d’IA à usage général, il convient d’établir un groupe scientifique composé d’experts indépendants. Les experts indépendants constituant le groupe scientifique devraient être choisis en fonction de leur expertise à la pointe des connaissances scientifiques ou techniques dans le domaine de l’IA. Ils devraient s’acquitter de leurs tâches avec impartialité et objectivité et veiller à la confidentialité des informations et des données obtenues dans l’exercice de leurs tâches et activités. Afin de permettre le renforcement des capacités nationales nécessaires au contrôle effectif du respect du présent règlement, les États membres devraient être en mesure de solliciter l’aide de la réserve d’experts constituant le groupe scientifique pour leurs activités répressives.
(152)
A fin de apoyar una ejecución adecuada en lo que respecta a los sistemas de IA y reforzar las capacidades de los Estados miembros, deben crearse y ponerse a disposición de los Estados miembros estructuras de apoyo a los ensayos de IA de la Unión.
(152)
Afin de soutenir un contrôle de l’application adéquat en ce qui concerne les systèmes d’IA et de renforcer les capacités des États membres, il convient de créer et de mettre à la disposition des États membres des structures de soutien de l’Union pour les essais en matière d’IA.
(153)
Los Estados miembros desempeñan un papel clave en la aplicación y ejecución del presente Reglamento. En ese sentido, cada Estado miembro debe designar al menos una autoridad notificante y al menos una autoridad de vigilancia del mercado como autoridades nacionales competentes que se encarguen de supervisar su aplicación y ejecución. Los Estados miembros pueden decidir designar cualquier tipo de entidad pública para que desempeñe las tareas de las autoridades nacionales competentes en el sentido del presente Reglamento, de conformidad con sus características y necesidades organizativas nacionales específicas. Con el fin de incrementar la eficiencia organizativa en los Estados miembros y establecer un único punto de contacto oficial con el público y otros homólogos a escala de los Estados miembros y la Unión, cada Estado miembro debe designar una autoridad de vigilancia del mercado que actúe como punto de contacto único.
(153)
Les États membres jouent un rôle clé dans l’application et le contrôle du respect du présent règlement. À cet égard, chaque État membre devrait désigner au moins une autorité notifiante et au moins une autorité de surveillance du marché en tant qu’autorités nationales compétentes chargées de contrôler l’application et la mise en œuvre du présent règlement. Les États membres peuvent décider de désigner une entité publique, quel qu’en soit le type, qui soit chargée d’exécuter les tâches des autorités nationales compétentes au sens du présent règlement, en fonction de leurs caractéristiques et besoins organisationnels nationaux spécifiques. Afin d’accroître l’efficacité de l’organisation du côté des États membres et de définir un point de contact unique avec le public et les homologues au niveau des États membres et de l’Union, chaque État membre devrait désigner une autorité de surveillance du marché pour tenir le rôle de point de contact unique.
(154)
Las autoridades nacionales competentes deben ejercer sus poderes de manera independiente, imparcial y objetiva, a fin de preservar los principios de objetividad de sus actividades y funciones y garantizar la aplicación y ejecución del presente Reglamento. Los miembros de estas autoridades deben abstenerse de todo acto incompatible con el carácter de sus funciones y estar sujetos a las normas de confidencialidad establecidas en el presente Reglamento.
(154)
Les autorités nationales compétentes devraient exercer leurs pouvoirs de manière indépendante, impartiale et sans parti pris, afin de préserver les principes d’objectivité de leurs activités et de leurs tâches et d’assurer l’application et la mise en œuvre du présent règlement. Les membres de ces autorités devraient s’abstenir de toute action incompatible avec leurs fonctions et devraient être soumis aux règles de confidentialité prévues par le présent règlement.
(155)
Todos los proveedores de sistemas de IA de alto riesgo deben contar con un sistema de vigilancia poscomercialización, con vistas a garantizar que puedan tener en cuenta la experiencia con el uso de esos sistemas de cara a mejorar los suyos y el proceso de diseño y desarrollo o que puedan adoptar cualquier medida correctora en el momento oportuno. Cuando proceda, la vigilancia poscomercialización debe incluir un análisis de la interacción con otros sistemas de IA, incluidos otros dispositivos y software. La vigilancia poscomercialización no debe comprender los datos operativos sensibles de los responsables del despliegue de sistemas de IA que sean autoridades garantes del cumplimiento del Derecho. Este sistema es también fundamental para garantizar que los posibles riesgos derivados de los sistemas de IA que siguen «aprendiendo» tras su introducción en el mercado o puesta en servicio se aborden de un modo más eficiente y oportuno. En este contexto, procede exigir a los proveedores que también cuenten con un sistema para comunicar a las autoridades pertinentes cualquier incidente grave asociado al uso de sus sistemas de IA, entendido como un incidente o defecto que tenga como consecuencia un fallecimiento o daños graves para la salud, una alteración grave e irreversible de la gestión o el funcionamiento de infraestructuras críticas, el incumplimiento de obligaciones derivadas del Derecho de la Unión destinadas a proteger los derechos fundamentales o daños graves a la propiedad o al medio ambiente.
(155)
Afin de veiller à ce que les fournisseurs de systèmes d’IA à haut risque puissent prendre en considération l’expérience acquise dans l’utilisation de systèmes d’IA à haut risque pour améliorer leurs systèmes et le processus de conception et de développement, ou qu’ils puissent prendre d’éventuelles mesures correctives en temps utile, tous les fournisseurs devraient avoir mis en place un système de surveillance après commercialisation. Le cas échéant, la surveillance après commercialisation devrait comprendre une analyse de l’interaction avec d’autres systèmes d’IA, y compris d’autres dispositifs et logiciels. La surveillance après commercialisation ne devrait pas couvrir les données opérationnelles sensibles des utilisateurs de systèmes d’IA qui sont des autorités répressives. Ce système est aussi essentiel pour garantir que les risques potentiels découlant des systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service puissent être traités plus efficacement et en temps utile. Dans ce contexte, les fournisseurs devraient également être tenus de mettre en place un système pour signaler aux autorités compétentes tout incident grave résultant de l’utilisation de leurs systèmes d’IA, à savoir un incident ou un dysfonctionnement entraînant la mort ou une atteinte grave à la santé, une perturbation grave et irréversible de la gestion et de l’exploitation des infrastructures critiques, des infractions aux obligations découlant du droit de l’Union visant à protéger les droits fondamentaux ou une atteinte grave aux biens ou à l’environnement.
(156)
Con el objetivo de garantizar el cumplimiento adecuado y efectivo de los requisitos y obligaciones previstos en el presente Reglamento, que constituye legislación de armonización de la Unión, debe aplicarse en su totalidad el sistema relativo a la vigilancia del mercado y la conformidad de los productos establecido por el Reglamento (UE) 2019/1020. Las autoridades de vigilancia del mercado designadas con arreglo al presente Reglamento deben disponer de todos los poderes de ejecución establecidos en el presente Reglamento y en el Reglamento (UE) 2019/1020, y deben ejercer sus poderes y desempeñar sus funciones de manera independiente, imparcial y objetiva. Aunque la mayoría de los sistemas de IA no están sujetos a requisitos ni obligaciones específicos en virtud del presente Reglamento, las autoridades de vigilancia del mercado pueden adoptar medidas en relación con todos los sistemas de IA cuando estos presenten un riesgo de conformidad con el presente Reglamento. Debido a la naturaleza específica de las instituciones, órganos y organismos de la Unión que entran en el ámbito de aplicación del presente Reglamento, procede designar al Supervisor Europeo de Protección de Datos como autoridad de vigilancia del mercado competente para ellos. Esto debe entenderse sin perjuicio de la designación de autoridades nacionales competentes por parte de los Estados miembros. Las actividades de vigilancia del mercado no deben afectar a la capacidad de las entidades supervisadas para llevar a cabo sus tareas de manera independiente, cuando el Derecho de la Unión exija dicha independencia.
(156)
Afin de garantir un contrôle approprié et efficace du respect des exigences et obligations énoncées par le présent règlement, qui fait partie de la législation d’harmonisation de l’Union, le système de surveillance du marché et de mise en conformité des produits établi par le règlement (UE) 2019/1020 devrait s’appliquer dans son intégralité. Les autorités de surveillance du marché désignées en vertu du présent règlement devraient disposer de tous les pouvoirs d’exécution prévus par le présent règlement et par le règlement (UE) 2019/1020, et elles devraient exercer leurs pouvoirs et s’acquitter de leurs tâches de manière indépendante, impartiale et sans parti pris. Bien que la majorité des systèmes d’IA ne fassent pas l’objet d’exigences et obligations particulières au titre du présent règlement, les autorités de surveillance du marché peuvent prendre des mesures à l’égard de tous les systèmes d’IA lorsqu’ils présentent un risque conformément au présent règlement. En raison de la nature spécifique des institutions, agences et organes de l’Union relevant du champ d’application du présent règlement, il convient de désigner le Contrôleur européen de la protection des données comme autorité compétente pour la surveillance du marché en ce qui les concerne. Cela devrait être sans préjudice de la désignation des autorités nationales compétentes par les États membres. Les activités de surveillance du marché ne devraient pas affecter la capacité des entités surveillées à s’acquitter de leurs tâches de manière indépendante, lorsque cette indépendance constitue une exigence du droit de l’Union.
(157)
El presente Reglamento se entiende sin perjuicio de las competencias, funciones, poderes e independencia de las autoridades u organismos públicos nacionales pertinentes que supervisan la aplicación del Derecho de la Unión que protege los derechos fundamentales, incluidos los organismos de igualdad y las autoridades de protección de datos. Cuando sea necesario para su mandato, dichas autoridades u organismos públicos nacionales también deben tener acceso a cualquier documentación creada en virtud del presente Reglamento. Debe establecerse un procedimiento de salvaguardia específico para garantizar una ejecución adecuada y oportuna frente a sistemas de IA que presenten un riesgo para la salud, la seguridad o los derechos fundamentales. El procedimiento relativo a dichos sistemas de IA que presentan un riesgo debe aplicarse a los sistemas de IA de alto riesgo que presenten un riesgo, a los sistemas prohibidos que hayan sido introducidos en el mercado, puestos en servicio o utilizados contraviniendo las prácticas prohibidas establecidas en el presente Reglamento y a los sistemas de IA que hayan sido comercializados infringiendo los requisitos de transparencia establecidos en el presente Reglamento y que presenten un riesgo.
(157)
Le présent règlement est sans préjudice des compétences, des tâches, des pouvoirs et de l’indépendance des autorités ou organismes publics nationaux compétents qui contrôlent l’application du droit de l’Union en matière de protection des droits fondamentaux, y compris les organismes chargés des questions d’égalité et les autorités de protection des données. Lorsque leur mandat l’exige, ces autorités ou organismes publics nationaux devraient également avoir accès à toute documentation créée en vertu du présent règlement. Une procédure de sauvegarde spécifique devrait être mise en place pour garantir une application adéquate et en temps utile opposable aux systèmes d’IA présentant un risque pour la santé, la sécurité et les droits fondamentaux. La procédure applicable à ces systèmes d’IA présentant un risque devrait être appliquée aux systèmes d’IA à haut risque présentant un risque, aux systèmes interdits qui ont été mis sur le marché, mis en service ou utilisés en violation des interdictions concernant des pratiques définies par le présent règlement, et aux systèmes d’IA qui ont été mis à disposition en violation des exigences de transparence énoncées dans le présent règlement et qui présentent un risque.
(158)
El Derecho de la Unión en materia de servicios financieros contiene normas y requisitos en materia de gobernanza interna y gestión de riesgos que las entidades financieras reguladas deben cumplir durante la prestación de dichos servicios, y también cuando utilicen sistemas de IA. Para garantizar la aplicación y ejecución coherentes de las obligaciones previstas en el presente Reglamento, así como de las normas y los requisitos oportunos de los actos jurídicos de la Unión relativos a los servicios financieros, se ha de designar a las autoridades competentes de supervisar y ejecutar dichos actos jurídicos, en particular las autoridades competentes definidas en el Reglamento (UE) n.o 575/2013 del Parlamento Europeo y del Consejo (46) y las Directivas 2008/48/CE (47), 2009/138/CE (48), 2013/36/UE (49), 2014/17/UE (50) y (UE) 2016/97 (51) del Parlamento Europeo y del Consejo, dentro de sus respectivas competencias, como las autoridades competentes encargadas de supervisar la aplicación del presente Reglamento, también por lo que respecta a las actividades de vigilancia del mercado, en relación con los sistemas de IA proporcionados o utilizados por las entidades financieras reguladas y supervisadas, a menos que los Estados miembros decidan designar a otra autoridad para que desempeñe estas tareas de vigilancia del mercado. Dichas autoridades competentes deben disponer de todos los poderes previstos en el presente Reglamento y en el Reglamento (UE) 2019/1020 para hacer cumplir los requisitos y obligaciones del presente Reglamento, incluidos los poderes para llevar a cabo actividades de vigilancia del mercado ex post que pueden integrarse, en su caso, en sus mecanismos y procedimientos de supervisión existentes en virtud del Derecho pertinente de la Unión en materia de servicios financieros. Conviene prever que, cuando actúen como autoridades de vigilancia del mercado en virtud del presente Reglamento, las autoridades nacionales responsables de la supervisión de las entidades de crédito reguladas por la Directiva 2013/36/UE que participen en el Mecanismo Único de Supervisión establecido por el Reglamento (UE) n.o 1024/2013 del Consejo (52) comuniquen sin demora al Banco Central Europeo toda información obtenida en el transcurso de sus actividades de vigilancia del mercado que pueda ser de interés para las funciones de supervisión prudencial del Banco Central Europeo especificadas en dicho Reglamento. Con vistas a aumentar la coherencia entre el presente Reglamento y las normas aplicables a las entidades de crédito reguladas por la Directiva 2013/36/UE, conviene igualmente integrar algunas de las obligaciones procedimentales de los proveedores relativas a la gestión de riesgos, la vigilancia poscomercialización y la documentación en las obligaciones y los procedimientos vigentes con arreglo a la Directiva 2013/36/UE. Para evitar solapamientos, también se deben contemplar excepciones limitadas en relación con el sistema de gestión de la calidad de los proveedores y la obligación de vigilancia impuesta a los responsables del despliegue de sistemas de IA de alto riesgo, en la medida en que estos se apliquen a las entidades de crédito reguladas por la Directiva 2013/36/UE. El mismo régimen debe aplicarse a las empresas de seguros y reaseguros y a las sociedades de cartera de seguros reguladas por la Directiva 2009/138/CE, a los intermediarios de seguros regulados por la Directiva (UE) 2016/97 y a otros tipos de entidades financieras sujetas a requisitos sobre gobernanza, sistemas o procesos internos establecidos con arreglo al Derecho pertinente de la Unión en materia de servicios financieros a fin de garantizar la coherencia y la igualdad de trato en el sector financiero.
(158)
Le droit de l’Union en matière de services financiers comprend des règles et des exigences en matière de gouvernance interne et de gestion des risques qui sont applicables aux établissements financiers réglementés dans le cadre de la fourniture de ces services, y compris lorsqu’ils font usage de systèmes d’IA. Afin d’assurer la cohérence de l’application et du contrôle du respect des obligations découlant du présent règlement et des règles et exigences pertinentes prévues par les actes juridiques de l’Union sur les services financiers, les autorités compétentes chargées de la surveillance et du contrôle de l’application de ces actes juridiques, en particulier les autorités compétentes au sens du règlement (UE) no 575/2013 du Parlement européen et du Conseil (46) et des directives 2008/48/CE (47), 2009/138/CE (48), 2013/36/UE (49), 2014/17/UE (50) et (UE) 2016/97 (51) du Parlement européen et du Conseil, devraient être désignées, dans les limites de leurs compétences respectives, comme les autorités compétentes aux fins de la surveillance de la mise en œuvre du présent règlement, y compris pour les activités de surveillance du marché, en ce qui concerne les systèmes d’IA fournis ou utilisés par des établissements financiers réglementés et surveillés, à moins que les États membres ne décident de désigner une autre autorité pour remplir ces tâches de surveillance du marché. Ces autorités compétentes devraient disposer, en vertu du présent règlement et du règlement (UE) 2019/1020, de tous les pouvoirs nécessaires pour faire respecter les exigences et obligations du présent règlement, y compris le pouvoir d’effectuer des activités de surveillance du marché ex post qui peuvent être intégrées, le cas échéant, dans leurs mécanismes et procédures de surveillance existants au titre du droit de l’Union en matière de services financiers. Il convient d’envisager que, lorsqu’elles agissent en tant qu’autorités de surveillance du marché au titre du présent règlement, les autorités nationales responsables de la surveillance des établissements de crédit réglementés régis par la directive 2013/36/UE, qui participent au mécanisme de surveillance unique institué par le règlement (UE) no 1024/2013 du Conseil (52), doivent communiquer sans délai à la Banque centrale européenne toute information identifiée dans le cadre de leurs activités de surveillance du marché qui pourrait présenter un intérêt pour les missions de surveillance prudentielle de la Banque centrale européenne telles qu’elles sont définies dans ledit règlement. Pour renforcer encore la cohérence entre le présent règlement et les règles applicables aux établissements de crédit régis par la directive 2013/36/UE, il convient aussi d’intégrer certaines des obligations procédurales des fournisseurs en ce qui concerne la gestion des risques, la surveillance après commercialisation et la documentation dans les obligations et procédures existantes au titre de la directive 2013/36/UE. Afin d’éviter les chevauchements, des dérogations limitées devraient aussi être envisagées en ce qui concerne le système de gestion de la qualité des fournisseurs et l’obligation de suivi imposée aux déployeurs de systèmes d’IA à haut risque dans la mesure où les dispositions y afférentes s’appliquent aux établissements de crédit régis par la directive 2013/36/UE. Le même régime devrait s’appliquer aux entreprises d’assurance et de réassurance et aux sociétés holding d’assurance relevant de la directive 2009/138/CE, aux intermédiaires d’assurance relevant de la directive (UE) 2016/97, ainsi qu’aux autres types d’établissements financiers soumis à des exigences en matière de gouvernance, de dispositifs ou de processus internes établis en vertu des dispositions pertinentes du droit de l’Union en matière de services financiers afin d’assurer la cohérence et l’égalité de traitement dans le secteur financier.
(159)
Cada autoridad de vigilancia del mercado para los sistemas de IA de alto riesgo en el ámbito de la biometría enumerados en un anexo del presente Reglamento, en la medida en que dichos sistemas se utilicen con fines de garantía del cumplimiento del Derecho, de migración, asilo y gestión del control fronterizo, o de la administración de justicia y los procesos democráticos, debe disponer de facultades de investigación y correctoras efectivas, incluida al menos la facultad de obtener acceso a todos los datos personales que se estén tratando y a toda la información necesaria para el desempeño de sus funciones. Las autoridades de vigilancia del mercado deben poder ejercer sus poderes actuando con total independencia. Cualquier limitación de su acceso a datos operativos sensibles en virtud del presente Reglamento debe entenderse sin perjuicio de los poderes que les confiere la Directiva (UE) 2016/680. Ninguna exclusión de la divulgación de datos a las autoridades nacionales de protección de datos en virtud del presente Reglamento debe afectar a los poderes actuales o futuros de dichas autoridades que trasciendan el ámbito de aplicación del presente Reglamento.
(159)
Chaque autorité de surveillance du marché chargée des systèmes d’IA à haut risque dans le domaine de la biométrie énumérés dans une annexe du présent règlement, dans la mesure où ces systèmes sont utilisés à des fins liées aux activités répressives, à la migration, à l’asile et à la gestion des contrôles aux frontières ou à l’administration de la justice et aux processus démocratiques, devrait disposer de pouvoirs effectifs en matière d’enquête et de mesures correctives, y compris au minimum le pouvoir d’obtenir l’accès à toutes les données à caractère personnel traitées et à toutes les informations nécessaires à l’accomplissement de ses tâches. Les autorités de surveillance du marché devraient être en mesure d’exercer leurs pouvoirs en toute indépendance. Toute restriction de leur accès à des données opérationnelles sensibles au titre du présent règlement devrait être sans préjudice des pouvoirs qui leur sont conférés par la directive (UE) 2016/680. Aucune exclusion concernant la divulgation de données aux autorités nationales chargées de la protection des données au titre du présent règlement ne devrait avoir d’incidence sur les pouvoirs actuels ou futurs de ces autorités au-delà du champ d’application du présent règlement.
(160)
Las autoridades de vigilancia del mercado y la Comisión deben poder proponer actividades conjuntas, incluidas investigaciones conjuntas, que deben llevar a cabo las autoridades de vigilancia del mercado o las autoridades de vigilancia del mercado junto con la Comisión, con el objetivo de fomentar el cumplimiento, detectar incumplimientos, sensibilizar y ofrecer orientaciones en relación con el presente Reglamento con respecto a las categorías específicas de sistemas de IA de alto riesgo que presentan un riesgo grave en dos o más Estados miembros. Tales actividades conjuntas para fomentar el cumplimiento deben llevarse a cabo de conformidad con el artículo 9 del Reglamento (UE) 2019/1020. La Oficina de IA debe prestar apoyo de coordinación a las investigaciones conjuntas.
(160)
Les autorités de surveillance du marché et la Commission devraient être en mesure de proposer des activités conjointes, y compris des enquêtes conjointes, à mener par les autorités de surveillance du marché ou par les autorités de surveillance du marché conjointement avec la Commission, visant à promouvoir le respect de la législation, de déceler la non-conformité, de sensibiliser et de fournir des orientations au regard du présent règlement en ce qui concerne des catégories spécifiques de systèmes d’IA à haut risque qui sont recensés comme présentant un risque grave dans au moins deux États membres. Les activités conjointes visant à promouvoir le respect de la législation devraient être menées conformément à l’article 9 du règlement (UE) 2019/1020. Le Bureau de l’IA devrait assurer la coordination centrale des enquêtes conjointes.
(161)
Es necesario aclarar las responsabilidades y competencias a escala de la Unión y nacional en lo que respecta a los sistemas de IA que se basan en modelos de IA de uso general. Para evitar el solapamiento de competencias, cuando un sistema de IA se base en un modelo de IA de uso general y el modelo y el sistema sean suministrados por el mismo proveedor, la supervisión debe llevarse a cabo a escala de la Unión a través de la Oficina de IA, que debe tener a estos efectos las facultades de una autoridad de vigilancia del mercado en el sentido de lo dispuesto en el Reglamento (UE) 2019/1020. En todos los demás casos, serán responsables de la supervisión de los sistemas de IA las autoridades nacionales de vigilancia del mercado. No obstante, en el caso de los sistemas de IA de uso general que puedan ser utilizados directamente por los responsables del despliegue con al menos un fin clasificado como de alto riesgo, las autoridades de vigilancia del mercado deben cooperar con la Oficina de IA para llevar a cabo evaluaciones de la conformidad e informar de ello al Consejo de IA y a otras autoridades de vigilancia del mercado. Además, las autoridades de vigilancia del mercado deben poder solicitar la asistencia de la Oficina de IA cuando la autoridad de vigilancia del mercado no pueda concluir una investigación sobre un sistema de IA de alto riesgo debido a su incapacidad para acceder a determinada información relacionada con el modelo de IA de uso general en el que se basa el sistema de IA de alto riesgo. En tales casos, debe aplicarse mutatis mutandis el procedimiento de asistencia mutua transfronteriza previsto en el capítulo VI del Reglamento (UE) 2019/1020.
(161)
Il est nécessaire de clarifier les responsabilités et les compétences au niveau de l’Union et au niveau national en ce qui concerne les systèmes d’IA qui reposent sur des modèles d’IA à usage général. Afin d’éviter les chevauchements de compétences, lorsqu’un système est fondé sur un modèle d’IA à usage général et que le modèle et le système sont fournis par le même fournisseur, la surveillance devrait avoir lieu au niveau de l’Union par l’intermédiaire du Bureau de l’IA, qui devrait disposer à cette fin des pouvoirs d’une autorité de surveillance du marché au sens du règlement (UE) 2019/1020. Dans tous les autres cas, les autorités nationales de surveillance du marché demeurent chargées de la surveillance des systèmes d’IA. Toutefois, pour les systèmes d’IA à usage général qui peuvent être utilisés directement par les déployeurs pour au moins un usage classé comme étant à haut risque, les autorités de surveillance du marché devraient coopérer avec le Bureau de l’IA pour mener les évaluations de la conformité, et informer le Comité IA et les autres autorités de surveillance du marché en conséquence. En outre, toute autorité de surveillance du marché devrait être en mesure de solliciter l’assistance du Bureau de l’IA lorsqu’elle n’est pas en mesure de conclure une enquête sur un système d’IA à haut risque parce qu’elle ne peut accéder à certaines informations liées au modèle d’IA à usage général sur lequel repose ce système. Dans de tels cas, la procédure relative à l’assistance mutuelle pour les cas transfrontières prévue au chapitre VI du règlement (UE) 2019/1020 devrait s’appliquer mutatis mutandis.
(162)
Para aprovechar al máximo la centralización de conocimientos especializados y las sinergias que se generan a escala de la Unión, deben atribuirse a la Comisión las competencias de supervisión y de control del cumplimiento de las obligaciones de los proveedores de modelos de IA de uso general. La Oficina de IA debe poder llevar a cabo todas las acciones necesarias para supervisar la aplicación efectiva del presente Reglamento en lo que respecta a los modelos de IA de uso general. Debe poder investigar posibles infracciones de las normas relativas a los proveedores de modelos de IA de uso general, tanto por iniciativa propia, a raíz de los resultados de sus actividades de supervisión, como a petición de las autoridades de vigilancia del mercado, de conformidad con las condiciones establecidas en el presente Reglamento. Para promover la eficacia de la supervisión, la Oficina de IA debe prever la posibilidad de que los proveedores posteriores presenten reclamaciones sobre posibles infracciones de las normas relativas a los proveedores de sistemas y modelos de IA de uso general.
(162)
Afin de tirer le meilleur parti de l’expertise centralisée de l’Union et des synergies au niveau de l’Union, les pouvoirs de surveillance et de contrôle du respect des obligations incombant aux fournisseurs de modèles d’IA à usage général devraient relever de la compétence de la Commission. Le Bureau de l’IA devrait être en mesure de prendre toutes les mesures nécessaires pour contrôler la mise en œuvre effective du présent règlement en ce qui concerne les modèles d’IA à usage général. Il devrait être en mesure d’enquêter sur d’éventuelles infractions aux règles incombant aux fournisseurs de modèles d’IA à usage général, aussi bien de sa propre initiative, selon les résultats de ses activités de surveillance, ou sur demande des autorités de surveillance du marché conformément aux conditions prévues par le présent règlement. Afin de contribuer à une surveillance effective par le Bureau de l’IA, celui-ci devrait donner la possibilité aux fournisseurs en aval d’introduire des réclamations concernant d’éventuelles infractions aux règles relatives aux fournisseurs de modèles et systèmes d’IA à usage général.
(163)
Con el fin de complementar los sistemas de gobernanza de los modelos de IA de uso general, el grupo de expertos científicos debe contribuir a las actividades de supervisión de la Oficina de IA y, en determinados casos, puede proporcionar alertas cualificadas a la Oficina de IA que activen actuaciones consecutivas, como investigaciones. Así debe ocurrir cuando el grupo de expertos científicos tenga motivos para sospechar que un modelo de IA de uso general presenta un riesgo concreto e identificable a escala de la Unión. También debe ser este el caso cuando el grupo de expertos científicos tenga motivos para sospechar que un modelo de IA de uso general cumple los criterios que llevarían a clasificarlo como modelo de IA de uso general con riesgo sistémico. A fin de facilitar al grupo de expertos científicos la información necesaria para el desempeño de esas funciones, debe existir un mecanismo que permita al grupo de expertos científicos pedir a la Comisión que solicite documentación o información a un proveedor.
(163)
En vue de compléter les systèmes de gouvernance des modèles d’IA à usage général, le groupe scientifique devrait soutenir les activités de surveillance du Bureau de l’IA et pourrait, dans certains cas, soumettre au Bureau de l’IA des alertes qualifiées qui déclenchent des mesures de suivi telles que des enquêtes. Cela devrait être le cas lorsque le groupe scientifique a des raisons de soupçonner qu’un modèle d’IA à usage général présente un risque concret et identifiable au niveau de l’Union. Cela devrait aussi être le cas lorsque le groupe scientifique a des raisons de soupçonner qu’un modèle d’IA à usage général remplit les critères qui conduiraient à une classification en tant que modèle d’IA à usage général présentant un risque systémique. Afin que le groupe scientifique dispose des informations nécessaires à l’exécution de ces tâches, il devrait exister un mécanisme permettant au groupe scientifique de demander à la Commission d’exiger du fournisseur qu’il fournisse des documents ou des informations.
(164)
La Oficina de IA debe poder adoptar las medidas necesarias para supervisar la aplicación efectiva y el cumplimiento de las obligaciones de los proveedores de modelos de IA de uso general establecidas en el presente Reglamento. La Oficina de IA debe poder investigar posibles infracciones de conformidad con las competencias previstas en el presente Reglamento, por ejemplo, solicitando documentación e información, realizando evaluaciones y solicitando la adopción de medidas a los proveedores de modelos de IA de uso general. En la realización de las evaluaciones, para poder contar con conocimientos especializados independientes, la Oficina de IA debe poder recurrir a expertos independientes para que lleven a cabo las evaluaciones en su nombre. Se debe poder exigir el cumplimiento de las obligaciones mediante, entre otras cosas, solicitudes de adopción de medidas adecuadas, entre las que se incluyen medidas de reducción del riesgo en caso de que se detecten riesgos sistémicos, así como la restricción de la comercialización, la retirada o la recuperación del modelo. Como salvaguardia, cuando sea necesario, además de los derechos procedimentales previstos en el presente Reglamento, los proveedores de modelos de IA de uso general deben tener los derechos procedimentales previstos en el artículo 18 del Reglamento (UE) 2019/1020, que deben aplicarse mutatis mutandis, sin perjuicio de los derechos procesales más específicos previstos en el presente Reglamento.
(164)
Le Bureau de l’IA devrait être en mesure de prendre les mesures nécessaires pour contrôler la mise en œuvre effective et le respect des obligations incombant aux fournisseurs de modèles d’IA à usage général énoncées dans le présent règlement. Le Bureau de l’IA devrait être en mesure d’enquêter sur d’éventuelles infractions conformément aux pouvoirs qui lui sont conférés au titre du présent règlement, y compris en exigeant des documents et des informations, en réalisant des évaluations, ainsi qu’en exigeant que des mesures soient prises par les fournisseurs de modèles d’IA à usage général. Lors de la réalisation des évaluations, afin de tirer parti d’une expertise indépendante, le Bureau de l’IA devrait pouvoir faire appel à des experts indépendants pour réaliser les évaluations en son nom. Le respect des obligations devrait pouvoir être imposé, entre autres, par des demandes de prendre des mesures appropriées, y compris des mesures d’atténuation des risques dans le cas de risques systémiques recensés, ainsi qu’en restreignant la mise à disposition du modèle sur le marché, en le retirant ou en le rappelant. À titre de garantie, lorsque cela est nécessaire en sus des droits procéduraux prévus par le présent règlement, les fournisseurs de modèles d’IA à usage général devraient jouir des droits procéduraux prévus à l’article 18 du règlement (UE) 2019/1020, qui devraient s’appliquer mutatis mutandis, sans préjudice des droits procéduraux plus spécifiques prévus par le présent règlement.
(165)
El desarrollo de sistemas de IA que no sean sistemas de IA de alto riesgo conforme a los requisitos establecidos en el presente Reglamento puede dar lugar a la adopción más amplia de una IA ética y fiable en la Unión. Se debe alentar a los proveedores de sistemas de IA que no son de alto riesgo a crear códigos de conducta, entre los que se incluyen los correspondientes mecanismos de gobernanza, destinados a impulsar la aplicación voluntaria de la totalidad o parte de los requisitos aplicables a los sistemas de IA de alto riesgo, adaptados teniendo en cuenta la finalidad prevista de los sistemas y el menor riesgo planteado y teniendo en cuenta las soluciones técnicas disponibles y las mejores prácticas del sector, como las tarjetas de modelo y de datos Asimismo, se debe animar a los proveedores y, en su caso, a los responsables del despliegue de todos los sistemas de IA, ya sean o no de alto riesgo, y de los modelos de IA, a aplicar, con carácter voluntario, requisitos adicionales relativos, por ejemplo, a los elementos de las Directrices éticas de la Unión para una IA fiable, la sostenibilidad medioambiental, medidas de alfabetización en materia de IA, la inclusividad y la diversidad en el diseño y el desarrollo de los sistemas de IA, lo que incluye tener en cuenta a las personas vulnerables y la accesibilidad de las personas con discapacidad, la participación de las partes interesadas, con la participación, según proceda, de las partes interesadas pertinentes, como las organizaciones empresariales y de la sociedad civil, el mundo académico, los organismos de investigación, los sindicatos y las organizaciones de protección de los consumidores, en el diseño y el desarrollo de los sistemas de IA, y la diversidad de los equipos de desarrollo, también por lo que respecta a la paridad de género. Para garantizar la efectividad de los códigos de conducta voluntarios, estos deben basarse en objetivos claros e indicadores clave del rendimiento que permitan medir la consecución de dichos objetivos. También deben desarrollarse de manera inclusiva, según proceda, con la participación de las partes interesadas pertinentes, como las organizaciones empresariales y de la sociedad civil, el mundo académico, los organismos de investigación, los sindicatos y las organizaciones de protección de los consumidores. La Comisión podría formular iniciativas, también de carácter sectorial, encaminadas a facilitar la disminución de los obstáculos técnicos que dificultan el intercambio transfronterizo de datos para el desarrollo de la IA, también en relación con la infraestructura de acceso a los datos y la interoperabilidad semántica y técnica de distintos tipos de datos.
(165)
Le développement de systèmes d’IA autres que les systèmes d’IA à haut risque dans le respect des exigences du présent règlement peut conduire à une plus large adoption d’une IA éthique et digne de confiance dans l’Union. Les fournisseurs de systèmes d’IA qui ne sont pas à haut risque devraient être encouragés à établir des codes de conduite, accompagnés de mécanismes de gouvernance connexes, destinés à favoriser l’application volontaire de tout ou partie des exigences obligatoires applicables aux systèmes d’IA à haut risque, adaptés en fonction de la destination des systèmes et des risques plus faibles encourus et tenant compte des solutions techniques disponibles et des bonnes pratiques du secteur, tels que les cartes modèles et les fiches de données. Les fournisseurs et, le cas échéant, les déployeurs de tous les systèmes d’IA, à haut risque ou non, et modèles d’IA devraient aussi être encouragés à appliquer sur une base volontaire des exigences supplémentaires liées, par exemple, aux éléments des lignes directrices de l’Union en matière d’éthique pour une IA digne de confiance, à la durabilité environnementale, aux mesures relatives à la maîtrise de l’IA, à la conception et au développement inclusifs et diversifiés des systèmes d’IA, y compris en prêtant attention aux personnes vulnérables et à l’accessibilité pour les personnes handicapées, à la participation des parties prenantes avec la contribution, le cas échéant, de parties prenantes concernées telles que les organisations d’entreprises et de la société civile, le milieu universitaire, les organismes de recherche, les syndicats et les organisations de protection des consommateurs à la conception et au développement des systèmes d’IA, ainsi qu’à la diversité des équipes de développement, y compris l’équilibre hommes-femmes. Afin que les codes de conduite volontaires portent leurs effets, ils devraient s’appuyer sur des objectifs clairs et des indicateurs de performance clés permettant de mesurer la réalisation de ces objectifs. Ils devraient également être élaborés de manière inclusive, selon qu’il convient, avec la participation des parties prenantes concernées telles que les organisations d’entreprises et de la société civile, le milieu universitaire, les organismes de recherche, les syndicats et les organisations de protection des consommateurs. La Commission peut élaborer des initiatives, y compris de nature sectorielle, pour faciliter la suppression des obstacles techniques entravant l’échange transfrontière de données pour le développement de l’IA, notamment en ce qui concerne l’infrastructure d’accès aux données et l’interopérabilité sémantique et technique des différents types de données.
(166)
Es importante que los sistemas de IA asociados a productos que el presente Reglamento no considera de alto riesgo y que, por lo tanto, no están obligados a cumplir los requisitos establecidos para los sistemas de IA de alto riesgo sean, no obstante, seguros una vez introducidos en el mercado o puestos en servicio. Para contribuir a este objetivo, se aplicaría, como red de seguridad, el Reglamento (UE) 2023/988 del Parlamento Europeo y del Consejo (53).
(166)
Il importe que les systèmes d’IA liés à des produits qui ne sont pas à haut risque au titre du présent règlement et qui ne sont donc pas tenus d’être conformes aux exigences énoncées pour les systèmes d’IA à haut risque soient néanmoins sûrs lorsqu’ils sont mis sur le marché ou mis en service. Pour contribuer à cet objectif, l’application du règlement (UE) 2023/988 du Parlement européen et du Conseil (53) constituerait un filet de sécurité.
(167)
Todas las partes implicadas en la aplicación del presente Reglamento deben respetar la confidencialidad de la información y los datos que obtengan en el ejercicio de sus funciones, de conformidad con el Derecho de la Unión o nacional, con vistas a garantizar una cooperación fiable y constructiva entre las autoridades competentes a escala de la Unión y nacional. Deben desempeñar sus funciones y actividades de manera que se protejan, en particular, los derechos de propiedad intelectual e industrial, la información empresarial confidencial y los secretos comerciales, la aplicación eficaz del presente Reglamento, los intereses de seguridad pública y nacional, la integridad de los procedimientos penales y administrativos y la integridad de la información clasificada.
(167)
Afin d’assurer une coopération constructive et en toute confiance entre les autorités compétentes au niveau de l’Union et au niveau national, toutes les parties intervenant dans l’application du présent règlement devraient respecter la confidentialité des informations et des données obtenues dans le cadre de l’exécution de leurs tâches, conformément au droit de l’Union et au droit national. Elles devraient s’acquitter de leurs tâches et activités de manière à protéger, en particulier, les droits de propriété intellectuelle, les informations commerciales confidentielles et les secrets d’affaires, la mise en œuvre effective du présent règlement, les intérêts en matière de sécurité nationale et publique, l’intégrité des procédures pénales et administratives et l’intégrité des informations classifiées.
(168)
Se debe poder exigir el cumplimiento del presente Reglamento mediante la imposición de sanciones y otras medidas de ejecución. Los Estados miembros deben tomar todas las medidas necesarias para garantizar que se apliquen las disposiciones del presente Reglamento, también estableciendo sanciones efectivas, proporcionadas y disuasorias para las infracciones, y para respetar el principio de non bis in idem. A fin de reforzar y armonizar las sanciones administrativas por infracción del presente Reglamento, deben establecerse los límites máximos para la imposición de las multas administrativas en el caso de ciertas infracciones concretas. A la hora de determinar la cuantía de las multas, los Estados miembros deben tener en cuenta, en cada caso concreto, todas las circunstancias pertinentes de la situación de que se trate, considerando especialmente la naturaleza, gravedad y duración de la infracción y de sus consecuencias, así como el tamaño del proveedor, en particular si este es una pyme o una empresa emergente. El Supervisor Europeo de Protección de Datos debe estar facultado para imponer multas a las instituciones, los órganos y los organismos de la Unión incluidos en el ámbito de aplicación del presente Reglamento.
(168)
Le respect des dispositions du présent règlement devrait pouvoir être imposé au moyen de sanctions et d’autres mesures d’exécution. Les États membres devraient prendre toutes les mesures nécessaires pour que les dispositions du présent règlement soient mises en œuvre et, notamment, prévoir des sanctions effectives, proportionnées et dissuasives en cas de violation de ces dispositions, et dans le respect du principe non bis in idem. Afin de renforcer et d’harmoniser les sanctions administratives applicables en cas de violation du présent règlement, il convient d’établir le montant maximal pour la fixation des amendes administratives pour certaines infractions spécifiques. Pour évaluer le montant des amendes, les États membres devraient, dans chaque cas d’espèce, tenir compte de toutes les caractéristiques propres à la situation spécifique, en prenant notamment en considération la nature, la gravité et la durée de l’infraction et ses conséquences, ainsi que la taille du fournisseur, en particulier s’il s’agit d’une PME, y compris les jeunes pousses. Le Contrôleur européen de la protection des données devrait avoir le pouvoir d’infliger des amendes aux institutions, agences et organes de l’Union relevant du présent règlement.
(169)
Se debe poder exigir el cumplimiento de las obligaciones impuestas en virtud del presente Reglamento a los proveedores de modelos de IA de uso general mediante, entre otras cosas, la imposición de multas. A tal fin, también deben establecerse multas de una cuantía apropiada en caso de incumplimiento de dichas obligaciones, lo que incluye el incumplimiento de las medidas solicitadas por la Comisión de conformidad con el presente Reglamento, con sujeción a los plazos de prescripción pertinentes de conformidad con el principio de proporcionalidad. Todas las decisiones adoptadas por la Comisión en virtud del presente Reglamento están sujetas al control del Tribunal de Justicia de la Unión Europea, de conformidad con lo dispuesto en el TFUE, incluida la competencia jurisdiccional plena del Tribunal de Justicia en materia de sanciones con arreglo al artículo 261 del TFUE.
(169)
Le respect des obligations incombant aux fournisseurs de modèles d’IA à usage général au titre du présent règlement devrait pouvoir être imposé, entre autres, au moyen d’amendes. À cette fin, des niveaux appropriés d’amendes devraient également être fixés pour les infractions à ces obligations, y compris le non-respect de mesures demandées par la Commission en vertu au présent règlement, sous réserve de délais de prescription appropriés conformément du principe de proportionnalité. Toutes les décisions prises par la Commission au titre du présent règlement sont soumises au contrôle de la Cour de justice de l’Union européenne conformément au traité sur le fonctionnement de l’Union européenne, y compris la compétence de pleine juridiction de la Cour de justice en ce qui concerne les sanctions en application de l’article 261 du traité sur le fonctionnement de l’Union européenne.
(170)
El Derecho de la Unión y nacional ya prevén vías de recurso efectivas para las personas físicas y jurídicas cuyos derechos y libertades se vean perjudicados por el uso de sistemas de IA. Sin perjuicio de dichas vías de recurso, toda persona física o jurídica que tenga motivos para considerar que se ha producido una infracción del presente Reglamento debe tener derecho a presentar una reclamación ante la autoridad de vigilancia del mercado pertinente.
(170)
Le droit de l’Union et le droit national prévoient déjà des voies de recours effectives pour les personnes physiques et morales qui subissent une atteinte à leurs droits et libertés en raison de l’utilisation de systèmes d’IA. Sans préjudice de ces recours, toute personne physique ou morale ayant des motifs de considérer qu’il y a eu violation des dispositions du présent règlement devrait avoir le droit d’introduire une réclamation auprès de l’autorité de surveillance du marché concernée.
(171)
Las personas afectadas deben tener derecho a obtener una explicación cuando la decisión de un responsable del despliegue se base principalmente en los resultados de salida de determinados sistemas de IA de alto riesgo que entran dentro del ámbito de aplicación del presente Reglamento y cuando dicha decisión produzca efectos jurídicos o afecte significativamente de modo similar a dichas personas, de manera que consideren que tiene un efecto negativo en su salud, su seguridad o sus derechos fundamentales. Dicha explicación debe ser clara y significativa y servir de base para que las personas afectadas puedan ejercer sus derechos. El derecho a obtener una explicación no debe aplicarse a la utilización de sistemas de IA para los que se deriven excepciones o restricciones con arreglo al Derecho nacional o de la Unión, y solo debe aplicarse en la medida en que este derecho no esté ya previsto en el Derecho de la Unión.
(171)
Les personnes concernées devraient avoir le droit d’obtenir une explication lorsque la décision d’un déployeur est principalement fondée sur les sorties de certains systèmes d’IA à haut risque qui relèvent du champ d’application du présent règlement et lorsque cette décision produit des effets juridiques ou cause un préjudice important de façon similaire à ces personnes d’une manière qu’elles considèrent comme ayant une incidence négative sur leur santé, leur sécurité ou leurs droits fondamentaux. Cette explication devrait être claire et pertinente, et constituer une base à partir de laquelle les personnes concernées peuvent exercer leurs droits. Le droit d’obtenir une explication ne devrait pas s’appliquer à l’utilisation de systèmes d’IA pour lesquels des exceptions ou des restrictions découlent du droit de l’Union ou du droit national et ne devrait s’appliquer que dans la mesure où ce droit n’est pas déjà prévu par le droit de l’Union.
(172)
Las personas que informen sobre infracciones del presente Reglamento deben quedar protegidas por el Derecho de la Unión. Así pues, cuando se informe sobre infracciones del presente Reglamento y en lo que respecta a la protección de las personas que informen sobre dichas infracciones debe aplicarse la Directiva (UE) 2019/1937 del Parlamento Europeo y del Consejo (54).
(172)
Les personnes agissant en tant que lanceurs d’alerte eu égard à des infractions au présent règlement devraient être protégées en vertu du droit de l’Union. La directive (UE) 2019/1937 du Parlement européen et du Conseil (54) devrait donc s’appliquer aux signalements d’infractions au présent règlement et à la protection des personnes signalant ces infractions.
(173)
A fin de garantizar que el marco reglamentario pueda adaptarse cuando sea necesario, deben delegarse en la Comisión los poderes para adoptar actos con arreglo al artículo 290 del TFUE de modo que pueda modificar las condiciones en las que un sistema de IA no debe considerarse un sistema de alto riesgo, la lista de sistemas de IA de alto riesgo, las disposiciones relativas a la documentación técnica, el contenido de la declaración UE de conformidad, las disposiciones relativas a los procedimientos de evaluación de la conformidad, las disposiciones que establecen a qué sistemas de IA de alto riesgo debe aplicarse el procedimiento de evaluación de la conformidad basado en la evaluación del sistema de gestión de la calidad y en la evaluación de la documentación técnica, el umbral, los parámetros de referencia y los indicadores, lo que incluye la posibilidad de complementar dichos parámetros de referencia e indicadores, de las normas de clasificación de los modelos de IA de uso general con riesgo sistémico, los criterios para clasificar un modelo como modelo de IA de uso general con riesgo sistémico, la documentación técnica para los proveedores de modelos de IA de uso general y la información sobre transparencia para los proveedores de modelos de IA de uso general. Reviste especial importancia que la Comisión lleve a cabo las consultas oportunas durante la fase preparatoria, en particular con expertos, y que esas consultas se realicen de conformidad con los principios establecidos en el Acuerdo interinstitucional de 13 de abril de 2016 sobre la mejora de la legislación (55). En particular, a fin de garantizar una participación equitativa en la preparación de los actos delegados, el Parlamento Europeo y el Consejo reciben toda la documentación al mismo tiempo que los expertos de los Estados miembros, y sus expertos tienen acceso sistemáticamente a las reuniones de los grupos de expertos de la Comisión que se ocupen de la preparación de actos delegados.
(173)
Afin de garantir que le cadre réglementaire puisse être adapté si nécessaire, le pouvoir d’adopter des actes conformément à l’article 290 du traité sur le fonctionnement de l’Union européenne devrait être délégué à la Commission pour lui permettre de modifier les conditions dans lesquelles un système d’IA ne doit pas être considéré comme étant à haut risque, la liste des systèmes d’IA à haut risque, les dispositions relatives à la documentation technique, le contenu de la déclaration «UE» de conformité, les dispositions relatives aux procédures d’évaluation de la conformité, les dispositions établissant les systèmes d’IA à haut risque auxquels devrait s’appliquer la procédure d’évaluation de la conformité fondée sur l’évaluation du système de gestion de la qualité et l’évaluation de la documentation technique, le seuil, les critères de référence et les indicateurs, y compris en complétant ces critères de référence et indicateurs, dans les règles de classification des modèles d’IA à usage général présentant un risque systémique, les critères de désignation des modèles d’IA à usage général présentant un risque systémique, la documentation technique destinée aux fournisseurs de modèles d’IA à usage général et les informations relatives à la transparence pour les fournisseurs de modèles d’IA à usage général. Il importe particulièrement que la Commission procède aux consultations appropriées durant son travail préparatoire, y compris au niveau des experts, et que ces consultations soient menées conformément aux principes définis dans l’accord interinstitutionnel du 13 avril 2016«Mieux légiférer» (55). En particulier, afin d’assurer une participation égale à la préparation des actes délégués, le Parlement européen et le Conseil reçoivent tous les documents en même temps que les experts des États membres, et leurs experts ont systématiquement accès aux réunions des groupes d’experts de la Commission participant à la préparation des actes délégués.
(174)
Habida cuenta de los rápidos avances tecnológicos y de los conocimientos técnicos necesarios para la aplicación efectiva del presente Reglamento, la Comisión debe evaluar y revisar el presente Reglamento a más tardar el 2 de agosto de 2029 y posteriormente cada cuatro años e informar al Parlamento Europeo y al Consejo. Además, teniendo en cuenta las implicaciones por lo que respecta al ámbito de aplicación del presente Reglamento, la Comisión debe llevar a cabo una evaluación de la necesidad de modificar la lista de sistemas de IA de alto riesgo y la lista de prácticas prohibidas una vez al año. Asimismo, a más tardar 2 de agosto de 2028 y posteriormente cada cuatro años, la Comisión debe evaluar y comunicar al Parlamento Europeo y al Consejo la necesidad de modificar la lista de ámbitos de alto riesgo que figura en el anexo del presente Reglamento, los sistemas de IA incluidos en el ámbito de aplicación de las obligaciones de transparencia, la eficacia del sistema de supervisión y gobernanza y los avances en el desarrollo de documentos de normalización sobre el desarrollo eficiente desde el punto de vista energético de modelos de IA de uso general, incluida la necesidad de medidas o acciones adicionales. Por último, a más tardar el 2 de agosto de 2028 y posteriormente cada tres años, la Comisión debe evaluar la repercusión y la eficacia de los códigos de conducta voluntarios para fomentar la aplicación de los requisitos establecidos para los sistemas de IA de alto riesgo a los sistemas de IA que no sean sistemas de IA de alto riesgo y, posiblemente, otros requisitos adicionales para dichos sistemas de IA.
(174)
Compte tenu de l’évolution rapide des technologies et de l’expertise technique requise aux fins de la bonne application du présent règlement, la Commission devrait évaluer et réexaminer le présent règlement au plus tard le 2 août 2029 et tous les quatre ans par la suite, et faire rapport au Parlement européen et au Conseil. En outre, en tenant compte des conséquences sur le champ d’application du présent règlement, la Commission devrait procéder à une évaluation de la nécessité de modifier une fois par an la liste des systèmes d’IA à haut risque et la liste des pratiques interdites. En outre, au plus tard le 2 août 2028 et tous les quatre ans par la suite, la Commission devrait évaluer la nécessité de modifier les rubriques de la liste des domaines à haut risque figurant à l’annexe du présent règlement, les systèmes d’IA relevant des obligations de transparence, l’efficacité du système de surveillance et de gouvernance ainsi que l’état d’avancement des travaux de normalisation concernant le développement économe en énergie de modèles d’IA à usage général, y compris la nécessité de mesures ou d’actions supplémentaires, et faire rapport au Parlement européen et au Conseil. Enfin, au plus tard le 2 août 2028 et tous les trois ans par la suite, la Commission devrait évaluer l’impact et l’efficacité des codes de conduite volontaires destinés à favoriser l’application des exigences énoncées pour les systèmes d’IA à haut risque dans le cas des systèmes d’IA autres que les systèmes d’IA à haut risque, et éventuellement d’autres exigences supplémentaires pour de tels systèmes d’IA.
(175)
A fin de garantizar condiciones uniformes de ejecución del presente Reglamento, deben conferirse a la Comisión competencias de ejecución. Dichas competencias deben ejercerse de conformidad con el Reglamento (UE) n.o 182/2011 del Parlamento Europeo y del Consejo (56).
(175)
Afin de garantir des conditions uniformes de mise en œuvre du présent règlement, il convient de conférer des compétences d’exécution à la Commission. Ces compétences devraient être exercées en conformité avec le règlement (UE) no 182/2011 du Parlement européen et du Conseil (56).
(176)
Dado que el objetivo del presente Reglamento, a saber, mejorar el funcionamiento del mercado interior y promover la adopción de una IA centrada en el ser humano y fiable, garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta, incluidos la democracia, el Estado de Derecho y la protección del medio ambiente, frente a los efectos perjudiciales de los sistemas de IA en la Unión, así como brindar apoyo a la innovación, no pueden ser alcanzados de manera suficiente por los Estados miembros, sino que, debido a sus dimensiones y efectos, pueden lograrse mejor a escala de la Unión, esta puede adoptar medidas, de acuerdo con el principio de subsidiariedad establecido en el artículo 5 del TUE. De conformidad con el principio de proporcionalidad establecido en el mismo artículo, el presente Reglamento no excede de lo necesario para alcanzar dicho objetivo.
(176)
Étant donné que l’objectif du présent règlement, à savoir améliorer le fonctionnement du marché intérieur et promouvoir l’adoption d’une IA axée sur l’humain et digne de confiance tout en garantissant un niveau élevé de protection de la santé, de la sécurité et des droits fondamentaux consacrés dans la Charte, y compris la démocratie, l’état de droit et la protection de l’environnement, contre les effets néfastes des systèmes d’IA dans l’Union, et en soutenant l’innovation, ne peut pas être atteint de manière suffisante par les États membres mais peut, en raison des dimensions et des effets de l’action, l’être mieux au niveau de l’Union, celle-ci peut prendre des mesures conformément au principe de subsidiarité consacré à l’article 5 du traité sur l’Union européenne. Conformément au principe de proportionnalité énoncé audit article, le présent règlement n’excède pas ce qui est nécessaire pour atteindre cet objectif.
(177)
A fin de garantizar la seguridad jurídica, garantizar un período de adaptación adecuado para los operadores y evitar perturbaciones del mercado, también garantizando la continuidad del uso de los sistemas de IA, es conveniente que el presente Reglamento se aplique a los sistemas de IA de alto riesgo que se hayan introducido en el mercado o se hayan puesto en servicio antes de la fecha general de aplicación del Reglamento únicamente si, a partir de esa fecha, dichos sistemas se ven sometidos a cambios significativos en su diseño o su finalidad prevista. Conviene aclarar que, a este respecto, el concepto de «cambio significativo» debe entenderse como equivalente en sustancia al de «modificación sustancial», que se utiliza únicamente con respecto a los sistemas de IA de alto riesgo de conformidad con el presente Reglamento. Con carácter excepcional y a efectos de la rendición pública de cuentas, los operadores de sistemas de IA que sean componentes de sistemas informáticos de gran magnitud establecidos por los actos jurídicos enumerados en un anexo del presente Reglamento y los operadores de sistemas de IA de alto riesgo destinados a ser utilizados por las autoridades públicas deben adoptar, respectivamente, las medidas necesarias para cumplir los requisitos del presente Reglamento antes del final de 2030 y, a más tardar el 2 de agosto de 2030.
(177)
Afin d’assurer la sécurité juridique, de veiller à ce que les opérateurs disposent d’une période d’adaptation appropriée et d’éviter toute perturbation du marché, y compris en assurant la continuité de l’utilisation des systèmes d’IA, il convient que le présent règlement s’applique aux systèmes d’IA à haut risque qui ont été mis sur le marché ou mis en service avant la date générale d’application de celui-ci, uniquement si, à compter de cette date, ces systèmes subissent d’importantes modifications de leur conception ou de leur destination. Il convient de préciser qu’à cet égard, la notion d’importante modification devrait être comprise comme équivalente sur le fond à celle de modification substantielle, qui est utilisée uniquement en ce qui concerne les systèmes d’IA à haut risque au titre du présent règlement. À titre exceptionnel et compte tenu de l’obligation de rendre des comptes au public, les exploitants de systèmes d’IA qui sont des composants des systèmes d’information à grande échelle établis par les actes juridiques énumérés à l’annexe du présent règlement et les exploitants de systèmes d’IA à haut risque destinés à être utilisés par des autorités publiques devraient prendre les mesures nécessaires pour se conformer aux exigences du présent règlement, respectivement, d’ici à la fin de 2030 et au plus tard le 2 août 2030.
(178)
Se anima a los proveedores de sistemas de IA de alto riesgo a que empiecen a cumplir, de forma voluntaria, las obligaciones pertinentes del presente Reglamento ya durante el período transitorio.
(178)
Les fournisseurs de systèmes d’IA à haut risque sont encouragés à commencer à se conformer, sur une base volontaire, aux obligations pertinentes du présent règlement dès la période transitoire.
(179)
El presente Reglamento debe aplicarse a partir del 2 de agosto de 2026. No obstante, teniendo en cuenta el riesgo inaceptable asociado a determinadas formas de uso de la IA, las prohibiciones, así como las disposiciones generales del presente Reglamento, deben aplicarse ya desde el 2 de febrero de 2025. Aunque dichas prohibiciones no surtan pleno efecto hasta después del establecimiento de la gobernanza y la aplicación del presente Reglamento, es importante anticipar la aplicación de las prohibiciones para tener en cuenta los riesgos inaceptables y adaptar otros procedimientos, por ejemplo, en el ámbito del Derecho civil. Además, la infraestructura relacionada con la gobernanza y el sistema de evaluación de la conformidad deben estar operativos antes de esa fecha, por lo que las disposiciones relativas a los organismos notificados y la estructura de gobernanza deben ser aplicables a partir del 2 de agosto de 2026. Dada la rápida evolución tecnológica y el elevado ritmo de adopción de modelos de IA de uso general, las obligaciones de los proveedores de modelos de IA de uso general deben aplicarse desde el 2 de agosto de 2025. Los códigos de buenas prácticas deben estar finalizados a más tardar el 2 de mayo de 2025 al objeto de permitir a los proveedores demostrar el cumplimiento de sus obligaciones dentro del plazo previsto. La Oficina de IA debe velar por que las normas y los procedimientos de clasificación estén actualizados con arreglo a los avances tecnológicos. Asimismo, los Estados miembros deben establecer y poner en conocimiento de la Comisión las normas referentes a las sanciones, incluidas las multas administrativas, y asegurarse de que para la fecha de aplicación del presente Reglamento se apliquen de manera adecuada y efectiva. Por lo tanto, las disposiciones relativas a las sanciones deben aplicarse a partir del 2 de agosto de 2025.
(179)
Le présent règlement devrait s’appliquer à partir du 2 août 2026. Toutefois, compte tenu du risque inacceptable associé à certaines utilisations de l’IA, les interdictions ainsi que les dispositions générales du présent règlement devraient déjà s’appliquer à compter du 2 février 2025. Si le plein effet de ces interdictions découle de la mise en place de la gouvernance et du contrôle du respect du présent règlement, il importe d’anticiper l’application des interdictions afin de tenir compte des risques inacceptables et d’avoir un effet sur d’autres procédures, par exemple en droit civil. En outre, l’infrastructure liée à la gouvernance et au système d’évaluation de la conformité devrait être opérationnelle avant le 2 août 2026, et les dispositions relatives aux organismes notifiés et à la structure de gouvernance devraient donc s’appliquer à compter du 2 août 2025. Compte tenu du rythme rapide des avancées technologiques et de l’adoption des modèles d’IA à usage général, les obligations incombant aux fournisseurs de modèles d’IA à usage général devraient s’appliquer à compter du 2 août 2025. Les codes de bonne pratique devraient être prêts au plus tard le 2 mai 2025 afin de permettre aux fournisseurs de démontrer leur conformité à temps. Le Bureau de l’IA devrait veiller à ce que les règles et procédures de classification soient à jour des évolutions technologiques. En outre, les États membres devraient définir et notifier à la Commission les règles relatives aux sanctions, y compris les amendes administratives, et veiller à ce qu’elles soient correctement et efficacement mises en œuvre à la date d’application du présent règlement. Par conséquent, les dispositions relatives aux sanctions devraient s’appliquer à compter du 2 août 2025.
(180)
El Supervisor Europeo de Protección de Datos y el Comité Europeo de Protección de Datos, a los que se consultó de conformidad con el artículo 42, apartados 1 y 2, del Reglamento (UE) 2018/1725, emitieron su dictamen conjunto el 18 de junio de 2021.
(180)
Le Contrôleur européen de la protection des données et le comité européen de la protection des données ont été consultés conformément à l’article 42, paragraphes 1 et 2, du règlement (UE) 2018/1725 et ont rendu leur avis conjoint le 18 juin 2021,
HAN ADOPTADO EL PRESENTE REGLAMENTO:
ONT ADOPTÉ LE PRÉSENT RÈGLEMENT:
1. El presente Reglamento se aplicará a:
1. Le présent règlement s’applique:
a)
los proveedores que introduzcan en el mercado o pongan en servicio sistemas de IA o que introduzcan en el mercado modelos de IA de uso general en la Unión, con independencia de si dichos proveedores están establecidos o ubicados en la Unión o en un tercer país;
a)
aux fournisseurs établis ou situés dans l’Union ou dans un pays tiers qui mettent sur le marché ou mettent en service des systèmes d’IA ou qui mettent sur le marché des modèles d’IA à usage général dans l’Union;
b)
los responsables del despliegue de sistemas de IA que estén establecidos o ubicados en la Unión;
b)
aux déployeurs de systèmes d’IA qui ont leur lieu d’établissement ou sont situés dans l’Union;
c)
los proveedores y responsables del despliegue de sistemas de IA que estén establecidos o ubicados en un tercer país, cuando los resultados de salida generados por el sistema de IA se utilicen en la Unión;
c)
aux fournisseurs et aux déployeurs de systèmes d’IA qui ont leur lieu d’établissement ou sont situés dans un pays tiers, lorsque les sorties produites par le système d’IA sont utilisées dans l’Union;
d)
los importadores y distribuidores de sistemas de IA;
d)
aux importateurs et aux distributeurs de systèmes d’IA;
e)
los fabricantes de productos que introduzcan en el mercado o pongan en servicio un sistema de IA junto con su producto y con su propio nombre o marca;
e)
aux fabricants de produits qui mettent sur le marché ou mettent en service un système d’IA en même temps que leur produit et sous leur propre nom ou leur propre marque;
f)
los representantes autorizados de los proveedores que no estén establecidos en la Unión;
f)
aux mandataires des fournisseurs qui ne sont pas établis dans l’Union;
g)
las personas afectadas que estén ubicadas en la Unión.
g)
aux personnes concernées qui sont situées dans l’Union.
2. A los sistemas de IA clasificados como sistemas de IA de alto riesgo de conformidad con el artículo 6, apartado 1, y relativos a productos regulados por los actos legislativos de armonización de la Unión enumerados en la sección B del anexo I, únicamente se les aplicará el artículo 6, apartado 1, y los artículos 102 a 109 y el artículo 112. El artículo 57 se aplicará únicamente en la medida en que los requisitos para los sistemas de IA de alto riesgo en virtud del presente Reglamento se hayan integrado en dichos actos legislativos de armonización de la Unión.
2. En ce qui concerne les systèmes d’IA classés à haut risque conformément à l’article 6, paragraphe 1, liés aux produits couverts par la législation d’harmonisation de l’Union dont la liste figure à l’annexe I, section B, seuls l’article 6, paragraphe 1, les articles 102 à 109 et l’article 112 s’appliquent. L’article 57 ne s’applique que dans la mesure où les exigences applicables aux systèmes d’IA à haut risque au titre du présent règlement ont été intégrées dans ladite législation d’harmonisation de l’Union.
3. El presente Reglamento no se aplicará a los ámbitos que queden fuera del ámbito de aplicación del Derecho de la Unión y, en cualquier caso, no afectará a las competencias de los Estados miembros en materia de seguridad nacional, independientemente del tipo de entidad a la que los Estados miembros hayan encomendado el desempeño de tareas en relación con dichas competencias.
3. Le présent règlement ne s’applique pas aux domaines qui ne relèvent pas du champ d’application du droit de l’Union et, en tout état de cause, ne porte pas atteinte aux compétences des États membres en matière de sécurité nationale, quel que soit le type d’entité chargée par les États membres d’exécuter des tâches liées à ces compétences.
El presente Reglamento no se aplicará a los sistemas de IA que, y en la medida en que, se introduzcan en el mercado, se pongan en servicio o se utilicen, con o sin modificaciones, exclusivamente con fines militares, de defensa o de seguridad nacional, independientemente del tipo de entidad que lleve a cabo estas actividades.
Le présent règlement ne s’applique pas aux systèmes d’IA si et dans la mesure où ils sont mis sur le marché, mis en service ou utilisés avec ou sans modifications exclusivement à des fins militaires, de défense ou de sécurité nationale, quel que soit le type d’entité exerçant ces activités.
El presente Reglamento no se aplicará a los sistemas de IA que no se introduzcan en el mercado o no se pongan en servicio en la Unión en los casos en que sus resultados de salida se utilicen en la Unión exclusivamente con fines militares, de defensa o de seguridad nacional, independientemente del tipo de entidad que lleve a cabo estas actividades.
Le présent règlement ne s’applique pas aux systèmes d’IA qui ne sont pas mis sur le marché ou mis en service dans l’Union, lorsque les sorties sont utilisées dans l’Union exclusivement à des fins militaires, de défense ou de sécurité nationale, quel que soit le type d’entité exerçant ces activités.
4. El presente Reglamento no se aplicará a las autoridades públicas de terceros países ni a las organizaciones internacionales que entren dentro del ámbito de aplicación de este Reglamento conforme al apartado 1 cuando dichas autoridades u organizaciones utilicen sistemas de IA en el marco de acuerdos o de la cooperación internacionales con fines de garantía del cumplimiento del Derecho y cooperación judicial con la Unión o con uno o varios Estados miembros, siempre que tal tercer país u organización internacional ofrezca garantías suficientes con respecto a la protección de los derechos y libertades fundamentales de las personas.
4. Le présent règlement ne s’applique ni aux autorités publiques d’un pays tiers ni aux organisations internationales relevant du champ d’application du présent règlement en vertu du paragraphe 1, lorsque ces autorités ou organisations utilisent des systèmes d’IA dans le cadre de la coopération internationale ou d’accords internationaux de coopération des services répressifs et judiciaires avec l’Union ou avec un ou plusieurs États membres, à condition que ce pays tiers ou cette organisation internationale fournisse des garanties adéquates en ce qui concerne la protection des droits fondamentaux et des libertés des personnes.
5. El presente Reglamento no afectará a la aplicación de las disposiciones relativas a la responsabilidad de los prestadores de servicios intermediarios que figuran en el capítulo II del Reglamento (UE) 2022/2065.
5. Le présent règlement n’affecte pas l’application des dispositions relatives à la responsabilité des prestataires intermédiaires énoncées au chapitre II du règlement (UE) 2022/2065.
6. El presente Reglamento no se aplicará a los sistemas o modelos de IA, incluidos sus resultados de salida, desarrollados y puestos en servicio específicamente con la investigación y el desarrollo científicos como única finalidad.
6. Le présent règlement ne s’applique pas aux systèmes d’IA ou aux modèles d’IA spécifiquement développés et mis en service uniquement à des fins de recherche et développement scientifiques, ni à leurs sorties.
7. El Derecho de la Unión en materia de protección de los datos personales, la intimidad y la confidencialidad de las comunicaciones se aplicará a los datos personales tratados en relación con los derechos y obligaciones establecidos en el presente Reglamento. El presente Reglamento no afectará a los Reglamentos (UE) 2016/679 o (UE) 2018/1725 ni a las Directivas 2002/58/CE o (UE) 2016/680, sin perjuicio del artículo 10, apartado 5, y el artículo 59 del presente Reglamento.
7. Le droit de l’Union en matière de protection des données à caractère personnel, de respect de la vie privée et de confidentialité des communications s’applique aux données à caractère personnel traitées en lien avec les droits et obligations énoncés dans le présent règlement. Le présent règlement n’a pas d’incidence sur le règlement (UE) 2016/679 ou le règlement (UE) 2018/1725, ni sur la directive 2002/58/CE ou la directive (UE) 2016/680, sans préjudice de l’article 10, paragraphe 5, et de l’article 59 du présent règlement.
8. El presente Reglamento no se aplicará a ninguna actividad de investigación, prueba o desarrollo relativa a sistemas de IA o modelos de IA antes de su introducción en el mercado o puesta en servicio. Estas actividades se llevarán a cabo de conformidad con el Derecho de la Unión aplicable. Las pruebas en condiciones reales no estarán cubiertas por esa exclusión.
8. Le présent règlement ne s’applique pas aux activités de recherche, d’essai et de développement relatives aux systèmes d’IA ou modèles d’IA avant leur mise sur le marché ou leur mise en service. Ces activités sont menées conformément au droit de l’Union applicable. Les essais en conditions réelles ne sont pas couverts par cette exclusion.
9. El presente Reglamento se entenderá sin perjuicio de las normas establecidas por otros actos jurídicos de la Unión relativos a la protección de los consumidores y a la seguridad de los productos.
9. Le présent règlement s’entend sans préjudice des règles établies par d’autres actes juridiques de l’Union relatifs à la protection des consommateurs et à la sécurité des produits.
10. El presente Reglamento no se aplicará a las obligaciones de los responsables del despliegue que sean personas físicas que utilicen sistemas de IA en el ejercicio de una actividad puramente personal de carácter no profesional.
10. Le présent règlement ne s’applique pas aux obligations incombant aux déployeurs qui sont des personnes physiques utilisant des systèmes d’IA dans le cadre d’une activité strictement personnelle à caractère non professionnel.
11. El presente Reglamento no impedirá que la Unión o los Estados miembros mantengan o introduzcan disposiciones legales, reglamentarias o administrativas que sean más favorables a los trabajadores en lo que atañe a la protección de sus derechos respecto al uso de sistemas de IA por parte de los empleadores ni que fomenten o permitan la aplicación de convenios colectivos que sean más favorables a los trabajadores.
11. Le présent règlement n’empêche pas l’Union ou les États membres de maintenir ou d’introduire des dispositions législatives, réglementaires ou administratives plus favorables aux travailleurs quant à la protection de leurs droits en ce qui concerne l’utilisation de systèmes d’IA par les employeurs, ou d’encourager ou de permettre l’application de conventions collectives plus favorables aux travailleurs.
12. El presente Reglamento no se aplicará a los sistemas de IA divulgados con arreglo a licencias libres y de código abierto, a menos que se introduzcan en el mercado o se pongan en servicio como sistemas de IA de alto riesgo o como sistemas de IA que entren en el ámbito de aplicación del artículo 5 o del artículo 50.
12. Le présent règlement ne s’applique pas aux systèmes d’IA publiés dans le cadre de licences libres et ouvertes, sauf s’ils sont mis sur le marché ou mis en service en tant que systèmes d’IA à haut risque ou en tant que systèmes d’IA qui relèvent de l’article 5 ou de l’article 50.
Prácticas de IA prohibidas
Pratiques interdites en matière d’IA
1. Quedan prohibidas las siguientes prácticas de IA:
1. Les pratiques en matière d’IA suivantes sont interdites:
a)
la introducción en el mercado, la puesta en servicio o la utilización de un sistema de IA que se sirva de técnicas subliminales que trasciendan la conciencia de una persona o de técnicas deliberadamente manipuladoras o engañosas con el objetivo o el efecto de alterar de manera sustancial el comportamiento de una persona o un colectivo de personas, mermando de manera apreciable su capacidad para tomar una decisión informada y haciendo que tomen una decisión que de otro modo no habrían tomado, de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona, a otra persona o a un colectivo de personas;
a)
la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui a recours à des techniques subliminales, au-dessous du seuil de conscience d’une personne, ou à des techniques délibérément manipulatrices ou trompeuses, avec pour objectif ou effet d’altérer substantiellement le comportement d’une personne ou d’un groupe de personnes en portant considérablement atteinte à leur capacité à prendre une décision éclairée, amenant ainsi la personne à prendre une décision qu’elle n’aurait pas prise autrement, d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne, à une autre personne ou à un groupe de personnes;
b)
la introducción en el mercado, la puesta en servicio o la utilización de un sistema de IA que explote alguna de las vulnerabilidades de una persona física o un determinado colectivo de personas derivadas de su edad o discapacidad, o de una situación social o económica específica, con la finalidad o el efecto de alterar de manera sustancial el comportamiento de dicha persona o de una persona que pertenezca a dicho colectivo de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona o a otra;
b)
la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui exploite les éventuelles vulnérabilités dues à l’âge, au handicap ou à la situation sociale ou économique spécifique d’une personne physique ou d’un groupe de personnes donné avec pour objectif ou effet d’altérer substantiellement le comportement de cette personne ou d’un membre de ce groupe d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à un tiers;
c)
la introducción en el mercado, la puesta en servicio o la utilización de sistemas de IA para evaluar o clasificar a personas físicas o a colectivos de personas durante un período determinado de tiempo atendiendo a su comportamiento social o a características personales o de su personalidad conocidas, inferidas o predichas, de forma que la puntuación ciudadana resultante provoque una o varias de las situaciones siguientes:
c)
la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA pour l’évaluation ou la classification de personnes physiques ou de groupes de personnes au cours d’une période donnée en fonction de leur comportement social ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites, la note sociale conduisant à l’une ou l’autre des situations suivantes, ou aux deux:
i)
un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos de personas en contextos sociales que no guarden relación con los contextos donde se generaron o recabaron los datos originalmente,
i)
le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes de personnes dans des contextes sociaux dissociés du contexte dans lequel les données ont été générées ou collectées à l’origine;
ii)
un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos de personas que sea injustificado o desproporcionado con respecto a su comportamiento social o la gravedad de este;
ii)
le traitement préjudiciable ou défavorable de certaines personnes ou de groupes de personnes, qui est injustifié ou disproportionné par rapport à leur comportement social ou à la gravité de celui-ci;
d)
la introducción en el mercado, la puesta en servicio para este fin específico o el uso de un sistema de IA para realizar evaluaciones de riesgos de personas físicas con el fin de valorar o predecir el riesgo de que una persona física cometa un delito basándose únicamente en la elaboración del perfil de una persona física o en la evaluación de los rasgos y características de su personalidad; esta prohibición no se aplicará a los sistemas de IA utilizados para apoyar la valoración humana de la implicación de una persona en una actividad delictiva que ya se base en hechos objetivos y verificables directamente relacionados con una actividad delictiva;
d)
la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation d’un système d’IA pour mener des évaluations des risques des personnes physiques visant à évaluer ou à prédire le risque qu’une personne physique commette une infraction pénale, uniquement sur la base du profilage d’une personne physique ou de l’évaluation de ses traits de personnalité ou caractéristiques; cette interdiction ne s’applique pas aux systèmes d’IA utilisés pour étayer l’évaluation humaine de l’implication d’une personne dans une activité criminelle, qui est déjà fondée sur des faits objectifs et vérifiables, directement liés à une activité criminelle;
e)
la introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de IA que creen o amplíen bases de datos de reconocimiento facial mediante la extracción no selectiva de imágenes faciales de internet o de circuitos cerrados de televisión;
e)
la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA qui créent ou développent des bases de données de reconnaissance faciale par le moissonnage non ciblé d’images faciales provenant de l’internet ou de la vidéosurveillance;
f)
la introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de IA para inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos, excepto cuando el sistema de IA esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad;
f)
la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA pour inférer les émotions d’une personne physique sur le lieu de travail et dans les établissements d’enseignement, sauf lorsque l’utilisation du système d’IA est destinée à être mise en place ou mise sur le marché pour des raisons médicales ou de sécurité;
g)
la introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de categorización biométrica que clasifiquen individualmente a las personas físicas sobre la base de sus datos biométricos para deducir o inferir su raza, opiniones políticas, afiliación sindical, convicciones religiosas o filosóficas, vida sexual u orientación sexual; esta prohibición no incluye el etiquetado o filtrado de conjuntos de datos biométricos adquiridos lícitamente, como imágenes, basado en datos biométricos ni la categorización de datos biométricos en el ámbito de la garantía del cumplimiento del Derecho;
g)
la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes de catégorisation biométrique qui catégorisent individuellement les personnes physiques sur la base de leurs données biométriques afin d’arriver à des déductions ou des inférences concernant leur race, leurs opinions politiques, leur affiliation à une organisation syndicale, leurs convictions religieuses ou philosophiques, leur vie sexuelle ou leur orientation sexuelle; cette interdiction ne couvre pas l’étiquetage ou le filtrage d’ensembles de données biométriques acquis légalement, tels que des images, fondés sur des données biométriques ou la catégorisation de données biométriques dans le domaine répressif;
h)
el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho, salvo y en la medida en que dicho uso sea estrictamente necesario para alcanzar uno o varios de los objetivos siguientes:
h)
l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives, sauf si et dans la mesure où cette utilisation est strictement nécessaire eu égard à l’un des objectifs suivants:
i)
la búsqueda selectiva de víctimas concretas de secuestro, trata de seres humanos o explotación sexual de seres humanos, así como la búsqueda de personas desaparecidas,
i)
la recherche ciblée de victimes spécifiques d’enlèvement, de la traite ou de l’exploitation sexuelle d’êtres humains, ainsi que la recherche de personnes disparues;
ii)
la prevención de una amenaza específica, importante e inminente para la vida o la seguridad física de las personas físicas o de una amenaza real y actual o real y previsible de un atentado terrorista,
ii)
la prévention d’une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique de personnes physiques ou d’une menace réelle et actuelle ou réelle et prévisible d’attaque terroriste;
iii)
la localización o identificación de una persona sospechosa de haber cometido un delito a fin de llevar a cabo una investigación o un enjuiciamiento penales o de ejecutar una sanción penal por alguno de los delitos mencionados en el anexo II que en el Estado miembro de que se trate se castigue con una pena o una medida de seguridad privativas de libertad cuya duración máxima sea de al menos cuatro años.
iii)
la localisation ou l’identification d’une personne soupçonnée d’avoir commis une infraction pénale, aux fins de mener une enquête pénale, d’engager des poursuites ou d’exécuter une sanction pénale pour des infractions visées à l’annexe II et punissables dans l’État membre concerné d’une peine ou d’une mesure de sûreté privatives de liberté d’une durée maximale d’au moins quatre ans.
El párrafo primero, letra h), se entiende sin perjuicio de lo dispuesto en el artículo 9 del Reglamento (UE) 2016/679 en lo que respecta al tratamiento de datos biométricos con fines distintos de la garantía del cumplimiento del Derecho.
Le premier alinéa, point h), est sans préjudice de l’article 9 du règlement (UE) 2016/679 pour le traitement des données biométriques à des fins autres que répressives.
2. El uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho para cualquiera de los objetivos mencionados en el apartado 1, párrafo primero, letra h), debe desplegarse para los fines establecidos en dicha letra, únicamente para confirmar la identidad de la persona que constituya el objetivo específico y tendrá en cuenta los siguientes aspectos:
2. L’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives en vue de la réalisation de l’un des objectifs énumérés au paragraphe 1, premier alinéa, point h), n’est déployée aux fins énoncées audit point, que pour confirmer l’identité de la personne spécifiquement ciblée et tient compte des éléments suivants:
a)
la naturaleza de la situación que dé lugar al posible uso, y en particular la gravedad, probabilidad y magnitud del perjuicio que se produciría de no utilizarse el sistema;
a)
la nature de la situation donnant lieu à un éventuel recours au système, en particulier la gravité, la probabilité et l’ampleur du préjudice qui serait causé si le système n’était pas utilisé;
b)
las consecuencias que tendría el uso del sistema en los derechos y las libertades de las personas implicadas, y en particular la gravedad, probabilidad y magnitud de dichas consecuencias.
b)
les conséquences de l’utilisation du système sur les droits et libertés de toutes les personnes concernées, notamment la gravité, la probabilité et l’ampleur de ces conséquences.
Además, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho para cualquiera de los objetivos mencionados en el apartado 1, párrafo primero, letra h), del presente artículo deberá cumplir garantías y condiciones necesarias y proporcionadas en relación con el uso de conformidad con el Derecho nacional que autorice dicho uso, en particular en lo que respecta a las limitaciones temporales, geográficas y personales. El uso del sistema de identificación biométrica remota «en tiempo real» en espacios de acceso público solo se autorizará si la autoridad garante del cumplimiento del Derecho ha completado una evaluación de impacto relativa a los derechos fundamentales según lo dispuesto en el artículo 27 y ha registrado el sistema en la base de datos de la UE de conformidad con el artículo 49. No obstante, en casos de urgencia debidamente justificados, se podrá empezar a utilizar tales sistemas sin el registro en la base de datos de la UE, siempre que dicho registro se complete sin demora indebida.
En outre, l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives en vue de la réalisation de l’un des objectifs énumérés au paragraphe 1, premier alinéa, point h), du présent article respecte les garanties et conditions nécessaires et proportionnées en ce qui concerne cette utilisation, conformément au droit national qui l’autorise, notamment eu égard aux limitations temporelles, géographiques et relatives aux personnes. L’utilisation du système d’identification biométrique à distance en temps réel dans des espaces accessibles au public n’est autorisée que si l’autorité répressive a réalisé une analyse d’impact sur les droits fondamentaux conformément à l’article 27 et a enregistré le système dans la base de données de l’UE prévue par l’article 49. Toutefois, dans des cas d’urgence dûment justifiés, il est possible de commencer à utiliser ces systèmes sans enregistrement dans la base de données de l’UE, à condition que cet enregistrement soit effectué sans retard injustifié.
3. A los efectos del apartado 1, párrafo primero, letra h), y el apartado 2, todo uso de un sistema de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho estará supeditado a la concesión de una autorización previa por parte de una autoridad judicial o una autoridad administrativa independiente cuya decisión sea vinculante del Estado miembro en el que vaya a utilizarse dicho sistema, que se expedirá previa solicitud motivada y de conformidad con las normas detalladas del Derecho nacional mencionadas en el apartado 5. No obstante, en una situación de urgencia debidamente justificada, se podrá empezar a utilizar tal sistema sin autorización siempre que se solicite dicha autorización sin demora indebida, a más tardar en un plazo de veinticuatro horas. Si se rechaza dicha autorización, el uso se interrumpirá con efecto inmediato y todos los datos, así como los resultados y la información de salida generados por dicho uso, se desecharán y suprimirán inmediatamente.
3. Aux fins du paragraphe 1, premier alinéa, point h), et du paragraphe 2, chaque utilisation à des fins répressives d’un système d’identification biométrique à distance en temps réel dans des espaces accessibles au public est subordonnée à une autorisation préalable octroyée par une autorité judiciaire ou une autorité administrative indépendante dont la décision est contraignante de l’État membre dans lequel cette utilisation doit avoir lieu, délivrée sur demande motivée et conformément aux règles détaillées du droit national visées au paragraphe 5. Toutefois, dans une situation d’urgence dûment justifiée, il est possible de commencer à utiliser ce système sans autorisation à condition que cette autorisation soit demandée sans retard injustifié, au plus tard dans les 24 heures. Si cette autorisation est rejetée, il est mis fin à l’utilisation avec effet immédiat, et toutes les données, ainsi que les résultats et sorties de cette utilisation, sont immédiatement mis au rebut et supprimés.
La autoridad judicial competente o una autoridad administrativa independiente cuya decisión sea vinculante únicamente concederá la autorización cuando tenga constancia, sobre la base de pruebas objetivas o de indicios claros que se le aporten, de que el uso del sistema de identificación biométrica remota «en tiempo real» es necesario y proporcionado para alcanzar alguno de los objetivos especificados en el apartado 1, párrafo primero, letra h), el cual se indicará en la solicitud, y, en particular, se limita a lo estrictamente necesario en lo que se refiere al período de tiempo, así como al ámbito geográfico y personal. Al pronunciarse al respecto, esa autoridad tendrá en cuenta los aspectos mencionados en el apartado 2. Dicha autoridad no podrá adoptar ninguna decisión que produzca efectos jurídicos adversos para una persona exclusivamente sobre la base de los resultados de salida del sistema de identificación biométrica remota «en tiempo real».
L’autorité judiciaire compétente ou une autorité administrative indépendante dont la décision est contraignante n’accorde l’autorisation que si elle estime, sur la base d’éléments objectifs ou d’indications claires qui lui sont présentés, que l’utilisation du système d’identification biométrique à distance en temps réel concerné est nécessaire et proportionnée à la réalisation de l’un des objectifs énumérés au paragraphe 1, premier alinéa, point h), tels qu’indiqués dans la demande et, en particulier, que cette utilisation reste limitée au strict nécessaire dans le temps et du point de vue de la portée géographique et personnelle. Lorsqu’elle statue sur la demande, cette autorité tient compte des éléments visés au paragraphe 2. Aucune décision produisant des effets juridiques défavorables à l’égard d’une personne ne peut être prise sur la seule base de la sortie du système d’identification biométrique à distance «en temps réel».
4. Sin perjuicio de lo dispuesto en el apartado 3, todo uso de un sistema de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho se notificará a la autoridad de vigilancia del mercado pertinente y a la autoridad nacional de protección de datos de conformidad con las normas nacionales a que se refiere el apartado 5. La notificación contendrá, como mínimo, la información especificada en el apartado 6 y no incluirá datos operativos sensibles.
4. Sans préjudice du paragraphe 3, toute utilisation d’un système d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives est notifiée à l’autorité de surveillance du marché concernée et à l’autorité nationale chargée de la protection des données, conformément aux règles nationales visées au paragraphe 5. Cette notification contient, au minimum, les informations visées au paragraphe 6 et n’inclut pas de données opérationnelles sensibles.
5. Los Estados miembros podrán decidir contemplar la posibilidad de autorizar, ya sea total o parcialmente, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho dentro de los límites y en las condiciones que se indican en el apartado 1, párrafo primero, letra h), y los apartados 2 y 3. Los Estados miembros de que se trate deberán establecer en sus respectivos Derechos nacionales las normas detalladas necesarias aplicables a la solicitud, la concesión y el ejercicio de las autorizaciones a que se refiere el apartado 3, así como a la supervisión y la presentación de informes relacionadas con estas. Dichas normas especificarán también para qué objetivos de los enumerados en el apartado 1, párrafo primero, letra h), y en su caso en relación con qué delitos de los indicados en la letra h), inciso iii), se podrá autorizar a las autoridades competentes para que utilicen esos sistemas con fines de garantía del cumplimiento del Derecho. Los Estados miembros notificarán dichas normas a la Comisión a más tardar treinta días después de su adopción. Los Estados miembros podrán adoptar, de conformidad con el Derecho de la Unión, leyes más restrictivas sobre el uso de sistemas de identificación biométrica remota.
5. Un État membre peut décider de prévoir la possibilité d’autoriser totalement ou partiellement l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives, dans les limites et les conditions énumérées au paragraphe 1, premier alinéa, point h), et aux paragraphes 2 et 3. Les États membres concernés établissent dans leur droit national les règles détaillées nécessaires à la demande, à la délivrance et à l’exercice des autorisations visées au paragraphe 3, ainsi qu’à la surveillance et à l’établissement de rapports y afférents. Ces règles précisent également pour quels objectifs énumérés au paragraphe 1, premier alinéa, point h), et notamment pour quelles infractions pénales visées au point h), iii), les autorités compétentes peuvent être autorisées à utiliser ces systèmes à des fins répressives. Les États membres notifient ces règles à la Commission au plus tard 30 jours après leur adoption. Les États membres peuvent adopter, conformément au droit de l’Union, des lois plus restrictives sur l’utilisation de systèmes d’identification biométrique à distance.
6. Las autoridades nacionales de vigilancia del mercado y las autoridades nacionales de protección de datos de los Estados miembros a las que se haya notificado el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho con arreglo al apartado 4 presentarán a la Comisión informes anuales sobre dicho uso. A tal fin, la Comisión facilitará a los Estados miembros y a las autoridades nacionales de vigilancia del mercado y de protección de datos un modelo que incluya información sobre el número de decisiones adoptadas por las autoridades judiciales competentes o una autoridad administrativa independiente cuya decisión sea vinculante en relación con las solicitudes de autorización de conformidad con el apartado 3, así como su resultado.
6. Les autorités nationales de surveillance du marché et les autorités nationales chargées de la protection des données des États membres qui ont été notifiées de l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives, conformément au paragraphe 4, soumettent à la Commission des rapports annuels sur cette utilisation. À cette fin, la Commission fournit aux États membres et aux autorités nationales en matière de surveillance du marché et de protection des données un modèle comprenant des informations sur le nombre de décisions prises par les autorités judiciaires compétentes ou par une autorité administrative indépendante dont la décision est contraignante en ce qui concerne les demandes d’autorisation conformément au paragraphe 3, ainsi que sur leur résultat.
7. La Comisión publicará informes anuales sobre el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho elaborados basados en datos agregados relativos a los Estados miembros sobre la base de los informes anuales a que se refiere el apartado 6. Dichos informes anuales no incluirán datos operativos sensibles de las actividades de garantía del cumplimiento del Derecho conexas.
7. La Commission publie des rapports annuels sur l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives, fondés sur des données agrégées dans les États membres sur la base des rapports annuels visés au paragraphe 6. Ces rapports annuels n’incluent pas de données opérationnelles sensibles sur les activités répressives connexes.
8. El presente artículo no afectará a las prohibiciones aplicables cuando una práctica de IA infrinja otras disposiciones de Derecho de la Unión.
8. Le présent article ne porte pas atteinte aux interdictions qui s’appliquent lorsqu’une pratique en matière d’IA enfreint d’autres dispositions du droit de l’Union.
Reglas de clasificación de los sistemas de IA de alto riesgo
Règles relatives à la classification de systèmes d’IA comme systèmes à haut risque
1. Con independencia de si se ha introducido en el mercado o se ha puesto en servicio sin estar integrado en los productos que se mencionan en las letras a) y b), un sistema de IA se considerará de alto riesgo cuando reúna las dos condiciones que se indican a continuación:
1. Un système d’IA mis sur le marché ou mis en service, qu’il soit ou non indépendant des produits visés aux points a) et b), est considéré comme étant à haut risque lorsque les deux conditions suivantes sont remplies:
a)
que el sistema de IA esté destinado a ser utilizado como componente de seguridad de un producto que entre en el ámbito de aplicación de los actos legislativos de armonización de la Unión enumerados en el anexo I, o que el propio sistema de IA sea uno de dichos productos, y
a)
le système d’IA est destiné à être utilisé comme composant de sécurité d’un produit couvert par la législation d’harmonisation de l’Union dont la liste figure à l’annexe I, ou le système d’IA constitue lui-même un tel produit;
b)
que el producto del que el sistema de IA sea componente de seguridad con arreglo a la letra a), o el propio sistema de IA como producto, deba someterse a una evaluación de la conformidad de terceros para su introducción en el mercado o puesta en servicio con arreglo a los actos legislativos de armonización de la Unión enumerados en el anexo I.
b)
le produit dont le composant de sécurité visé au point a) est le système d’IA, ou le système d’IA lui-même en tant que produit, est soumis à une évaluation de conformité par un tiers en vue de la mise sur le marché ou de la mise en service de ce produit conformément à la législation d’harmonisation de l’Union dont la liste figure à l’annexe I.
2. Además de los sistemas de IA de alto riesgo a que se refiere el apartado 1, también se considerarán de alto riesgo los sistemas de IA contemplados en el anexo III.
2. Outre les systèmes d’IA à haut risque visés au paragraphe 1, les systèmes d’IA visés à l’annexe III sont considérés comme étant à haut risque.
3. No obstante lo dispuesto en el apartado 2, un sistema de IA a que se refiere el anexo III no se considerará de alto riesgo cuando no plantee un riesgo importante de causar un perjuicio a la salud, la seguridad o los derechos fundamentales de las personas físicas, también al no influir sustancialmente en el resultado de la toma de decisiones.
3. Par dérogation au paragraphe 2, un système d’IA visé à l’annexe III n’est pas considéré comme étant à haut risque lorsqu’il ne présente pas de risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes physiques, y compris en n’ayant pas d’incidence significative sur le résultat de la prise de décision.
El párrafo primero se aplicará cuando se cumpla cualquiera de las condiciones siguientes:
Le premier alinéa s’applique lorsqu’une des conditions suivantes est remplie:
a)
que el sistema de IA esté destinado a realizar una tarea de procedimiento limitada;
a)
le système d’IA est destiné à accomplir un tâche procédurale étroite;
b)
que el sistema de IA esté destinado a mejorar el resultado de una actividad humana previamente realizada;
b)
le système d’IA est destiné à améliorer le résultat d’une activité humaine préalablement réalisée;
c)
que el sistema de IA esté destinado a detectar patrones de toma de decisiones o desviaciones con respecto a patrones de toma de decisiones anteriores y no esté destinado a sustituir la valoración humana previamente realizada sin una revisión humana adecuada, ni a influir en ella, o
c)
le système d’IA est destiné à détecter les constantes en matière de prise de décision ou les écarts par rapport aux constantes habituelles antérieures et n’est pas destiné à se substituer à l’évaluation humaine préalablement réalisée, ni à influencer celle-ci, sans examen humain approprié; ou
d)
que el sistema de IA esté destinado a realizar una tarea preparatoria para una evaluación que sea pertinente a efectos de los casos de uso enumerados en el anexo III.
d)
le système d’IA est destiné à exécuter une tâche préparatoire en vue d’une évaluation pertinente aux fins des cas d’utilisation visés à l’annexe III.
No obstante lo dispuesto en el párrafo primero, los sistemas de IA a que se refiere el anexo III siempre se considerarán de alto riesgo cuando el sistema de IA efectúe la elaboración de perfiles de personas físicas.
Nonobstant le premier alinéa, un système d’IA visé à l’annexe III est toujours considéré comme étant à haut risque lorsqu’il effectue un profilage de personnes physiques.
4. El proveedor que considere que un sistema de IA contemplado en el anexo III no es de alto riesgo documentará su evaluación antes de que dicho sistema sea introducido en el mercado o puesto en servicio. Dicho proveedor estará sujeto a la obligación de registro establecida en el artículo 49, apartado 2. A petición de las autoridades nacionales competentes, el proveedor facilitará la documentación de la evaluación.
4. Un fournisseur qui considère qu’un système d’IA visé à l’annexe III n’est pas à haut risque documente son évaluation avant que ce système ne soit mis sur le marché ou mis en service. Ce fournisseur est soumis à l’obligation d’enregistrement visée à l’article 49, paragraphe 2. À la demande des autorités nationales compétentes, le fournisseur fournit la documentation de l’évaluation.
5. La Comisión, previa consulta al Consejo Europeo de Inteligencia Artificial (en lo sucesivo, «Consejo de IA»), y a más tardar el 2 de febrero de 2026, proporcionará directrices que especifiquen la aplicación práctica del presente artículo en consonancia con el artículo 96, junto con una lista exhaustiva de ejemplos prácticos de casos de uso de sistemas de IA que sean de alto riesgo y que no sean de alto riesgo.
5. Après consultation du Comité européen de l’intelligence artificielle (ci-après dénommé «Comité IA»), et au plus tard le 2 février 2026, la Commission fournit des lignes directrices précisant la mise en œuvre pratique du présent article, conformément à l’article 96, assorties d’une liste exhaustive d’exemples pratiques de cas d’utilisation de systèmes d’IA qui sont à haut risque et de cas d’utilisation qui ne le sont pas.
6. La Comisión estará facultada para adoptar actos delegados con arreglo al artículo 97 al objeto de modificar el apartado 3, párrafo segundo, del presente artículo, añadiendo nuevas condiciones a las establecidas en dicho apartado, o modificando estas, cuando existan pruebas concretas y fiables de la existencia de sistemas de IA que entren en el ámbito de aplicación del anexo III, pero que no planteen un riesgo importante de causar un perjuicio a la salud, la seguridad o los derechos fundamentales de las personas físicas.
6. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 pour modifier le paragraphe 3, deuxième alinéa, du présent article en ajoutant de nouvelles conditions à celles qui y sont énoncées, ou en les modifiant, lorsqu’il existe des preuves concrètes et fiables de l’existence de systèmes d’IA qui relèvent du champ d’application de l’annexe III, mais qui ne présentent pas de risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes physiques.
7. La Comisión adoptará actos delegados con arreglo al artículo 97 al objeto de modificar el apartado 3, párrafo segundo, del presente artículo, suprimiendo cualquiera de las condiciones establecidas en él, cuando existan pruebas concretas y fiables de que es necesario para mantener el nivel de protección de la salud, la seguridad y los derechos fundamentales previsto en el presente Reglamento.
7. La Commission adopte des actes délégués conformément à l’article 97 afin de modifier le paragraphe 3, deuxième alinéa, du présent article en supprimant l’une des conditions qui y est établie, lorsqu’il existe des preuves concrètes et fiables attestant que cela est nécessaire pour maintenir le niveau de protection de la santé, de la sécurité et des droits fondamentaux prévu par le présent règlement.
8. Ninguna modificación de las condiciones establecidas en el apartado 3, párrafo segundo, adoptada de conformidad con los apartados 6 y 7 del presente artículo, reducirá el nivel global de protección de la salud, la seguridad y los derechos fundamentales previsto en el presente Reglamento, y cualquier modificación garantizará la coherencia con los actos delegados adoptados con arreglo al artículo 7, apartado 1, y tendrá en cuenta la evolución tecnológica y del mercado.
8. Toute modification des conditions établies au paragraphe 3, deuxième alinéa, adoptée conformément aux paragraphe 6 et 7 du présent article ne diminue pas le niveau global de protection de la santé, de la sécurité et des droits fondamentaux prévu par le présent règlement et veille à la cohérence avec les actes délégués adoptés conformément à l’article 7, paragraphe 1, et tient compte des évolutions du marché et des technologies.
Sistema de gestión de riesgos
Système de gestion des risques
1. Se establecerá, implantará, documentará y mantendrá un sistema de gestión de riesgos en relación con los sistemas de IA de alto riesgo.
1. Un système de gestion des risques est établi, mis en œuvre, documenté et tenu à jour en ce qui concerne les systèmes d’IA à haut risque.
2. El sistema de gestión de riesgos se entenderá como un proceso iterativo continuo planificado y ejecutado durante todo el ciclo de vida de un sistema de IA de alto riesgo, que requerirá revisiones y actualizaciones sistemáticas periódicas. Constará de las siguientes etapas:
2. Ce système de gestion des risques s’entend comme étant un processus itératif continu qui est planifié et se déroule sur l’ensemble du cycle de vie d’un système d’IA à haut risque et qui doit périodiquement faire l’objet d’un examen et d’une mise à jour méthodiques. Il comprend les étapes suivantes:
a)
la determinación y el análisis de los riesgos conocidos y previsibles que el sistema de IA de alto riesgo pueda plantear para la salud, la seguridad o los derechos fundamentales cuando el sistema de IA de alto riesgo se utilice de conformidad con su finalidad prevista;
a)
l’identification et l’analyse des risques connus et raisonnablement prévisibles que le système d’IA à haut risque peut poser pour la santé, la sécurité ou les droits fondamentaux lorsque le système d’IA à haut risque est utilisé conformément à sa destination;
b)
la estimación y la evaluación de los riesgos que podrían surgir cuando el sistema de IA de alto riesgo se utilice de conformidad con su finalidad prevista y cuando se le dé un uso indebido razonablemente previsible;
b)
l’estimation et l’évaluation des risques susceptibles d’apparaître lorsque le système d’IA à haut risque est utilisé conformément à sa destination et dans des conditions de mauvaise utilisation raisonnablement prévisible;
c)
la evaluación de otros riesgos que podrían surgir, a partir del análisis de los datos recogidos con el sistema de vigilancia poscomercialización a que se refiere el artículo 72;
c)
l’évaluation d’autres risques susceptibles d’apparaître, sur la base de l’analyse des données recueillies au moyen du système de surveillance après commercialisation visé à l’article 72;
d)
la adopción de medidas adecuadas y específicas de gestión de riesgos diseñadas para hacer frente a los riesgos detectados con arreglo a la letra a).
d)
l’adoption de mesures appropriées et ciblées de gestion des risques, conçues pour répondre aux risques identifiés en vertu du point a).
3. Los riesgos a que se refiere el presente artículo son únicamente aquellos que pueden mitigarse o eliminarse razonablemente mediante el desarrollo o el diseño del sistema de IA de alto riesgo o el suministro de información técnica adecuada.
3. Les risques visés au présent article ne concernent que ceux qui peuvent être raisonnablement atténués ou éliminés dans le cadre du développement ou de la conception du système d’IA à haut risque, ou par la fourniture d’informations techniques appropriées.
4. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), tendrán debidamente en cuenta los efectos y la posible interacción derivados de la aplicación combinada de los requisitos establecidos en la presente sección, con vistas a reducir al mínimo los riesgos de manera más eficaz al tiempo que se logra un equilibrio adecuado en la aplicación de las medidas para cumplir dichos requisitos.
4. Les mesures de gestion des risques visées au paragraphe 2, point d), tiennent dûment compte des effets et de l’interaction possibles résultant de l’application combinée des exigences énoncées dans la présente section, en vue de prévenir les risques plus efficacement tout en parvenant à un bon équilibre dans le cadre de la mise en œuvre des mesures visant à répondre à ces exigences.
5. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), considerarán aceptables los riesgos residuales pertinentes asociados a cada peligro, así como el riesgo residual general de los sistemas de IA de alto riesgo.
5. Les mesures de gestion des risques visées au paragraphe 2, point d), sont telles que le risque résiduel pertinent associé à chaque danger ainsi que le risque résiduel global lié aux systèmes d’IA à haut risque sont jugés acceptables.
A la hora de determinar las medidas de gestión de riesgos más adecuadas, se procurará:
Pour déterminer les mesures de gestion des risques les plus adaptées, il convient de veiller à:
a)
eliminar o reducir los riesgos detectados y evaluados de conformidad con el apartado 2 en la medida en que sea técnicamente viable mediante un diseño y un desarrollo adecuados del sistema de IA de alto riesgo;
a)
éliminer ou réduire les risques identifiés et évalués conformément au paragraphe 2 autant que la technologie le permet grâce à une conception et à un développement appropriés du système d’IA à haut risque;
b)
implantar, cuando proceda, unas medidas de mitigación y control apropiadas que hagan frente a los riesgos que no puedan eliminarse;
b)
mettre en œuvre, le cas échéant, des mesures adéquates d’atténuation et de contrôle répondant aux risques impossibles à éliminer;
c)
proporcionar la información requerida conforme al artículo 13 y, cuando proceda, impartir formación a los responsables del despliegue.
c)
fournir aux déployeurs les informations requises conformément à l’article 13 et, éventuellement, une formation.
Con vistas a eliminar o reducir los riesgos asociados a la utilización del sistema de IA de alto riesgo, se tendrán debidamente en cuenta los conocimientos técnicos, la experiencia, la educación y la formación que se espera que posea el responsable del despliegue, así como el contexto en el que está previsto que se utilice el sistema.
En vue de l’élimination ou de la réduction des risques liés à l’utilisation du système d’IA à haut risque, il est dûment tenu compte des connaissances techniques, de l’expérience, de l’éducation et de la formation pouvant être attendues du déployeur, ainsi que du contexte prévisible dans lequel le système est destiné à être utilisé.
6. Los sistemas de IA de alto riesgo serán sometidos a pruebas destinadas a determinar cuáles son las medidas de gestión de riesgos más adecuadas y específicas. Dichas pruebas comprobarán que los sistemas de IA de alto riesgo funcionan de manera coherente con su finalidad prevista y cumplen los requisitos establecidos en la presente sección.
6. Les systèmes d’IA à haut risque sont soumis à des essais afin de déterminer les mesures de gestion des risques les plus appropriées et les plus ciblées. Les essais garantissent que les systèmes d’IA à haut risque fonctionnent de manière conforme à leur destination et qu’ils sont conformes aux exigences énoncées dans la présente section.
7. Los procedimientos de prueba podrán incluir pruebas en condiciones reales de conformidad con el artículo 60.
7. Les procédures d’essai peuvent comprendre des essais en conditions réelles conformément à l’article 60.
8. Las pruebas de los sistemas de IA de alto riesgo se realizarán, según proceda, en cualquier momento del proceso de desarrollo y, en todo caso, antes de su introducción en el mercado o puesta en servicio. Las pruebas se realizarán utilizando parámetros y umbrales de probabilidades previamente definidos que sean adecuados para la finalidad prevista del sistema de IA de alto riesgo.
8. Les tests des systèmes d’IA à haut risque sont effectués, selon les besoins, à tout moment pendant le processus de développement et, en tout état de cause, avant leur mise sur le marché ou leur mise en service. Les tests sont effectués sur la base d’indicateurs et de seuils probabilistes préalablement définis, qui sont adaptés à la destination du système d’IA à haut risque.
9. Cuando se implante el sistema de gestión de riesgos previsto en los apartados 1 a 7, los proveedores prestarán atención a si, en vista de su finalidad prevista, es probable que el sistema de IA de alto riesgo afecte negativamente a las personas menores de dieciocho años y, en su caso, a otros colectivos vulnerables.
9. Lors de la mise en œuvre du système de gestion des risques prévu aux paragraphes 1 à 7, les fournisseurs prennent en considération la probabilité que, compte tenu de sa destination, le système d’IA à haut risque puisse avoir une incidence négative sur des personnes âgées de moins de 18 ans et, le cas échéant, sur d’autres groupes vulnérables.
10. En el caso de los proveedores de sistemas de IA de alto riesgo que estén sujetos a requisitos relativos a procesos internos de gestión de riesgos con arreglo a otras disposiciones pertinentes del Derecho de la Unión, los aspectos previstos en los apartados 1 a 9 podrán formar parte de los procedimientos de gestión de riesgos establecidos con arreglo a dicho Derecho, o combinarse con ellos.
10. En ce qui concerne les fournisseurs de systèmes d’IA à haut risque qui sont soumis à des exigences concernant les processus internes de gestion des risques en vertu d’autres dispositions pertinentes du droit de l’Union, les aspects présentés aux paragraphes 1 à 9 peuvent faire partie des procédures de gestion des risques établies conformément à ladite législation, ou être combinées à celles-ci.
Datos y gobernanza de datos
Données et gouvernance des données
1. Los sistemas de IA de alto riesgo que utilizan técnicas que implican el entrenamiento de modelos de IA con datos se desarrollarán a partir de conjuntos de datos de entrenamiento, validación y prueba que cumplan los criterios de calidad a que se refieren los apartados 2 a 5 siempre que se utilicen dichos conjuntos de datos.
1. Les systèmes d’IA à haut risque faisant appel à des techniques qui impliquent l’entraînement de modèles d’IA au moyen de données sont développés sur la base de jeux de données d’entraînement, de validation et de test qui satisfont aux critères de qualité visés aux paragraphes 2 à 5 chaque fois que ces jeux de données sont utilisés.
2. Los conjuntos de datos de entrenamiento, validación y prueba se someterán a prácticas de gobernanza y gestión de datos adecuadas para la finalidad prevista del sistema de IA de alto riesgo. Dichas prácticas se centrarán, en particular, en lo siguiente:
2. Les jeux de données d’entraînement, de validation et de test sont soumis à des pratiques en matière de gouvernance et de gestion des données appropriées à la destination du systèmes d’IA à haut risque. Ces pratiques concernent en particulier:
a)
las decisiones pertinentes relativas al diseño;
a)
les choix de conception pertinents;
b)
los procesos de recogida de datos y el origen de los datos y, en el caso de los datos personales, la finalidad original de la recogida de datos;
b)
les processus de collecte de données et l’origine des données, ainsi que, dans le cas des données à caractère personnel, la finalité initiale de la collecte de données;
c)
las operaciones de tratamiento oportunas para la preparación de los datos, como la anotación, el etiquetado, la depuración, la actualización, el enriquecimiento y la agregación;
c)
les opérations de traitement pertinentes pour la préparation des données, telles que l’annotation, l’étiquetage, le nettoyage, la mise à jour, l’enrichissement et l’agrégation;
d)
la formulación de supuestos, en particular en lo que respecta a la información que se supone que miden y representan los datos;
d)
la formulation d’hypothèses, notamment en ce qui concerne les informations que les données sont censées mesurer et représenter;
e)
una evaluación de la disponibilidad, la cantidad y la adecuación de los conjuntos de datos necesarios;
e)
une évaluation de la disponibilité, de la quantité et de l’adéquation des jeux de données nécessaires;
f)
el examen atendiendo a posibles sesgos que puedan afectar a la salud y la seguridad de las personas, afectar negativamente a los derechos fundamentales o dar lugar a algún tipo de discriminación prohibida por el Derecho de la Unión, especialmente cuando las salidas de datos influyan en las informaciones de entrada de futuras operaciones;
f)
un examen permettant de repérer d’éventuels biais qui sont susceptibles de porter atteinte à la santé et à la sécurité des personnes, d’avoir une incidence négative sur les droits fondamentaux ou de se traduire par une discrimination interdite par le droit de l’Union, en particulier lorsque les données de sortie influencent les entrées pour les opérations futures;
g)
medidas adecuadas para detectar, prevenir y mitigar posibles sesgos detectados con arreglo a la letra f);
g)
les mesures appropriées visant à détecter, prévenir et atténuer les éventuels biais repérés conformément au point f);
h)
la detección de lagunas o deficiencias pertinentes en los datos que impidan el cumplimiento del presente Reglamento, y la forma de subsanarlas.
h)
la détection de lacunes ou déficiences pertinentes dans les données qui empêchent l’application du présent règlement, et la manière dont ces lacunes ou déficiences peuvent être comblées.
3. Los conjuntos de datos de entrenamiento, validación y prueba serán pertinentes, suficientemente representativos y, en la mayor medida posible, carecerán de errores y estarán completos en vista de su finalidad prevista. Asimismo, tendrán las propiedades estadísticas adecuadas, por ejemplo, cuando proceda, en lo que respecta a las personas o los colectivos de personas en relación con los cuales está previsto que se utilice el sistema de IA de alto riesgo. Los conjuntos de datos podrán reunir esas características para cada conjunto de datos individualmente o para una combinación de estos.
3. Les jeux de données d’entraînement, de validation et de test sont pertinents, suffisamment représentatifs et, dans toute la mesure possible, exempts d’erreurs et complets au regard de la destination. Ils possèdent les propriétés statistiques appropriées, y compris, le cas échéant, en ce qui concerne les personnes ou groupes de personnes à l’égard desquels le système d’IA à haut risque est destiné à être utilisé. Ces caractéristiques des jeux de données peuvent être remplies au niveau des jeux de données pris individuellement ou d’une combinaison de ceux-ci.
4. Los conjuntos de datos tendrán en cuenta, en la medida necesaria para la finalidad prevista, las características o elementos particulares del entorno geográfico, contextual, conductual o funcional específico en el que está previsto que se utilice el sistema de IA de alto riesgo.
4. Les jeux de données tiennent compte, dans la mesure requise par la destination, des caractéristiques ou éléments propres au cadre géographique, contextuel, comportemental ou fonctionnel spécifique dans lequel le système d’IA à haut risque est destiné à être utilisé.
5. En la medida en que sea estrictamente necesario para garantizar la detección y corrección de los sesgos asociados a los sistemas de IA de alto riesgo de conformidad con lo dispuesto en el apartado 2, letras f) y g), del presente artículo, los proveedores de dichos sistemas podrán tratar excepcionalmente las categorías especiales de datos personales siempre que ofrezcan las garantías adecuadas en relación con los derechos y las libertades fundamentales de las personas físicas. Además de las disposiciones establecidas en los Reglamentos (UE) 2016/679 y (UE) 2018/1725 y la Directiva (UE) 2016/680, para que se produzca dicho tratamiento deben cumplirse todas las condiciones siguientes:
5. Dans la mesure où cela est strictement nécessaire aux fins de la détection et de la correction des biais en ce qui concerne les systèmes d’IA à haut risque, conformément au paragraphe 2, points f) et g), du présent article, les fournisseurs de ces systèmes peuvent exceptionnellement traiter des catégories particulières de données à caractère personnel, sous réserve de garanties appropriées pour les droits et libertés fondamentaux des personnes physiques. Outre les dispositions des règlements (UE) 2016/679 et (UE) 2018/1725 et de la directive (UE) 2016/680, toutes les conditions suivantes doivent être réunies pour que ce traitement puisse avoir lieu:
a)
que el tratamiento de otros datos, como los sintéticos o los anonimizados, no permita efectuar de forma efectiva la detección y corrección de sesgos;
a)
la détection et la correction des biais ne peuvent être satisfaites de manière efficace en traitant d’autres données, y compris des données synthétiques ou anonymisées;
b)
que las categorías especiales de datos personales estén sujetas a limitaciones técnicas relativas a la reutilización de los datos personales y a medidas punteras en materia de seguridad y protección de la intimidad, incluida la seudonimización;
b)
les catégories particulières de données à caractère personnel sont soumises à des limitations techniques relatives à la réutilisation des données à caractère personnel, ainsi qu’aux mesures les plus avancées en matière de sécurité et de protection de la vie privée, y compris la pseudonymisation;
c)
que las categorías especiales de datos personales estén sujetas a medidas para garantizar que los datos personales tratados estén asegurados, protegidos y sujetos a garantías adecuadas, incluidos controles estrictos y documentación del acceso, a fin de evitar el uso indebido y garantizar que solo las personas autorizadas tengan acceso a dichos datos personales con obligaciones de confidencialidad adecuadas;
c)
les catégories particulières de données à caractère personnel font l’objet de mesures visant à garantir que les données à caractère personnel traitées sont sécurisées, protégées et soumises à des garanties appropriées, y compris des contrôles stricts et une documentation de l’accès, afin d’éviter toute mauvaise utilisation et de veiller à ce que seules les personnes autorisées ayant des obligations de confidentialité appropriées aient accès à ces données à caractère personnel;
d)
que las categorías especiales de datos personales no se transmitan ni transfieran a terceros y que estos no puedan acceder de ningún otro modo a ellos;
d)
les catégories particulières de données à caractère personnel ne doivent pas être transmises, transférées ou consultées d’une autre manière par d’autres parties;
e)
que las categorías especiales de datos personales se eliminen una vez que se haya corregido el sesgo o los datos personales hayan llegado al final de su período de conservación, si esta fecha es anterior;
e)
les catégories particulières de données à caractère personnel sont supprimées une fois que le biais a été corrigé ou que la période de conservation des données à caractère personnel a expiré, selon celle de ces deux échéances qui arrive en premier;
f)
que los registros de las actividades de tratamiento con arreglo a los Reglamentos (UE) 2016/679 y (UE) 2018/1725 y la Directiva (UE) 2016/680 incluyan las razones por las que el tratamiento de categorías especiales de datos personales era estrictamente necesario para detectar y corregir sesgos, y por las que ese objetivo no podía alcanzarse mediante el tratamiento de otros datos.
f)
les registres des activités de traitement visés dans les règlements (UE) 2016/679 et (UE) 2018/1725 et dans la directive (UE) 2016/680 comprennent les raisons pour lesquelles le traitement des catégories particulières de données à caractère personnel était strictement nécessaire pour détecter et corriger les biais, ainsi que la raison pour laquelle cet objectif n’a pas pu être atteint par le traitement d’autres données.
6. Para el desarrollo de sistemas de IA de alto riesgo que no empleen técnicas que impliquen el entrenamiento de modelos de IA, los apartados 2 a 5 se aplicarán únicamente a los conjuntos de datos de prueba.
6. En ce qui concerne le développement de systèmes d’IA à haut risque qui ne font pas appel à des techniques qui impliquent l’entraînement de modèles d’IA, les paragraphes 2 à 5 s’appliquent uniquement aux jeux de données de test.
1. La documentación técnica de un sistema de IA de alto riesgo se elaborará antes de su introducción en el mercado o puesta en servicio, y se mantendrá actualizada.
1. La documentation technique relative à un système d’IA à haut risque est établie avant que ce système ne soit mis sur le marché ou mis en service et est tenue à jour.
La documentación técnica se redactará de modo que demuestre que el sistema de IA de alto riesgo cumple los requisitos establecidos en la presente sección y que proporcione de manera clara y completa a las autoridades nacionales competentes y a los organismos notificados la información necesaria para evaluar la conformidad del sistema de IA con dichos requisitos. Contendrá, como mínimo, los elementos contemplados en el anexo IV. Las pymes, incluidas las empresas emergentes, podrán facilitar los elementos de la documentación técnica especificada en el anexo IV de manera simplificada. A tal fin, la Comisión establecerá un formulario simplificado de documentación técnica orientado a las necesidades de las pequeñas empresas y las microempresas. Cuando una pyme, incluidas las empresas emergentes, opte por facilitar la información exigida en el anexo IV de manera simplificada, utilizará el formulario a que se refiere el presente apartado. Los organismos notificados aceptarán dicho formulario a efectos de la evaluación de la conformidad.
La documentation technique est établie de manière à démontrer que le système d’IA à haut risque satisfait aux exigences énoncées dans la présente section et à fournir aux autorités nationales compétentes et aux organismes notifiés les informations nécessaires sous une forme claire et intelligible pour évaluer la conformité du système d’IA avec ces exigences. Elle contient, au minimum, les éléments énoncés à l’annexe IV. Les PME, y compris les jeunes pousses, peuvent fournir des éléments de la documentation technique spécifiée à l’annexe IV d’une manière simplifiée. À cette fin, la Commission établit un formulaire de documentation technique simplifié ciblant les besoins des petites entreprises et des microentreprises. Lorsqu’une PME, y compris une jeune pousse, choisit de fournir les informations requises à l’annexe IV de manière simplifiée, elle utilise le formulaire visé au présent paragraphe. Les organismes notifiés acceptent le formulaire aux fins de l’évaluation de la conformité.
2. Cuando se introduzca en el mercado o se ponga en servicio un sistema de IA de alto riesgo asociado a un producto que entre en el ámbito de aplicación de los actos legislativos de armonización de la Unión mencionados en el anexo I, sección A, se elaborará un único conjunto de documentos técnicos que contenga toda la información mencionada en el apartado 1, así como la información que exijan dichos actos legislativos.
2. Lorsqu’un système d’IA à haut risque lié à un produit couvert par la législation d’harmonisation de l’Union dont la liste figure à la section A de l’annexe I est mis sur le marché ou mis en service, un seul ensemble de documentation technique est établi, contenant toutes les informations visées au paragraphe 1, ainsi que les informations requises en vertu de ces actes juridiques.
3. La Comisión estará facultada para adoptar actos delegados con arreglo al artículo 97 al objeto de modificar el anexo IV, cuando sea necesario, para garantizar que, en vista de los avances técnicos, la documentación técnica proporcione toda la información necesaria para evaluar si el sistema cumple los requisitos establecidos en la presente sección.
3. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 pour modifier l’annexe IV, lorsque cela est nécessaire, afin de garantir que, compte tenu du progrès technique, la documentation technique fournit toutes les informations requises pour évaluer la conformité du système avec les exigences énoncées dans la présente section.
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que puedan ser vigilados de manera efectiva por personas físicas durante el período que estén en uso, lo que incluye dotarlos de herramientas de interfaz humano-máquina adecuadas.
1. La conception et le développement des systèmes d’IA à haut risque permettent, notamment au moyen d’interfaces homme-machine appropriées, un contrôle effectif par des personnes physiques pendant leur période d’utilisation.
2. El objetivo de la supervisión humana será prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que pueden surgir cuando se utiliza un sistema de IA de alto riesgo conforme a su finalidad prevista o cuando se le da un uso indebido razonablemente previsible, en particular cuando dichos riesgos persistan a pesar de la aplicación de otros requisitos establecidos en la presente sección.
2. Le contrôle humain vise à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent apparaître lorsqu’un système d’IA à haut risque est utilisé conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, en particulier lorsque de tels risques persistent malgré l’application d’autres exigences énoncées dans la présente section.
3. Las medidas de supervisión serán proporcionales a los riesgos, al nivel de autonomía y al contexto de uso del sistema de IA de alto riesgo, y se garantizarán bien mediante uno de los siguientes tipos de medidas, bien mediante ambos:
3. Les mesures de contrôle sont proportionnées aux risques, au niveau d’autonomie et au contexte d’utilisation du système d’IA à haut risque, et sont assurées au moyen d’un ou des deux types de mesures suivants:
a)
las medidas que el proveedor defina y que integre, cuando sea técnicamente viable, en el sistema de IA de alto riesgo antes de su introducción en el mercado o su puesta en servicio;
a)
des mesures identifiées et, lorsque cela est techniquement possible, intégrées par le fournisseur dans le système d’IA à haut risque avant la mise sur le marché ou la mise en service de ce dernier;
b)
las medidas que el proveedor defina antes de la introducción del sistema de IA de alto riesgo en el mercado o de su puesta en servicio y que sean adecuadas para que las ponga en práctica el responsable del despliegue.
b)
des mesures identifiées par le fournisseur avant la mise sur le marché ou la mise en service du système d’IA à haut risque et qui se prêtent à une mise en œuvre par le déployeur.
4. A efectos de la puesta en práctica de lo dispuesto en los apartados 1, 2 y 3, el sistema de IA de alto riesgo se ofrecerá al responsable del despliegue de tal modo que las personas físicas a quienes se encomiende la supervisión humana puedan, según proceda y de manera proporcionada a:
4. Aux fins de la mise en œuvre des dispositions des paragraphes 1, 2 et 3, le système d’IA à haut risque est fourni au déployeur de telle manière que les personnes physiques chargées d’effectuer un contrôle humain, dans la mesure où cela est approprié et proportionné, ont la possibilité:
a)
entender adecuadamente las capacidades y limitaciones pertinentes del sistema de IA de alto riesgo y poder vigilar debidamente su funcionamiento, por ejemplo, con vistas a detectar y resolver anomalías, problemas de funcionamiento y comportamientos inesperados;
a)
de comprendre correctement les capacités et les limites pertinentes du système d’IA à haut risque et d’être en mesure de surveiller correctement son fonctionnement, y compris en vue de détecter et de traiter les anomalies, les dysfonctionnements et les performances inattendues;
b)
ser conscientes de la posible tendencia a confiar automáticamente o en exceso en los resultados de salida generados por un sistema de IA de alto riesgo («sesgo de automatización»), en particular con aquellos sistemas que se utilizan para aportar información o recomendaciones con el fin de que personas físicas adopten una decisión;
b)
d’avoir conscience d’une éventuelle tendance à se fier automatiquement ou excessivement aux sorties produites par un système d’IA à haut risque (biais d’automatisation), en particulier pour les systèmes d’IA à haut risque utilisés pour fournir des informations ou des recommandations concernant les décisions à prendre par des personnes physiques;
c)
interpretar correctamente los resultados de salida del sistema de IA de alto riesgo, teniendo en cuenta, por ejemplo, los métodos y herramientas de interpretación disponibles;
c)
d’interpréter correctement les sorties du système d’IA à haut risque, compte tenu par exemple des outils et méthodes d’interprétation disponibles;
d)
decidir, en cualquier situación concreta, no utilizar el sistema de IA de alto riesgo o descartar, invalidar o revertir los resultados de salida que este genere;
d)
de décider, dans une situation particulière, de ne pas utiliser le système d’IA à haut risque ou d’ignorer, remplacer ou inverser la sortie du système d’IA à haut risque;
e)
intervenir en el funcionamiento del sistema de IA de alto riesgo o interrumpir el sistema pulsando un botón de parada o mediante un procedimiento similar que permita que el sistema se detenga de forma segura.
e)
d’intervenir dans le fonctionnement du système d’IA à haut risque ou d’interrompre le système au moyen d’un bouton d’arrêt ou d’une procédure similaire permettant au système de s’arrêter de manière sécurisée.
5. En el caso de los sistemas de IA de alto riesgo mencionados en el anexo III, punto 1, letra a), las medidas a que se refiere el apartado 3 del presente artículo garantizarán, además, que el responsable del despliegue no actúe ni tome ninguna decisión basándose en la identificación generada por el sistema, salvo si al menos dos personas físicas con la competencia, formación y autoridad necesarias han verificado y confirmado por separado dicha identificación.
5. Pour les systèmes d’IA à haut risque visés à l’annexe III, point 1 a), les mesures prévues au paragraphe 3 du présent article sont de nature à garantir que, en outre, aucune mesure ou décision n’est prise par le déployeur sur la base de l’identification résultant du système sans vérification et confirmation distinctes de cette identification par au moins deux personnes physiques disposant des compétences, de la formation et de l’autorité nécessaires.
El requisito de la verificación por parte de al menos dos personas físicas por separado no se aplicará a los sistemas de IA de alto riesgo utilizados con fines de garantía del cumplimiento del Derecho, de migración, de control fronterizo o de asilo cuando el Derecho nacional o de la Unión considere que la aplicación de este requisito es desproporcionada.
L’exigence d’une vérification distincte par au moins deux personnes physiques ne s’applique pas aux systèmes d’IA à haut risque utilisés à des fins répressives ou dans les domaines de la migration, des contrôles aux frontières ou de l’asile, lorsque le droit de l’Union ou le droit national considère que l’application de cette exigence est disproportionnée.
Precisión, solidez y ciberseguridad
Exactitude, robustesse et cybersécurité
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que alcancen un nivel adecuado de precisión, solidez y ciberseguridad y funcionen de manera uniforme en esos sentidos durante todo su ciclo de vida.
1. La conception et le développement des systèmes d’IA à haut risque sont tels qu’ils leur permettent d’atteindre un niveau approprié d’exactitude, de robustesse et de cybersécurité, et de fonctionner de façon constante à cet égard tout au long de leur cycle de vie.
2. Para abordar los aspectos técnicos sobre la forma de medir los niveles adecuados de precisión y solidez establecidos en el apartado 1 y cualquier otro parámetro de rendimiento pertinente, la Comisión, en cooperación con las partes interesadas y organizaciones pertinentes, como las autoridades de metrología y de evaluación comparativa, fomentará, según proceda, el desarrollo de parámetros de referencia y metodologías de medición.
2. Pour examiner les aspects techniques de la manière de mesurer les niveaux appropriés d’exactitude et de robustesse visés au paragraphe 1 et tout autre indicateur de performance pertinent, la Commission, en coopération avec les parties prenantes et organisations concernées, telles que les autorités de métrologie et d’étalonnage des performances, encourage, le cas échéant, l’élaboration de critères de référence et de méthodes de mesure.
3. En las instrucciones de uso que acompañen a los sistemas de IA de alto riesgo se indicarán los niveles de precisión de dichos sistemas, así como los parámetros pertinentes para medirla.
3. Les niveaux d’exactitude et les indicateurs de l’exactitude des systèmes d’IA à haut risque sont indiqués dans la notice d’utilisation jointe.
4. Los sistemas de IA de alto riesgo serán lo más resistentes posible en lo que respecta a los errores, fallos o incoherencias que pueden surgir en los propios sistemas o en el entorno en el que funcionan, en particular a causa de su interacción con personas físicas u otros sistemas. Se adoptarán medidas técnicas y organizativas a este respecto.
4. Les systèmes d’IA à haut risque font preuve d’autant de résilience que possible en cas d’erreurs, de défaillances ou d’incohérences pouvant survenir au sein des systèmes eux-mêmes ou de l’environnement dans lequel ils fonctionnent, notamment en raison de leur interaction avec des personnes physiques ou d’autres systèmes. Des mesures techniques et organisationnelles sont prises à cet égard.
La solidez de los sistemas de IA de alto riesgo puede lograrse mediante soluciones de redundancia técnica, tales como copias de seguridad o planes de prevención contra fallos.
Des solutions techniques redondantes, telles que des plans de sauvegarde ou des mesures de sécurité après défaillance, peuvent permettre de garantir la robustesse des systèmes d’IA à haut risque.
Los sistemas de IA de alto riesgo que continúan aprendiendo tras su introducción en el mercado o puesta en servicio se desarrollarán de tal modo que se elimine o reduzca lo máximo posible el riesgo de que los resultados de salida que pueden estar sesgados influyan en la información de entrada de futuras operaciones (bucles de retroalimentación) y se garantice que dichos bucles se subsanen debidamente con las medidas de reducción de riesgos adecuadas.
Les systèmes d’IA à haut risque qui continuent leur apprentissage après leur mise sur le marché ou leur mise en service sont développés de manière à éliminer ou à réduire dans la mesure du possible le risque que des sorties éventuellement biaisées n’influencent les entrées pour les opérations futures (boucles de rétroaction) et à veiller à ce que ces boucles de rétroaction fassent l’objet d’un traitement adéquat au moyen de mesures d’atténuation appropriées.
5. Los sistemas de IA de alto riesgo serán resistentes a los intentos de terceros no autorizados de alterar su uso, sus resultados de salida o su funcionamiento aprovechando las vulnerabilidades del sistema.
5. Les systèmes d’IA à haut risque résistent aux tentatives de tiers non autorisés visant à modifier leur utilisation, leurs sorties ou leur performance en exploitant les vulnérabilités du système.
Las soluciones técnicas encaminadas a garantizar la ciberseguridad de los sistemas de IA de alto riesgo serán adecuadas a las circunstancias y los riesgos pertinentes.
Les solutions techniques visant à garantir la cybersécurité des systèmes d’IA à haut risque sont adaptées aux circonstances pertinentes et aux risques.
Entre las soluciones técnicas destinadas a subsanar vulnerabilidades específicas de la IA figurarán, según corresponda, medidas para prevenir, detectar, combatir, resolver y controlar los ataques que traten de manipular el conjunto de datos de entrenamiento («envenenamiento de datos»), o los componentes entrenados previamente utilizados en el entrenamiento («envenenamiento de modelos»), la información de entrada diseñada para hacer que el modelo de IA cometa un error («ejemplos adversarios» o «evasión de modelos»), los ataques a la confidencialidad o los defectos en el modelo.
Les solutions techniques destinées à remédier aux vulnérabilités spécifiques à l’IA comprennent, au besoin, des mesures ayant pour but de prévenir, de détecter, de contrer, de résoudre et de maîtriser les attaques visant à manipuler le jeu de données d’entraînement (empoisonnement des données) ou les composants préentraînés utilisés en entraînement (empoisonnement de modèle), les entrées destinées à induire le modèle d’IA en erreur (exemples contradictoires ou invasion de modèle), les attaques visant la confidentialité ou les défauts du modèle.
Sistema de gestión de la calidad
Système de gestion de la qualité
1. Los proveedores de sistemas de IA de alto riesgo establecerán un sistema de gestión de la calidad que garantice el cumplimiento del presente Reglamento. Dicho sistema deberá consignarse de manera sistemática y ordenada en documentación en la que se recojan las políticas, los procedimientos y las instrucciones e incluirá, al menos, los siguientes aspectos:
1. Les fournisseurs de systèmes d’IA à haut risque mettent en place un système de gestion de la qualité garantissant le respect du présent règlement. Ce système est documenté de manière méthodique et ordonnée sous la forme de politiques, de procédures et d’instructions écrites, et comprend au moins les aspects suivants:
a)
una estrategia para el cumplimiento de la normativa, incluido el cumplimiento de los procedimientos de evaluación de la conformidad y de los procedimientos de gestión de las modificaciones de los sistemas de IA de alto riesgo;
a)
une stratégie de respect de la réglementation, notamment le respect des procédures d’évaluation de la conformité et des procédures de gestion des modifications apportées aux systèmes d’IA à haut risque;
b)
las técnicas, los procedimientos y las actuaciones sistemáticas que se utilizarán en el diseño y el control y la verificación del diseño del sistema de IA de alto riesgo;
b)
des techniques, procédures et actions systématiques destinées à la conception des systèmes d’IA à haut risque ainsi qu’au contrôle et à la vérification de cette conception;
c)
las técnicas, los procedimientos y las actuaciones sistemáticas que se utilizarán en el desarrollo del sistema de IA de alto riesgo y en el control y el aseguramiento de la calidad de este;
c)
des techniques, procédures et actions systématiques destinées au développement des systèmes d’IA à haut risque ainsi qu’au contrôle et à l’assurance de leur qualité;
d)
los procedimientos de examen, prueba y validación que se llevarán a cabo antes, durante y después del desarrollo del sistema de IA de alto riesgo, así como la frecuencia con que se ejecutarán;
d)
des procédures d’examen, de test et de validation à exécuter avant, pendant et après le développement du système d’IA à haut risque, ainsi que la fréquence à laquelle elles doivent être réalisées;
e)
las especificaciones técnicas, incluidas las normas, que se aplicarán y, cuando las normas armonizadas pertinentes no se apliquen en su totalidad o no cubran todos los requisitos pertinentes establecidos en la sección 2, los medios que se utilizarán para velar por que el sistema de IA de alto riesgo cumpla dichos requisitos;
e)
des spécifications techniques, notamment des normes, à appliquer et, lorsque les normes harmonisées pertinentes ne sont pas appliquées intégralement, ou ne couvrent pas toutes les exigences pertinentes énoncées à la section 2, les moyens à utiliser pour faire en sorte que le système d’IA à haut risque satisfasse auxdites exigences;
f)
los sistemas y procedimientos de gestión de datos, lo que incluye su adquisición, recopilación, análisis, etiquetado, almacenamiento, filtrado, prospección, agregación, conservación y cualquier otra operación relacionada con los datos que se lleve a cabo antes de la introducción en el mercado o puesta en servicio de sistemas de IA de alto riesgo y con esa finalidad;
f)
les systèmes et procédures de gestion des données, notamment l’acquisition, la collecte, l’analyse, l’étiquetage, le stockage, la filtration, l’exploration, l’agrégation, la conservation des données et toute autre opération concernant les données qui est effectuée avant la mise sur le marché ou la mise en service de systèmes d’IA à haut risque et aux fins de celles-ci;
g)
el sistema de gestión de riesgos que se menciona en el artículo 9;
g)
le système de gestion des risques prévu à l’article 9;
h)
el establecimiento, aplicación y mantenimiento de un sistema de vigilancia poscomercialización de conformidad con el artículo 72;
h)
l’élaboration, la mise en œuvre et le fonctionnement d’un système de surveillance après commercialisation conformément à l’article 72;
i)
los procedimientos asociados a la notificación de un incidente grave con arreglo al artículo 73;
i)
les procédures relatives au signalement d’un incident grave conformément à l’article 73;
j)
la gestión de la comunicación con las autoridades nacionales competentes, otras autoridades pertinentes, incluidas las que permiten acceder a datos o facilitan el acceso a ellos, los organismos notificados, otros operadores, los clientes u otras partes interesadas;
j)
la gestion des communications avec les autorités nationales compétentes, les autres autorités compétentes, y compris celles fournissant ou facilitant l’accès aux données, les organismes notifiés, les autres opérateurs, les clients ou d’autres parties intéressées;
k)
los sistemas y procedimientos para llevar un registro de toda la documentación e información pertinente;
k)
les systèmes et procédures de conservation de tous les documents et informations pertinents;
l)
la gestión de los recursos, incluidas medidas relacionadas con la seguridad del suministro;
l)
la gestion des ressources, y compris les mesures liées à la sécurité d’approvisionnement;
m)
un marco de rendición de cuentas que defina las responsabilidades del personal directivo y de otra índole en relación con todos los aspectos enumerados en este apartado.
m)
un cadre de responsabilisation définissant les responsabilités de l’encadrement et des autres membres du personnel en ce qui concerne tous les aspects énumérés dans le présent paragraphe.
2. La aplicación de los aspectos mencionados en el apartado 1 será proporcional al tamaño de la organización del proveedor. Los proveedores respetarán, en todo caso, el grado de rigor y el nivel de protección requerido para garantizar la conformidad de sus sistemas de IA de alto riesgo con el presente Reglamento.
2. La mise en œuvre des aspects visés au paragraphe 1 est proportionnée à la taille de l’organisation du fournisseur. Les fournisseurs respectent, en tout état de cause, le degré de rigueur et le niveau de protection requis afin de garantir que leurs systèmes d’IA à haut risque sont conformes au présent règlement.
3. Los proveedores de sistemas de IA de alto riesgo que estén sujetos a obligaciones relativas a los sistemas de gestión de la calidad o una función equivalente con arreglo al Derecho sectorial pertinente de la Unión podrán incluir los aspectos enumerados en el apartado 1 como parte de los sistemas de gestión de la calidad con arreglo a dicho Derecho.
3. Les fournisseurs de systèmes d’IA à haut risque qui sont soumis à des obligations relatives aux systèmes de gestion de la qualité, ou liées à l’exercice d’une fonction équivalente en vertu de la législation sectorielle pertinente de l’Union peuvent inclure les aspects énumérés au paragraphe 1 dans les systèmes de gestion de la qualité conformément à ladite législation.
4. En el caso de los proveedores que sean entidades financieras sujetas a requisitos relativos a su gobernanza, sus sistemas o sus procesos internos en virtud del Derecho de la Unión en materia de servicios financieros, se considerará que se ha cumplido la obligación de establecer un sistema de gestión de la calidad, salvo en relación con lo dispuesto en el apartado 1, letras g), h) e i), del presente artículo cuando se respeten las normas sobre los sistemas o procesos de gobernanza interna de acuerdo con el Derecho pertinente de la Unión en materia de servicios financieros. A tal fin, se tendrán en cuenta todas las normas armonizadas que se mencionan en el artículo 40.
4. Si les fournisseurs sont des établissements financiers soumis à des exigences relatives à leur gouvernance, à leurs dispositifs ou à leurs processus internes prévues par la législation de l’Union sur les services financiers, la conformité avec les règles relatives à leur gouvernance, à leurs dispositifs ou à leurs processus internes prévues dans la législation pertinente de l’Union sur les services financiers vaut respect de l’obligation de mettre en place un système de gestion de la qualité, à l’exception du paragraphe 1, points g), h) et i) du présent article. À cette fin, toute norme harmonisée visée à l’article 40 est prise en considération.
Medidas correctoras y obligación de información
Mesures corrective et devoir d’information
1. Los proveedores de sistemas de IA de alto riesgo que consideren o tengan motivos para considerar que un sistema de IA de alto riesgo que han introducido en el mercado o puesto en servicio no es conforme con el presente Reglamento adoptarán inmediatamente las medidas correctoras necesarias para que sea conforme, para retirarlo del mercado, desactivarlo o recuperarlo, según proceda. Informarán de ello a los distribuidores del sistema de IA de alto riesgo de que se trate y, en su caso, a los responsables del despliegue, al representante autorizado y a los importadores.
1. Les fournisseurs de systèmes d’IA à haut risque qui considèrent ou ont des raisons de considérer qu’un système d’IA à haut risque qu’ils ont mis sur le marché ou mis en service n’est pas conforme au présent règlement prennent immédiatement les mesures correctives nécessaires pour le mettre en conformité, le retirer, le désactiver ou le rappeler, selon le cas. Ils informent les distributeurs du système d’IA à haut risque concerné et, le cas échéant, les déployeurs, le mandataire et les importateurs en conséquence.
2. Cuando un sistema de IA de alto riesgo presente un riesgo en el sentido del artículo 79, apartado 1, y el proveedor tenga conocimiento de dicho riesgo, este investigará inmediatamente las causas, en colaboración con el responsable del despliegue que lo haya notificado, en su caso, e informará a las autoridades de vigilancia del mercado competentes respecto al sistema de IA de alto riesgo de que se trate y, cuando proceda, al organismo notificado que haya expedido un certificado para dicho sistema de conformidad con lo dispuesto en el artículo 44, en particular sobre la naturaleza del incumplimiento y sobre cualquier medida correctora adoptada.
2. Lorsque le système d’IA à haut risque présente un risque au sens de l’article 79, paragraphe 1, et que le fournisseur prend conscience de ce risque, celui-ci recherche immédiatement les causes, en collaboration avec le déployeur à l’origine du signalement, le cas échéant, et informe les autorités de surveillance du marché compétentes pour le système d’IA à haut risque concerné et, le cas échéant, l’organisme notifié qui a délivré un certificat pour ce système d’IA à haut risque, conformément à l’article 44, en précisant en particulier la nature du cas de non-conformité et les éventuelles mesures correctives pertinentes prises.
Representantes autorizados de los proveedores de sistemas de IA de alto riesgo
Mandataires des fournisseurs de systèmes d’IA à haut risque
1. Antes de comercializar sus sistemas de IA de alto riesgo en el mercado de la Unión, los proveedores establecidos en terceros países tendrán que nombrar, mediante un mandato escrito, a un representante autorizado que esté establecido en la Unión.
1. Avant de mettre leurs systèmes d’IA à haut risque à disposition sur le marché de l’Union, les fournisseurs établis dans des pays tiers désignent, par mandat écrit, un mandataire établi dans l’Union.
2. Los proveedores permitirán que su representante autorizado pueda efectuar las tareas especificadas en el mandato recibido del proveedor.
2. Le fournisseur autorise son mandataire à exécuter les tâches indiquées dans le mandat que lui a confié le fournisseur.
3. Los representantes autorizados efectuarán las tareas especificadas en el mandato recibido del proveedor. Facilitarán a las autoridades de vigilancia del mercado, cuando lo soliciten, una copia del mandato en una de las lenguas oficiales de las instituciones de la Unión según lo indicado por la autoridad de competente. A los efectos del presente Reglamento, el mandato habilitará al representante autorizado para realizar las tareas siguientes:
3. Le mandataire exécute les tâches indiquées dans le mandat que lui a confié le fournisseur. Il fournit une copie du mandat aux autorités de surveillance du marché à leur demande, dans l’une des langues officielles des institutions de l’Union, indiquée par l’autorité compétente. Aux fins du présent règlement, le mandat habilite le mandataire à exécuter les tâches suivantes:
a)
verificar que se han elaborado la declaración UE de conformidad a que se refiere el artículo 47 y la documentación técnica a que se refiere el artículo 11 y que el proveedor ha llevado a cabo un procedimiento de evaluación de la conformidad adecuado;
a)
vérifier que la déclaration UE de conformité visée à l’article 47 et la documentation technique visée à l’article 11 ont été établies et que le fournisseur a suivi une procédure appropriée d’évaluation de la conformité;
b)
conservar a disposición de las autoridades competentes y de las autoridades u organismos nacionales a que se refiere el artículo 74, apartado 10, durante un período de diez años a contar desde la introducción en el mercado o la puesta en servicio del sistema de IA de alto riesgo, los datos de contacto del proveedor que haya nombrado al representante autorizado, una copia de la declaración UE de conformidad a que se refiere el artículo 47, la documentación técnica y, en su caso, el certificado expedido por el organismo notificado;
b)
tenir à la disposition des autorités compétentes et des autorités ou organismes nationaux visés à l’article 74, paragraphe 10, pendant une période de dix ans après la mise sur le marché ou la mise en service du système d’IA à haut risque, les coordonnées du fournisseur ayant désigné le mandataire, une copie de la déclaration UE de conformité visée à l’article 47, la documentation technique et, le cas échéant, le certificat délivré par l’organisme notifié;
c)
proporcionar a una autoridad competente, previa solicitud motivada, toda la información y la documentación, incluida la mencionada en el presente párrafo, letra b), que sean necesarias para demostrar la conformidad de un sistema de IA de alto riesgo con los requisitos establecidos en la sección 2, incluido el acceso a los archivos de registro a que se refiere el artículo 12, apartado 1, generados automáticamente por ese sistema, en la medida en que dichos archivos estén bajo el control del proveedor;
c)
à la demande motivée d’une autorité compétente, communiquer à cette dernière toutes les informations et tous les documents, y compris ceux visés au point b) du présent alinéa, nécessaires pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées à la section 2, et notamment lui donner accès aux journaux générés automatiquement par le système d’IA à haut risque, visés à l’article 12, paragraphe 1, dans la mesure où ces journaux se trouvent sous le contrôle du fournisseur;
d)
cooperar con las autoridades competentes, previa solicitud motivada, en todas las acciones que estas emprendan en relación con el sistema de IA de alto riesgo, en particular para reducir y mitigar los riesgos que este presente;
d)
à la demande motivée des autorités compétentes, coopérer avec elles à toute mesure prise par ces dernières à l’égard du système d’IA à haut risque, en particulier pour réduire et atténuer les risques posés par le système d’IA à haut risque;
e)
cuando proceda, cumplir las obligaciones de registro a que se refiere el artículo 49, apartado 1, o si el registro lo lleva a cabo el propio proveedor, garantizar que la información a que se refiere el anexo VIII, sección A, punto 3, es correcta.
e)
le cas échéant, respecter les obligations en matière d’enregistrement visées à l’article 49, paragraphe 1, ou, si l’enregistrement est effectué par le fournisseur lui-même, vérifier que les informations visées à l’annexe VIII, section A, point 3, sont correctes.
El mandato habilitará al representante autorizado para que las autoridades competentes se pongan en contacto con él, además de con el proveedor o en lugar de con el proveedor, con referencia a todas las cuestiones relacionadas con la garantía del cumplimiento del presente Reglamento.
Le mandat habilite le mandataire à servir d’interlocuteur, en plus ou à la place du fournisseur, aux autorités compétentes, pour toutes les questions liées au respect du présent règlement.
4. El representante autorizado pondrá fin al mandato si considera o tiene motivos para considerar que el proveedor contraviene las obligaciones que le atañen con arreglo al presente Reglamento. En tal caso, además, informará de inmediato de la terminación del mandato y de los motivos de esta medida a la autoridad de vigilancia del mercado pertinente, así como, cuando proceda, al organismo notificado pertinente.
4. Le mandataire met fin au mandat s’il considère ou a des raisons de considérer que le fournisseur agit de manière contraire aux obligations qui lui incombent en vertu du présent règlement. Dans ce cas, il informe immédiatement l’autorité de surveillance du marché concernée et, selon le cas, l’organisme notifié pertinent de la cessation du mandat et des motifs qui la sous-tendent.
Obligaciones de los importadores
Obligations des importateurs
1. Antes de introducir un sistema de IA de alto riesgo en el mercado, los importadores se asegurarán de que el sistema sea conforme con el presente Reglamento verificando que:
1. Avant de mettre sur le marché un système d’IA à haut risque, les importateurs s’assurent que le système est conforme au présent règlement en vérifiant que:
a)
el proveedor del sistema de IA de alto riesgo haya llevado a cabo el procedimiento de evaluación de la conformidad pertinente a que se refiere el artículo 43;
a)
le fournisseur du système d’IA à haut risque a suivi la procédure pertinente d’évaluation de la conformité visée à l’article 43;
b)
el proveedor haya elaborado la documentación técnica de conformidad con el artículo 11 y el anexo IV;
b)
le fournisseur a établi la documentation technique conformément à l’article 11 et à l’annexe IV;
c)
el sistema lleve el marcado CE exigido y vaya acompañado de la declaración UE de conformidad a que se refiere el artículo 47 y de las instrucciones de uso;
c)
le système porte le marquage CE requis et est accompagné de la déclaration UE de conformité visée à l’article 47 et de la notice d’utilisation;
d)
el proveedor haya designado a un representante autorizado de conformidad con el artículo 22, apartado 1.
d)
le fournisseur a désigné un mandataire conformément à l’article 22, paragraphe 1.
2. Si el importador tiene motivos suficientes para considerar que un sistema de IA de alto riesgo no es conforme con el presente Reglamento, ha sido falsificado o va acompañado de documentación falsificada, no lo introducirá en el mercado hasta que se haya conseguido la conformidad de dicho sistema. Si el sistema de IA de alto riesgo presenta un riesgo en el sentido del artículo 79, apartado 1, el importador informará de ello al proveedor del sistema, a los representantes autorizados y a las autoridades de vigilancia del mercado.
2. Lorsqu’un importateur a des raisons suffisantes de considérer qu’un système d’IA à haut risque n’est pas conforme au présent règlement, ou a été falsifié ou s’accompagne de documents falsifiés, il ne met le système sur le marché qu’après sa mise en conformité. Lorsque le système d’IA à haut risque présente un risque au sens de l’article 79, paragraphe 1, l’importateur en informe le fournisseur du système, les mandataires et les autorités de surveillance du marché.
3. Los importadores indicarán, en el embalaje del sistema de IA de alto riesgo o en la documentación que lo acompañe, cuando proceda, su nombre, su nombre comercial registrado o marca registrada y su dirección de contacto.
3. Les importateurs indiquent leur nom, raison sociale ou marque déposée, ainsi que l’adresse à laquelle ils peuvent être contactés, sur le système d’IA à haut risque et sur son emballage ou dans la documentation l’accompagnant, selon le cas.
4. Mientras sean responsables de un sistema de IA de alto riesgo, los importadores se asegurarán de que las condiciones de almacenamiento o transporte, cuando proceda, no comprometan el cumplimiento de los requisitos establecidos en la sección 2 por parte de dicho sistema.
4. Les importateurs s’assurent, lorsqu’un système d’IA à haut risque est sous leur responsabilité, que les conditions de stockage ou de transport, le cas échéant, ne compromettent pas sa conformité avec les exigences énoncées à la section 2.
5. Los importadores conservarán, durante un período de diez años a contar desde la introducción en el mercado o la puesta en servicio del sistema de IA de alto riesgo, una copia del certificado expedido por el organismo notificado, en su caso, de las instrucciones de uso y de la declaración UE de conformidad a que se refiere el artículo 47.
5. Pendant une période de dix ans après la mise sur le marché ou la mise en service du système d’IA à haut risque, les importateurs conservent une copie du certificat délivré par l’organisme notifié, selon le cas, de la notice d’utilisation et de la déclaration UE de conformité visée à l’article 47.
6. Los importadores proporcionarán a las autoridades competentes pertinentes, previa solicitud motivada, toda la información y la documentación, incluidas las referidas en el apartado 5, que sean necesarias para demostrar la conformidad de un sistema de IA de alto riesgo con los requisitos establecidos en la sección 2 en una lengua que estas puedan entender fácilmente. A tal efecto, velarán asimismo por que la documentación técnica pueda ponerse a disposición de esas autoridades.
6. À la demande motivée des autorités compétentes concernées, les importateurs communiquent à ces dernières toutes les informations et tous les documents nécessaires, y compris ceux visés au paragraphe 5, pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées à la section 2, dans une langue aisément compréhensible par les autorités nationales compétentes. À cette fin, ils veillent également à ce que la documentation technique puisse être mise à la disposition de ces autorités.
7. Los importadores cooperarán con las autoridades competentes pertinentes en cualquier medida que estas adopten en relación con un sistema de IA de alto riesgo introducido en el mercado por los importadores, en particular para reducir y mitigar los riesgos que este presente.
7. Les importateurs coopèrent avec les autorités compétentes concernées à toute mesure prise par ces autorités à l’égard d’un système d’IA à haut risque mis sur le marché par les importateurs, en particulier pour réduire et atténuer les risques qu’il présente.
Obligaciones de los distribuidores
Obligations des distributeurs
1. Antes de comercializar un sistema de IA de alto riesgo, los distribuidores verificarán que este lleve el marcado CE exigido, que vaya acompañado de una copia de la declaración UE de conformidad a que se refiere el artículo 47 y de las instrucciones de uso, y que el proveedor y el importador de dicho sistema, según corresponda, hayan cumplido sus obligaciones establecidas en el artículo 16, letras b) y c), y el artículo 23, apartado 3, respectivamente.
1. Avant de mettre un système d’IA à haut risque à disposition sur le marché, les distributeurs vérifient qu’il porte le marquage CE requis, qu’il est accompagné d’une copie de la déclaration UE de conformité visée à l’article 47 et de la notice d’utilisation, et que le fournisseur et l’importateur dudit système, selon le cas, ont respecté leurs obligations respectives en vertu de l’article 16, points b) et c), et de l’article 23, paragraphe 3.
2. Si un distribuidor considera o tiene motivos para considerar, con arreglo a la información en su poder, que un sistema de IA de alto riesgo no es conforme con los requisitos establecidos en la sección 2, no lo comercializará hasta que se haya conseguido esa conformidad. Además, si el sistema de IA de alto riesgo presenta un riesgo en el sentido del artículo 79, apartado 1, el distribuidor informará de ello al proveedor o importador del sistema, según corresponda.
2. Lorsqu’un distributeur considère ou a des raisons de considérer, sur la base des informations en sa possession, qu’un système d’IA à haut risque n’est pas conforme aux exigences énoncées à la section 2, il ne met le système à disposition sur le marché qu’après la mise en conformité de celui-ci avec lesdites exigences. De plus, lorsque le système d’IA à haut risque présente un risque au sens de l’article 79, paragraphe 1, le distributeur en informe le fournisseur ou l’importateur du système, selon le cas.
3. Mientras sean responsables de un sistema de IA de alto riesgo, los distribuidores se asegurarán de que las condiciones de almacenamiento o transporte, cuando proceda, no comprometen el cumplimiento por parte del sistema de los requisitos establecidos en la sección 2.
3. Les distributeurs s’assurent, lorsqu’un système d’IA à haut risque est sous leur responsabilité, que les conditions de stockage ou de transport, le cas échéant, ne compromettent pas sa conformité avec les exigences énoncées à la section 2.
4. Los distribuidores que consideren o tengan motivos para considerar, con arreglo a la información en su poder, que un sistema de IA de alto riesgo que han comercializado no es conforme con los requisitos establecidos en la sección 2 adoptarán las medidas correctoras necesarias para que sea conforme, para retirarlo del mercado o recuperarlo, o velarán por que el proveedor, el importador u otro operador pertinente, según proceda, adopte dichas medidas correctoras. Cuando un sistema de IA de alto riesgo presente un riesgo en el sentido del artículo 79, apartado 1, su distribuidor informará inmediatamente de ello al proveedor o al importador del sistema y a las autoridades competentes respecto al sistema de IA de alto riesgo de que se trate y dará detalles, en particular, sobre la no conformidad y las medidas correctoras adoptadas.
4. Lorsqu’un distributeur considère ou a des raisons de considérer, sur la base des informations en sa possession, qu’un système d’IA à haut risque qu’il a mis à disposition sur le marché n’est pas conforme aux exigences énoncées à la section 2, il prend les mesures correctives nécessaires pour mettre ce système en conformité avec lesdites exigences, le retirer ou le rappeler ou veille à ce que le fournisseur, l’importateur ou tout opérateur concerné, selon le cas, prenne ces mesures correctives. Lorsque le système d’IA à haut risque présente un risque au sens de l’article 79, paragraphe 1, le distributeur en informe immédiatement le fournisseur ou l’importateur du système ainsi que les autorités compétentes pour le système d’IA à haut risque concerné et précise, notamment, le cas de non-conformité et les éventuelles mesures correctives prises.
5. Previa solicitud motivada de una autoridad competente pertinente, los distribuidores de un sistema de IA de alto riesgo proporcionarán a esa autoridad toda la información y la documentación relativas a sus actuaciones con arreglo a los apartados 1 a 4 que sean necesarias para demostrar que dicho sistema cumple los requisitos establecidos en la sección 2.
5. À la demande motivée d’une autorité compétente concernée, les distributeurs d’un système d’IA à haut risque communiquent à cette autorité toutes les informations et tous les documents concernant les mesures qu’ils ont prises en vertu des paragraphes 1 à 4, nécessaires pour démontrer la conformité de ce système avec les exigences énoncées à la section 2.
6. Los distribuidores cooperarán con las autoridades competentes pertinentes en cualquier medida que estas adopten en relación con un sistema de IA de alto riesgo comercializado por los distribuidores, en particular para reducir o mitigar los riesgos que este presente.
6. Les distributeurs coopèrent avec les autorités compétentes concernées à toute mesure prise par ces autorités à l’égard d’un système d’IA à haut risque mis à disposition sur le marché par les distributeurs, en particulier pour réduire et atténuer les risques qu’il présente.
Responsabilidades a lo largo de la cadena de valor de la IA
Responsabilités tout au long de la chaîne de valeur de l’IA
1. Cualquier distribuidor, importador, responsable del despliegue o tercero será considerado proveedor de un sistema de IA de alto riesgo a los efectos del presente Reglamento y estará sujeto a las obligaciones del proveedor previstas en el artículo 16 en cualquiera de las siguientes circunstancias:
1. Tout distributeur, importateur, déployeur ou autre tiers est considéré comme un fournisseur d’un système d’IA à haut risque aux fins du présent règlement et est soumis aux obligations incombant au fournisseur au titre de l’article 16 dans toutes les circonstances suivantes:
a)
cuando ponga su nombre o marca en un sistema de IA de alto riesgo previamente introducido en el mercado o puesto en servicio, sin perjuicio de los acuerdos contractuales que estipulen que las obligaciones se asignan de otro modo;
a)
il commercialise sous son propre nom ou sa propre marque un système d’IA à haut risque déjà mis sur le marché ou mis en service, sans préjudice des dispositions contractuelles prévoyant une autre répartition des obligations;
b)
cuando modifique sustancialmente un sistema de IA de alto riesgo que ya haya sido introducido en el mercado o puesto en servicio de tal manera que siga siendo un sistema de IA de alto riesgo con arreglo al artículo 6;
b)
il apporte une modification substantielle à un système d’IA à haut risque qui a déjà été mis sur le marché ou a déjà été mis en service de telle manière qu’il reste un système d’IA à haut risque en application de l’article 6;
c)
cuando modifique la finalidad prevista de un sistema de IA, incluido un sistema de IA de uso general, que no haya sido considerado de alto riesgo y ya haya sido introducido en el mercado o puesto en servicio, de tal manera que el sistema de IA de que se trate se convierta en un sistema de IA de alto riesgo de conformidad con el artículo 6.
c)
il modifie la destination d’un système d’IA, y compris un système d’IA à usage général, qui n’a pas été classé à haut risque et a déjà été mis sur le marché ou mis en service de telle manière que le système d’IA concerné devient un système d’IA à haut risque conformément l’article 6.
2. Cuando se den las circunstancias mencionadas en el apartado 1, el proveedor que inicialmente haya introducido en el mercado el sistema de IA o lo haya puesto en servicio dejará de ser considerado proveedor de ese sistema de IA específico a efectos del presente Reglamento. Ese proveedor inicial cooperará estrechamente con los nuevos proveedores y facilitará la información necesaria, el acceso técnico u otra asistencia razonablemente previstos que sean necesarios para el cumplimiento de las obligaciones establecidas en el presente Reglamento, en particular en lo que respecta al cumplimiento de la evaluación de la conformidad de los sistemas de IA de alto riesgo. El presente apartado no se aplicará en los casos en que el proveedor inicial haya indicado claramente que su sistema de IA no debe ser transformado en un sistema de IA de alto riesgo y, por lo tanto, no está sujeto a la obligación de facilitar la documentación.
2. Lorsque les circonstances visées au paragraphe 1, se produisent, le fournisseur qui a initialement mis sur le marché ou mis en service le système d’IA n’est plus considéré comme un fournisseur de ce système d’IA spécifique aux fins du présent règlement. Ce fournisseur initial coopère étroitement avec les nouveaux fournisseurs et met à disposition les informations nécessaires et fournit l’accès technique raisonnablement attendu et toute autre assistance nécessaire au respect des obligations énoncées dans le présent règlement, en particulier en ce qui concerne la conformité avec l’évaluation de la conformité des systèmes d’IA à haut risque. Le présent paragraphe ne s’applique pas dans les cas où le fournisseur initial a clairement précisé que son système d’IA ne doit pas être transformé en un système d’IA à haut risque et ne relève donc pas de l’obligation relative à la remise de la documentation.
3. En el caso de los sistemas de IA de alto riesgo que sean componentes de seguridad de productos contemplados en los actos legislativos de armonización de la Unión enumerados en el anexo I, sección A, el fabricante del producto será considerado proveedor del sistema de IA de alto riesgo y estará sujeto a las obligaciones previstas en el artículo 16 en alguna de las siguientes circunstancias:
3. Lorsque des systèmes d’IA à haut risque constituent des composants de sécurité de produits couverts par la législation d’harmonisation de l’Union dont la liste figure à l’annexe I, section A, le fabricant de ces produits est considéré comme étant le fournisseur du système d’IA à haut risque et est soumis aux obligations visées à l’article 16 dans l’un des deux cas suivants:
a)
que el sistema de IA de alto riesgo se introduzca en el mercado junto con el producto bajo el nombre o la marca del fabricante del producto;
a)
le système d’IA à haut risque est mis sur le marché avec le produit sous le nom ou la marque du fabricant du produit;
b)
que el sistema de IA de alto riesgo se ponga en servicio bajo el nombre o la marca del fabricante del producto después de que el producto haya sido introducido en el mercado.
b)
le système d’IA à haut risque est mis en service sous le nom ou la marque du fabricant du produit après que le produit a été mis sur le marché.
4. El proveedor de un sistema de IA de alto riesgo y el tercero que suministre un sistema de IA de alto riesgo, herramientas, servicios, componentes o procesos que se utilicen o integren en un sistema de IA de alto riesgo especificarán, mediante acuerdo escrito, la información, las capacidades, el acceso técnico y otra asistencia que sean necesarios, sobre la base del estado de la técnica generalmente reconocido, para que el proveedor del sistema de IA de alto riesgo pueda cumplir plenamente las obligaciones establecidas en el presente Reglamento. El presente apartado no se aplicará a terceros que pongan a disposición del público herramientas, servicios, procesos o componentes distintos de modelos de IA de uso general, en el marco de una licencia libre y de código abierto.
4. Le fournisseur d’un système d’IA à haut risque et le tiers qui fournit un système d’IA, des outils, services, composants ou processus qui sont utilisés ou intégrés dans un système d’IA à haut risque précisent, par accord écrit, les informations, les capacités, l’accès technique et toute autre assistance nécessaire, sur la base de l’état de la technique généralement reconnu, pour permettre au fournisseur du système d’IA à haut risque de se conformer pleinement aux obligations prévues dans le présent règlement. Le présent paragraphe ne s’applique pas aux tiers qui rendent accessibles au public des outils, services, processus ou composants, autres que des modèles d’IA à usage général, dans le cadre d’une licence libre et ouverte.
La Oficina de IA podrá elaborar y recomendar cláusulas contractuales tipo, de carácter voluntario, entre los proveedores de sistemas de IA de alto riesgo y terceros que suministren herramientas, servicios, componentes o procesos que se utilicen o integren en los sistemas de IA de alto riesgo. Cuando elabore esas cláusulas contractuales tipo de carácter voluntario, la Oficina de IA tendrá en cuenta los posibles requisitos contractuales aplicables en determinados sectores o modelos de negocio. Las cláusulas contractuales tipo de carácter voluntario se publicarán y estarán disponibles gratuitamente en un formato electrónico fácilmente utilizable.
Le Bureau de l’IA peut élaborer et recommander des clauses types volontaires pour les contrats entre les fournisseurs de systèmes d’IA à haut risque et les tiers qui fournissent des outils, des services, des composants ou des processus qui sont utilisés ou intégrés dans les systèmes d’IA à haut risque. Lorsqu’il élabore des clauses types volontaires, le Bureau de l’IA tient compte des éventuelles exigences contractuelles applicables dans des secteurs ou des activités spécifiques. Les clauses types volontaires sont publiées et mises à disposition gratuitement dans un format électronique facile d’utilisation.
5. Los apartados 2 y 3 se entenderán sin perjuicio de la necesidad de observar y proteger los derechos de propiedad intelectual e industrial, la información empresarial confidencial y los secretos comerciales, de conformidad con el Derecho de la Unión y nacional.
5. Les paragraphes 2 et 3 sont sans préjudice de la nécessité de respecter et de protéger les droits de propriété intellectuelle, les informations confidentielles de nature commerciale et les secrets d’affaires conformément au droit de l’Union et au droit national.
Obligaciones de los responsables del despliegue de sistemas de IA de alto riesgo
Obligations incombant aux déployeurs de systèmes d’IA à haut risque
1. Los responsables del despliegue de sistemas de IA de alto riesgo adoptarán medidas técnicas y organizativas adecuadas para garantizar que utilizan dichos sistemas con arreglo a las instrucciones de uso que los acompañen, de acuerdo con los apartados 3 y 6.
1. Les déployeurs de systèmes d’IA à haut risque prennent des mesures techniques et organisationnelles appropriées afin de garantir qu’ils utilisent ces systèmes conformément aux notices d’utilisation accompagnant les systèmes, conformément aux paragraphes 3 et 6.
2. Los responsables del despliegue encomendarán la supervisión humana a personas físicas que tengan la competencia, la formación y la autoridad necesarias.
2. Les déployeurs confient le contrôle humain à des personnes physiques qui disposent des compétences, de la formation et de l’autorité nécessaires ainsi que du soutien nécessaire.
3. Las obligaciones previstas en los apartados 1 y 2 no afectan a otras obligaciones que el Derecho nacional o de la Unión imponga a los responsables del despliegue ni a su libertad para organizar sus propios recursos y actividades con el fin de poner en práctica las medidas de supervisión humana que indique el proveedor.
3. Les obligations énoncées aux paragraphes 1 et 2 sont sans préjudice des autres obligations du déployeur prévues par le droit de l’Union ou le droit national et de la faculté du déployeur d’organiser ses propres ressources et activités aux fins de la mise en œuvre des mesures de contrôle humain indiquées par le fournisseur.
4. Sin perjuicio de lo dispuesto en los apartados 1 y 2, el responsable del despliegue se asegurará de que los datos de entrada sean pertinentes y suficientemente representativos en vista de la finalidad prevista del sistema de IA de alto riesgo, en la medida en que ejerza el control sobre dichos datos.
4. Sans préjudice des paragraphes 1 et 2, pour autant que le déployeur exerce un contrôle sur les données d’entrée, il veille à ce que ces dernières soient pertinentes et suffisamment représentatives au regard de la destination du système d’IA à haut risque.
5. Los responsables del despliegue vigilarán el funcionamiento del sistema de IA de alto riesgo basándose en las instrucciones de uso y, cuando proceda, informarán a los proveedores con arreglo al artículo 72. Cuando los responsables del despliegue tengan motivos para considerar que utilizar el sistema de IA de alto riesgo conforme a sus instrucciones puede dar lugar a que ese sistema de AI presente un riesgo en el sentido del artículo 79, apartado 1, informarán, sin demora indebida, al proveedor o distribuidor y a la autoridad de vigilancia del mercado pertinente y suspenderán el uso de ese sistema. Cuando los responsables del despliegue detecten un incidente grave, informarán asimismo inmediatamente de dicho incidente, en primer lugar, al proveedor y, a continuación, al importador o distribuidor y a la autoridad de vigilancia del mercado pertinente. En el caso de que el responsable del despliegue no consiga contactar con el proveedor, el artículo 73 se aplicará mutatis mutandis. Esta obligación no comprenderá los datos operativos sensibles de los responsables del despliegue de sistemas de IA que sean autoridades garantes del cumplimiento del Derecho.
5. Les déployeurs surveillent le fonctionnement du système d’IA à haut risque sur la base de la notice d’utilisation et, le cas échéant, informent les fournisseurs conformément à l’article 72. Lorsque les déployeurs ont des raisons de considérer que l’utilisation du système d’IA à haut risque conformément à la notice d’utilisation pourrait conduire à ce que le système d’IA présente un risque au sens de l’article 79, paragraphe 1, ils en informent, sans retard injustifié, le fournisseur ou le distributeur ainsi que l’autorité de surveillance du marché concernée, et suspendent l’utilisation de ce système. Lorsque les déployeurs ont détecté un incident grave, ils informent également immédiatement d’abord le fournisseur, puis l’importateur ou le distributeur et les autorités de surveillance du marché concernées de cet incident. Si le déployeur n’est pas en mesure de joindre le fournisseur, l’article 73 s’applique mutatis mutandis. Cette obligation ne couvre pas les données opérationnelles sensibles des déployeurs de systèmes d’IA qui sont des autorités répressives.
En el caso de los responsables del despliegue que sean entidades financieras sujetas a requisitos relativos a su gobernanza, sus sistemas o sus procesos internos en virtud del Derecho de la Unión en materia de servicios financieros, se considerará que se ha cumplido la obligación de vigilancia prevista en el párrafo primero cuando se respeten las normas sobre sistemas, procesos y mecanismos de gobernanza interna de acuerdo con el Derecho pertinente en materia de servicios financieros.
Si les déployeurs sont des établissements financiers soumis à des exigences relatives à leur gouvernance, à leurs dispositifs ou à leurs processus internes prévues par la législation de l’Union sur les services financiers, la conformité avec les règles relatives à la gouvernance, aux dispositifs, aux processus et aux mécanismes internes prévues dans la législation sur les services financiers vaut respect de l’obligation de surveillance énoncée au premier alinéa.
6. Los responsables del despliegue de sistemas de IA de alto riesgo conservarán los archivos de registro que los sistemas de IA de alto riesgo generen automáticamente en la medida en que dichos archivos estén bajo su control, durante un período de tiempo adecuado para la finalidad prevista del sistema de IA de alto riesgo, de al menos seis meses, salvo que se disponga otra cosa en el Derecho de la Unión o nacional aplicable, en particular en el Derecho de la Unión en materia de protección de datos personales.
6. Les déployeurs de systèmes d’IA à haut risque assurent la tenue des journaux générés automatiquement par ce système d’IA à haut risque dans la mesure où ces journaux se trouvent sous leur contrôle, pendant une période adaptée à la destination du système d’IA à haut risque, d’au moins six mois, sauf disposition contraire dans le droit de l’Union ou le droit national applicable, en particulier dans le droit de l’Union sur la protection des données à caractère personnel.
Los responsables del despliegue que sean entidades financieras sujetas a requisitos relativos a su gobernanza, sus sistemas o sus procesos internos en virtud del Derecho de la Unión en materia de servicios financieros mantendrán los archivos de registro como parte de la documentación conservada en virtud del Derecho de la Unión en materia de servicios financieros.
Si les déployeurs sont des établissements financiers soumis à des exigences relatives à leur gouvernance, à leurs dispositifs ou à leurs processus internes prévues par la législation de l’Union sur les services financiers, ils tiennent à jour les journaux dans le cadre de la documentation conservée en vertu de la législation pertinente de l’Union sur les services financiers.
7. Antes de poner en servicio o utilizar un sistema de IA de alto riesgo en el lugar de trabajo, los responsables del despliegue que sean empleadores informarán a los representantes de los trabajadores y a los trabajadores afectados de que estarán expuestos a la utilización del sistema de IA de alto riesgo. Esta información se facilitará, cuando proceda, con arreglo a las normas y procedimientos establecidos en el Derecho de la Unión y nacional y conforme a las prácticas en materia de información a los trabajadores y sus representantes.
7. Avant de mettre en service ou d’utiliser un système d’IA à haut risque sur le lieu de travail, les déployeurs qui sont des employeurs informent les représentants des travailleurs et les travailleurs concernés qu’ils seront soumis à l’utilisation du système d’IA à haut risque. Ces informations sont fournies, le cas échéant, conformément aux règles et procédures prévues par le droit de l’Union et le droit national et aux pratiques en matière d’information des travailleurs et de leurs représentants.
8. Los responsables del despliegue de sistemas de IA de alto riesgo que sean autoridades públicas o instituciones, órganos y organismos de la Unión cumplirán las obligaciones de registro a que se refiere el artículo 49. Cuando dichos responsables del despliegue constaten que el sistema de IA de alto riesgo que tienen previsto utilizar no ha sido registrado en la base de datos de la UE a que se refiere el artículo 71, no utilizarán dicho sistema e informarán al proveedor o al distribuidor.
8. Les déployeurs de systèmes d’IA à haut risque qui sont des autorités publiques ou des institutions, organes ou organismes de l’Union, respectent les obligations en matière d’enregistrement prévues à l’article 49. Dans le cas où ces déployeurs constatent que le système d’IA à haut risque qu’ils envisagent d’utiliser n’a pas été enregistré dans la base de données de l’UE visée à l’article 71, ils n’utilisent pas ce système et informent le fournisseur ou le distributeur.
9. Cuando proceda, los responsables del despliegue de sistemas de IA de alto riesgo utilizarán la información facilitada conforme al artículo 13 del presente Reglamento para cumplir la obligación de llevar a cabo una evaluación de impacto relativa a la protección de datos que les imponen el artículo 35 del Reglamento (UE) 2016/679 o el artículo 27 de la Directiva (UE) 2016/680.
9. Le cas échéant, les déployeurs de systèmes d’IA à haut risque utilisent les informations fournies en application de l’article 13 du présent règlement pour se conformer à leur obligation de procéder à une analyse d’impact relative à la protection des données en vertu de l’article 35 du règlement (UE) 2016/679 ou de l’article 27 de la directive (UE) 2016/680.
10. No obstante lo dispuesto en la Directiva (UE) 2016/680, en el marco de una investigación cuya finalidad sea la búsqueda selectiva de una persona sospechosa de haber cometido un delito o condenada por ello, el responsable del despliegue de un sistema de IA de alto riego de identificación biométrica remota en diferido solicitará, ex ante o sin demora indebida y a más tardar en un plazo de cuarenta y ocho horas, a una autoridad judicial o administrativa cuyas decisiones sean vinculantes y estén sujetas a revisión judicial, una autorización para utilizar ese sistema, salvo cuando se utilice para la identificación inicial de un posible sospechoso sobre la base de hechos objetivos y verificables vinculados directamente al delito. Cada utilización deberá limitarse a lo que resulte estrictamente necesario para investigar un delito concreto.
10. Sans préjudice de la directive (UE) 2016/680, dans le cadre d’une enquête en vue de la recherche ciblée d’une personne soupçonnée d’avoir commis une infraction pénale ou condamnée pour avoir commis une infraction pénale, le déployeur d’un système d’IA à haut risque pour l’identification biométrique à distance a posteriori demande l’autorisation, ex ante ou sans retard injustifié et au plus tard dans les 48 heures, d’une autorité judiciaire ou administrative dont la décision est contraignante et soumise à un contrôle juridictionnel, pour l’utilisation de ce système, sauf lorsqu’il est utilisé pour l’identification initiale d’un suspect potentiel sur la base de faits objectifs et vérifiables directement liés à l’infraction. Chaque utilisation est limitée à ce qui est strictement nécessaire pour enquêter sur une infraction pénale spécifique.
En caso de que se deniegue la autorización contemplada en el párrafo primero, dejará de utilizarse el sistema de identificación biométrica remota en diferido objeto de la solicitud de autorización con efecto inmediato y se eliminarán los datos personales asociados al uso del sistema de IA de alto riesgo para el que se solicitó la autorización.
Si l’autorisation demandée en application du premier alinéa est rejetée, l’utilisation du système d’identification biométrique à distance a posteriori lié à l’autorisation demandée est interrompue avec effet immédiat et les données à caractère personnel liées à l’utilisation du système d’IA à haut risque pour lequel l’autorisation a été demandée sont supprimées.
Dicho sistema de IA de alto riego de identificación biométrica remota en diferido no se utilizará en ningún caso a los efectos de la garantía del cumplimiento del Derecho de forma indiscriminada, sin que exista relación alguna con un delito, un proceso penal, una amenaza real y actual o real y previsible de delito, o con la búsqueda de una persona desaparecida concreta. Se velará por que las autoridades garantes del cumplimiento del Derecho no puedan adoptar ninguna decisión que produzca efectos jurídicos adversos para una persona exclusivamente sobre la base de los resultados de salida de dichos sistemas de identificación biométrica remota en diferido.
En aucun cas, ce système d’IA à haut risque pour l’identification biométrique à distance a posteriori ne peut être utilisé à des fins répressives de manière non ciblée, sans aucun lien avec une infraction pénale, une procédure pénale, une menace réelle et actuelle ou réelle et prévisible d’une infraction pénale, ou la recherche d’une personne disparue spécifique. Il convient d’assurer qu’aucune décision produisant des effets juridiques défavorables à l’égard d’une personne ne puisse être prise par les autorités répressives sur la seule base des sorties de tels systèmes d’identification biométrique à distance a posteriori.
El presente apartado se entiende sin perjuicio del artículo 9 del Reglamento (UE) 2016/679 y del artículo 10 de la Directiva (UE) 2016/680 para el tratamiento de los datos biométricos.
Le présent paragraphe est sans préjudice de l’article 9 du règlement (UE) 2016/679 et de l’article 10 de la directive (UE) 2016/680 pour le traitement des données biométriques.
Con independencia de la finalidad o del responsable del despliegue, se documentará toda utilización de tales sistemas de IA de alto riesgo en el expediente policial pertinente y se pondrá a disposición, previa solicitud, de la autoridad de vigilancia del mercado pertinente y de la autoridad nacional de protección de datos, quedando excluida la divulgación de datos operativos sensibles relacionados con la garantía del cumplimiento del Derecho. El presente párrafo se entenderá sin perjuicio de los poderes conferidas por la Directiva (UE) 2016/680 a las autoridades de control.
Indépendamment de la finalité ou du déployeur, chaque utilisation de ces systèmes d’IA à haut risque est documentée dans le dossier de police pertinent et est mise à la disposition de l’autorité de surveillance du marché concernée et de l’autorité nationale chargée de la protection des données sur demande, à l’exclusion de la divulgation de données opérationnelles sensibles liées aux services répressifs. Le présent alinéa est sans préjudice des pouvoirs conférés par la directive (UE) 2016/680 aux autorités de contrôle.
Los responsables del despliegue presentarán informes anuales a la autoridad de vigilancia del mercado pertinente y a la autoridad nacional de protección de datos sobre el uso que han hecho de los sistemas de identificación biométrica remota en diferido, quedando excluida la divulgación de datos operativos sensibles relacionados con la garantía del cumplimiento del Derecho. Los informes podrán agregarse de modo que cubran más de un despliegue.
Les déployeurs soumettent aux autorités de surveillance du marché concernées et aux autorités nationales chargées de la protection des données des rapports annuels sur leur utilisation de systèmes d’identification biométrique à distance a posteriori, à l’exclusion de la divulgation de données opérationnelles sensibles liées aux services répressifs. Les rapports peuvent être agrégés pour couvrir plus d’un déploiement.
Los Estados miembros podrán adoptar, de conformidad con el Derecho de la Unión, leyes más restrictivas sobre el uso de sistemas de identificación biométrica remota en diferido.
Les États membres peuvent adopter, conformément au droit de l’Union, des lois plus restrictives sur l’utilisation de systèmes d’identification biométrique à distance a posteriori.
11. Sin perjuicio de lo dispuesto en el artículo 50 del presente Reglamento, los responsables del despliegue de los sistemas de IA de alto riesgo a que se refiere el anexo III que tomen decisiones o ayuden a tomar decisiones relacionadas con personas físicas informarán a las personas físicas de que están expuestas a la utilización de los sistemas de IA de alto riesgo. En el caso de los sistemas de IA de alto riesgo que se utilicen a los efectos de la garantía del cumplimiento del Derecho, se aplicará el artículo 13 de la Directiva (UE) 2016/680.
11. Sans préjudice de l’article 50 du présent règlement, les déployeurs de systèmes d’IA à haut risque visés à l’annexe III, qui prennent des décisions ou facilitent les prises de décision concernant des personnes physiques, informent lesdites personnes physiques qu’elles sont soumises à l’utilisation du système d’IA à haut risque. Pour les systèmes d’IA à haut risque utilisés à des fins répressives, l’article 13 de la directive (UE) 2016/680 s’applique.
12. Los responsables del despliegue cooperarán con las autoridades competentes pertinentes en cualquier medida que estas adopten en relación con el sistema de IA de alto riesgo con el objetivo de aplicar el presente Reglamento.
12. Les déployeurs coopèrent avec les autorités compétentes concernées à toute mesure prise par ces autorités à l’égard du système d’IA à haut risque en vue de mettre en œuvre le présent règlement.
Evaluación de impacto relativa a los derechos fundamentales para los sistemas de IA de alto riesgo
Analyse d’impact des systèmes d’IA à haut risque sur les droits fondamentaux
1. Antes de desplegar uno de los sistemas de IA de alto riesgo a que se refiere el artículo 6, apartado 2, con excepción de los sistemas de IA de alto riesgo destinados a ser utilizados en el ámbito enumerado en el anexo III, punto 2, los responsables del despliegue que sean organismos de Derecho público, o entidades privadas que prestan servicios públicos, y los responsable del despliegue de sistemas de IA de alto riesgo a que se refiere el anexo III, punto 5, letras b) y c), llevarán a cabo una evaluación del impacto que la utilización de dichos sistemas puede tener en los derechos fundamentales. A tal fin, los responsables del despliegue llevarán a cabo una evaluación que consistirá en:
1. Avant le déploiement d’un système d’IA à haut risque visé à l’article 6, paragraphe 2, à l’exception des systèmes d’IA à haut risque destinés à être utilisés dans le domaine visé à l’annexe III, point 2, les déployeurs qui sont des organismes de droit public ou des entités privées fournissant des services publics et les déployeurs de systèmes d’IA à haut risque visés à l’annexe III, points 5), b) et c), effectuent une analyse de l’impact sur les droits fondamentaux que l’utilisation de ce système peut produire. À cette fin, les déployeurs effectuent une analyse comprenant:
a)
una descripción de los procesos del responsable del despliegue en los que se utilizará el sistema de IA de alto riesgo en consonancia con su finalidad prevista;
a)
une description des processus du déployeur dans lesquels le système d’IA à haut risque sera utilisé conformément à sa destination;
b)
una descripción del período de tiempo durante el cual se prevé utilizar cada sistema de IA de alto riesgo y la frecuencia con la que está previsto utilizarlo;
b)
une description de la période pendant laquelle et de la fréquence à laquelle chaque système d’IA à haut risque est destiné à être utilisé;
c)
las categorías de personas físicas y colectivos que puedan verse afectados por su utilización en el contexto específico;
c)
les catégories de personnes physiques et les groupes susceptibles d’être concernés par son utilisation dans le contexte spécifique;
d)
los riesgos de perjuicio específicos que puedan afectar a las categorías de personas físicas y colectivos determinadas con arreglo a la letra c) del presente apartado, teniendo en cuenta la información facilitada por el proveedor con arreglo al artículo 13;
d)
les risques spécifiques de préjudice susceptibles d’avoir une incidence sur les catégories de personnes physiques ou groupes de personnes identifiés en vertu du point c) du présent paragraphe, compte tenu des informations fournies par le fournisseur conformément à l’article 13;
e)
una descripción de la aplicación de medidas de supervisión humana, de acuerdo con las instrucciones de uso;
e)
une description de la mise en œuvre des mesures de contrôle humain, conformément à la notice d’utilisation;
f)
las medidas que deben adoptarse en caso de que dichos riesgos se materialicen, incluidos los acuerdos de gobernanza interna y los mecanismos de reclamación.
f)
les mesures à prendre en cas de matérialisation de ces risques, y compris les dispositifs relatifs à la gouvernance interne et aux mécanismes de plainte internes.
2. La obligación descrita con arreglo al apartado 1 se aplicará al primer uso del sistema de IA de alto riesgo. En casos similares, el responsable del despliegue podrá basarse en evaluaciones de impacto relativas a los derechos fundamentales realizadas previamente o a evaluaciones de impacto existentes realizadas por los proveedores. Si, durante el uso del sistema de IA de alto riesgo, el responsable del despliegue considera que alguno de los elementos enumerados en el apartado 1 ha cambiado o ha dejado de estar actualizado, adoptará las medidas necesarias para actualizar la información.
2. L’obligation établie au paragraphe 1 s’applique à la première utilisation du système d’IA à haut risque. Le déployeur peut, dans des cas similaires, s’appuyer sur des analyses d’impact sur les droits fondamentaux effectuées précédemment ou sur des analyses d’impact existantes réalisées par le fournisseur. Si, au cours de l’utilisation du système d’IA à haut risque, le déployeur estime qu’un des éléments énumérés au paragraphe 1 a changé ou n’est plus à jour, il prend les mesures nécessaires pour mettre à jour les informations.
3. Una vez realizada la evaluación a que se refiere el apartado 1 del presente artículo, el responsable del despliegue notificará sus resultados a la autoridad de vigilancia del mercado, presentando el modelo cumplimentado a que se refiere el apartado 5 del presente artículo. En el caso contemplado en el artículo 46, apartado 1, los responsables del despliegue podrán quedar exentos de esta obligación de notificación.
3. Une fois l’analyse visée au paragraphe 1 du présent article effectuée, le déployeur en notifie les résultats à l’autorité de surveillance du marché, et soumet le modèle visé au paragraphe 5 du présent article, rempli, dans le cadre de la notification. Dans le cas visé à l’article 46, paragraphe 1, les déployeurs peuvent être exemptés de cette obligation de notification.
4. Si ya se cumple cualquiera de las obligaciones establecidas en el presente artículo mediante la evaluación de impacto relativa a la protección de datos realizada con arreglo al artículo 35 del Reglamento (UE) 2016/679 o del artículo 27 de la Directiva (UE) 2016/680, la evaluación de impacto relativa a los derechos fundamentales a que se refiere el apartado 1 del presente artículo complementará dicha evaluación de impacto relativa a la protección de datos.
4. Si l’une des obligations prévues au présent article est déjà remplie au moyen de l’analyse d’impact relative à la protection des données réalisée en application de l’article 35 du règlement (UE) 2016/679 ou de l’article 27 de la directive (UE) 2016/680, l’analyse d’impact sur les droits fondamentaux visée au paragraphe 1 du présent article complète ladite analyse d’impact relative à la protection des données.
5. La Oficina de IA elaborará un modelo de cuestionario, también mediante una herramienta automatizada, a fin de facilitar que los responsables del despliegue cumplan sus obligaciones en virtud del presente artículo de manera simplificada.
5. Le Bureau de l’IA élabore un modèle de questionnaire, y compris au moyen d’un outil automatisé, afin d’aider les déployeurs à se conformer de manière simplifiée aux obligations qui leur incombent en vertu du présent article.
1. Cada Estado miembro nombrará o constituirá al menos una autoridad notificante que será responsable de establecer y llevar a cabo los procedimientos necesarios para la evaluación, designación y notificación de los organismos de evaluación de la conformidad, así como de su supervisión. Dichos procedimientos se desarrollarán por medio de la cooperación entre las autoridades notificantes de todos los Estados miembros.
1. Chaque État membre désigne ou établit au moins une autorité notifiante chargée de mettre en place et d’accomplir les procédures nécessaires à l’évaluation, à la désignation et à la notification des organismes d’évaluation de la conformité et à leur contrôle. Ces procédures sont élaborées en coopération entre les autorités notifiantes de tous les États membres.
2. Los Estados miembros podrán decidir que la evaluación y la supervisión contempladas en el apartado 1 sean realizadas por un organismo nacional de acreditación en el sentido del Reglamento (CE) n.o 765/2008 y con arreglo a este.
2. Les États membres peuvent décider que l’évaluation et le contrôle visés au paragraphe 1 doivent être effectués par un organisme national d’accréditation au sens du règlement (CE) no 765/2008 et conformément à ses dispositions.
3. Las autoridades notificantes se constituirán, se organizarán y funcionarán de forma que no surjan conflictos de intereses con los organismos de evaluación de la conformidad y que se garantice la imparcialidad y objetividad de sus actividades.
3. Les autorités notifiantes sont établies, organisées et gérées de manière à éviter tout conflit d’intérêts avec les organismes d’évaluation de la conformité et à garantir l’objectivité et l’impartialité de leurs activités.
4. Las autoridades notificantes se organizarán de forma que las decisiones relativas a la notificación de los organismos de evaluación de la conformidad sean adoptadas por personas competentes distintas de las que llevaron a cabo la evaluación de dichos organismos.
4. Les autorités notifiantes sont organisées de telle sorte que les décisions concernant la notification des organismes d’évaluation de la conformité soient prises par des personnes compétentes différentes de celles qui ont réalisé l’évaluation de ces organismes.
5. Las autoridades notificantes no ofrecerán ni ejercerán ninguna actividad que efectúen los organismos de evaluación de la conformidad, ni ningún servicio de consultoría de carácter comercial o competitivo.
5. Les autorités notifiantes ne proposent ni ne fournissent aucune des activités réalisées par les organismes d’évaluation de la conformité, ni aucun service de conseil sur une base commerciale ou concurrentielle.
6. Las autoridades notificantes preservarán la confidencialidad de la información obtenida, de conformidad con lo dispuesto en el artículo 78.
6. Les autorités notifiantes garantissent la confidentialité des informations qu’elles obtiennent conformément à l’article 78.
7. Las autoridades notificantes dispondrán de suficiente personal competente para efectuar adecuadamente sus tareas. Cuando proceda, el personal competente tendrá los conocimientos especializados necesarios para ejercer sus funciones, en ámbitos como las tecnologías de la información, la IA y el Derecho, incluida la supervisión de los derechos fundamentales.
7. Les autorités notifiantes disposent d’un personnel compétent en nombre suffisant pour la bonne exécution de leurs tâches. Le personnel compétent possède l’expertise nécessaire, le cas échéant, pour sa fonction, dans des domaines tels que les technologies de l’information, l’IA et le droit, y compris le contrôle du respect des droits fondamentaux.
Solicitud de notificación por parte de un organismo de evaluación de la conformidad
Demande de notification d’un organisme d’évaluation de la conformité
1. Los organismos de evaluación de la conformidad presentarán una solicitud de notificación ante la autoridad notificante del Estado miembro en el que estén establecidos.
1. Les organismes d’évaluation de la conformité soumettent une demande de notification à l’autorité notifiante de l’État membre dans lequel ils sont établis.
2. La solicitud de notificación irá acompañada de una descripción de las actividades de evaluación de la conformidad, del módulo o módulos de evaluación de la conformidad y los tipos de sistemas de IA en relación con los cuales el organismo de evaluación de la conformidad se considere competente, así como de un certificado de acreditación, si lo hay, expedido por un organismo nacional de acreditación, que declare que el organismo de evaluación de la conformidad cumple los requisitos establecidos en el artículo 31.
2. La demande de notification est accompagnée d’une description des activités d’évaluation de la conformité, du ou des modules d’évaluation de la conformité et des types de systèmes d’IA pour lesquels l’organisme d’évaluation de la conformité se déclare compétent, ainsi que d’un certificat d’accréditation, lorsqu’il existe, délivré par un organisme national d’accréditation qui atteste que l’organisme d’évaluation de la conformité remplit les exigences énoncées à l’article 31.
Se añadirá cualquier documento válido relacionado con las designaciones existentes del organismo notificado solicitante en virtud de cualquier otro acto de la legislación de armonización de la Unión.
Tout document en cours de validité relatif à des désignations existantes de l’organisme notifié demandeur en vertu de toute autre législation d’harmonisation de l’Union est ajouté.
3. Si el organismo de evaluación de la conformidad de que se trate no puede facilitar un certificado de acreditación, entregará a la autoridad notificante todas las pruebas documentales necesarias para verificar, reconocer y supervisar periódicamente que cumple los requisitos establecidos en el artículo 31.
3. Lorsque l’organisme d’évaluation de la conformité ne peut pas produire de certificat d’accréditation, il présente à l’autorité notifiante toutes les preuves documentaires nécessaires à la vérification, à la reconnaissance et au contrôle régulier de sa conformité avec les exigences définies à l’article 31.
4. En lo que respecta a los organismos notificados designados de conformidad con cualquier otro acto legislativo de armonización de la Unión, todos los documentos y certificados vinculados a dichas designaciones podrán utilizarse para apoyar su procedimiento de designación en virtud del presente Reglamento, según proceda. El organismo notificado actualizará la documentación a que se refieren los apartados 2 y 3 del presente artículo cuando se produzcan cambios pertinentes, para que la autoridad responsable de los organismos notificados pueda supervisar y verificar que se siguen cumpliendo todos los requisitos establecidos en el artículo 31.
4. Quant aux organismes notifiés désignés en vertu de toute autre législation d’harmonisation de l’Union, tous les documents et certificats liés à ces désignations peuvent être utilisés à l’appui de leur procédure de désignation au titre du présent règlement, le cas échéant. L’organisme notifié met à jour la documentation visée aux paragraphes 2 et 3 du présent article dès que des changements pertinents interviennent afin de permettre à l’autorité responsable des organismes notifiés de contrôler et de vérifier que toutes les exigences énoncées à l’article 31 demeurent observées.
Procedimiento de notificación
Procédure de notification
1. Las autoridades notificantes solo podrán notificar organismos de evaluación de la conformidad que hayan cumplido los requisitos establecidos en el artículo 31.
1. Les autorités notifiantes ne peuvent notifier que les organismes d’évaluation de la conformité qui ont satisfait aux exigences énoncées à l’article 31.
2. Las autoridades notificantes notificarán a la Comisión y a los demás Estados miembros, mediante el sistema de notificación electrónica desarrollado y gestionado por la Comisión, cada organismo de evaluación de la conformidad a que se refiere el apartado 1.
2. Les autorités notifiantes informent la Commission et les autres États membres à l’aide de l’outil de notification électronique mis au point et géré par la Commission quant à chaque organisme d’évaluation de la conformité visé au paragraphe 1.
3. La notificación a que se refiere el apartado 2 del presente artículo incluirá información detallada de las actividades de evaluación de la conformidad, el módulo o módulos de evaluación de la conformidad y los tipos de sistemas de IA afectados, así como la certificación de competencia pertinente. Si la notificación no está basada en el certificado de acreditación a que se refiere el artículo 29, apartado 2, la autoridad notificante facilitará a la Comisión y a los demás Estados miembros las pruebas documentales que demuestren la competencia del organismo de evaluación de la conformidad y las disposiciones existentes destinadas a garantizar que se supervisará periódicamente al organismo y que este continuará satisfaciendo los requisitos establecidos en el artículo 31.
3. La notification visée au paragraphe 2 du présent article comprend des informations complètes sur les activités d’évaluation de la conformité, le ou les modules d’évaluation de la conformité et les types de systèmes d’IA concernés, ainsi que l’attestation de compétence correspondante. Lorsqu’une notification n’est pas fondée sur le certificat d’accréditation visé à l’article 29, paragraphe 2, l’autorité notifiante fournit à la Commission et aux autres États membres les preuves documentaires attestant de la compétence de l’organisme d’évaluation de la conformité et des dispositions prises pour faire en sorte que cet organisme soit régulièrement contrôlé et continue à satisfaire aux exigences énoncées à l’article 31.
4. El organismo de evaluación de la conformidad de que se trate únicamente podrá realizar las actividades de un organismo notificado si la Comisión o los demás Estados miembros no formulan ninguna objeción en el plazo de dos semanas tras la notificación de una autoridad notificante cuando esta incluya el certificado de acreditación a que se refiere el artículo 29, apartado 2, o de dos meses tras la notificación de la autoridad notificante cuando esta incluya las pruebas documentales a que se refiere el artículo 29, apartado 3.
4. L’organisme d’évaluation de la conformité concerné ne peut effectuer les activités propres à un organisme notifié que si aucune objection n’est émise par la Commission ou les autres États membres dans les deux semaines suivant la notification par une autorité notifiante, si cette notification comprend le certificat d’accréditation visé à l’article 29, paragraphe 2, ou dans les deux mois suivant la notification par une autorité notifiante si cette notification comprend les preuves documentaires visées à l’article 29, paragraphe 3.
5. Cuando se formulen objeciones, la Comisión iniciará sin demora consultas con los Estados miembros pertinentes y el organismo de evaluación de la conformidad. En vista de todo ello, la Comisión enviará su decisión al Estado miembro afectado y al organismo de evaluación de la conformidad pertinente.
5. En cas d’objections, la Commission entame sans tarder des consultations avec les États membres et l’organisme d’évaluation de la conformité concernés. Au vu de ces consultations, la Commission décide si l’autorisation est justifiée ou non. La Commission adresse sa décision à l’État membre et à l’organisme d’évaluation de la conformité concernés.
Requisitos relativos a los organismos notificados
Exigences concernant les organismes notifiés
1. Los organismos notificados se establecerán de conformidad con el Derecho nacional de los Estados miembros y tendrán personalidad jurídica.
1. Un organisme notifié est constitué en vertu du droit national d’un État membre et a la personnalité juridique.
2. Los organismos notificados satisfarán los requisitos organizativos, de gestión de la calidad, recursos y procesos, necesarios para el desempeño de sus funciones, así como los requisitos adecuados en materia de ciberseguridad.
2. Les organismes notifiés se conforment aux exigences en matière d’organisation, de gestion de la qualité, de ressources et de procédures qui sont nécessaires à l’exécution de leurs tâches, ainsi qu’aux exigences appropriées en matière de cybersécurité.
3. La estructura organizativa, la distribución de las responsabilidades, la línea jerárquica y el funcionamiento de los organismos notificados ofrecerán confianza en su desempeño y en los resultados de las actividades de evaluación de la conformidad que realicen los organismos notificados.
3. La structure organisationnelle, la répartition des responsabilités, les liens hiérarchiques et le fonctionnement des organismes notifiés garantissent la confiance dans leurs activités et la fiabilité des résultats des activités d’évaluation de la conformité menées par les organismes notifiés.
4. Los organismos notificados serán independientes del proveedor de un sistema de IA de alto riesgo en relación con el cual lleven a cabo actividades de evaluación de la conformidad. Los organismos notificados serán independientes de cualquier otro operador con un interés económico en los sistemas de IA de alto riesgo que se evalúen, así como de cualquier competidor del proveedor. Ello no será óbice para el uso de sistemas de IA de alto riesgo evaluados que sean necesarios para las actividades del organismo de evaluación de la conformidad o para el uso de tales sistemas de alto riesgo con fines personales.
4. Les organismes notifiés sont indépendants du fournisseur du système d’IA à haut risque pour lequel ils mènent les activités d’évaluation de la conformité. Les organismes notifiés sont également indépendants de tout autre opérateur ayant un intérêt économique dans les systèmes d’IA à haut risque qui font l’objet de l’évaluation, ainsi que de tout concurrent du fournisseur. Cela n’exclut pas l’utilisation de systèmes d’IA à haut risque évalués qui sont nécessaires au fonctionnement de l’organisme d’évaluation de la conformité ou l’utilisation de ces systèmes d’IA à haut risque à des fins personnelles.
5. Los organismos de evaluación de la conformidad, sus máximos directivos y el personal responsable de la realización de las tareas de evaluación de la conformidad no intervendrán directamente en el diseño, el desarrollo, la comercialización o el uso de dichos sistemas de IA de alto riesgo, ni tampoco representarán a las partes que llevan a cabo estas actividades. Además, no efectuarán ninguna actividad que pudiera entrar en conflicto con su independencia de criterio o su integridad en relación con las actividades de evaluación de la conformidad para las que han sido notificados. Ello se aplicará especialmente a los servicios de consultoría.
5. L’organisme d’évaluation de la conformité, ses cadres supérieurs et le personnel chargé d’exécuter ses tâches d’évaluation de la conformité ne participent pas directement à la conception, au développement, à la commercialisation ou à l’utilisation de systèmes d’IA à haut risque, pas plus qu’ils ne représentent les parties engagées dans ces activités. Ils n’exercent aucune activité susceptible d’entrer en conflit avec leur indépendance de jugement ou leur intégrité en ce qui concerne les activités d’évaluation de la conformité pour lesquelles ils sont notifiés. Cela s’applique en particulier aux services de conseil.
6. Los organismos notificados estarán organizados y gestionados de modo que se garantice la independencia, objetividad e imparcialidad de sus actividades. Los organismos notificados documentarán e implantarán una estructura y procedimientos que garanticen la imparcialidad y permitan promover y poner en práctica los principios de imparcialidad aplicables en toda su organización, a todo su personal y en todas sus actividades de evaluación.
6. Les organismes notifiés sont organisés et fonctionnent de façon à garantir l’indépendance, l’objectivité et l’impartialité de leurs activités. Les organismes notifiés documentent et appliquent une structure et des procédures visant à garantir l’impartialité et à encourager et appliquer les principes d’impartialité dans l’ensemble de leur organisation, du personnel et des activités d’évaluation.
7. Los organismos notificados contarán con procedimientos documentados que garanticen que su personal, sus comités, sus filiales, sus subcontratistas y todos sus organismos asociados o personal de organismos externos mantengan, de conformidad con el artículo 78, la confidencialidad de la información que llegue a su poder en el desempeño de las actividades de evaluación de la conformidad, excepto en aquellos casos en que la ley exija su divulgación. El personal de los organismos notificados estará sujeto al secreto profesional en lo que respecta a toda la información obtenida en el ejercicio de las funciones que les hayan sido encomendadas en virtud del presente Reglamento, salvo en relación con las autoridades notificantes del Estado miembro en el que desarrollen sus actividades.
7. Les organismes notifiés disposent de procédures documentées pour veiller à ce que leur personnel, leurs comités, leurs filiales, leurs sous-traitants et tout organisme associé ou le personnel d’organismes externes préservent, conformément à l’article 78, la confidentialité des informations auxquelles ils accèdent durant l’exercice de leurs activités d’évaluation de la conformité, sauf lorsque leur divulgation est requise par la loi. Le personnel des organismes notifiés est lié par le secret professionnel pour toutes les informations dont il a connaissance dans l’exercice de ses fonctions au titre du présent règlement, sauf à l’égard des autorités notifiantes de l’État membre où il exerce ses activités.
8. Los organismos notificados contarán con procedimientos para desempeñar sus actividades que tengan debidamente en cuenta el tamaño de los proveedores, el sector en que operan, su estructura y el grado de complejidad del sistema de IA de que se trate.
8. Les organismes notifiés disposent de procédures pour accomplir leurs activités qui tiennent dûment compte de la taille des fournisseurs, du secteur dans lequel ils exercent leurs activités, de leur structure et du degré de complexité du système d’IA concerné.
9. Los organismos notificados suscribirán un seguro de responsabilidad adecuado para sus actividades de evaluación de la conformidad, salvo que la responsabilidad la asuma el Estado miembro en que estén establecidos con arreglo al Derecho nacional o que el propio Estado miembro sea directamente responsable de la evaluación de la conformidad.
9. Les organismes notifiés souscrivent, pour leurs activités d’évaluation de la conformité, une assurance de responsabilité civile appropriée à moins que cette responsabilité ne soit couverte par l’État membre dans lequel ils sont établis sur la base du droit national ou que l’État membre soit lui-même responsable de l’évaluation de la conformité.
10. Los organismos notificados serán capaces de llevar a cabo todas sus tareas con arreglo al presente Reglamento con el máximo grado de integridad profesional y la competencia técnica necesaria en el ámbito específico, tanto si dichas tareas las efectúan los propios organismos notificados como si se realizan en su nombre y bajo su responsabilidad.
10. Les organismes notifiés sont en mesure d’accomplir toutes leurs tâches au titre du présent règlement avec la plus haute intégrité professionnelle et la compétence requise dans le domaine spécifique, qu’ils exécutent eux-mêmes ces tâches ou que celles-ci soient exécutées pour leur compte et sous leur responsabilité.
11. Los organismos notificados contarán con competencias técnicas internas suficientes para poder evaluar de manera eficaz las tareas que lleven a cabo agentes externos en su nombre. El organismo notificado dispondrá permanentemente de suficiente personal administrativo, técnico, jurídico y científico que tenga experiencia y conocimientos relativos a los tipos de sistemas de IA, los datos y la computación de datos pertinentes y a los requisitos establecidos en la sección 2.
11. Les organismes notifiés disposent de compétences internes suffisantes pour pouvoir évaluer efficacement les tâches effectuées pour leur compte par des parties extérieures. L’organisme notifié dispose en permanence d’un personnel administratif, technique, juridique et scientifique en nombre suffisant et doté d’une expérience et de connaissances liées aux données, au traitement des données et aux types de systèmes d’IA en cause et aux exigences énoncées à la section 2.
12. Los organismos notificados participarán en las actividades de coordinación según lo previsto en el artículo 38. Asimismo, tomarán parte directamente o mediante representación en organizaciones europeas de normalización, o se asegurarán de mantenerse al corriente de la situación actualizada de las normas pertinentes.
12. Les organismes notifiés prennent part aux activités de coordination visées à l’article 38. Ils participent également, directement ou par l’intermédiaire d’un représentant, aux activités des organisations européennes de normalisation, ou font en sorte de se tenir informés des normes applicables et de leur état.
Obligaciones operativas de los organismos notificados
Obligations opérationnelles des organismes notifiés
1. Los organismos notificados verificarán la conformidad de los sistemas de IA de alto riesgo siguiendo los procedimientos de evaluación de la conformidad establecidos en el artículo 43.
1. Les organismes notifiés vérifient la conformité du système d’IA à haut risque conformément aux procédures d’évaluation de la conformité visées à l’article 43.
2. Los organismos notificados evitarán cargas innecesarias para los proveedores cuando desempeñen sus actividades, y tendrán debidamente en cuenta el tamaño del proveedor, el sector en que opera, su estructura y el grado de complejidad del sistema de IA de alto riesgo de que se trate, en particular con vistas a reducir al mínimo las cargas administrativas y los costes del cumplimiento para las microempresas y pequeñas empresas en el sentido de la Recomendación 2003/361/CE. El organismo notificado respetará, sin embargo, el grado de rigor y el nivel de protección requeridos para que el sistema de IA de alto riesgo cumpla los requisitos del presente Reglamento.
2. Les organismes notifiés évitent les charges inutiles pour les fournisseurs dans l’exercice de leurs activités et tiennent dûment compte de la taille du fournisseur, du secteur dans lequel il exerce ses activités, de sa structure et du degré de complexité du système d’IA à haut risque concerné, en particulier en vue de réduire au minimum les charges administratives et les coûts de mise en conformité pour les microentreprises et les petites entreprises au sens de la recommandation 2003/361/CE. L’organisme notifié respecte néanmoins le degré de rigueur et le niveau de protection requis afin de garantir la conformité du système d’IA à haut risque avec les exigences du présent règlement.
3. Los organismos notificados pondrán a disposición de la autoridad notificante mencionada en el artículo 28, y le presentarán cuando se les pida, toda la documentación pertinente, incluida la documentación de los proveedores, a fin de que dicha autoridad pueda llevar a cabo sus actividades de evaluación, designación, notificación y supervisión, y de facilitar la evaluación descrita en la presente sección.
3. Les organismes notifiés mettent à la disposition de l’autorité notifiante visée à l’article 28 et lui soumettent sur demande toute la documentation pertinente, y compris celle des fournisseurs, afin de permettre à cette autorité de réaliser ses activités d’évaluation, de désignation, de notification et de surveillance et pour faciliter les évaluations décrites à la présente section.
Cambios en las notificaciones
Modifications apportées aux notifications
1. La autoridad notificante notificará a la Comisión y a los demás Estados miembros cualquier cambio pertinente en la notificación de un organismo notificado a través del sistema de notificación electrónica a que se refiere el artículo 30, apartado 2.
1. L’autorité notifiante notifie à la Commission et aux autres États membres toute modification pertinente apportée à la notification d’un organisme notifié au moyen de l’outil de notification électronique visé à l’article 30, paragraphe 2.
2. Los procedimientos establecidos en los artículos 29 y 30 se aplicarán a las ampliaciones del ámbito de aplicación de la notificación.
2. Les procédures établies aux articles 29 et 30 s’appliquent en cas d’extension de la portée de la notification.
Para modificaciones de la notificación distintas de las ampliaciones de su ámbito de aplicación, se aplicarán los procedimientos establecidos en los apartados 3 a 9.
En cas de modification de la notification autre qu’une extension de sa portée, les procédures prévues aux paragraphes 3 à 9 s’appliquent.
3. Cuando un organismo notificado decida poner fin a sus actividades de evaluación de la conformidad, informará de ello a la autoridad notificante y a los proveedores afectados tan pronto como sea posible y, cuando se trate de un cese planeado, al menos un año antes de poner fin a sus actividades. Los certificados del organismo notificado podrán seguir siendo válidos durante un plazo de nueve meses después del cese de las actividades del organismo notificado, siempre que otro organismo notificado haya confirmado por escrito que asumirá la responsabilidad de los sistemas de IA de alto riesgo cubiertos por dichos certificados. Este último organismo notificado realizará una evaluación completa de los sistemas de IA de alto riesgo afectados antes del vencimiento de ese plazo de nueve meses y antes de expedir nuevos certificados para esos sistemas. Si el organismo notificado ha puesto fin a sus actividades, la autoridad notificante retirará la designación.
3. Lorsqu’un organisme notifié décide de cesser ses activités d’évaluation de la conformité, il informe l’autorité notifiante et les fournisseurs concernés dès que possible et, dans le cas d’un arrêt prévu de ses activités, au moins un an avant de mettre un terme à ses activités. Les certificats de l’organisme notifié peuvent rester valables pendant une période de neuf mois après l’arrêt des activités de l’organisme notifié, à condition qu’un autre organisme notifié confirme par écrit qu’il assumera la responsabilité des systèmes d’IA à haut risque concernés par ces certificats. Cet autre organisme notifié procède à une évaluation complète des systèmes d’IA à haut risque concernés avant la fin de cette période de neuf mois, avant de délivrer de nouveaux certificats pour les systèmes en question. Lorsque l’organisme notifié a mis un terme à ses activités, l’autorité notifiante retire la désignation.
4. Si una autoridad notificante tiene motivo suficiente para considerar que un organismo notificado ya no cumple los requisitos establecidos en el artículo 31 o no está cumpliendo sus obligaciones, la autoridad notificante investigará el asunto sin demora y con la máxima diligencia. En ese contexto, informará al organismo notificado de que se trate acerca de las objeciones formuladas y le ofrecerá la posibilidad de exponer sus puntos de vista. Si la autoridad notificante llega a la conclusión de que el organismo notificado ya no cumple los requisitos establecidos en el artículo 31 o no está cumpliendo sus obligaciones, dicha autoridad limitará, suspenderá o retirará la designación, según el caso, dependiendo de la gravedad del incumplimiento de dichos requisitos u obligaciones. Asimismo, informará de ello inmediatamente a la Comisión y a los demás Estados miembros.
4. Lorsqu’une autorité notifiante a des raisons suffisantes de considérer qu’un organisme notifié ne répond plus aux exigences définies à l’article 31, ou qu’il ne s’acquitte pas de ses obligations, l’autorité notifiante procède sans retard à une enquête avec la plus grande diligence. Dans ce contexte, elle informe l’organisme notifié concerné des objections soulevées et lui donne la possibilité de faire connaître son point de vue. Si l’autorité notifiante conclut que l’organisme notifié ne répond plus aux exigences définies à l’article 31, ou qu’il ne s’acquitte pas de ses obligations, elle soumet la désignation à des restrictions, la suspend ou la retire, selon le cas, en fonction de la gravité du manquement. Elle en informe immédiatement la Commission et les autres États membres.
5. Cuando su designación haya sido suspendida, limitada o retirada total o parcialmente, el organismo notificado informará a los proveedores afectados a más en un plazo de diez días.
5. Lorsque sa désignation a été suspendue, restreinte ou révoquée en tout ou en partie, l’organisme notifié en informe les fournisseurs concernés dans un délai de dix jours.
6. En caso de la limitación, suspensión o retirada de una designación, la autoridad notificante adoptará las medidas oportunas para garantizar que los archivos del organismo notificado de que se trate se conserven, y para ponerlos a disposición de las autoridades notificantes de otros Estados miembros y de las autoridades de vigilancia del mercado, a petición de estas.
6. En cas de restriction, de suspension ou de retrait d’une désignation, l’autorité notifiante prend les mesures nécessaires pour que les dossiers de l’organisme notifié en question soient conservés et pour qu’ils soient mis à la disposition des autorités notifiantes d’autres États membres et des autorités de surveillance du marché, à leur demande.
7. En caso de la limitación, suspensión o retirada de una designación, la autoridad notificante:
7. En cas de restriction, de suspension ou de retrait d’une désignation, l’autorité notifiante:
a)
evaluará las repercusiones en los certificados expedidos por el organismo notificado;
a)
évalue l’incidence sur les certificats délivrés par l’organisme notifié;
b)
presentará a la Comisión y a los demás Estados miembros un informe con sus conclusiones en un plazo de tres meses a partir de la notificación de los cambios en la designación;
b)
transmet un rapport sur ses conclusions à la Commission et aux autres États membres dans un délai de trois mois après avoir signalé les modifications apportées à la désignation;
c)
exigirá al organismo notificado que suspenda o retire, en un plazo razonable determinado por la autoridad, todo certificado indebidamente expedido, a fin de garantizar la conformidad continua de los sistemas de IA de alto riesgo en el mercado;
c)
exige de l’organisme notifié qu’il suspende ou retire, dans un délai raisonnable qu’elle détermine, tous les certificats délivrés à tort afin d’assurer la conformité constante des systèmes d’IA à haut risque sur le marché;
d)
informará a la Comisión y a los Estados miembros de los certificados cuya suspensión o retirada haya exigido;
d)
informe la Commission et les États membres des certificats dont elle a demandé la suspension ou le retrait;
e)
facilitará a las autoridades nacionales competentes del Estado miembro en el que el proveedor tenga su domicilio social toda la información pertinente sobre los certificados cuya suspensión o retirada haya exigido; dicha autoridad tomará las medidas oportunas, cuando sea necesario, para evitar un riesgo para la salud, la seguridad o los derechos fundamentales.
e)
fournit aux autorités nationales compétentes de l’État membre dans lequel le fournisseur a son siège social toutes les informations pertinentes sur les certificats dont elle a demandé la suspension ou le retrait; cette autorité prend les mesures appropriées si cela est nécessaire pour éviter un risque potentiel pour la santé, la sécurité ou les droits fondamentaux.
8. Salvo en el caso de los certificados expedidos indebidamente, y cuando una designación haya sido suspendida o limitada, los certificados mantendrán su validez en una de las circunstancias siguientes:
8. À l’exception des certificats délivrés à tort, et lorsqu’une désignation a été suspendue ou restreinte, les certificats restent valables dans l’un des cas suivants:
a)
cuando, en el plazo de un mes a partir de la suspensión o la limitación, la autoridad notificante haya confirmado que no existe riesgo alguno para la salud, la seguridad o los derechos fundamentales en relación con los certificados afectados por la suspensión o la limitación y haya fijado un calendario de acciones para subsanar la suspensión o la limitación, o
a)
l’autorité notifiante a confirmé, dans un délai d’un mois suivant la suspension ou la restriction, qu’il n’y a pas de risque pour la santé, la sécurité ou les droits fondamentaux en lien avec les certificats concernés par la suspension ou la restriction, et l’autorité notifiante a défini un calendrier de mesures pour remédier à la suspension ou à la restriction; ou
b)
cuando la autoridad notificante haya confirmado que no se expedirán, modificarán ni volverán a expedir certificados relacionados con la suspensión mientras dure la suspensión o limitación, y declare si el organismo notificado tiene o no la capacidad, durante el período de la suspensión o limitación, de seguir supervisando los certificados expedidos y siendo responsable de ellos; cuando la autoridad notificante determine que el organismo notificado no tiene la capacidad de respaldar los certificados expedidos, el proveedor del sistema cubierto por el certificado deberá confirmar por escrito a las autoridades nacionales competentes del Estado miembro en que tenga su domicilio social, en un plazo de tres meses a partir de la suspensión o limitación, que otro organismo notificado cualificado va a asumir temporalmente las funciones del organismo notificado para supervisar los certificados y ser responsable de ellos durante el período de la suspensión o limitación.
b)
l’autorité notifiante a confirmé qu’aucun certificat ayant trait à la suspension ne sera délivré, modifié ou délivré à nouveau pendant la période de suspension ou de restriction et elle indique si l’organisme notifié est en mesure de continuer à contrôler les certificats existants délivrés et à en être responsable pour la durée de la suspension ou de la restriction. Si l’autorité notifiante considère que l’organisme notifié n’est pas en mesure de se charger des certificats existants délivrés, le fournisseur du système faisant l’objet du certificat confirme par écrit aux autorités nationales compétentes de l’État membre dans lequel il a son siège social, dans un délai de trois mois suivant la suspension ou la restriction, qu’un autre organisme notifié qualifié assume temporairement les fonctions de surveillance de l’organisme notifié et continue d’assumer la responsabilité des certificats pour la durée de la suspension ou de la restriction.
9. Salvo en el caso de los certificados expedidos indebidamente, y cuando se haya retirado una designación, los certificados mantendrán su validez durante nueve meses en las circunstancias siguientes:
9. À l’exception des certificats délivrés à tort, et lorsqu’une désignation a été retirée, les certificats restent valables pendant une durée de neuf mois dans les cas suivants:
a)
la autoridad nacional competente del Estado miembro en el que tiene su domicilio social el proveedor del sistema de IA de alto riesgo cubierto por el certificado ha confirmado que no existe ningún riesgo para la salud, la seguridad o los derechos fundamentales asociado al sistema de IA de alto riesgo de que se trate, y
a)
l’autorité nationale compétente de l’État membre dans lequel le fournisseur du système d’IA à haut risque faisant l’objet du certificat a son siège social a confirmé que les systèmes d’IA à haut risque en question ne présentent pas de risque pour la santé, la sécurité ou les droits fondamentaux; et
b)
otro organismo notificado ha confirmado por escrito que asumirá la responsabilidad inmediata de dichos sistemas de IA y completa su evaluación en el plazo de doce meses a partir de la retirada de la designación.
b)
un autre organisme notifié a confirmé par écrit qu’il assumera la responsabilité immédiate de ces systèmes d’IA et achèvera son évaluation dans un délai de douze mois à compter du retrait de la désignation.
En las circunstancias a que se refiere el párrafo primero, la autoridad nacional competente del Estado miembro en el que tenga su domicilio social el proveedor del sistema cubierto por el certificado podrá prorrogar la validez provisional de los certificados por plazos adicionales de tres meses, sin exceder de doce meses en total.
Dans le cas visé au premier alinéa, l’autorité nationale compétente de l’État membre dans lequel le fournisseur du système faisant l’objet du certificat a son siège peut prolonger à plusieurs reprises la durée de validité provisoire des certificats de trois mois supplémentaires, pour une durée totale maximale de douze mois.
La autoridad nacional competente o el organismo notificado que asuman las funciones del organismo notificado afectado por el cambio de la designación informarán de ello inmediatamente a la Comisión, a los demás Estados miembros y a los demás organismos notificados.
L’autorité nationale compétente ou l’organisme notifié assumant les fonctions de l’organisme notifié concerné par la modification de la désignation en informe immédiatement la Commission, les autres États membres et les autres organismes notifiés.
Cuestionamiento de la competencia de los organismos notificados
Contestation de la compétence des organismes notifiés
1. La Comisión investigará, cuando sea necesario, todos los casos en los que existan razones para dudar de la competencia de un organismo notificado o del cumplimiento continuo, por parte de un organismo notificado, de los requisitos establecidos en el artículo 31 y de sus responsabilidades aplicables.
1. La Commission enquête, s’il y a lieu, sur tous les cas où il existe des raisons de douter de la compétence d’un organisme notifié ou du respect continu, par un organisme notifié, des exigences établies à l’article 31 et de ses responsabilités applicables.
2. La autoridad notificante facilitará a la Comisión, a petición de esta, toda la información pertinente relativa a la notificación o el mantenimiento de la competencia del organismo notificado de que se trate.
2. L’autorité notifiante fournit à la Commission, sur demande, toutes les informations utiles relatives à la notification ou au maintien de la compétence de l’organisme notifié concerné.
3. La Comisión garantizará el tratamiento confidencial de acuerdo con el artículo 78 de toda la información delicada recabada en el transcurso de sus investigaciones en virtud del presente artículo.
3. La Commission veille à ce que toutes les informations sensibles obtenues au cours des enquêtes qu’elle mène au titre du présent article soient traitées de manière confidentielle conformément à l’article 78.
4. Cuando la Comisión determine que un organismo notificado no cumple o ha dejado de cumplir los requisitos para su notificación, informará al Estado miembro notificante en consecuencia y le solicitará que adopte las medidas correctoras necesarias, incluidas la suspensión o la retirada de la designación en caso necesario. Si el Estado miembro no adopta las medidas correctoras necesarias, la Comisión, mediante un acto de ejecución, podrá suspender, limitar o retirar la designación. Dicho acto de ejecución se adoptará con arreglo al procedimiento de examen contemplado en el artículo 98, apartado 2.
4. Lorsque la Commission établit qu’un organisme notifié ne répond pas ou ne répond plus aux exigences relatives à sa notification, elle informe l’État membre notifiant en conséquence et lui demande de prendre les mesures correctives qui s’imposent, y compris la suspension ou le retrait de la notification si nécessaire. Si l’État membre ne prend pas les mesures correctives qui s’imposent, la Commission peut, au moyen d’un acte d’exécution, suspendre, restreindre ou retirer la désignation. Cet acte d’exécution est adopté en conformité avec la procédure d’examen visée à l’article 98, paragraphe 2.
Normas armonizadas y documentos de normalización
Normes harmonisées et travaux de normalisation
1. Los sistemas de IA de alto riesgo o los modelos de IA de uso general que sean conformes con normas armonizadas, o partes de estas, cuyas referencias estén publicadas en el Diario Oficial de la Unión Europea de conformidad con el Reglamento (UE) n.o 1025/2012 se presumirá que son conformes con los requisitos establecidos en la sección 2 del presente capítulo o, en su caso, con las obligaciones establecidas en el capítulo V, secciones 2 y 3, del presente Reglamento, en la medida en que dichas normas contemplen estos requisitos u obligaciones.
1. Les systèmes d’IA à haut risque ou les modèles d’IA à usage général conformes à des normes harmonisées ou à des parties de normes harmonisées dont les références ont été publiées au Journal officiel de l’Union européenne conformément au règlement (UE) no 1025/2012 sont présumés conformes aux exigences visées à la section 2 du présent chapitre ou, le cas échéant, aux obligations énoncées au chapitre V, sections 2 et 3, du présent règlement, dans la mesure où ces exigences ou obligations sont couvertes par ces normes.
2. De conformidad con el artículo 10 del Reglamento (UE) n.o 1025/2012, la Comisión formulará, sin demora indebida, peticiones de normalización que contemplen todos los requisitos establecidos en la sección 2 del presente capítulo y, según proceda, las peticiones de normalización que contemplen las obligaciones establecidas en el capítulo V, secciones 2 y 3, del presente Reglamento. La petición de normalización también incluirá la solicitud de documentos sobre los procesos de presentación de información y documentación a fin de mejorar el funcionamiento de los de los sistemas de IA desde el punto de vista de los recursos, como la reducción del consumo de energía y de otros recursos del sistema de IA de alto riesgo durante su ciclo de vida, así como sobre el desarrollo eficiente desde el punto de vista energético de los modelos de IA de uso general. Cuando prepare una petición de normalización, la Comisión consultará al Consejo de IA y a las partes interesadas pertinentes, incluido el foro consultivo.
2. Conformément à l’article 10 du règlement (UE) no 1025/2012, la Commission présente sans retard injustifié des demandes de normalisation couvrant toutes les exigences énoncées à la section 2 du présent chapitre et, le cas échéant, les demandes de normalisation couvrant les obligations énoncées au chapitre V, sections 2 et 3, du présent règlement. La demande de normalisation inclut également une demande de livrables sur les processus de déclaration et de documentation afin d’améliorer les performances des systèmes d’IA en matière de ressources, telles que la réduction de la consommation d’énergie et d’autres ressources par le système d’IA à haut risque au cours de son cycle de vie, et sur le développement économe en énergie de modèles d’IA à usage général. Lors de la préparation d’une demande de normalisation, la Commission consulte le Comité IA et les parties prenantes concernées, y compris le forum consultatif.
Cuando dirija una petición de normalización a las organizaciones europeas de normalización, la Comisión especificará que las normas deben ser claras, coherentes —también con las normas elaboradas en diversos sectores para los productos regulados por los actos legislativos de armonización de la Unión vigentes enumerados en el anexo I— y destinadas a garantizar que los sistemas de IA de alto riesgo o los modelos de IA de uso general introducidos en el mercado o puestos en servicio en la Unión cumplan los requisitos u obligaciones pertinentes establecidos en el presente Reglamento.
Lorsqu’elle présente une demande de normalisation aux organisations européennes de normalisation, la Commission précise que les normes doivent être claires, cohérentes, y compris avec les normes développées dans les différents secteurs pour les produits relevant de la législation d’harmonisation de l’Union existante dont la liste figure à l’annexe I, et visant à veiller à ce que les systèmes d’IA à haut risque ou les modèles d’IA à usage général mis sur le marché ou mis en service dans l’Union satisfont aux exigences ou obligations pertinentes énoncées dans le présent règlement.
La Comisión solicitará a las organizaciones europeas de normalización que aporten pruebas de que han hecho todo lo posible por cumplir los objetivos a que se refieren los párrafos primero y segundo del presente apartado, de conformidad con el artículo 24 del Reglamento (UE) n.o 1025/2012.
La Commission demande aux organisations européennes de normalisation de fournir la preuve qu’elles mettent tout en œuvre pour atteindre les objectifs visés aux premier et deuxième alinéas du présent paragraphe, conformément à l’article 24 du règlement (UE) no 1025/2012.
3. Los participantes en el proceso de normalización tratarán de promover la inversión y la innovación en IA, también incrementando la seguridad jurídica, así como la competitividad y el crecimiento del mercado de la Unión, de contribuir al refuerzo de la cooperación mundial en pro de la normalización, teniendo en cuenta las normas internacionales existentes en el ámbito de la IA que son coherentes con los valores, derechos fundamentales e intereses de la Unión, y de mejorar la gobernanza multilateral, garantizando una representación equilibrada de los intereses y la participación efectiva de todas las partes interesadas pertinentes de conformidad con los artículos 5, 6 y 7 del Reglamento (UE) n.o 1025/2012.
3. Les participants au processus de normalisation s’efforcent de favoriser les investissements et l’innovation dans le domaine de l’IA, y compris en renforçant la sécurité juridique, ainsi que la compétitivité et la croissance du marché de l’Union, de contribuer à renforcer la coopération mondiale en faveur d’une normalisation en tenant compte des normes internationales existantes dans le domaine de l’IA qui sont conformes aux valeurs et aux intérêts de l’Union et aux droits fondamentaux, et de renforcer la gouvernance multipartite en veillant à une représentation équilibrée des intérêts et à la participation effective de toutes les parties prenantes concernées conformément aux articles 5, 6 et 7 du règlement (UE) no 1025/2012.
1. La Comisión podrá adoptar actos de ejecución por los que se establezcan especificaciones comunes para los requisitos establecidos en la sección 2 del presente capítulo o, según corresponda, para las obligaciones establecidas en el capítulo V, secciones 2 y 3, siempre que se hayan cumplido las siguientes condiciones:
1. La Commission peut adopter des actes d’exécution établissant des spécifications communes pour les exigences énoncées à la section 2 du présent chapitre ou, le cas échéant, pour les obligations énoncées au chapitre V, sections 2 et 3, lorsque les conditions suivantes sont remplies:
a)
la Comisión ha solicitado, de conformidad con el artículo 10, apartado 1, del Reglamento (UE) n.o 1025/2012, a una o varias organizaciones europeas de normalización que elaboren una norma armonizada para los requisitos establecidos en la sección 2 del presente capítulo, o según corresponda, para las obligaciones establecidas en el capítulo V, secciones 2 y 3, y:
a)
la Commission, en vertu de l’article 10, paragraphe 1, du règlement (UE) no 1025/2012, a demandé à une ou plusieurs organisations européennes de normalisation d’élaborer une norme harmonisée pour les exigences énoncées à la section 2 du présent chapitre ou, le cas échéant, pour les obligations énoncées au chapitre V, sections 2 et 3, et:
i)
la solicitud no ha sido aceptada por ninguna de las organizaciones europeas de normalización, o
i)
la demande n’a été acceptée par aucune des organisations européennes de normalisation; ou
ii)
las normas armonizadas que responden a dicha solicitud no se han entregado en el plazo establecido de conformidad con el artículo 10, apartado 1, del Reglamento (UE) n.o 1025/2012, o
ii)
les normes harmonisées faisant l’objet de cette demande n’ont pas été présentées dans le délai fixé conformément à l’article 10, paragraphe 1, du règlement (UE) no 1025/2012; ou
iii)
las normas armonizadas pertinentes responden de forma insuficiente a las preocupaciones en materia de derechos fundamentales, o
iii)
les normes harmonisées pertinentes ne répondent pas suffisamment aux préoccupations en matière de droits fondamentaux; ou
iv)
las normas armonizadas no se ajustan a la solicitud, y
iv)
les normes harmonisées ne sont pas conformes à la demande; et
b)
no se ha publicado en el Diario Oficial de la Unión Europea ninguna referencia a normas armonizadas que regulen los requisitos establecidos en la sección 2 del presente capítulo, o según proceda, las obligaciones a que se refiere el capítulo V, secciones 2 y 3, de conformidad con el Reglamento (UE) n.o 1025/2012 y no se prevé la publicación de tal referencia en un plazo razonable.
b)
aucune référence à des normes harmonisées couvrant les exigences visées à la section 2 du chapitre ou, le cas échéant, les obligations énoncées au chapitre V, sections 2 et 3, n’a été publiée au Journal officiel de l’Union européenne conformément au règlement (UE) no 1025/2012, et aucune référence de ce type ne devrait être publiée dans un délai raisonnable.
Al elaborar las disposiciones comunes, la Comisión consultará al foro consultivo a que se refiere el artículo 67.
Lors de la rédaction des spécifications communes, la Commission consulte le forum consultatif visé à l’article 67.
Los actos de ejecución a que se refiere el párrafo primero del presente apartado se adoptarán de conformidad con el procedimiento de examen contemplado en el artículo 98, apartado 2.
Les actes d’exécution visés au premier alinéa du présent paragraphe sont adoptés en conformité avec la procédure d’examen visée à l’article 98, paragraphe 2.
2. Antes de elaborar un proyecto de acto de ejecución, la Comisión informará al comité a que se refiere el artículo 22 del Reglamento (UE) n.o 1025/2012 de que considera que se cumplen las condiciones establecidas en el apartado 1 del presente artículo.
2. Avant d’élaborer un projet d’acte d’exécution, la Commission informe le comité visé à l’article 22 du règlement (UE) no 1025/2012 qu’elle considère que les conditions énoncées au paragraphe 1 du présent article sont remplies.
3. Se presumirá que los sistemas de IA de alto riesgo o los modelos de IA de uso general que sean conformes con las especificaciones comunes a que se refiere el apartado 1, o partes de dichas especificaciones, son conformes con los requisitos establecidos en la sección 2 del presente capítulo o, según corresponda, para cumplir con las obligaciones a que se refiere el capítulo V, secciones 2 y 3, en la medida en que dichas especificaciones comunes contemplen esos requisitos o esas obligaciones.
3. Les systèmes d’IA à haut risque ou les modèles d’IA à usage général conformes aux spécifications communes visées au paragraphe 1, ou à des parties de ces spécifications, sont présumés conformes aux exigences visées à la section 2 du présent chapitre ou, le cas échéant pour se conformer aux obligations visées au chapitre V, sections 2 et 3, dans la mesure où ces exigences ou obligations sont couvertes par ces spécifications communes.
4. Cuando una norma armonizada sea adoptada por una organización europea de normalización y propuesta a la Comisión con el fin de publicar su referencia en el Diario Oficial de la Unión Europea, la Comisión evaluará la norma armonizada de conformidad con el Reglamento (UE) n.o 1025/2012. Cuando la referencia a una norma armonizada se publique en el Diario Oficial de la Unión Europea, la Comisión derogará los actos de ejecución a que se refiere el apartado 1, o las partes de dichos actos que contemplen los mismos requisitos establecidos en la sección 2 del presente capítulo o, según corresponda, las mismas obligaciones establecidas en el capítulo V, secciones 2 y 3.
4. Lorsqu’une norme harmonisée est adoptée par une organisation européenne de normalisation et proposée à la Commission en vue de la publication de sa référence au Journal officiel de l’Union européenne, la Commission procède à l’évaluation de cette norme harmonisée conformément au règlement (UE) no 1025/2012. Lorsque la référence à une norme harmonisée est publiée au Journal officiel de l’Union européenne, la Commission abroge les actes d’exécution visés au paragraphe 1, ou les parties de ces actes qui couvrent les mêmes exigences que celles énoncées à la section 2 du présent chapitre ou, le cas échéant les mêmes obligations que celles énoncées au chapitre V, sections 2 et 3.
5. Cuando los proveedores de sistemas de IA de alto riesgo o los modelos de IA de uso general no cumplan las especificaciones comunes mencionadas en el apartado 1, justificarán debidamente que han adoptado soluciones técnicas que cumplan los requisitos a que se refiere la sección 2 del presente capítulo o, según corresponda, cumplan con las obligaciones establecidas en el capítulo V, secciones 2 y 3, en un nivel como mínimo equivalente a aquellos.
5. Lorsque les fournisseurs de systèmes d’IA à haut risque ou de modèles d’IA à usage général ne respectent pas les spécifications communes visées au paragraphe 1, ils justifient dûment avoir adopté des solutions techniques qui satisfont aux exigences visées à la section 2 du présent chapitre ou, le cas échéant, aux obligations énoncées au chapitre V, sections 2 et 3, à un niveau au moins équivalent auxdites spécifications.
6. Cuando un Estado miembro considere que una especificación común no cumple plenamente los requisitos establecidos en la sección 2, o, según corresponda, no cumple con las obligaciones establecidas en el capítulo V, secciones 2 y 3, informará de ello a la Comisión con una explicación detallada. La Comisión evaluará dicha información y, en su caso, modificará el acto de ejecución por el que se establece la especificación común de que se trate.
6. Lorsqu’un État membre considère qu’une spécification commune ne satisfait pas entièrement aux exigences énoncées à la section 2 ou, le cas échéant aux obligations énoncées au chapitre V, sections 2 et 3, il en informe la Commission au moyen d’une explication détaillée. La Commission évalue ces informations et, le cas échéant, modifie l’acte d’exécution établissant la spécification commune concernée.
Evaluación de la conformidad
Évaluation de la conformité
1. En el caso de los sistemas de IA de alto riesgo enumerados en el anexo III, punto 1, cuando, al demostrar el cumplimiento de los requisitos establecidos en la sección 2 por parte de un sistema de IA de alto riesgo, el proveedor haya aplicado las normas armonizadas a que se refiere el artículo 40, o bien, en su caso, las especificaciones comunes a que se refiere el artículo 41, el proveedor optará por uno de los procedimientos de evaluación de la conformidad siguientes:
1. Pour les systèmes d’IA à haut risque énumérés à l’annexe III, point 1, lorsque, pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées à la section 2, le fournisseur a appliqué les normes harmonisées visées à l’article 40 ou, le cas échéant, les spécifications communes visées à l’article 41, il choisit l’une des procédures d’évaluation de la conformité suivantes sur la base:
a)
el fundamentado en el control interno, mencionado en el anexo VI, o
a)
du contrôle interne visé à l’annexe VI; ou
b)
el fundamentado en la evaluación del sistema de gestión de la calidad y la evaluación de la documentación técnica, con la participación de un organismo notificado, mencionado en el anexo VII.
b)
de l’évaluation du système de gestion de la qualité et de l’évaluation de la documentation technique, avec l’intervention d’un organisme notifié, visée à l’annexe VII.
Al demostrar el cumplimiento de los requisitos establecidos en la sección 2 por parte de un sistema de IA de alto riesgo, el proveedor se atendrá al procedimiento de evaluación de la conformidad establecido en el anexo VII cuando:
Pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées à la section 2, le fournisseur suit la procédure d’évaluation de la conformité prévue à l’annexe VII dans les cas suivants:
a)
las normas armonizadas a que se refiere el artículo 40 no existan, y no se disponga de las especificaciones comunes a que se refiere el artículo 41;
a)
les normes harmonisées visées à l’article 40 n’existent pas et les spécifications communes visées à l’article 41 font défaut;
b)
el proveedor no haya aplicado la norma armonizada, o solo haya aplicado parte de esta;
b)
le fournisseur n’a pas appliqué la norme harmonisée ou ne l’a appliquée que partiellement;
c)
existan las especificaciones comunes a que se refiere la letra a), pero el proveedor no las haya aplicado;
c)
les spécifications communes visées au point a) existent, mais le fournisseur ne les a pas appliquées;
d)
una o varias de las normas armonizadas a que se refiere la letra a) se hayan publicado con una limitación, y únicamente en la parte de la norma objeto de la limitación.
d)
une ou plusieurs des normes harmonisées visées au point a), ont été publiées assorties d’une restriction et seulement sur la partie de la norme qui a été soumise à une restriction.
A efectos del procedimiento de evaluación de la conformidad mencionado en el anexo VII, el proveedor podrá escoger cualquiera de los organismos notificados. No obstante, cuando se prevea la puesta en servicio del sistema de IA de alto riesgo por parte de las autoridades garantes del cumplimiento del Derecho, las autoridades de inmigración o las autoridades de asilo, o por las instituciones, órganos u organismos de la Unión, la autoridad de vigilancia del mercado mencionada en el artículo 74, apartado 8 o 9, según proceda, actuará como organismo notificado.
Aux fins de la procédure d’évaluation de la conformité visée à l’annexe VII, le fournisseur peut choisir n’importe lequel des organismes notifiés. Toutefois, lorsque le système d’IA à haut risque est destiné à être mis en service par les autorités répressives, les services de l’immigration ou les autorités compétentes en matière d’asile ou par les institutions, organes ou organismes de l’UE, l’autorité de surveillance du marché visée à l’article 74, paragraphe 8 ou 9, selon le cas, agit en tant qu’organisme notifié.
2. En el caso de los sistemas de IA de alto riesgo mencionados en el anexo III, puntos 2 a 8, los proveedores se atendrán al procedimiento de evaluación de la conformidad fundamentado en un control interno a que se refiere el anexo VI, que no contempla la participación de un organismo notificado.
2. Pour les systèmes d’IA à haut risque visés à l’annexe III, points 2 à 8, les fournisseurs suivent la procédure d’évaluation de la conformité fondée sur le contrôle interne visée à l’annexe VI, qui ne prévoit pas d’intervention d’un organisme notifié.
3. En el caso de los sistemas de IA de alto riesgo regulados por los actos legislativos de armonización de la Unión enumerados en el anexo I, sección A, el proveedor se atendrá al procedimiento de evaluación de la conformidad pertinente exigida por dichos actos legislativos. Los requisitos establecidos en la sección 2 del presente capítulo se aplicarán a dichos sistemas de IA de alto riesgo y formarán parte de dicha evaluación. Asimismo, se aplicarán los puntos 4.3, 4.4 y 4.5 del anexo VII, así como el punto 4.6, párrafo quinto, de dicho anexo.
3. Pour les systèmes d’IA à haut risque couverts par la législation d’harmonisation