Journal officiel
de l'Union européenne
FR
Amtsblatt
der Europäischen Union
DE
RÈGLEMENT (UE) 2024/1689 DU PARLEMENT EUROPÉEN ET DU CONSEIL
VERORDNUNG (EU) 2024/1689 DES EUROPÄISCHEN PARLAMENTS UND DES RATES
établissant des règles harmonisées concernant l’intelligence artificielle et modifiant les règlements (CE) no 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (règlement sur l’intelligence artificielle)
zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz)
(Texte présentant de l’intérêt pour l’EEE)
(Text von Bedeutung für den EWR)
LE PARLEMENT EUROPÉEN ET LE CONSEIL DE L’UNION EUROPÉENNE,
DAS EUROPÄISCHE PARLAMENT UND DER RAT DER EUROPÄISCHEN UNION —
vu le traité sur le fonctionnement de l’Union européenne, et notamment ses articles 16 et 114,
gestützt auf den Vertrag über die Arbeitsweise der Europäischen Union, insbesondere auf die Artikel 16 und 114,
vu la proposition de la Commission européenne,
auf Vorschlag der Europäischen Kommission,
après transmission du projet d’acte législatif aux parlements nationaux,
nach Zuleitung des Entwurfs des Gesetzgebungsakts an die nationalen Parlamente,
vu l’avis du Comité économique et social européen (1),
nach Stellungnahme des Europäischen Wirtschafts- und Sozialausschusses (1),
vu l’avis de la Banque centrale européenne (2),
nach Stellungnahme der Europäischen Zentralbank (2),
vu l’avis du Comité des régions (3),
nach Stellungnahme des Ausschusses der Regionen (3),
statuant conformément à la procédure législative ordinaire (4),
gemäß dem ordentlichen Gesetzgebungsverfahren (4),
in Erwägung nachstehender Gründe:
(1)
L’objectif du présent règlement est d’améliorer le fonctionnement du marché intérieur en établissant un cadre juridique uniforme, en particulier pour le développement, la mise sur le marché, la mise en service et l’utilisation de systèmes d’intelligence artificielle (ci-après dénommés «systèmes d’IA») dans l’Union, dans le respect des valeurs de l’Union, de promouvoir l’adoption de l’intelligence artificielle (IA) axée sur l’humain et digne de confiance tout en garantissant un niveau élevé de protection de la santé, de la sécurité et des droits fondamentaux consacrés dans la Charte des droits fondamentaux de l’Union européenne (ci-après dénommée «Charte»), y compris la démocratie, l’état de droit et la protection de l’environnement, de protéger contre les effets néfastes des systèmes d’IA dans l’Union, et de soutenir l’innovation. Le présent règlement garantit la libre circulation transfrontière des biens et services fondés sur l’IA, empêchant ainsi les États membres d’imposer des restrictions au développement, à la commercialisation et à l’utilisation de systèmes d’IA, sauf autorisation expresse du présent règlement.
(1)
Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern, indem ein einheitlicher Rechtsrahmen insbesondere für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen künstlicher Intelligenz (KI-Systeme) in der Union im Einklang mit den Werten der Union festgelegt wird, um die Einführung von menschenzentrierter und vertrauenswürdiger künstlicher Intelligenz (KI) zu fördern und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und der in der Charta der Grundrechte der Europäischen Union („Charta“) verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, sicherzustellen, den Schutz vor schädlichen Auswirkungen von KI-Systemen in der Union zu gewährleisten und gleichzeitig die Innovation zu unterstützen. Diese Verordnung gewährleistet den grenzüberschreitenden freien Verkehr KI-gestützter Waren und Dienstleistungen, wodurch verhindert wird, dass die Mitgliedstaaten die Entwicklung, Vermarktung und Verwendung von KI-Systemen beschränken, sofern dies nicht ausdrücklich durch diese Verordnung erlaubt wird.
(2)
Le présent règlement devrait être appliqué dans le respect des valeurs de l’Union consacrées dans la Charte, en facilitant la protection des personnes physiques, des entreprises, de la démocratie, de l’état de droit et de l’environnement, tout en stimulant l’innovation et l’emploi et en faisant de l’Union un acteur de premier plan dans l’adoption d’une IA digne de confiance.
(2)
Diese Verordnung sollte im Einklang mit den in der Charta verankerten Werten der Union angewandt werden, den Schutz von natürlichen Personen, Unternehmen, Demokratie und Rechtsstaatlichkeit sowie der Umwelt erleichtern und gleichzeitig Innovation und Beschäftigung fördern und der Union eine Führungsrolle bei der Einführung vertrauenswürdiger KI verschaffen.
(3)
Les systèmes d’IA peuvent être facilement déployés dans un large éventail de secteurs de l’économie et dans de nombreux pans de la société, y compris transfrontières, et peuvent facilement circuler dans toute l’Union. Certains États membres ont déjà envisagé l’adoption de règles nationales destinées à faire en sorte que l’IA soit digne de confiance et sûre et à ce qu’elle soit développée et utilisée dans le respect des obligations en matière de droits fondamentaux. Le fait que les règles nationales divergent peut entraîner une fragmentation du marché intérieur et peut réduire la sécurité juridique pour les opérateurs qui développent, importent ou utilisent des systèmes d’IA. Il convient donc de garantir un niveau de protection cohérent et élevé dans toute l’Union afin de parvenir à une IA digne de confiance, et d’éviter les divergences qui entravent la libre circulation, l’innovation, le déploiement et l’adoption des systèmes d’IA et des produits et services connexes au sein du marché intérieur, en établissant des obligations uniformes pour les opérateurs et en garantissant la protection uniforme des raisons impérieuses d’intérêt général et des droits des citoyens dans l’ensemble du marché intérieur sur la base de l’article 114 du traité sur le fonctionnement de l’Union européenne. Dans la mesure où le présent règlement contient des règles spécifiques sur la protection des personnes physiques en ce qui concerne le traitement des données à caractère personnel, à savoir des restrictions portant sur l’utilisation de systèmes d’IA pour l’identification biométrique à distance à des fins répressives, sur l’utilisation de systèmes d’IA pour l’évaluation des risques liés à des personnes physiques à des fins répressives, et sur l’utilisation de systèmes d’IA de catégorisation biométrique à des fins répressives, il convient de fonder le présent règlement, pour ce qui est de ces règles spécifiques, sur l’article 16 du traité sur le fonctionnement de l’Union européenne. Compte tenu de ces règles spécifiques et du recours à l’article 16 du traité sur le fonctionnement de l’Union européenne, il convient de consulter le comité européen de la protection des données.
(3)
KI-Systeme können problemlos in verschiedenen Bereichen der Wirtschaft und Gesellschaft, auch grenzüberschreitend, eingesetzt werden und in der gesamten Union verkehren. Einige Mitgliedstaaten haben bereits die Verabschiedung nationaler Vorschriften in Erwägung gezogen, damit KI vertrauenswürdig und sicher ist und im Einklang mit den Grundrechten entwickelt und verwendet wird. Unterschiedliche nationale Vorschriften können zu einer Fragmentierung des Binnenmarkts führen und können die Rechtssicherheit für Akteure, die KI-Systeme entwickeln, einführen oder verwenden, beeinträchtigen. Daher sollte in der gesamten Union ein einheitlich hohes Schutzniveau sichergestellt werden, um eine vertrauenswürdige KI zu erreichen, wobei Unterschiede, die den freien Verkehr, Innovationen, den Einsatz und die Verbreitung von KI-Systemen und damit zusammenhängenden Produkten und Dienstleistungen im Binnenmarkt behindern, vermieden werden sollten, indem den Akteuren einheitliche Pflichten auferlegt werden und der gleiche Schutz der zwingenden Gründe des Allgemeininteresses und der Rechte von Personen im gesamten Binnenmarkt auf der Grundlage des Artikels 114 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV) gewährleistet wird. Soweit diese Verordnung konkrete Vorschriften zum Schutz von Einzelpersonen im Hinblick auf die Verarbeitung personenbezogener Daten enthält, mit denen die Verwendung von KI-Systemen zur biometrischen Fernidentifizierung zu Strafverfolgungszwecken, die Verwendung von KI-Systemen für die Risikobewertung natürlicher Personen zu Strafverfolgungszwecken und die Verwendung von KI-Systemen zur biometrischen Kategorisierung zu Strafverfolgungszwecken eingeschränkt wird, ist es angezeigt, diese Verordnung in Bezug auf diese konkreten Vorschriften auf Artikel 16 AEUV zu stützen. Angesichts dieser konkreten Vorschriften und des Rückgriffs auf Artikel 16 AEUV ist es angezeigt, den Europäischen Datenschutzausschuss zu konsultieren.
(4)
L’IA est une famille de technologies en évolution rapide, contribuant à un large éventail de bienfaits économiques, environnementaux et sociétaux touchant l’ensemble des secteurs économiques et des activités sociales. En fournissant de meilleures prédictions, en optimisant les processus et l’allocation des ressources et en personnalisant les solutions numériques disponibles pour les particuliers et les organisations, le recours à l’IA peut donner des avantages concurrentiels décisifs aux entreprises et produire des résultats bénéfiques pour la société et l’environnement, dans des domaines tels que les soins de santé, l’agriculture, la sécurité des aliments, l’éducation et la formation, les médias, le sport, la culture, la gestion des infrastructures, l’énergie, les transports et la logistique, les services publics, la sécurité, la justice, l’utilisation efficace des ressources et de l’énergie, la surveillance de l’environnement, la préservation et la restauration de la biodiversité et des écosystèmes ainsi que l’atténuation du changement climatique et l’adaptation à celui-ci.
(4)
KI bezeichnet eine Reihe von Technologien, die sich rasant entwickeln und zu vielfältigem Nutzen für Wirtschaft, Umwelt und Gesellschaft über das gesamte Spektrum industrieller und gesellschaftlicher Tätigkeiten hinweg beitragen. Durch die Verbesserung der Vorhersage, die Optimierung der Abläufe, Ressourcenzuweisung und die Personalisierung digitaler Lösungen, die Einzelpersonen und Organisationen zur Verfügung stehen, kann die Verwendung von KI Unternehmen wesentliche Wettbewerbsvorteile verschaffen und zu guten Ergebnissen für Gesellschaft und Umwelt führen, beispielsweise in den Bereichen Gesundheitsversorgung, Landwirtschaft, Lebensmittelsicherheit, allgemeine und berufliche Bildung, Medien, Sport, Kultur, Infrastrukturmanagement, Energie, Verkehr und Logistik, öffentliche Dienstleistungen, Sicherheit, Justiz, Ressourcen- und Energieeffizienz, Umweltüberwachung, Bewahrung und Wiederherstellung der Biodiversität und der Ökosysteme sowie Klimaschutz und Anpassung an den Klimawandel.
(5)
Cependant, en fonction des circonstances concernant son application et son utilisation et du niveau de développement technologique, l’IA peut générer des risques et porter atteinte aux intérêts publics et aux droits fondamentaux protégés par le droit de l’Union. Le préjudice causé peut être matériel ou immatériel, y compris physique, psychologique, sociétal ou économique.
(5)
Gleichzeitig kann KI je nach den Umständen ihrer konkreten Anwendung und Nutzung sowie der technologischen Entwicklungsstufe Risiken mit sich bringen und öffentliche Interessen und grundlegende Rechte schädigen, die durch das Unionsrecht geschützt sind. Ein solcher Schaden kann materieller oder immaterieller Art sein, einschließlich physischer, psychischer, gesellschaftlicher oder wirtschaftlicher Schäden.
(6)
Compte tenu de l’incidence majeure que l’IA peut avoir sur nos sociétés et de la nécessité de bâtir la confiance, l’IA et son cadre réglementaire doivent impérativement être élaborés dans le respect des valeurs de l’Union consacrées à l’article 2 du traité sur l’Union européenne, des droits et libertés fondamentaux prévus par les traités, et, conformément à l’article 6 du traité sur l’Union européenne, de la Charte. Il est indispensable que l’IA soit une technologie axée sur l’humain. Elle devrait servir d’outil aux personnes, dans le but ultime d’accroître le bien-être des humains.
(6)
Angesichts der großen Auswirkungen, die KI auf die Gesellschaft haben kann, und der Notwendigkeit, Vertrauen aufzubauen, ist es von entscheidender Bedeutung, dass KI und ihr Regulierungsrahmen im Einklang mit den in Artikel 2 des Vertrags über die Europäische Union (EUV) verankerten Werten der Union, den in den Verträgen und, nach Artikel 6 EUV, der Charta verankerten Grundrechten und -freiheiten entwickelt werden. Voraussetzung sollte sein, dass KI eine menschenzentrierte Technologie ist. Sie sollte den Menschen als Instrument dienen und letztendlich das menschliche Wohlergehen verbessern.
(7)
Afin d’assurer un niveau cohérent et élevé de protection des intérêts publics en ce qui concerne la santé, la sécurité et les droits fondamentaux, il convient d’établir des règles communes pour les systèmes d’IA à haut risque. Ces règles devraient être conformes à la Charte, non discriminatoires et compatibles avec les engagements commerciaux internationaux de l’Union. Elles devraient également tenir compte de la déclaration européenne sur les droits et principes numériques pour la décennie numérique et des lignes directrices en matière d’éthique pour une IA digne de confiance rédigées par le groupe d’experts de haut niveau sur l’intelligence artificielle (ci-après dénommé «GEHN IA»).
(7)
Um ein einheitliches und hohes Schutzniveau in Bezug auf öffentliche Interessen im Hinblick auf Gesundheit, Sicherheit und Grundrechte zu gewährleisten, sollten für alle Hochrisiko-KI-Systeme gemeinsame Vorschriften festgelegt werden. Diese Vorschriften sollten mit der Charta im Einklang stehen, nichtdiskriminierend sein und mit den internationalen Handelsverpflichtungen der Union vereinbar sein. Sie sollten auch die Europäische Erklärung zu den digitalen Rechten und Grundsätzen für die digitale Dekade und die Ethikleitlinien für vertrauenswürdige KI der hochrangigen Expertengruppe für künstliche Intelligenz berücksichtigen.
(8)
Un cadre juridique de l’Union établissant des règles harmonisées sur l’IA est donc nécessaire pour favoriser le développement, l’utilisation et l’adoption de l’IA dans le marché intérieur, tout en garantissant un niveau élevé de protection des intérêts publics, comme la santé et la sécurité, et de protection des droits fondamentaux, y compris la démocratie, l’état de droit et la protection de l’environnement, tels qu’ils sont reconnus et protégés par le droit de l’Union. Pour atteindre cet objectif, des règles régissant la mise sur le marché, la mise en service et l’utilisation de certains systèmes d’IA devraient être établies, garantissant ainsi le bon fonctionnement du marché intérieur et permettant à ces systèmes de bénéficier du principe de libre circulation des marchandises et des services. Ces règles devraient être claires et solides pour protéger les droits fondamentaux, soutenir de nouvelles solutions innovantes, permettre la mise en place d’un écosystème européen d’acteurs publics et privés créant des systèmes d’IA conformes aux valeurs de l’Union, et libérer le potentiel de la transformation numérique dans l’ensemble des régions de l’Union. En établissant ces règles, ainsi que des mesures en faveur de l’innovation mettant un accent particulier sur les petites et moyennes entreprises (PME), parmi lesquelles les jeunes pousses, le présent règlement contribue à la réalisation de l’objectif qui consiste à promouvoir l’approche européenne de l’IA axée sur l’humain et faire de l’UE un acteur mondial de premier plan dans le développement d’une IA sûre, fiable et éthique, ainsi que l’avait formulé le Conseil européen (5), et il garantit la protection de principes éthiques expressément demandée par le Parlement européen (6).
(8)
Daher ist ein Rechtsrahmen der Union mit harmonisierten Vorschriften für KI erforderlich, um die Entwicklung, Verwendung und Verbreitung von KI im Binnenmarkt zu fördern und gleichzeitig ein hohes Schutzniveau in Bezug auf öffentliche Interessen wie etwa Gesundheit und Sicherheit und den Schutz der durch das Unionsrecht anerkannten und geschützten Grundrechte, einschließlich der Demokratie, der Rechtsstaatlichkeit und des Umweltschutzes, zu gewährleisten. Zur Umsetzung dieses Ziels sollten Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung bestimmter KI-Systeme festgelegt werden, um das reibungslose Funktionieren des Binnenmarkts zu gewährleisten, sodass diesen Systemen der Grundsatz des freien Waren- und Dienstleistungsverkehrs zugutekommen kann. Diese Regeln sollten klar und robust sein, um die Grundrechte zu schützen, neue innovative Lösungen zu unterstützen und ein europäisches Ökosystem öffentlicher und privater Akteure zu ermöglichen, die KI-Systeme im Einklang mit den Werten der Union entwickeln, und um das Potenzial des digitalen Wandels in allen Regionen der Union zu erschließen. Durch die Festlegung dieser Vorschriften sowie durch Maßnahmen zur Unterstützung der Innovation mit besonderem Augenmerk auf kleinen und mittleren Unternehmen (KMU), einschließlich Start-up-Unternehmen, unterstützt diese Verordnung das vom Europäischen Rat formulierte Ziel, das europäische menschenzentrierte KI-Konzept zu fördern und bei der Entwicklung einer sicheren, vertrauenswürdigen und ethisch vertretbaren KI weltweit eine Führungsrolle einzunehmen (5), und sorgt für den vom Europäischen Parlament ausdrücklich geforderten Schutz von Ethikgrundsätzen (6).
(9)
Des règles harmonisées applicables à la mise sur le marché, à la mise en service et à l’utilisation de systèmes d’IA à haut risque devraient être établies conformément au règlement (CE) no 765/2008 du Parlement européen et du Conseil (7), à la décision no 768/2008/CE du Parlement européen et du Conseil (8) et au règlement (UE) 2019/1020 du Parlement européen et du Conseil (9) (ci-après dénommé «nouveau cadre législatif»). Les règles harmonisées énoncées dans le présent règlement devraient s’appliquer dans tous les secteurs et, conformément au nouveau cadre législatif, être sans préjudice du droit de l’Union en vigueur, en particulier en ce qui concerne la protection des données, la protection des consommateurs, les droits fondamentaux, l’emploi et la protection des travailleurs, et la sécurité des produits, que le présent règlement vient compléter. En conséquence, tous les droits et recours prévus par ce droit de l’Union pour les consommateurs et les autres personnes sur lesquelles les systèmes d’IA sont susceptibles d’avoir des incidences négatives, y compris en ce qui concerne la réparation de dommages éventuels conformément à la directive 85/374/CEE du Conseil (10), demeurent inchangés et pleinement applicables. En outre, dans le contexte de l’emploi et de la protection des travailleurs, le présent règlement ne devrait donc pas avoir d’incidence sur le droit de l’Union en matière de politique sociale ni sur le droit national du travail, dans le respect du droit de l’Union, en ce qui concerne les conditions d’emploi et de travail, y compris la santé et la sécurité au travail et les relations entre employeurs et travailleurs. Par ailleurs, le présent règlement ne devrait pas porter atteinte à l’exercice des droits fondamentaux reconnus dans les États membres et au niveau de l’Union, notamment le droit ou la liberté de faire grève ou d’entreprendre d’autres actions prévues par les mécanismes de concertation sociale propres aux États membres, ainsi que le droit de négocier, de conclure et d’appliquer des conventions collectives ou de mener des actions collectives conformément au droit national. Le présent règlement ne devrait pas avoir d’incidence sur les dispositions visant à améliorer les conditions de travail dans le cadre du travail via une plateforme, établies dans la directive du Parlement européen et du Conseil relative à l’amélioration des conditions de travail dans le cadre du travail via une plateforme. De plus, le présent règlement vise à renforcer l’efficacité de ces droits et recours existants en établissant des exigences et des obligations spécifiques, y compris en ce qui concerne la transparence, la documentation technique et la tenue de registres des systèmes d’IA. Par ailleurs, les obligations imposées aux différents opérateurs intervenant dans la chaîne de valeur de l’IA en vertu du présent règlement devraient s’appliquer sans préjudice du droit national, dans le respect du droit de l’Union, ayant pour effet de limiter l’utilisation de certains systèmes d’IA lorsque ces législations ne relèvent pas du champ d’application du présent règlement ou poursuivent des objectifs légitimes d’intérêt public autres que ceux poursuivis par le présent règlement. Ainsi, le droit national du travail et les lois sur la protection des mineurs, à savoir des personnes âgées de moins de 18 ans, compte tenu de l’observation générale no 25 (2021) de la CNUDE sur les droits de l’enfant en relation avec l’environnement numérique, dans la mesure où ils ne sont pas spécifiques aux systèmes d’IA et poursuivent d’autres objectifs légitimes d’intérêt public, ne devraient pas être affectés par le présent règlement.
(9)
Es sollten harmonisierte Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Hochrisiko-KI-Systemen im Einklang mit der Verordnung (EG) Nr. 765/2008 des Europäischen Parlaments und des Rates (7), dem Beschluss Nr. 768/2008/EG des Europäischen Parlaments und des Rates (8) und der Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates (9) („neuer Rechtsrahmen“) festgelegt werden. Die in dieser Verordnung festgelegten harmonisierten Vorschriften sollten in allen Sektoren gelten und sollten im Einklang mit dem neuen Rechtsrahmen bestehendes Unionsrecht, das durch diese Verordnung ergänzt wird, unberührt lassen, insbesondere in den Bereichen Datenschutz, Verbraucherschutz, Grundrechte, Beschäftigung, Arbeitnehmerschutz und Produktsicherheit. Daher bleiben alle Rechte und Rechtsbehelfe, die für Verbraucher und andere Personen, auf die sich KI-Systeme negativ auswirken können, gemäß diesem Unionsrecht vorgesehen sind, auch in Bezug auf einen möglichen Schadenersatz gemäß der Richtlinie 85/374/EWG des Rates (10) unberührt und in vollem Umfang anwendbar. Darüber hinaus und unter Einhaltung des Unionsrechts in Bezug auf Beschäftigungs- und Arbeitsbedingungen, einschließlich des Gesundheitsschutzes und der Sicherheit am Arbeitsplatz sowie der Beziehungen zwischen Arbeitgebern und Arbeitnehmern sollte diese Verordnung daher — was Beschäftigung und den Schutz von Arbeitnehmern angeht — das Unionsrecht im Bereich der Sozialpolitik und die nationalen Arbeitsrechtsvorschriften nicht berühren. Diese Verordnung sollte auch die Ausübung der in den Mitgliedstaaten und auf Unionsebene anerkannten Grundrechte, einschließlich des Rechts oder der Freiheit zum Streik oder zur Durchführung anderer Maßnahmen, die im Rahmen der spezifischen Systeme der Mitgliedstaaten im Bereich der Arbeitsbeziehungen vorgesehen sind, sowie das Recht, im Einklang mit nationalem Recht Kollektivvereinbarungen auszuhandeln, abzuschließen und durchzusetzen oder kollektive Maßnahmen zu ergreifen, nicht beeinträchtigen. Diese Verordnung sollte die in einer Richtlinie des Europäischen Parlaments und des Rates zur Verbesserung der Arbeitsbedingungen in der Plattformarbeit enthaltenen Bestimmungen nicht berühren. Darüber hinaus zielt diese Verordnung darauf ab, die Wirksamkeit dieser bestehenden Rechte und Rechtsbehelfe zu stärken, indem bestimmte Anforderungen und Pflichten, auch in Bezug auf die Transparenz, die technische Dokumentation und das Führen von Aufzeichnungen von KI-Systemen, festgelegt werden. Ferner sollten die in dieser Verordnung festgelegten Pflichten der verschiedenen Akteure, die an der KI-Wertschöpfungskette beteiligt sind, unbeschadet der nationalen Rechtsvorschriften unter Einhaltung des Unionsrechts angewandt werden, wodurch die Verwendung bestimmter KI-Systeme begrenzt wird, wenn diese Rechtsvorschriften nicht in den Anwendungsbereich dieser Verordnung fallen oder mit ihnen andere legitime Ziele des öffentlichen Interesses verfolgt werden als in dieser Verordnung. So sollten etwa die nationalen arbeitsrechtlichen Vorschriften und die Rechtsvorschriften zum Schutz Minderjähriger, nämlich Personen unter 18 Jahren, unter Berücksichtigung der Allgemeinen Bemerkung Nr. 25 (2021) des UNCRC über die Rechte der Kinder im digitalen Umfeld von dieser Verordnung unberührt bleiben, sofern sie nicht spezifisch KI-Systeme betreffen und mit ihnen andere legitime Ziele des öffentlichen Interesses verfolgt werden.
(10)
Le droit fondamental à la protection des données à caractère personnel est garanti en particulier par les règlements (UE) 2016/679 (11) et (UE) 2018/1725 (12) du Parlement européen et du Conseil, ainsi que par la directive (UE) 2016/680 du Parlement européen et du Conseil (13). Par ailleurs, la directive 2002/58/CE du Parlement européen et du Conseil (14) protège la vie privée et la confidentialité des communications, y compris en prévoyant des conditions régissant le stockage de données à caractère personnel et non personnel dans des équipements terminaux ainsi que les conditions d’accès à ces données depuis ces équipements. Ces actes législatifs de l’Union servent de base à un traitement pérenne et responsable des données, y compris lorsque les ensembles de données contiennent un mélange de données à caractère personnel et de données à caractère non personnel. Le présent règlement n’entend pas modifier l’application du droit de l’Union régissant le traitement des données à caractère personnel, ni les tâches et les pouvoirs des autorités de contrôle indépendantes chargées de veiller au respect de ces ins truments. Il n’a pas non plus d’incidence sur les obligations des fournisseurs et des déployeurs de systèmes d’IA en leur qualité de responsables du traitement ou de sous-traitants découlant du droit de l’Union ou du droit national relatif à la protection des données à caractère personnel dans la mesure où la conception, le développement ou l’utilisation de systèmes d’IA implique le traitement de données à caractère personnel. Il convient également de préciser que les personnes concernées continuent de jouir de tous les droits et garanties qui leur sont conférés par le droit de l’Union, dont les droits liés à la prise de décision individuelle entièrement automatisée, y compris le profilage. Des règles harmonisées concernant la mise sur le marché, la mise en service et l’utilisation des systèmes d’IA établies en vertu du présent règlement devraient faciliter la mise en œuvre effective des droits et autres voies de recours garantis par le droit de l’Union relatif à la protection des données à caractère personnel et d’autres droits fondamentaux, et permettre aux personnes concernées de faire valoir ces droits et autres voies de recours.
(10)
Das Grundrecht auf Schutz personenbezogener Daten wird insbesondere durch die Verordnungen (EU) 2016/679 (11) und (EU) 2018/1725 (12) des Europäischen Parlaments und des Rates und die Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates (13) gewahrt. Die Richtlinie 2002/58/EG des Europäischen Parlaments und des Rates (14) schützt darüber hinaus die Privatsphäre und die Vertraulichkeit der Kommunikation, auch durch Bedingungen für die Speicherung personenbezogener und nicht personenbezogener Daten auf Endgeräten und den Zugang dazu. Diese Rechtsakte der Union bieten die Grundlage für eine nachhaltige und verantwortungsvolle Datenverarbeitung, auch wenn Datensätze eine Mischung aus personenbezogenen und nicht-personenbezogenen Daten enthalten. Diese Verordnung soll die Anwendung des bestehenden Unionsrechts zur Verarbeitung personenbezogener Daten, einschließlich der Aufgaben und Befugnisse der unabhängigen Aufsichtsbehörden, die für die Überwachung der Einhaltung dieser Instrumente zuständig sind, nicht berühren. Sie lässt ferner die Pflichten der Anbieter und Betreiber von KI-Systemen in ihrer Rolle als Verantwortliche oder Auftragsverarbeiter, die sich aus dem Unionsrecht oder dem nationalen Recht über den Schutz personenbezogener Daten ergeben, unberührt, soweit die Konzeption, die Entwicklung oder die Verwendung von KI-Systemen die Verarbeitung personenbezogener Daten umfasst. Ferner sollte klargestellt werden, dass betroffene Personen weiterhin über alle Rechte und Garantien verfügen, die ihnen durch dieses Unionsrecht gewährt werden, einschließlich der Rechte im Zusammenhang mit der ausschließlich automatisierten Entscheidungsfindung im Einzelfall und dem Profiling. Harmonisierte Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen, die im Rahmen dieser Verordnung festgelegt werden, sollten die wirksame Durchführung erleichtern und die Ausübung der Rechte betroffener Personen und anderer Rechtsbehelfe, die im Unionsrecht über den Schutz personenbezogener Daten und anderer Grundrechte garantiert sind, ermöglichen.
(11)
Le présent règlement devrait être sans préjudice des dispositions relatives à la responsabilité des fournisseurs de services intermédiaires prévue dans le règlement (UE) 2022/2065 du Parlement européen et du Conseil (15).
(11)
Diese Verordnung sollte die Bestimmungen über die Verantwortlichkeit der Anbieter von Vermittlungsdiensten gemäß der Verordnung (EU) 2022/2065 des Europäischen Parlaments und des Rates (15) unberührt lassen.
(12)
La notion de «système d’IA» figurant dans le présent règlement devrait être clairement définie et devrait être étroitement alignée sur les travaux des organisations internationales œuvrant dans le domaine de l’IA afin de garantir la sécurité juridique, et de faciliter la convergence internationale et une large acceptation, tout en offrant la souplesse nécessaire pour tenir compte des évolutions technologiques rapides dans ce domaine. En outre, la définition devrait être fondée sur les caractéristiques essentielles des systèmes d’IA qui la distinguent des systèmes logiciels ou des approches de programmation traditionnels plus simples, et ne devrait pas couvrir les systèmes fondés sur les règles définies uniquement par les personnes physiques pour exécuter automatiquement des opérations. Une caractéristique essentielle des systèmes d’IA est leur capacité d’inférence. Cette capacité d’inférence concerne le processus consistant à générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions, qui peuvent influencer l’environnement physique ou virtuel, et la capacité des systèmes d’IA à inférer des modèles ou des algorithmes, ou les deux, à partir d’entrées ou de données. Les techniques permettant l’inférence lors de la construction d’un système d’IA comprennent des approches d’apprentissage automatique qui apprennent à partir des données la manière d’atteindre certains objectifs, et des approches fondées sur la logique et les connaissances qui font des inférences à partir des connaissances encodées ou de la représentation symbolique de la tâche à résoudre. La capacité d’un système d’IA à faire des inférences va au-delà du traitement de données de base en ce qu’elle permet l’apprentissage, le raisonnement ou la modélisation. Le terme «fondé sur des machines» renvoie au fait que les systèmes d’IA tournent sur des machines. La référence à des objectifs explicites ou implicites souligne que les systèmes d’IA peuvent fonctionner selon des objectifs explicites définis ou des objectifs implicites. Les objectifs du système d’IA peuvent être différents de la destination du système d’IA dans un contexte spécifique. Aux fins du présent règlement, les environnements devraient s’entendre comme étant les contextes dans lesquels les systèmes d’IA fonctionnent, tandis que les sorties générées par le système d’IA correspondent à différentes fonctions exécutées par les systèmes d’IA et consistent en des prévisions, du contenu, des recommandations ou des décisions. Les systèmes d’IA sont conçus pour fonctionner à différents niveaux d’autonomie, ce qui signifie qu’ils bénéficient d’un certain degré d’indépendance dans leur action par rapport à une ingérence humaine et de capacités à fonctionner sans intervention humaine. La faculté d’adaptation dont un système d’IA pourrait faire preuve après son déploiement est liée à des capacités d’auto-apprentissage, qui permettent au système d’évoluer en cours d’utilisation. Les systèmes d’IA peuvent être utilisés seuls ou en tant que composant d’un produit, que le système soit physiquement incorporé dans le produit (intégré) ou qu’il serve la fonctionnalité du produit sans y être incorporé (non intégré).
(12)
Der Begriff „KI-System“ in dieser Verordnung sollte klar definiert und eng mit der Tätigkeit internationaler Organisationen abgestimmt werden, die sich mit KI befassen, um Rechtssicherheit, mehr internationale Konvergenz und hohe Akzeptanz sicherzustellen und gleichzeitig Flexibilität zu bieten, um den raschen technologischen Entwicklungen in diesem Bereich Rechnung zu tragen. Darüber hinaus sollte die Begriffsbestimmung auf den wesentlichen Merkmalen der KI beruhen, die sie von einfacheren herkömmlichen Softwaresystemen und Programmierungsansätzen abgrenzen, und sollte sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen. Ein wesentliches Merkmal von KI-Systemen ist ihre Fähigkeit, abzuleiten. Diese Fähigkeit bezieht sich auf den Prozess der Erzeugung von Ausgaben, wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, die physische und digitale Umgebungen beeinflussen können, sowie auf die Fähigkeit von KI-Systemen, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten. Zu den Techniken, die während der Gestaltung eines KI-Systems das Ableiten ermöglichen, gehören Ansätze für maschinelles Lernen, wobei aus Daten gelernt wird, wie bestimmte Ziele erreicht werden können, sowie logik- und wissensgestützte Konzepte, wobei aus kodierten Informationen oder symbolischen Darstellungen der zu lösenden Aufgabe abgeleitet wird. Die Fähigkeit eines KI-Systems, abzuleiten, geht über die einfache Datenverarbeitung hinaus, indem Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht werden. Die Bezeichnung „maschinenbasiert“ bezieht sich auf die Tatsache, dass KI-Systeme von Maschinen betrieben werden. Durch die Bezugnahme auf explizite oder implizite Ziele wird betont, dass KI-Systeme gemäß explizit festgelegten Zielen oder gemäß impliziten Zielen arbeiten können. Die Ziele des KI-Systems können sich — unter bestimmten Umständen — von der Zweckbestimmung des KI-Systems unterscheiden. Für die Zwecke dieser Verordnung sollten Umgebungen als Kontexte verstanden werden, in denen KI-Systeme betrieben werden, während die von einem KI-System erzeugten Ausgaben verschiedene Funktionen von KI-Systemen widerspiegeln, darunter Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen. KI-Systeme sind mit verschiedenen Graden der Autonomie ausgestattet, was bedeutet, dass sie bis zu einem gewissen Grad unabhängig von menschlichem Zutun agieren und in der Lage sind, ohne menschliches Eingreifen zu arbeiten. Die Anpassungsfähigkeit, die ein KI-System nach Inbetriebnahme aufweisen könnte, bezieht sich auf seine Lernfähigkeit, durch sie es sich während seiner Verwendung verändern kann. KI-Systeme können eigenständig oder als Bestandteil eines Produkts verwendet werden, unabhängig davon, ob das System physisch in das Produkt integriert (eingebettet) ist oder der Funktion des Produkts dient, ohne darin integriert zu sein (nicht eingebettet).
(13)
Il convient d’interpréter la notion de «déployeur» visée dans le présent règlement comme désignant toute personne physique ou morale, y compris une autorité publique, une agence ou un autre organisme, utilisant sous sa propre autorité un système d’IA, sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel. En fonction du type de système d’IA, l’utilisation du système peut concerner des personnes autres que le déployeur.
(13)
Der in dieser Verordnung verwendete Begriff „Betreiber“ sollte als eine natürliche oder juristische Person, einschließlich Behörden, Einrichtungen oder sonstiger Stellen, die ein KI-System unter ihrer Befugnis verwenden, verstanden werden, es sei denn das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet. Je nach Art des KI-Systems kann sich dessen Verwendung auf andere Personen als den Betreiber auswirken.
(14)
Il convient d’interpréter la notion de «données biométriques» utilisée dans le présent règlement à la lumière de la notion de données biométriques au sens de l’article 4, point 14), du règlement (UE) 2016/679, de l’article 3, point 18), du règlement (UE) 2018/1725, et de l’article 3, point 13), de la directive (UE) 2016/680. Des données biométriques peuvent permettre l’authentification, l’identification ou la catégorisation des personnes physiques, ainsi que la reconnaissance de leurs émotions.
(14)
Der in dieser Verordnung verwendete Begriff „biometrische Daten“ sollte im Sinne des Begriffs „biometrische Daten“ nach Artikel 4 Nummer 14 der Verordnung (EU) 2016/679, Artikel 3 Nummer 18 der Verordnung (EU) 2018/1725 und Artikel 3 Nummer 13 der Richtlinie (EU) 2016/680 ausgelegt werden. Biometrische Daten können die Authentifizierung, Identifizierung oder Kategorisierung natürlicher Personen und die Erkennung von Emotionen natürlicher Personen ermöglichen.
(15)
La notion d’«identification biométrique» visée dans le présent règlement devrait être définie comme la reconnaissance automatisée de caractéristiques physiques, physiologiques et comportementales d’une personne, telles que le visage, les mouvements oculaires, la forme du corps, la voix, la prosodie, la démarche, la posture, le rythme cardiaque, la pression sanguine, l’odeur et la frappe au clavier, aux fins d’établir l’identité d’une personne par comparaison des données biométriques de cette personne avec les données biométriques de personnes stockées dans une base de données de référence, que la personne ait donné son approbation ou non. En sont exclus les systèmes d’IA destinés à être utilisés à des fins de vérification biométrique, ce qui inclut l’authentification, dont la seule finalité est de confirmer qu’une personne physique donnée est bien celle qu’elle prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un dispositif ou de disposer d’un accès sécurisé à des locaux.
(15)
Der Begriff „biometrische Identifizierung“ sollte gemäß dieser Verordnung als automatische Erkennung physischer, physiologischer und verhaltensbezogener menschlicher Merkmale wie Gesicht, Augenbewegungen, Körperform, Stimme, Prosodie, Gang, Haltung, Herzfrequenz, Blutdruck, Geruch, charakteristischer Tastenanschlag zum Zweck der Überprüfung der Identität einer Person durch Abgleich der biometrischen Daten der entsprechenden Person mit den in einer Datenbank gespeicherten biometrischen Daten definiert werden, unabhängig davon, ob die Einzelperson ihre Zustimmung dazu gegeben hat oder nicht. Dies umfasst keine KI-Systeme, die bestimmungsgemäß für die biometrische Verifizierung, wozu die Authentifizierung gehört, verwendet werden sollen, deren einziger Zweck darin besteht, zu bestätigen, dass eine bestimmte natürliche Person die Person ist, für die sie sich ausgibt, sowie zur Bestätigung der Identität einer natürlichen Person zu dem alleinigen Zweck Zugang zu einem Dienst zu erhalten, ein Gerät zu entriegeln oder Sicherheitszugang zu Räumlichkeiten zu erhalten.
(16)
La notion de «catégorisation biométrique» visée dans le présent règlement devrait être définie comme le classement de personnes physiques dans certaines catégories sur la base de leurs données biométriques. Ces catégories spécifiques peuvent concerner des aspects tels que le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, les traits liés au comportement ou à la personnalité, la langue, la religion, l’appartenance à une minorité nationale ou encore l’orientation sexuelle ou politique. Cela n’inclut pas les systèmes de catégorisation biométrique qui sont une caractéristique purement accessoire intrinsèquement liée à un autre service commercial, ce qui signifie que cette caractéristique ne peut, pour des raisons techniques objectives, être utilisée sans le service principal, et l’intégration de cette caractéristique ou fonctionnalité n’est pas un moyen de contourner l’applicabilité des règles du présent règlement. Ainsi, les filtres de catégorisation des caractéristiques faciales ou corporelles qui sont utilisés sur les places de marché en ligne pourraient correspondre à ce type de caractéristique accessoire, étant donné qu’ils ne peuvent être utilisés qu’en lien avec le service principal, qui consiste à vendre un produit en permettant au consommateur d’afficher un aperçu du produit porté par lui-même et de l’aider à prendre une décision d’achat. Les filtres utilisés sur les services de réseaux sociaux en ligne qui classent par catégorie les caractéristiques faciales ou corporelles afin de permettre aux utilisateurs d’ajouter ou de modifier des images ou des vidéos pourraient également être considérés comme des fonctionnalités accessoires, étant donné que ce type de filtre ne peut pas être utilisé sans le service principal des services de réseau social consistant à partager des contenus en ligne.
(16)
Der Begriff „biometrischen Kategorisierung“ sollte im Sinne dieser Verordnung die Zuordnung natürlicher Personen auf der Grundlage ihrer biometrischen Daten zu bestimmten Kategorien bezeichnen. Diese bestimmten Kategorien können Aspekte wie Geschlecht, Alter, Haarfarbe, Augenfarbe, Tätowierungen, Verhaltens- oder Persönlichkeitsmerkmale, Sprache, Religion, Zugehörigkeit zu einer nationalen Minderheit, sexuelle oder politische Ausrichtung betreffen. Dies gilt nicht für Systeme zur biometrischen Kategorisierung, bei denen es sich um eine reine Nebenfunktion handelt, die untrennbar mit einem anderen kommerziellen Dienst verbunden ist, d. h. die Funktion kann aus objektiven technischen Gründen nicht ohne den Hauptdienst verwendet werden und die Integration dieses Merkmals oder dieser Funktion dient nicht dazu, die Anwendbarkeit der Vorschriften dieser Verordnung zu umgehen. Beispielsweise könnten Filter zur Kategorisierung von Gesichts- oder Körpermerkmalen, die auf Online-Marktplätzen verwendet werden, eine solche Nebenfunktion darstellen, da sie nur im Zusammenhang mit der Hauptdienstleistung verwendet werden können, die darin besteht, ein Produkt zu verkaufen, indem es dem Verbraucher ermöglicht wird, zu sehen, wie das Produkt an seiner Person aussieht, und ihm so zu helfen, eine Kaufentscheidung zu treffen. Filter, die in sozialen Netzwerken eingesetzt werden und Gesichts- oder Körpermerkmale kategorisieren, um es den Nutzern zu ermöglichen, Bilder oder Videos hinzuzufügen oder zu verändern, können ebenfalls als Nebenfunktion betrachtet werden, da ein solcher Filter nicht ohne die Hauptdienstleistung sozialer Netzwerke verwendet werden kann, die in der Weitergabe von Online-Inhalten besteht.
(17)
La notion de «système d’identification biométrique à distance» visée dans le présent règlement devrait être définie, sur le plan fonctionnel, comme un système d’IA destiné à identifier des personnes physiques sans leur participation active, en règle générale à distance, par la comparaison des données biométriques d’une personne avec celles contenues dans une base de données de référence, quels que soient la technologie, les processus ou les types de données biométriques particuliers utilisés. Ces systèmes d’identification biométrique à distance sont généralement utilisés pour la perception simultanée de plusieurs personnes ou de leur comportement afin de faciliter sensiblement l’identification de personnes physiques sans leur participation active. Sont exclus les systèmes d’IA destinés à être utilisés à des fins de vérification biométrique, ce qui inclut l’authentification, dont la seule finalité est de confirmer qu’une personne physique donnée est bien celle qu’elle prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un dispositif ou de disposer d’un accès sécurisé à des locaux. Cette exclusion est justifiée par le fait que ces systèmes sont susceptibles d’avoir une incidence mineure sur les droits fondamentaux des personnes physiques par rapport aux systèmes d’identification biométrique à distance qui peuvent être utilisés pour le traitement des données biométriques d’un grand nombre de personnes sans leur participation active. Dans le cas des systèmes «en temps réel», la capture des données biométriques, la comparaison et l’identification se font toutes instantanément, quasi instantanément ou en tout état de cause sans décalage significatif. À cet égard, il convient, en prévoyant la possibilité de légers décalages, d’empêcher le contournement des règles du présent règlement relatives à l’utilisation «en temps réel» des systèmes d’IA concernés. Les systèmes «en temps réel» reposent sur l’utilisation d’éléments «en direct» ou «en léger différé», comme des séquences vidéo, générés par une caméra ou un autre appareil doté de fonctionnalités similaires. Dans le cas des systèmes «a posteriori», en revanche, les données biométriques sont prélevées dans un premier temps et la comparaison et l’identification n’ont lieu qu’après un délai substantiel. Cela suppose des éléments tels que des images ou des séquences vidéo, qui ont été générés par des caméras de télévision en circuit fermé ou des appareils privés avant l’utilisation du système à l’égard des personnes physiques concernées.
(17)
Der in dieser Verordnung verwendete Begriff „biometrisches Fernidentifizierungssystem“ sollte funktional definiert werden als KI-System, das dem Zweck dient, natürliche Personen ohne ihre aktive Einbeziehung in der Regel aus der Ferne durch Abgleich der biometrischen Daten einer Person mit den in einer Referenzdatenbank gespeicherten biometrischen Daten zu identifizieren, unabhängig davon, welche Technologie, Verfahren oder Arten biometrischer Daten dazu verwendet werden. Diese biometrischen Fernidentifizierungssysteme werden in der Regel zur zeitgleichen Erkennung mehrerer Personen oder ihrer Verhaltensweisen verwendet, um die Identifizierung natürlicher Personen ohne ihre aktive Einbeziehung erheblich zu erleichtern. Dies umfasst keine KI-Systeme, die bestimmungsgemäß für die biometrische Verifizierung, wozu die Authentifizierung gehört, verwendet werden sollen, deren einziger Zweck darin besteht, zu bestätigen, dass eine bestimmte natürliche Person die Person ist, für die sie sich ausgibt, sowie zur Bestätigung der Identität einer natürlichen Person zu dem alleinigen Zweck Zugang zu einem Dienst zu erhalten, ein Gerät zu entriegeln oder Sicherheitszugang zu Räumlichkeiten zu erhalten. Diese Ausnahme wird damit begründet, dass diese Systeme im Vergleich zu biometrischen Fernidentifizierungssystemen, die zur Verarbeitung biometrischer Daten einer großen Anzahl von Personen ohne ihre aktive Einbeziehung verwendet werden können, geringfügige Auswirkungen auf die Grundrechte natürlicher Personen haben dürften. Bei „Echtzeit-Systemen“ erfolgen die Erfassung der biometrischen Daten, der Abgleich und die Identifizierung zeitgleich, nahezu zeitgleich oder auf jeden Fall ohne erhebliche Verzögerung. In diesem Zusammenhang sollte es keinen Spielraum für eine Umgehung der Bestimmungen dieser Verordnung über die „Echtzeit-Nutzung“ der betreffenden KI-Systeme geben, indem kleinere Verzögerungen vorgesehen werden. „Echtzeit-Systeme“ umfassen die Verwendung von „Live-Material“ oder „Near-live-Material“ wie etwa Videoaufnahmen, die von einer Kamera oder einem anderen Gerät mit ähnlicher Funktion erzeugt werden. Bei Systemen zur nachträglichen Identifizierung hingegen wurden die biometrischen Daten schon zuvor erfasst und der Abgleich und die Identifizierung erfolgen erst mit erheblicher Verzögerung. Dabei handelt es sich um Material wie etwa Bild- oder Videoaufnahmen, die von Video-Überwachungssystemen oder privaten Geräten vor der Anwendung des Systems auf die betroffenen natürlichen Personen erzeugt wurden.
(18)
La notion de «système de reconnaissance des émotions» visée dans le présent règlement devrait être définie comme un système d’IA servant à identifier les émotions ou les intentions de personnes physiques ou à faire des déductions quant à leurs émotions ou intentions, sur la base de leurs données biométriques. Cette notion renvoie à des émotions ou des intentions telles que le bonheur, la tristesse, la colère, la surprise, le dégoût, la gêne, l’excitation, la honte, le mépris, la satisfaction et l’amusement. Cette notion ne recouvre pas les états physiques, tels que la douleur ou la fatigue, qui comprennent, par exemple, des systèmes utilisés pour déceler l’état de fatigue des pilotes ou des conducteurs professionnels aux fins de la prévention des accidents. Elle ne recouvre pas non plus la simple détection d’expressions, de gestes ou de mouvements dont l’apparence est immédiate, à moins que ceux-ci ne soient utilisés pour identifier ou déduire des émotions. Ces expressions peuvent être des expressions faciales toutes simples telles qu’un froncement de sourcils ou un sourire, ou des gestes tels qu’un mouvement de mains, de bras ou de tête, ou encore des caractéristiques de la voix d’une personne, comme le fait de parler fort ou de chuchoter.
(18)
Der in dieser Verordnung verwendete Begriff „Emotionserkennungssystem“ sollte als ein KI-System definiert werden, das dem Zweck dient, Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten festzustellen oder daraus abzuleiten. In diesem Begriff geht es um Emotionen oder Absichten wie Glück, Trauer, Wut, Überraschung, Ekel, Verlegenheit, Aufregung, Scham, Verachtung, Zufriedenheit und Vergnügen. Dies umfasst nicht physische Zustände wie Schmerz oder Ermüdung, einschließlich beispielsweise Systeme, die zur Erkennung des Zustands der Ermüdung von Berufspiloten oder -fahrern eigesetzt werden, um Unfälle zu verhindern. Es geht dabei auch nicht um die bloße Erkennung offensichtlicher Ausdrucksformen, Gesten und Bewegungen, es sei denn, sie werden zum Erkennen oder Ableiten von Emotionen verwendet. Bei diesen Ausdrucksformen kann es sich um einfache Gesichtsausdrücke wie ein Stirnrunzeln oder ein Lächeln oder um Gesten wie Hand-, Arm- oder Kopfbewegungen oder um die Stimmmerkmale einer Person handeln, wie eine erhobene Stimme oder ein Flüstern.
(19)
Aux fins du présent règlement, la notion d’«espace accessible au public» devrait s’entendre comme désignant tout espace physique accessible à un nombre indéterminé de personnes physiques, que l’espace en question soit privé ou public, et indépendamment de l’activité pour laquelle il peut être utilisé, comme pour le commerce, par exemple, magasins, restaurants ou cafés, pour la prestation de services, par exemple, banques, activités professionnelles ou hôtellerie, pour la pratique de sports, par exemple, piscines, salles de sport ou stades, pour les transports, par exemple, gares routières, stations de métro et gares ferroviaires, aéroports ou moyens de transport, pour les divertissements, par exemple, cinémas, théâtres, musées, salles de concert et de conférence, ou pour les loisirs ou autres, par exemple, routes et places publiques, parcs, forêts ou terrains de jeux. Un espace devrait également être classé comme accessible au public si, indépendamment de la capacité potentielle ou des restrictions de sécurité, l’accès est soumis à certaines conditions prédéterminées qui peuvent être remplies par un nombre indéterminé de personnes, telles que l’achat d’un billet ou d’un titre de transport, l’enregistrement préalable ou le fait d’avoir un certain âge. En revanche, un espace ne devrait pas être considéré comme étant accessible au public si l’accès est limité à certaines personnes physiques, définies soit par le droit de l’Union soit par le droit national directement lié à la sûreté ou à la sécurité publiques, ou par la manifestation claire de la volonté de la personne disposant de l’autorité compétente sur l’espace. Le seul fait d’avoir une possibilité d’accès, comme une porte déverrouillée ou une porte ouverte dans une clôture, n’implique pas que l’espace est accessible au public en présence d’indications ou de circonstances suggérant le contraire, comme des signes d’interdiction ou de restriction d’accès. Les locaux des entreprises et des usines, ainsi que les bureaux et les lieux de travail qui sont destinés à être accessibles uniquement aux employés et prestataires de services concernés ne sont pas des espaces accessibles au public. Les espaces accessibles au public ne devraient pas inclure les prisons ni le contrôle aux frontières. D’autres espaces peuvent comprendre à la fois des espaces accessibles au public et des espaces non accessibles au public, comme le hall d’un bâtiment d’habitation privé par lequel il faut passer pour accéder au bureau d’un médecin ou le hall d’un aéroport. Les espaces en ligne ne sont pas couverts, car ce ne sont pas des espaces physiques. Le caractère accessible ou non au public d’un espace donné devrait cependant être déterminé au cas par cas, en tenant compte des particularités de la situation en question.
(19)
Für die Zwecke dieser Verordnung sollte der Begriff „öffentlich zugänglicher Raum“ so verstanden werden, dass er sich auf einen einer unbestimmten Anzahl natürlicher Personen zugänglichen physischen Ort bezieht, unabhängig davon, ob er sich in privatem oder öffentlichem Eigentum befindet, unabhängig von den Tätigkeiten, für die der Ort verwendet werden kann; dazu zählen Bereiche wie etwa für Gewerbe, etwa Geschäfte, Restaurants, Cafés, für Dienstleistungen, etwa Banken, berufliche Tätigkeiten, Gastgewerbe, für Sport, etwa Schwimmbäder, Fitnessstudios, Stadien, für Verkehr, etwa Bus- und U-Bahn-Haltestellen, Bahnhöfe, Flughäfen, Transportmittel, für Unterhaltung, etwa Kinos, Theater, Museen, Konzert- und Konferenzsäle oder für Freizeit oder Sonstiges, etwa öffentliche Straßen und Plätze, Parks, Wälder, Spielplätze. Ein Ort sollte auch als öffentlich zugänglich eingestuft werden, wenn der Zugang, unabhängig von möglichen Kapazitäts- oder Sicherheitsbeschränkungen, bestimmten im Voraus festgelegten Bedingungen unterliegt, die von einer unbestimmten Anzahl von Personen erfüllt werden können, etwa durch den Kauf eines Fahrscheins, die vorherige Registrierung oder die Erfüllung eines Mindestalters. Dahingegen sollte ein Ort nicht als öffentlich zugänglich gelten, wenn der Zugang auf natürliche Personen beschränkt ist, die entweder im Unionsrecht oder im nationalen Recht, das direkt mit der öffentlichen Sicherheit zusammenhängt, oder im Rahmen einer eindeutigen Willenserklärung der Person, die die entsprechende Befugnis über den Ort ausübt, bestimmt und festgelegt werden. Die tatsächliche Zugangsmöglichkeit allein, etwa eine unversperrte Tür oder ein offenes Zauntor, bedeutet nicht, dass der Ort öffentlich zugänglich ist, wenn aufgrund von Hinweisen oder Umständen das Gegenteil nahegelegt wird (etwa Schilder, die den Zugang verbieten oder einschränken). Unternehmens- und Fabrikgelände sowie Büros und Arbeitsplätze, die nur für die betreffenden Mitarbeiter und Dienstleister zugänglich sein sollen, sind Orte, die nicht öffentlich zugänglich sind. Justizvollzugsanstalten und Grenzkontrollbereiche sollten nicht zu den öffentlich zugänglichen Orten zählen. Einige andere Gebiete können sowohl öffentlich zugängliche als auch nicht öffentlich zugängliche Orte umfassen, etwa die Gänge eines privaten Wohngebäudes, deren Zugang erforderlich ist, um zu einer Arztpraxis zu gelangen, oder Flughäfen. Online-Räume werden nicht erfasst, da es sich nicht um physische Räume handelt. Ob ein bestimmter Raum öffentlich zugänglich ist, sollte jedoch von Fall zu Fall unter Berücksichtigung der Besonderheiten der jeweiligen individuellen Situation entschieden werden.
(20)
Afin de tirer le meilleur parti des systèmes d’IA tout en protégeant les droits fondamentaux, la santé et la sécurité et de permettre un contrôle démocratique, il convient que les fournisseurs, les déployeurs et les personnes concernées acquièrent, dans le cadre de la maîtrise de l’IA, les notions nécessaires pour prendre des décisions éclairées concernant les systèmes d’IA. Ces notions peuvent varier en fonction du contexte et peuvent recouvrir le faire de comprendre l’application correcte des éléments techniques au cours de la phase de développement du système d’IA, les mesures à appliquer pendant son utilisation, les moyens appropriés d’interpréter les sorties du système d’IA et, dans le cas des personnes concernées, les connaissances nécessaires pour comprendre comment les décisions prises avec l’aide de l’IA auront une incidence sur elles. Dans le cadre de l’application du présent règlement, la maîtrise de l’IA devrait fournir à tous les acteurs pertinents de la chaîne de valeur de l’IA les connaissances nécessaires pour en garantir le respect approprié et la mise en application correcte. En outre, la mise en œuvre à grande échelle de mesures relatives à la maîtrise de l’IA et l’introduction d’actions de suivi appropriées pourraient contribuer à améliorer les conditions de travail et, à terme, soutenir la consolidation et une trajectoire d’innovation d’une IA digne de confiance dans l’Union. Le Comité européen de l’intelligence artificielle (ci-après dénommé «Comité IA») devrait soutenir la Commission afin de promouvoir les outils de maîtrise de l’IA, la sensibilisation du public et la compréhension des avantages, des risques, des garanties, des droits et des obligations liés à l’utilisation des systèmes d’IA. En coopération avec les parties prenantes concernées, la Commission et les États membres devraient faciliter l’élaboration de codes de conduite volontaires au service de la maîtrise de l’IA chez les personnes chargées du développement, du fonctionnement et de l’utilisation de l’IA.
(20)
Um den größtmöglichen Nutzen aus KI-Systemen zu ziehen und gleichzeitig die Grundrechte, Gesundheit und Sicherheit zu wahren und eine demokratische Kontrolle zu ermöglichen, sollte die KI-Kompetenz Anbieter, Betreiber und betroffene Personen mit den notwendigen Konzepten ausstatten, um fundierte Entscheidungen über KI-Systeme zu treffen. Diese Konzepte können in Bezug auf den jeweiligen Kontext unterschiedlich sein und das Verstehen der korrekten Anwendung technischer Elemente in der Entwicklungsphase des KI-Systems, der bei seiner Verwendung anzuwendenden Maßnahmen und der geeigneten Auslegung der Ausgaben des KI-Systems umfassen sowie — im Falle betroffener Personen — das nötige Wissen, um zu verstehen, wie sich mithilfe von KI getroffene Entscheidungen auf sie auswirken werden. Im Zusammenhang mit der Anwendung dieser Verordnung sollte die KI-Kompetenz allen einschlägigen Akteuren der KI-Wertschöpfungskette die Kenntnisse vermitteln, die erforderlich sind, um die angemessene Einhaltung und die ordnungsgemäße Durchsetzung der Verordnung sicherzustellen. Darüber hinaus könnten die umfassende Umsetzung von KI-Kompetenzmaßnahmen und die Einführung geeigneter Folgemaßnahmen dazu beitragen, die Arbeitsbedingungen zu verbessern und letztlich die Konsolidierung und den Innovationspfad vertrauenswürdiger KI in der Union unterstützen. Ein Europäisches Gremium für Künstliche Intelligenz (im Folgenden „KI-Gremium“) sollte die Kommission dabei unterstützen, KI-Kompetenzinstrumente sowie die Sensibilisierung und Aufklärung der Öffentlichkeit in Bezug auf die Vorteile, Risiken, Schutzmaßnahmen, Rechte und Pflichten im Zusammenhang mit der Nutzung von KI-Systeme zu fördern. In Zusammenarbeit mit den einschlägigen Interessenträgern sollten die Kommission und die Mitgliedstaaten die Ausarbeitung freiwilliger Verhaltenskodizes erleichtern, um die KI-Kompetenz von Personen, die mit der Entwicklung, dem Betrieb und der Verwendung von KI befasst sind, zu fördern.
(21)
Afin de garantir des conditions de concurrence équitables et une protection efficace des droits et libertés des citoyens dans toute l’Union, les règles établies par le présent règlement devraient s’appliquer de manière non discriminatoire aux fournisseurs de systèmes d’IA, qu’ils soient établis dans l’Union ou dans un pays tiers, et aux déployeurs de systèmes d’IA établis dans l’Union.
(21)
Um gleiche Wettbewerbsbedingungen und einen wirksamen Schutz der Rechte und Freiheiten von Einzelpersonen in der gesamten Union zu gewährleisten, sollten die in dieser Verordnung festgelegten Vorschriften in nichtdiskriminierender Weise für Anbieter von KI-Systemen — unabhängig davon, ob sie in der Union oder in einem Drittland niedergelassen sind — und für Betreiber von KI-Systemen, die in der Union niedergelassen sind, gelten.
(22)
Compte tenu de leur nature numérique, certains systèmes d’IA devraient relever du présent règlement même lorsqu’ils ne sont pas mis sur le marché, mis en service, ou utilisés dans l’Union. Cela devrait notamment être le cas lorsqu’un opérateur établi dans l’Union confie à un opérateur externe établi dans un pays tiers la tâche d’exécuter certains services ayant trait à une activité devant être réalisée par un système d’IA qui serait considéré comme étant à haut risque. Dans ces circonstances, le système d’IA utilisé dans un pays tiers par l’opérateur pourrait traiter des données légalement collectées et transférées depuis l’Union, et fournir à l’opérateur contractant établi dans l’Union les sorties dudit système d’IA provenant de ce traitement, sans que ce système d’IA soit mis sur le marché, mis en service ou utilisé dans l’Union. Afin d’éviter le contournement des règles du présent règlement et d’assurer une protection efficace des personnes physiques situées dans l’Union, le présent règlement devrait également s’appliquer aux fournisseurs et aux déployeurs de systèmes d’IA qui sont établis dans un pays tiers, dans la mesure les sorties produites par ces systèmes sont destinées à être utilisées dans l’Union. Néanmoins, pour tenir compte des dispositions existantes et des besoins particuliers de coopération future avec les partenaires étrangers avec lesquels des informations et des preuves sont échangées, le présent règlement ne devrait pas s’appliquer aux autorités publiques d’un pays tiers ni aux organisations internationales lorsqu’elles agissent dans le cadre d’accords de coopération ou d’accords internationaux conclus au niveau de l’Union ou au niveau national pour la coopération des services répressifs et judiciaires avec l’Union ou avec les États membres, à condition que le pays tiers concerné ou les organisations internationales concernées fournissent des garanties adéquates en ce qui concerne la protection des libertés et droits fondamentaux des personnes. Le cas échéant, cela peut couvrir les activités des entités chargées par les pays tiers d’exécuter des tâches spécifiques à l’appui de cette coopération policière et judiciaire. De tels cadres de coopération ou accords ont été conclus bilatéralement entre des États membres et des pays tiers ou entre l’Union européenne, Europol et d’autres agences de l’Union, des pays tiers et des organisations internationales. Les autorités compétentes pour la surveillance des autorités répressives et judiciaires au titre du présent règlement devraient évaluer si ces cadres de coopération ou accords internationaux comportent des garanties adéquates en ce qui concerne la protection des libertés et droits fondamentaux des personnes. Les autorités nationales bénéficiaires et les institutions, organes et organismes de l’Union qui utilisent ces sorties dans l’Union demeurent responsables de veiller à ce que leur utilisation soit conforme au droit de l’Union. Lors de la révision de ces accords internationaux ou de la conclusion de nouveaux accords à l’avenir, les parties contractantes devraient tout mettre en œuvre pour aligner ces accords sur les exigences du présent règlement.
(22)
Angesichts ihres digitalen Charakters sollten bestimmte KI-Systeme in den Anwendungsbereich dieser Verordnung fallen, selbst wenn sie in der Union weder in Verkehr gebracht noch in Betrieb genommen oder verwendet werden. Dies ist beispielsweise der Fall, wenn ein in der Union niedergelassener Akteur bestimmte Dienstleistungen an einen in einem Drittland niedergelassenen Akteur im Zusammenhang mit einer Tätigkeit vergibt, die von einem KI-System ausgeübt werden soll, das als hochriskant einzustufen wäre. Unter diesen Umständen könnte das von dem Akteur in einem Drittland betriebene KI-System Daten verarbeiten, die rechtmäßig in der Union erhoben und aus der Union übertragen wurden, und dem vertraglichen Akteur in der Union die aus dieser Verarbeitung resultierende Ausgabe dieses KI-Systems liefern, ohne dass dieses KI-System dabei in der Union in Verkehr gebracht, in Betrieb genommen oder verwendet würde. Um die Umgehung dieser Verordnung zu verhindern und einen wirksamen Schutz in der Union ansässiger natürlicher Personen zu gewährleisten, sollte diese Verordnung auch für Anbieter und Betreiber von KI-Systemen gelten, die in einem Drittland niedergelassen sind, soweit beabsichtigt wird, die von diesem System erzeugte Ausgabe in der Union zu verwenden. Um jedoch bestehenden Vereinbarungen und besonderen Erfordernissen für die künftige Zusammenarbeit mit ausländischen Partnern, mit denen Informationen und Beweismittel ausgetauscht werden, Rechnung zu tragen, sollte diese Verordnung nicht für Behörden eines Drittlands und internationale Organisationen gelten, wenn sie im Rahmen der Zusammenarbeit oder internationaler Übereinkünfte tätig werden, die auf Unionsebene oder nationaler Ebene für die Zusammenarbeit mit der Union oder den Mitgliedstaaten im Bereich der Strafverfolgung und der justiziellen Zusammenarbeit geschlossen wurden, vorausgesetzt dass dieses Drittland oder diese internationale Organisationen angemessene Garantien in Bezug auf den Schutz der Grundrechte und -freiheiten von Einzelpersonen bieten. Dies kann gegebenenfalls Tätigkeiten von Einrichtungen umfassen, die von Drittländern mit der Wahrnehmung bestimmter Aufgaben zur Unterstützung dieser Zusammenarbeit im Bereich der Strafverfolgung und der justiziellen Zusammenarbeit betraut wurden. Ein solcher Rahmen für die Zusammenarbeit oder für Übereinkünfte wurde bilateral zwischen Mitgliedstaaten und Drittländern oder zwischen der Europäischen Union, Europol und anderen Agenturen der Union und Drittländern und internationalen Organisationen erarbeitet. Die Behörden, die nach dieser Verordnung für die Aufsicht über die Strafverfolgungs- und Justizbehörden zuständig sind, sollten prüfen, ob diese Rahmen für die Zusammenarbeit oder internationale Übereinkünfte angemessene Garantien in Bezug auf den Schutz der Grundrechte und -freiheiten von Einzelpersonen enthalten. Empfangende nationale Behörden und Organe, Einrichtungen sowie sonstige Stellen der Union, die diese Ausgaben in der Union verwenden, sind weiterhin dafür verantwortlich, sicherzustellen, dass ihre Verwendung mit Unionsrecht vereinbar ist. Wenn diese internationalen Übereinkünfte überarbeitet oder wenn künftig neue Übereinkünfte geschlossen werden, sollten die Vertragsparteien größtmögliche Anstrengungen unternehmen, um diese Übereinkünfte an die Anforderungen dieser Verordnung anzugleichen.
(23)
Le présent règlement devrait également s’appliquer aux institutions, organes et organismes de l’Union lorsqu’ils agissent en tant que fournisseurs ou déployeurs d’un système d’IA.
(23)
Diese Verordnung sollte auch für Organe, Einrichtungen und sonstige Stellen der Union gelten, wenn sie als Anbieter oder Betreiber eines KI-Systems auftreten.
(24)
Si et dans la mesure où des systèmes d’IA sont mis sur le marché, mis en service ou utilisés avec ou sans modification de ces systèmes à des fins militaires, de défense ou de sécurité nationale, ces systèmes devraient être exclus du champ d’application du présent règlement, indépendamment du type d’entité exerçant ces activités, par exemple qu’il s’agisse d’une entité publique ou privée. En ce qui concerne l’usage à des fins militaires et de défense, une telle exclusion est justifiée tant par l’article 4, paragraphe 2, du traité sur l’Union européenne que par les spécificités de la politique de défense des États membres et de la politique de défense commune de l’Union relevant du titre V, chapitre 2, du traité sur l’Union européenne, qui sont soumises au droit international public, lequel constitue donc le cadre juridique le plus approprié pour la réglementation des systèmes d’IA dans le contexte de l’utilisation de la force létale et d’autres systèmes d’IA dans le cadre d’activités militaires et de défense. En ce qui concerne l’usage à des fins de sécurité nationale, l’exclusion est justifiée tant par le fait que la sécurité nationale reste de la seule responsabilité de chaque État membre, conformément à l’article 4, paragraphe 2, du traité sur l’Union européenne, que par la nature spécifique et les besoins opérationnels des activités liées à la sécurité nationale et par les règles nationales spécifiques applicables à ces activités. Néanmoins, si un système d’IA développé, mis sur le marché, mis en service ou utilisé à des fins militaires, de défense ou de sécurité nationale est, temporairement ou définitivement, utilisé en dehors de ce cadre à d’autres fins (par exemple, à des fins civiles ou humanitaires, à des fins répressives ou de sécurité publique), un tel système relèverait du champ d’application du présent règlement. Dans ce cas, l’entité qui utilise le système d’IA à des fins autres que militaires, de défense ou de sécurité nationale devrait veiller à la mise en conformité du système d’IA avec le présent règlement, à moins qu’il le soit déjà. Les systèmes d’IA mis sur le marché ou mis en service à des fins exclues, à savoir à des fins militaires, de défense ou de sécurité nationale, et à une ou plusieurs fins non exclues, comme à des fins civiles ou répressives, relèvent du champ d’application du présent règlement et les fournisseurs de ces systèmes devraient veiller au respect du présent règlement. En l’occurrence, le fait qu’un système d’IA puisse relever du champ d’application du présent règlement ne devrait pas affecter la possibilité pour les entités exerçant des activités de sécurité nationale, de défense et militaires, indépendamment du type d’entité exerçant ces activités, d’utiliser des systèmes d’IA à des fins de sécurité nationale, militaires et de défense, dont l’utilisation est exclue du champ d’application du présent règlement. Un système d’IA mis sur le marché à des fins civiles ou répressives qui est utilisé avec ou sans modification à des fins militaires, de défense ou de sécurité nationale ne devrait pas relever du champ d’application du présent règlement, indépendamment du type d’entité exerçant ces activités.
(24)
Wenn und soweit KI-Systeme mit oder ohne Änderungen für Zwecke in den Bereichen Militär, Verteidigung oder nationale Sicherheit in Verkehr gebracht, in Betrieb genommen oder verwendet werden, sollten sie vom Anwendungsbereich dieser Verordnung ausgenommen werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt, etwa ob es sich um eine öffentliche oder private Einrichtung handelt. In Bezug auf die Zwecke in den Bereichen Militär und Verteidigung gründet sich die Ausnahme sowohl auf Artikel 4 Absatz 2 EUV als auch auf die Besonderheiten der Verteidigungspolitik der Mitgliedstaaten und der in Titel V Kapitel 2 EUV abgedeckten gemeinsamen Verteidigungspolitik der Union, die dem Völkerrecht unterliegen, was daher den geeigneteren Rechtsrahmen für die Regulierung von KI-Systemen im Zusammenhang mit der Anwendung tödlicher Gewalt und sonstigen KI-Systemen im Zusammenhang mit Militär- oder Verteidigungstätigkeiten darstellt. In Bezug auf die Zwecke im Bereich nationale Sicherheit gründet sich die Ausnahme sowohl auf die Tatsache, dass die nationale Sicherheit gemäß Artikel 4 Absatz 2 EUV weiterhin in die alleinige Verantwortung der Mitgliedstaaten fällt, als auch auf die besondere Art und die operativen Bedürfnisse der Tätigkeiten im Bereich der nationalen Sicherheit und der spezifischen nationalen Vorschriften für diese Tätigkeiten. Wird ein KI-System, das für Zwecke in den Bereichen Militär, Verteidigung oder nationale Sicherheit entwickelt, in Verkehr gebracht, in Betrieb genommen oder verwendet wird, jedoch vorübergehend oder ständig für andere Zwecke verwendet, etwa für zivile oder humanitäre Zwecke oder für Zwecke der Strafverfolgung oder öffentlichen Sicherheit, so würde dieses System in den Anwendungsbereich dieser Verordnung fallen. In diesem Fall sollte die Einrichtung, die das KI-System für andere Zwecke als Zwecke in den Bereichen Militär, Verteidigung oder nationale Sicherheit verwendet, die Konformität des KI-Systems mit dieser Verordnung sicherstellen, es sei denn, das System entspricht bereits dieser Verordnung. KI-Systeme, die für einen ausgeschlossenen Zweck, nämlich Militär, Verteidigung oder nationale Sicherheit, und für einen oder mehrere nicht ausgeschlossene Zwecke, etwa zivile Zwecke oder Strafverfolgungszwecke, in Verkehr gebracht oder in Betrieb genommen werden, fallen in den Anwendungsbereich dieser Verordnung, und Anbieter dieser Systeme sollten die Einhaltung dieser Verordnung sicherstellen. In diesen Fällen sollte sich die Tatsache, dass ein KI-System in den Anwendungsbereich dieser Verordnung fällt, nicht darauf auswirken, dass Einrichtungen, die Tätigkeiten in den Bereichen nationale Sicherheit, Verteidigung oder Militär ausüben, KI-Systeme für Zwecke in den Bereichen nationale Sicherheit, Militär und Verteidigung verwenden können, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt, wobei die Verwendung vom Anwendungsbereich dieser Verordnung ausgenommen ist. Ein KI-System, das für zivile Zwecke oder Strafverfolgungszwecke in Verkehr gebracht wurde und mit oder ohne Änderungen für Zwecke in den Bereichen Militär, Verteidigung oder nationale Sicherheit verwendet wird, sollte nicht in den Anwendungsbereich dieser Verordnung fallen, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt.
(25)
Le présent règlement devrait soutenir l’innovation et respecter la liberté scientifique et ne devrait pas compromettre les activités de recherche et de développement. Il est donc nécessaire d’exclure de son champ d’application les systèmes et modèles d’IA spécifiquement développés et mis en service aux seules fins de la recherche et du développement scientifiques. En outre, il est nécessaire de veiller à ce que le présent règlement n’affecte pas autrement les activités de recherche et de développement scientifiques relatives aux systèmes ou modèles d’IA avant leur mise sur le marché ou leur mise en service. En ce qui concerne les activités de recherche, d’essai et de développement axées sur les produits, relatives aux systèmes ou modèles d’IA, les dispositions du présent règlement ne devraient pas non plus s’appliquer avant la mise en service ou la mise sur le marché de ces systèmes et modèles. Cette exclusion est sans préjudice de l’obligation de se conformer au présent règlement lorsqu’un système d’IA relevant du champ d’application du présent règlement est mis sur le marché ou mis en service à la suite de cette activité de recherche et de développement, et sans préjudice de l’application des dispositions relatives aux bacs à sable réglementaires de l’IA et aux essais en conditions réelles. En outre, sans préjudice de l’exclusion des systèmes d’IA spécifiquement développés et mis en service aux seules fins de la recherche et du développement scientifiques, tout autre système d’IA susceptible d’être utilisé pour mener une activité de recherche et de développement devrait rester soumis aux dispositions du présent règlement. En tout état de cause, toute activité de recherche et de développement devrait être menée conformément à des normes éthiques et professionnelles reconnues en matière de recherche scientifique et dans le respect du droit de l’Union applicable.
(25)
Diese Verordnung sollte die Innovation fördern, die Freiheit der Wissenschaft achten und Forschungs- und Entwicklungstätigkeiten nicht untergraben. Daher müssen KI-Systeme und -Modelle, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden, vom Anwendungsbereich der Verordnung ausgenommen werden. Ferner muss sichergestellt werden, dass sich die Verordnung nicht anderweitig auf Forschungs- und Entwicklungstätigkeiten zu KI-Systemen und -Modellen auswirkt, bevor diese in Verkehr gebracht oder in Betrieb genommen werden. Hinsichtlich produktorientierter Forschungs-, Test- und Entwicklungstätigkeiten in Bezug auf KI-Systeme oder -Modelle sollten die Bestimmungen dieser Verordnung auch nicht vor der Inbetriebnahme oder dem Inverkehrbringen dieser Systeme und Modelle gelten. Diese Ausnahme berührt weder die Pflicht zur Einhaltung dieser Verordnung, wenn ein KI-System, das in den Anwendungsbereich dieser Verordnung fällt, infolge solcher Forschungs- und Entwicklungstätigkeiten in Verkehr gebracht oder in Betrieb genommen wird, noch die Anwendung der Bestimmungen zu KI-Reallaboren und zu Tests unter Realbedingungen. Darüber hinaus sollte unbeschadet der Ausnahme in Bezug auf KI-Systeme, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden, jedes andere KI-System, das für die Durchführung von Forschungs- und Entwicklungstätigkeiten verwendet werden könnte, den Bestimmungen dieser Verordnung unterliegen. In jedem Fall sollten jegliche Forschungs- und Entwicklungstätigkeiten gemäß anerkannten ethischen und professionellen Grundsätzen für die wissenschaftliche Forschung und unter Wahrung des geltenden Unionsrechts ausgeführt werden.
(26)
Afin d’introduire un ensemble proportionné et efficace de règles contraignantes pour les systèmes d’IA, il convient de suivre une approche clairement définie fondée sur les risques. Cette approche devrait adapter le type et le contenu de ces règles à l’intensité et à la portée des risques que les systèmes d’IA peuvent générer. Il est donc nécessaire d’interdire certaines pratiques inacceptables en matière d’IA, de fixer des exigences pour les systèmes d’IA à haut risque et des obligations pour les opérateurs concernés, ainsi que de fixer des obligations de transparence pour certains systèmes d’IA.
(26)
Um ein verhältnismäßiges und wirksames verbindliches Regelwerk für KI-Systeme einzuführen, sollte ein klar definierter risikobasierter Ansatz verfolgt werden. Bei diesem Ansatz sollten Art und Inhalt solcher Vorschriften auf die Intensität und den Umfang der Risiken zugeschnitten werden, die von KI-Systemen ausgehen können. Es ist daher notwendig, bestimmte inakzeptable Praktiken im Bereich der KI zu verbieten und Anforderungen an Hochrisiko-KI-Systeme und Pflichten für die betreffenden Akteure sowie Transparenzpflichten für bestimmte KI-Systeme festzulegen.
(27)
Si l’approche fondée sur les risques constitue la base d’un ensemble proportionné et efficace de règles contraignantes, il importe de rappeler les lignes directrices en matière d’éthique pour une IA digne de confiance, élaborées en 2019 par le GEHN IA indépendant constitué par la Commission. Dans ces lignes directrices, le GEHN IA a élaboré sept principes éthiques non contraignants pour l’IA, qui sont destinés à contribuer à faire en sorte que l’IA soit digne de confiance et saine sur le plan éthique. Il s’agit des sept principes suivants: action humaine et contrôle humain; robustesse technique et sécurité; respect de la vie privée et gouvernance des données; transparence; diversité, non-discrimination et équité; bien-être sociétal et environnemental; et responsabilité. Sans préjudice des exigences juridiquement contraignantes du présent règlement et de toute autre disposition législative de l’Union applicable, ces lignes directrices contribuent à la conception d’une IA cohérente, fiable et axée sur l’humain, conformément à la Charte et aux valeurs sur lesquelles l’Union est fondée. Conformément aux lignes directrices du GEHN IA, «action humaine et contrôle humain» renvoient au fait que les systèmes d’IA sont développés et utilisés comme un outil au service des personnes, qui respecte la dignité humaine et l’autonomie de l’individu, et qui fonctionne de manière à pouvoir être contrôlé et supervisé par des êtres humains.«Robustesse technique et sécurité» renvoient au fait que les systèmes d’IA sont développés et utilisés de manière à ce qu’ils soient techniquement robustes en cas de problème et résilients aux tentatives visant à en corrompre l’utilisation ou les performances afin de permettre à des tiers d’en faire une utilisation abusive, et à réduire le plus possible les atteintes involontaires. «Respect de la vie privée et gouvernance des données» renvoient au fait que les systèmes d’IA sont développés et utilisés conformément aux règles en matière de respect de la vie privée et de protection des données, dans le cadre d’un traitement de données répondant à des normes élevées en matière de qualité et d’intégrité. «Transparence» renvoie au fait que les systèmes d’IA sont développés et utilisés de manière à permettre une traçabilité et une explicabilité appropriées, faisant en sorte que les personnes réalisent qu’elles communiquent ou interagissent avec un système d’IA, que les déployeurs soient dûment informés des capacités et des limites de ce système d’IA et que les personnes concernées soient informées de leurs droits. «Diversité, non-discrimination et équité» renvoient au fait que les systèmes d’IA sont développés et utilisés de manière à inclure des acteurs divers et à promouvoir l’égalité d’accès, l’égalité de genre et la diversité culturelle, tout en évitant les effets discriminatoires et les biais injustes, qui sont interdits par le droit de l’Union ou le droit national. «Bien-être sociétal et environnemental» renvoie au fait que les systèmes d’IA sont développés et utilisés d’une manière durable et respectueuse de l’environnement, mais aussi de manière à ce que tous les êtres humains en profitent, tout en surveillant et en évaluant les effets à long terme sur l’individu, la société et la démocratie. Ces principes devraient se retrouver, autant que possible, dans la conception et l’utilisation des modèles d’IA. Ils devraient en tout état de cause servir de base à l’élaboration de codes de conduite au titre du présent règlement. Toutes les parties prenantes, y compris l’industrie, le monde universitaire, la société civile et les organismes de normalisation, sont encouragées à tenir compte, ainsi qu’il convient, des principes éthiques pour l’élaboration de bonnes pratiques et de normes volontaires.
(27)
Während der risikobasierte Ansatz die Grundlage für ein verhältnismäßiges und wirksames verbindliches Regelwerk bildet, muss auch auf die Ethikleitlinien für vertrauenswürdige KI von 2019 der von der Kommission eingesetzten unabhängigen hochrangigen Expertengruppe für künstliche Intelligenz verwiesen werden. In diesen Leitlinien hat die hochrangige Expertengruppe sieben unverbindliche ethische Grundsätze für KI entwickelt, die dazu beitragen sollten, dass KI vertrauenswürdig und ethisch vertretbar ist. Zu den sieben Grundsätzen gehören: menschliches Handeln und menschliche Aufsicht, technische Robustheit und Sicherheit, Privatsphäre und Daten-Governance, Transparenz, Vielfalt, Nichtdiskriminierung und Fairness, soziales und ökologisches Wohlergehen sowie Rechenschaftspflicht. Unbeschadet der rechtsverbindlichen Anforderungen dieser Verordnung und anderer geltender Rechtsvorschriften der Union tragen diese Leitlinien zur Gestaltung kohärenter, vertrauenswürdiger und menschenzentrierter KI bei im Einklang mit der Charta und den Werten, auf die sich die Union gründet. Nach den Leitlinien der hochrangigen Expertengruppe bedeutet „menschliches Handeln und menschliche Aufsicht“, dass ein KI-System entwickelt und als Instrument verwendet wird, das den Menschen dient, die Menschenwürde und die persönliche Autonomie achtet und so funktioniert, dass es von Menschen angemessen kontrolliert und überwacht werden kann. „Technische Robustheit und Sicherheit“ bedeutet, dass KI-Systeme so entwickelt und verwendet werden, dass sie im Fall von Schwierigkeiten robust sind und widerstandsfähig gegen Versuche, die Verwendung oder Leistung des KI-Systems so zu verändern, dass dadurch die unrechtmäßige Verwendung durch Dritte ermöglicht wird, und dass ferner unbeabsichtigte Schäden minimiert werden. „Privatsphäre und Daten-Governance“ bedeutet, dass KI-Systeme im Einklang mit den geltenden Vorschriften zum Schutz der Privatsphäre und zum Datenschutz entwickelt und verwendet werden und dabei Daten verarbeiten, die hohen Qualitäts- und Integritätsstandards genügen. „Transparenz“ bedeutet, dass KI-Systeme so entwickelt und verwendet werden, dass sie angemessen nachvollziehbar und erklärbar sind, wobei den Menschen bewusst gemacht werden muss, dass sie mit einem KI-System kommunizieren oder interagieren, und dass die Betreiber ordnungsgemäß über die Fähigkeiten und Grenzen des KI-Systems informieren und die betroffenen Personen über ihre Rechte in Kenntnis setzen müssen. „Vielfalt, Nichtdiskriminierung und Fairness“ bedeutet, dass KI-Systeme in einer Weise entwickelt und verwendet werden, die unterschiedliche Akteure einbezieht und den gleichberechtigten Zugang, die Geschlechtergleichstellung und die kulturelle Vielfalt fördert, wobei diskriminierende Auswirkungen und unfaire Verzerrungen, die nach Unionsrecht oder nationalem Recht verboten sind, verhindert werden. „Soziales und ökologisches Wohlergehen“ bedeutet, dass KI-Systeme in nachhaltiger und umweltfreundlicher Weise und zum Nutzen aller Menschen entwickelt und verwendet werden, wobei die langfristigen Auswirkungen auf den Einzelnen, die Gesellschaft und die Demokratie überwacht und bewertet werden. Die Anwendung dieser Grundsätze sollte, soweit möglich, in die Gestaltung und Verwendung von KI-Modellen einfließen. Sie sollten in jedem Fall als Grundlage für die Ausarbeitung von Verhaltenskodizes im Rahmen dieser Verordnung dienen. Alle Interessenträger, einschließlich der Industrie, der Wissenschaft, der Zivilgesellschaft und der Normungsorganisationen, werden aufgefordert, die ethischen Grundsätze bei der Entwicklung freiwilliger bewährter Verfahren und Normen, soweit angebracht, zu berücksichtigen.
(28)
Si l’IA peut être utilisée à de nombreuses fins positives, elle peut aussi être utilisée à mauvais escient et fournir des outils nouveaux et puissants à l’appui de pratiques de manipulation, d’exploitation et de contrôle social. De telles pratiques sont particulièrement néfastes et abusives et devraient être interdites, car elles sont contraires aux valeurs de l’Union relatives au respect de la dignité humaine, à la liberté, à l’égalité, à la démocratie et à l’état de droit, ainsi qu’aux droits fondamentaux consacrés dans la Charte, y compris le droit à la non-discrimination, le droit à la protection des données et à la vie privée et les droits de l’enfant.
(28)
Abgesehen von den zahlreichen nutzbringenden Verwendungsmöglichkeiten von KI kann diese Technologie auch missbraucht werden und neue und wirkungsvolle Instrumente für manipulative, ausbeuterische und soziale Kontrollpraktiken bieten. Solche Praktiken sind besonders schädlich und missbräuchlich und sollten verboten werden, weil sie im Widerspruch zu den Werten der Union stehen, nämlich der Achtung der Menschenwürde, Freiheit, Gleichheit, Demokratie und Rechtsstaatlichkeit sowie der in der Charta verankerten Grundrechte, einschließlich des Rechts auf Nichtdiskriminierung, Datenschutz und Privatsphäre sowie der Rechte des Kindes.
(29)
Des techniques de manipulation fondées sur l’IA peuvent être utilisées pour persuader des personnes d’adopter des comportements indésirables ou pour les tromper en les poussant à prendre des décisions d’une manière qui met à mal et compromet leur autonomie, leur libre arbitre et leur liberté de choix. La mise sur le marché, la mise en service ou l’utilisation de certains systèmes d’IA ayant pour objectif ou pour effet d’altérer substantiellement les comportements humains, avec le risque de causer des dommages importants, en particulier d’avoir des incidences suffisamment importantes sur la santé physique ou psychologique ou sur les intérêts financiers, sont particulièrement dangereuses et devraient dès lors être interdites. Ces systèmes d’IA font intervenir des composants subliminaux, tels que des stimuli sonores, visuels ou vidéo que l’individu ne peut percevoir, étant donné que ces stimuli échappent à la perception humaine, ou d’autres techniques manipulatrices ou trompeuses qui mettent à mal ou altèrent l’autonomie de la personne, son libre arbitre ou sa liberté de choix de telle sorte que l’individu n’est pas conscient de ces techniques ou, à supposer qu’il le soit, sans qu’il puisse échapper à la duperie ni opposer une résistance ou un contrôle auxdites techniques. Cela pourrait être facilité, par exemple, par des interfaces cerveau-machine ou par la réalité virtuelle étant donné qu’elles permettent d’avoir plus de contrôle sur les stimuli qui sont présentés aux personnes, dans la mesure où elles peuvent en altérer sensiblement le comportement d’une manière très nocive. En outre, des systèmes d’IA peuvent également exploiter les vulnérabilités d’une personne ou d’un groupe particulier de personnes en raison de leur âge, d’un handicap au sens de la directive (UE) 2019/882 du Parlement européen et du Conseil (16), ou d’une situation sociale ou économique spécifique susceptible de rendre ces personnes plus vulnérables à l’exploitation, telles que les personnes vivant dans une extrême pauvreté ou appartenant à des minorités ethniques ou religieuses. De tels systèmes d’IA peuvent être mis sur le marché, mis en service ou utilisés avec pour objectif ou pour effet d’altérer substantiellement le comportement d’une personne d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à une autre personne ou à des groupes de personnes, y compris des dommages susceptibles de s’accumuler au fil du temps, et il y a lieu, par conséquent, de les interdire. Il peut s’avérer impossible de présumer l’existence d’une intention d’altérer le comportement lorsque cette altération résulte de facteurs externes au système d’IA qui échappent au contrôle du fournisseur ou du déployeur, à savoir de facteurs qui ne peuvent être raisonnablement prévisibles, et partant, ne peuvent être atténués par le fournisseur ou le déployeur du système d’IA. En tout état de cause, il n’est pas nécessaire que le fournisseur ou le déployeur ait l’intention de causer un préjudice important, du moment que ce préjudice résulte de pratiques de manipulation ou d’exploitation reposant sur l’IA. Les interdictions de telles pratiques en matière d’IA complètent les dispositions de la directive 2005/29/CE du Parlement européen et du Conseil (17), notamment concernant le fait que les pratiques commerciales déloyales entraînant des préjudices économiques ou financiers pour les consommateurs sont interdites en toutes circonstances, qu’elles soient mises en place au moyen de systèmes d’IA ou autrement. Les interdictions des pratiques de manipulation et d’exploitation prévues par le présent règlement ne devraient pas affecter les pratiques licites dans le cadre de traitements médicaux tels que le traitement psychologique d’une maladie mentale ou la rééducation physique, lorsque ces pratiques sont effectuées conformément à la législation applicable et aux normes médicales, comme le consentement explicite des personnes ou de leurs représentants légaux. En outre, les pratiques commerciales courantes et légitimes, par exemple dans le domaine de la publicité, qui respectent le droit applicable ne devraient pas, en soi, être considérées comme constituant des pratiques de manipulation préjudiciables reposant sur l’IA.
(29)
KI-gestützte manipulative Techniken können dazu verwendet werden, Personen zu unerwünschten Verhaltensweisen zu bewegen oder sie zu täuschen, indem sie in einer Weise zu Entscheidungen angeregt werden, die ihre Autonomie, Entscheidungsfindung und freie Auswahl untergräbt und beeinträchtigt. Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme, die das Ziel oder die Auswirkung haben, menschliches Verhalten maßgeblich nachteilig zu beeinflussen, und große Schäden, insbesondere erhebliche nachteilige Auswirkungen auf die physische und psychische Gesundheit oder auf die finanziellen Interessen verursachen dürften, ist besonders gefährlich und sollte dementsprechend verboten werden. Solche KI-Systeme setzen auf eine unterschwellige Beeinflussung, beispielweise durch Reize in Form von Ton-, Bild- oder Videoinhalten, die für Menschen nicht erkennbar sind, da diese Reize außerhalb ihres Wahrnehmungsbereichs liegen, oder auf andere Arten manipulativer oder täuschender Beeinflussung, die ihre Autonomie, Entscheidungsfindung oder freie Auswahl in einer Weise untergraben und beeinträchtigen, die sich ihrer bewussten Wahrnehmung entzieht oder deren Einfluss — selbst wenn sie sich seiner bewusst sind — sie nicht kontrollieren oder widerstehen können. Dies könnte beispielsweise durch Gehirn-Computer-Schnittstellen oder virtuelle Realität erfolgen, da diese ein höheres Maß an Kontrolle darüber ermöglichen, welche Reize den Personen, insofern diese das Verhalten der Personen in erheblichem Maße schädlich beeinflussen können, angeboten werden. Ferner können KI-Systeme auch anderweitig die Vulnerabilität einer Person oder bestimmter Gruppen von Personen aufgrund ihres Alters oder einer Behinderung im Sinne der Richtlinie (EU) 2019/882 des Europäischen Parlaments und des Rates (16) oder aufgrund einer bestimmten sozialen oder wirtschaftlichen Situation ausnutzen, durch die diese Personen gegenüber einer Ausnutzung anfälliger werden dürften, beispielweise Personen, die in extremer Armut leben, und ethnische oder religiöse Minderheiten. Solche KI-Systeme können mit dem Ziel oder der Wirkung in Verkehr gebracht, in Betrieb genommen oder verwendet werden, das Verhalten einer Person in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person oder Gruppen von Personen einen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird, einschließlich Schäden, die sich im Laufe der Zeit anhäufen können, und sollten daher verboten werden. Diese Absicht, das Verhalten zu beeinflussen, kann nicht vermutet werden, wenn die Beeinflussung auf Faktoren zurückzuführen ist, die nicht Teil des KI-Systems sind und außerhalb der Kontrolle des Anbieters oder Betreibers liegen, d. h. Faktoren, die vom Anbieter oder Betreiber des KI-Systems vernünftigerweise nicht vorhergesehen oder gemindert werden können. In jedem Fall ist es nicht erforderlich, dass der Anbieter oder der Betreiber die Absicht haben, erheblichen Schaden zuzufügen, wenn dieser Schaden aufgrund von manipulativen oder ausbeuterischen KI-gestützten Praktiken entsteht. Das Verbot solcher KI-Praktiken ergänzt die Bestimmungen der Richtlinie 2005/29/EG des Europäischen Parlaments und des Rates (17); insbesondere sind unlautere Geschäftspraktiken, durch die Verbraucher wirtschaftliche oder finanzielle Schäden erleiden, unter allen Umständen verboten, unabhängig davon, ob sie durch KI-Systeme oder anderweitig umgesetzt werden. Das Verbot manipulativer und ausbeuterischer Praktiken gemäß dieser Verordnung sollte sich nicht auf rechtmäßige Praktiken im Zusammenhang mit medizinischen Behandlungen, etwa der psychologischen Behandlung einer psychischen Krankheit oder der physischen Rehabilitation, auswirken, wenn diese Praktiken gemäß den geltenden Rechtsvorschriften und medizinischen Standards erfolgen, z. B mit der ausdrücklichen Zustimmung der Einzelpersonen oder ihrer gesetzlichen Vertreter. Darüber hinaus sollten übliche und rechtmäßige Geschäftspraktiken, beispielsweise im Bereich der Werbung, die im Einklang mit den geltenden Rechtsvorschriften stehen, als solche nicht als schädliche manipulative KI-gestützten Praktiken gelten.
(30)
Il y a lieu d’interdire les systèmes de catégorisation biométrique fondés sur les données biométriques des personnes physiques, comme le visage ou les empreintes digitales, utilisés pour arriver à des déductions ou des inférences concernant les opinions politiques d’un individu, son affiliation à une organisation syndicale, ses convictions religieuses ou philosophiques, sa race, sa vie sexuelle ou son orientation sexuelle. Cette interdiction ne devrait pas couvrir l’étiquetage, le filtrage ou la catégorisation licites des ensembles de données biométriques acquis dans le respect du droit de l’Union ou du droit national en fonction de données biométriques, comme le tri des images en fonction de la couleur des cheveux ou de celle des yeux, qui peuvent par exemple être utilisés dans le domaine répressif.
(30)
Systeme zur biometrischen Kategorisierung, die anhand der biometrischen Daten von natürlichen Personen, wie dem Gesicht oder dem Fingerabdruck einer Person, die politische Meinung, die Mitgliedschaft in einer Gewerkschaft, religiöse oder weltanschauliche Überzeugungen, die Rasse, das Sexualleben oder die sexuelle Ausrichtung einer Person erschließen oder ableiten, sollten verboten werden. Dieses Verbot sollte nicht für die rechtmäßige Kennzeichnung, Filterung oder Kategorisierung biometrischer Datensätze gelten, die im Einklang mit dem Unionsrecht oder dem nationalen Recht anhand biometrischer Daten erworben wurden, wie das Sortieren von Bildern nach Haar- oder Augenfarbe, was beispielsweise im Bereich der Strafverfolgung verwendet werden kann.
(31)
Les systèmes d’IA permettant la notation sociale des personnes physiques par des acteurs publics ou privés peuvent conduire à des résultats discriminatoires et à l’exclusion de certains groupes. Ils peuvent porter atteinte au droit à la dignité et à la non-discrimination et sont contraires aux valeurs d’égalité et de justice. Ces systèmes d’IA évaluent ou classent les personnes physiques ou les groupes de personnes physiques en fonction de plusieurs points de données liées à leur comportement social dans divers contextes ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites pendant un certain temps. La note sociale obtenue à partir de ces systèmes d’IA peut conduire au traitement préjudiciable ou défavorable de personnes physiques ou de groupes entiers dans des contextes sociaux qui sont dissociés du contexte dans lequel les données ont été initialement générées ou collectées, ou à un traitement préjudiciable disproportionné ou injustifié au regard de la gravité de leur comportement social. Il y a donc lieu d’interdire les systèmes d’IA impliquant de telles pratiques de notation inacceptables et produisant de tels effets préjudiciables ou défavorables. Cette interdiction ne devrait pas avoir d’incidence sur les évaluations licites des personnes physiques qui sont pratiquées dans un but précis, dans le respect du droit de l’Union et du droit national.
(31)
KI-Systeme, die eine soziale Bewertung natürlicher Personen durch öffentliche oder private Akteure bereitstellen, können zu diskriminierenden Ergebnissen und zur Ausgrenzung bestimmter Gruppen führen. Sie können die Menschenwürde und das Recht auf Nichtdiskriminierung sowie die Werte der Gleichheit und Gerechtigkeit verletzen. Solche KI-Systeme bewerten oder klassifizieren natürliche Personen oder Gruppen natürlicher Personen in einem bestimmten Zeitraum auf der Grundlage zahlreicher Datenpunkte in Bezug auf ihr soziales Verhalten in verschiedenen Zusammenhängen oder aufgrund bekannter, vermuteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale. Die aus solchen KI-Systemen erzielte soziale Bewertung kann zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher Personen in sozialen Kontexten, die in keinem Zusammenhang mit den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erhoben wurden, oder zu einer Schlechterstellung führen, die im Hinblick auf die Tragweite ihres sozialen Verhaltens unverhältnismäßig oder ungerechtfertigt ist. KI-Systeme, die solche inakzeptablen Bewertungspraktiken mit sich bringen und zu einer solchen Schlechterstellung oder Benachteiligung führen, sollten daher verboten werden. Dieses Verbot sollte nicht die rechtmäßigen Praktiken zur Bewertung natürlicher Personen berühren, die im Einklang mit dem Unionsrecht und dem nationalen Recht zu einem bestimmten Zweck durchgeführt werden.
(32)
L’utilisation de systèmes d’IA pour l’identification biométrique à distance «en temps réel» de personnes physiques dans des espaces accessibles au public à des fins répressives est particulièrement intrusive pour les droits et les libertés des personnes concernées, dans la mesure où elle peut toucher la vie privée d’une grande partie de la population, susciter un sentiment de surveillance constante et dissuader indirectement l’exercice de la liberté de réunion et d’autres droits fondamentaux. Les inexactitudes techniques des systèmes d’IA destinés à l’identification biométrique à distance des personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires. Ce risque de résultats biaisés et d’effets discriminatoires est particulièrement significatif en ce qui concerne l’âge, l’appartenance ethnique, la race, le sexe ou le handicap. En outre, du fait de l’immédiateté des effets et des possibilités limitées d’effectuer des vérifications ou des corrections supplémentaires, l’utilisation de systèmes fonctionnant en temps réel engendre des risques accrus pour les droits et les libertés des personnes concernées dans le cadre d’activités répressives ou affectées par celles-ci.
(32)
Die Verwendung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken greift besonders in die Rechte und Freiheiten der betroffenen Personen ein, da sie die Privatsphäre eines großen Teils der Bevölkerung beeinträchtigt, ein Gefühl der ständigen Überwachung weckt und indirekt von der Ausübung der Versammlungsfreiheit und anderer Grundrechte abhalten kann. Technische Ungenauigkeiten von KI-Systemen, die für die biometrische Fernidentifizierung natürlicher Personen bestimmt sind, können zu verzerrten Ergebnissen führen und eine diskriminierende Wirkung haben. Solche möglichen verzerrten Ergebnisse und eine solche diskriminierende Wirkung sind von besonderer Bedeutung, wenn es um das Alter, die ethnische Herkunft, die Rasse, das Geschlecht oder Behinderungen geht. Darüber hinaus bergen die Unmittelbarkeit der Auswirkungen und die begrenzten Möglichkeiten weiterer Kontrollen oder Korrekturen im Zusammenhang mit der Verwendung solcher in Echtzeit betriebener Systeme erhöhte Risiken für die Rechte und Freiheiten der betreffenden Personen, die im Zusammenhang mit Strafverfolgungsmaßnahmen stehen oder davon betroffen sind.
(33)
L’utilisation de ces systèmes à des fins répressives devrait donc être interdite, sauf dans des situations précisément répertoriées et rigoureusement définies, dans lesquelles l’utilisation se limite au strict nécessaire à la réalisation d’objectifs d’intérêt général dont l’importance l’emporte sur les risques encourus. Ces situations comprennent la recherche de certaines victimes d’actes criminels, y compris de personnes disparues; certaines menaces pour la vie ou la sécurité physique des personnes physiques, ou des menaces d’attaque terroriste; et la localisation ou l’identification des auteurs ou des suspects des infractions pénales énumérées dans une annexe du présent règlement, lorsque ces infractions pénales sont passibles, dans l’État membre concerné, d’une peine ou d’une mesure de sûreté privative de liberté d’une durée maximale d’au moins quatre ans et telles qu’elles sont définies dans le droit dudit État membre. Le seuil fixé pour la peine ou la mesure de sûreté privative de liberté prévue par le droit national contribue à garantir que l’infraction soit suffisamment grave pour justifier l’utilisation de systèmes d’identification biométrique à distance «en temps réel». En outre, la liste des infractions pénales figurant en annexe du présent règlement sont basées sur les 32 infractions pénales énumérées dans la décision-cadre 2002/584/JAI du Conseil (18), compte tenu du fait que certaines de ces infractions sont, en pratique, susceptibles d’être plus pertinentes que d’autres, dans le sens où le recours à l’identification biométrique à distance «en temps réel» pourrait, vraisemblablement, être nécessaire et proportionné, à des degrés très divers, pour les mesures pratiques de localisation ou d’identification d’un auteur ou d’un suspect de l’une des différentes infractions pénales répertoriées, eu égard également aux différences probables dans la gravité, la probabilité et l’ampleur du préjudice ou des éventuelles conséquences négatives. Une menace imminente pour la vie ou pour la sécurité physique des personnes physiques pourrait également résulter d’une grave perturbation d’une infrastructure critique, au sens de l’article 2, point 4), de la directive (UE) 2022/2557 du Parlement européen et du Conseil (19), lorsque l’arrêt ou la destruction de cette infrastructure critique entraînerait une menace imminente pour la vie ou la sécurité physique d’une personne, notamment en portant gravement atteinte à la fourniture de produits de base à la population ou à l’exercice de la fonction essentielle de l’État. Par ailleurs, le présent règlement devrait préserver la capacité des autorités répressives, des autorités chargées des contrôles aux frontières, des services de l’immigration ou des autorités compétentes en matière d’asile d’effectuer des contrôles d’identité en présence de la personne concernée conformément aux conditions prévues par le droit de l’Union et le droit national pour ces contrôles. En particulier, les autorités répressives, les autorités chargées des contrôles aux frontières, les services de l’immigration ou les autorités compétentes en matière d’asile devraient pouvoir utiliser des systèmes d’information, conformément au droit de l’Union ou au droit national, pour identifier une personne qui, lors d’un contrôle d’identité, soit refuse d’être identifiée, soit n’est pas en mesure de décliner son identité ou de la prouver, sans qu’il leur soit fait obligation par le présent règlement d’obtenir une autorisation préalable. Il peut s’agir, par exemple, d’une personne impliquée dans une infraction, qui ne veut pas ou ne peut pas divulguer son identité aux autorités répressives en raison d’un accident ou de son état de santé.
(33)
Die Verwendung solcher Systeme zu Strafverfolgungszwecken sollte daher untersagt werden, außer in erschöpfend aufgeführten und eng abgegrenzten Fällen, in denen die Verwendung unbedingt erforderlich ist, um einem erheblichen öffentlichen Interesse zu dienen, dessen Bedeutung die Risiken überwiegt. Zu diesen Fällen gehört die Suche nach bestimmten Opfern von Straftaten, einschließlich vermisster Personen, bestimmte Gefahren für das Leben oder die körperliche Unversehrtheit natürlicher Personen oder die Gefahr eines Terroranschlags sowie das Aufspüren oder Identifizieren von Tätern oder Verdächtigen in Bezug auf die in einem Anhang zu dieser Verordnung genannten Straftaten, sofern diese Straftaten in dem betreffenden Mitgliedstaat im Sinne des Rechts dieses Mitgliedstaats mit einer Freiheitsstrafe oder einer freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens vier Jahren bedroht sind. Eine solche Schwelle für eine Freiheitsstrafe oder eine freiheitsentziehende Maßregel der Sicherung nach nationalem Recht trägt dazu bei, sicherzustellen, dass die Straftat schwerwiegend genug ist, um den Einsatz biometrischer Echtzeit-Fernidentifizierungssysteme möglicherweise zu rechtfertigen. Darüber hinaus beruht die im Anhang dieser Verordnung aufgeführte Liste der Straftaten auf den 32 im Rahmenbeschluss 2002/584/JI des Rates (18) aufgeführten Straftaten, unter Berücksichtigung der Tatsache, dass einige der Straftaten in der Praxis eher relevant sein können als andere, da der Rückgriff auf die biometrische Echtzeit-Fernidentifizierung für die konkrete Aufspürung oder Identifizierung eines Täters oder Verdächtigen in Bezug auf eine der verschiedenen aufgeführten Straftaten voraussichtlich in äußerst unterschiedlichem Maße erforderlich und verhältnismäßig sein könnte und da dabei die wahrscheinlichen Unterschiede in Schwere, Wahrscheinlichkeit und Ausmaß des Schadens oder möglicher negativer Folgen zu berücksichtigen sind. Eine unmittelbare Gefahr für das Leben oder die körperliche Unversehrtheit natürlicher Personen kann auch durch die schwerwiegende Störung einer kritischen Infrastruktur im Sinne des Artikels 2 Nummer 4 der Richtlinie (EU) 2022/2557 des Europäischen Parlaments und des Rates (19) entstehen, wenn die Störung oder Zerstörung einer solchen kritischen Infrastruktur zu einer unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit einer Person führen würde, auch durch die schwerwiegende Beeinträchtigung der Bereitstellung der Grundversorgung für die Bevölkerung oder der Wahrnehmung der Kernfunktion des Staates. Darüber hinaus sollte diese Verordnung die Fähigkeit der Strafverfolgungs-, Grenzschutz-, Einwanderungs- oder Asylbehörden erhalten, gemäß den im Unionsrecht und im nationalen Recht für diesen Zweck festgelegten Bedingungen die Identität der betreffenden Person in ihrer Anwesenheit festzustellen. Insbesondere sollten Strafverfolgungs-, Grenzschutz-, Einwanderungs- oder Asylbehörden gemäß dem Unionsrecht oder dem nationalen Recht Informationssysteme verwenden können, um eine Person zu identifizieren, die während einer Identitätsfeststellung entweder verweigert, identifiziert zu werden, oder nicht in der Lage ist, ihre Identität anzugeben oder zu belegen, wobei gemäß dieser Verordnung keine vorherige Genehmigung erlangt werden muss. Dabei könnte es sich beispielsweise um eine Person handeln, die in eine Straftat verwickelt ist und nicht gewillt oder aufgrund eines Unfalls oder des Gesundheitszustands nicht in der Lage ist, den Strafverfolgungsbehörden ihre Identität offenzulegen.
(34)
Afin de s’assurer que ces systèmes soient utilisés de manière responsable et proportionnée, il est également important d’établir que, dans chacune des situations précisément répertoriées et rigoureusement définies, certains éléments devraient être pris en considération, notamment en ce qui concerne la nature de la situation donnant lieu à la demande et les conséquences de l’utilisation pour les droits et les libertés de toutes les personnes concernées, ainsi que les garanties et les conditions associées à l’utilisation. En outre, l’utilisation, à des fins répressives, de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public ne devrait être déployée que pour confirmer l’identité de la personne spécifiquement ciblée et elle devrait être limitée au strict nécessaire dans le temps, ainsi que du point de vue de la portée géographique et personnelle, eu égard en particulier aux preuves ou aux indications concernant les menaces, les victimes ou les auteurs. L’utilisation du système d’identification biométrique à distance en temps réel dans des espaces accessibles au public ne devrait être autorisée que si l’autorité répressive compétente a réalisé une analyse d’impact sur les droits fondamentaux et, sauf disposition contraire du présent règlement, a enregistré le système dans la base de données prévue par le présent règlement. La base de données de référence des personnes devrait être appropriée pour chaque cas d’utilisation dans chacune des situations mentionnées ci-dessus.
(34)
Um sicherzustellen, dass diese Systeme verantwortungsvoll und verhältnismäßig genutzt werden, ist es auch wichtig, festzulegen, dass in jedem dieser erschöpfend aufgeführten und eng abgegrenzten Fälle bestimmte Elemente berücksichtigt werden sollten, insbesondere in Bezug auf die Art des dem Antrag zugrunde liegenden Falls und die Auswirkungen der Verwendung auf die Rechte und Freiheiten aller betroffenen Personen sowie auf die für die Verwendung geltenden Schutzvorkehrungen und Bedingungen. Darüber hinaus sollte die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung nur eingesetzt werden, um die Identität der speziell betroffenen Person zu bestätigen und sollte sich hinsichtlich des Zeitraums und des geografischen und personenbezogenen Anwendungsbereichs auf das unbedingt Notwendige beschränken, wobei insbesondere den Beweisen oder Hinweisen in Bezug auf die Bedrohungen, die Opfer oder den Täter Rechnung zu tragen ist. Die Verwendung des biometrischen Echtzeit-Fernidentifizierungssystems in öffentlich zugänglichen Räumen sollte nur genehmigt werden, wenn die zuständige Strafverfolgungsbehörde eine Grundrechte-Folgenabschätzung durchgeführt und, sofern in dieser Verordnung nichts anderes bestimmt ist, das System gemäß dieser Verordnung in der Datenbank registriert hat. Die Personenreferenzdatenbank sollte für jeden Anwendungsfall in jedem der oben genannten Fälle geeignet sein.
(35)
Toute utilisation d’un système d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives devrait être subordonnée à l’autorisation expresse et spécifique d’une autorité judiciaire ou d’une autorité administrative indépendante d’un État membre dont la décision est contraignante. Cette autorisation devrait en principe être obtenue avant l’utilisation du système d’IA en vue d’identifier une ou plusieurs personnes. Des exceptions à cette règle devraient être autorisées dans des situations dûment justifiées en raison du caractère urgent, c’est-à-dire des situations où la nécessité d’utiliser les systèmes en question est de nature à rendre effectivement et objectivement impossible l’obtention d’une autorisation avant de commencer à utiliser le système d’IA. Dans de telles situations d’urgence, l’utilisation du système d’IA devrait être limitée au strict nécessaire et assortie de garanties et de conditions appropriées, telles qu’elles sont déterminées dans le droit national et spécifiées dans le contexte de chaque cas d’utilisation urgente par les autorités répressives elles-mêmes. En outre, l’autorité répressive devrait, dans ce genre de situation, solliciter une telle autorisation tout en indiquant les raisons pour lesquelles elle n’a pas été en mesure de le faire plus tôt, sans retard injustifié et au plus tard dans un délai de 24 heures. Lorsqu’une demande d’autorisation est rejetée, l’utilisation de systèmes d’identification biométrique en temps réel liés à cette autorisation devrait cesser immédiatement et toutes les données relatives à cette utilisation devraient être mises au rebut et supprimées. Ces données comprennent les données d’entrée directement acquises par un système d’IA au cours de l’utilisation de ce système, ainsi que les résultats et sorties de l’utilisation liée à cette autorisation. Cela ne devrait pas comprendre les entrées qui sont légalement acquises dans le respect d’un autre droit national ou du droit de l’Union. En tout état de cause, aucune décision produisant des effets juridiques défavorables à l’égard d’une personne ne devrait être prise sur la seule base des sorties du système d’identification biométrique à distance.
(35)
Jede Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken sollte einer ausdrücklichen spezifischen Genehmigung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde eines Mitgliedstaats, deren Entscheidung rechtsverbindlich ist, unterliegen. Eine solche Genehmigung sollte grundsätzlich vor der Verwendung des KI-Systems zur Identifizierung einer Person oder mehrerer Personen eingeholt werden. Ausnahmen von dieser Regel sollten in hinreichend begründeten dringenden Fällen erlaubt sein, d. h. in Situationen, in denen es wegen der Notwendigkeit der Verwendung der betreffenden Systeme tatsächlich und objektiv unmöglich ist, vor dem Beginn der Verwendung des KI-Systems eine Genehmigung einzuholen. In solchen dringenden Fällen sollte die Verwendung des KI-Systems auf das absolut notwendige Mindestmaß beschränkt werden und angemessenen Schutzvorkehrungen und Bedingungen unterliegen, die im nationalen Recht festgelegt sind und im Zusammenhang mit jedem einzelnen dringenden Anwendungsfall von der Strafverfolgungsbehörde selbst präzisiert werden. Darüber hinaus sollte die Strafverfolgungsbehörde in solchen Fällen eine solche Genehmigung beantragen und die Gründe dafür angeben, warum sie sie nicht früher, unverzüglich, spätestens jedoch innerhalb von 24 Stunden beantragen konnte. Wird eine solche Genehmigung abgelehnt, sollte die Verwendung biometrischer Echtzeit-Identifizierungssysteme, die mit dieser Genehmigung verbunden sind, mit sofortiger Wirkung eingestellt werden, und alle Daten im Zusammenhang mit dieser Verwendung sollten verworfen und gelöscht werden. Diese Daten umfassen Eingabedaten, die von einem KI-System während der Nutzung eines solchen Systems direkt erfasst werden, sowie die Ergebnisse und Ausgaben der mit dieser Genehmigung verbundenen Verwendung. Daten, die im Einklang mit anderem Unionsrecht oder nationalem Recht rechtmäßig erworben wurden, sollten davon nicht betroffen sein. In jedem Fall darf keine Entscheidung mit nachteiligen Rechtsfolgen für eine Person allein auf der Grundlage der Ausgaben des biometrischen Fernidentifizierungssystems getroffen werden.
(36)
Afin de s’acquitter de leurs tâches conformément aux exigences énoncées dans le présent règlement ainsi que dans les règles nationales, l’autorité de surveillance du marché concernée et l’autorité nationale chargée de la protection des données devraient être informées de chaque utilisation du système d’identification biométrique en temps réel. Les autorités de surveillance du marché et les autorités nationales chargées de la protection des données auxquelles une notification a été adressée devraient présenter à la Commission un rapport annuel sur l’utilisation des systèmes d’identification biométrique en temps réel.
(36)
Damit sie ihre Aufgaben im Einklang mit den Anforderungen dieser Verordnung und der nationalen Vorschriften erfüllen können, sollte die zuständige Marktüberwachungsbehörde und die nationale Datenschutzbehörde über jede Verwendung des biometrischen Echtzeit-Identifizierungssystems unterrichtet werden. Die Marktüberwachungsbehörden und die nationalen Datenschutzbehörden, die unterrichtet wurden, sollten der Kommission jährlich einen Bericht über die Verwendung biometrischer Echtzeit-Identifizierungssysteme vorlegen.
(37)
En outre, il convient de prévoir, dans le cadre exhaustif établi par le présent règlement, qu’une telle utilisation sur le territoire d’un État membre conformément au présent règlement ne devrait être possible que dans le cas et dans la mesure où l’État membre concerné a décidé de prévoir expressément la possibilité d’autoriser une telle utilisation dans des règles détaillées de son droit national. Par conséquent, les États membres restent libres, en vertu du présent règlement, de ne pas prévoir une telle possibilité, ou de prévoir une telle possibilité uniquement pour certains objectifs parmi ceux susceptibles de justifier l’utilisation autorisée définis dans le présent règlement. Ces règles nationales devraient être notifiées à la Commission dans les 30 jours suivant leur adoption.
(37)
Darüber hinaus ist es angezeigt, innerhalb des durch diese Verordnung vorgegebenen erschöpfenden Rahmens festzulegen, dass eine solche Verwendung im Hoheitsgebiet eines Mitgliedstaats gemäß dieser Verordnung nur möglich sein sollte, sofern der betreffende Mitgliedstaat in seinen detaillierten nationalen Rechtsvorschriften ausdrücklich vorgesehen hat, dass eine solche Verwendung genehmigt werden kann. Folglich steht es den Mitgliedstaaten im Rahmen dieser Verordnung frei, eine solche Möglichkeit generell oder nur in Bezug auf einige der in dieser Verordnung genannten Ziele, für die eine genehmigte Verwendung gerechtfertigt sein kann, vorzusehen. Solche nationalen Rechtsvorschriften sollten der Kommission spätestens 30 Tage nach ihrer Annahme mitgeteilt werden.
(38)
L’utilisation de systèmes d’IA pour l’identification biométrique à distance en temps réel de personnes physiques dans des espaces accessibles au public à des fins répressives passe nécessairement par le traitement de données biométriques. Les règles du présent règlement qui interdisent, sous réserve de certaines exceptions, une telle utilisation, et qui sont fondées sur l’article 16 du traité sur le fonctionnement de l’Union européenne, devraient s’appliquer en tant que lex specialis pour ce qui est des règles sur le traitement des données biométriques figurant à l’article 10 de la directive (UE) 2016/680, réglementant ainsi de manière exhaustive cette utilisation et le traitement des données biométriques qui en résulte. Par conséquent, une telle utilisation et un tel traitement ne devraient être possibles que dans la mesure où ils sont compatibles avec le cadre fixé par le présent règlement, sans qu’il soit possible pour les autorités compétentes, lorsqu’elles agissent à des fins répressives en dehors de ce cadre, d’utiliser ces systèmes et de traiter ces données pour les motifs énumérés à l’article 10 de la directive (UE) 2016/680. Dans ce contexte, le présent règlement ne vise pas à fournir la base juridique pour le traitement des données à caractère personnel en vertu de l’article 8 de la directive (UE) 2016/680. Cependant, l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins autres que répressives, y compris par les autorités compétentes, ne devrait pas être couverte par le cadre spécifique concernant l’utilisation à des fins répressives établi par le présent règlement. L’utilisation à des fins autres que répressives ne devrait donc pas être subordonnée à l’exigence d’une autorisation au titre du présent règlement et des règles détaillées du droit national applicable susceptibles de donner effet à cette autorisation.
(38)
Die Verwendung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken erfordert zwangsläufig die Verarbeitung biometrischer Daten. Die Vorschriften dieser Verordnung, die vorbehaltlich bestimmter Ausnahmen eine solche Verwendung auf der Grundlage des Artikels 16 AEUV verbieten, sollten als Lex specialis in Bezug auf die in Artikel 10 der Richtlinie (EU) 2016/680 enthaltenen Vorschriften über die Verarbeitung biometrischer Daten gelten und somit die Verwendung und Verarbeitung der betreffenden biometrischen Daten umfassend regeln. Eine solche Verwendung und Verarbeitung sollte daher nur möglich sein, soweit sie mit dem in dieser Verordnung festgelegten Rahmen vereinbar ist, ohne dass es den zuständigen Behörden bei ihren Tätigkeiten zu Strafverfolgungszwecken Raum lässt, außerhalb dieses Rahmens solche Systeme zu verwenden und die damit verbundenen Daten aus den in Artikel 10 der Richtlinie (EU) 2016/680 aufgeführten Gründen zu verarbeiten. In diesem Zusammenhang soll diese Verordnung nicht als Rechtsgrundlage für die Verarbeitung personenbezogener Daten gemäß Artikel 8 der Richtlinie (EU) 2016/680 dienen. Die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu anderen Zwecken als der Strafverfolgung, auch durch zuständige Behörden, sollte jedoch nicht unter den in dieser Verordnung festgelegten spezifischen Rahmen für diese Verwendung zu Strafverfolgungszwecken fallen. Eine solche Verwendung zu anderen Zwecken als der Strafverfolgung sollte daher nicht der Genehmigungspflicht gemäß dieser Verordnung und den zu dieser Genehmigung anwendbaren detaillierten nationalen Rechtsvorschriften unterliegen.
(39)
Tout traitement de données biométriques et d’autres données à caractère personnel mobilisées lors de l’utilisation de systèmes d’IA pour l’identification biométrique, qui n’est pas lié à l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives, réglementée par le présent règlement, devrait rester conforme à toutes les exigences découlant de l’article 10 de la directive (UE) 2016/680. À des fins autres que répressives, l’article 9, paragraphe 1, du règlement (UE) 2016/679 et l’article 10, paragraphe 1, du règlement (UE) 2018/1725 interdisent le traitement de données biométriques sous réserve d’exceptions limitées prévues dans ces articles. En application de l’article 9, paragraphe 1, du règlement (UE) 2016/679, l’utilisation de l’identification biométrique à distance à des fins autres que répressives a déjà fait l’objet de décisions d’interdiction prises par les autorités nationales chargées de la protection des données.
(39)
Jede Verarbeitung biometrischer Daten und anderer personenbezogener Daten im Zusammenhang mit der Verwendung von KI-Systemen für die biometrische Identifizierung, ausgenommen im Zusammenhang mit der Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken im Sinne dieser Verordnung, sollte weiterhin allen Anforderungen genügen, die sich aus Artikel 10 der Richtlinie (EU) 2016/680 ergeben. Für andere Zwecke als die Strafverfolgung ist die Verarbeitung biometrischer Daten gemäß Artikel 9 Absatz 1 der Verordnung (EU) 2016/679 und Artikel 10 Absatz 1 der Verordnung (EU) 2018/1725, vorbehaltlich der in diesen Artikeln vorgesehenen begrenzten Ausnahmefällen, verboten. In Anwendung des Artikels 9 Absatz 1 der Verordnung (EU) 2016/679 war die Verwendung biometrischer Fernidentifizierung zu anderen Zwecken als der Strafverfolgung bereits Gegenstand von Verbotsentscheidungen der nationalen Datenschutzbehörden.
(40)
Conformément à l’article 6 bis du protocole no 21 sur la position du Royaume-Uni et de l’Irlande à l’égard de l’espace de liberté, de sécurité et de justice, annexé au traité sur l’Union européenne et au traité sur le fonctionnement de l’Union européenne, l’Irlande n’est pas liée par les règles fixées à l’article 5, paragraphe 1, premier alinéa, point g), dans la mesure où il s’applique à l’utilisation de systèmes de catégorisation biométrique pour des activités dans le domaine de la coopération policière et de la coopération judiciaire en matière pénale, à l’article 5, paragraphe 1, premier alinéa, point d), dans la mesure où il s’applique à l’utilisation de systèmes d’IA couverts par cette disposition, à l’article 5, paragraphe 1, premier alinéa, point h), à l’article 5, paragraphes 2 à 6, et l’article 26, paragraphe 10, du présent règlement et adoptées sur la base de l’article 16 du traité sur le fonctionnement de l’Union européenne concernant le traitement de données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou 5 du titre V de la troisième partie du traité sur le fonctionnement de l’Union européenne, lorsque l’Irlande n’est pas liée par les règles qui régissent des formes de coopération judiciaire en matière pénale ou de coopération policière dans le cadre desquelles les dispositions fixées sur la base de l’article 16 du traité sur le fonctionnement de l’Union européenne doivent être respectées.
(40)
Nach Artikel 6a des dem EUV und dem AEUV beigefügten Protokolls Nr. 21 über die Position des Vereinigten Königreichs und Irlands hinsichtlich des Raums der Freiheit, der Sicherheit und des Rechts sind die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften in Artikel 5 Absatz 1 Unterabsatz 1 Buchstabe g, soweit er auf die Verwendung von Systemen zur biometrischen Kategorisierung für Tätigkeiten im Bereich der polizeilichen Zusammenarbeit und der justiziellen Zusammenarbeit in Strafsachen Anwendung findet, Artikel 5 Absatz 1 Buchstabe d, soweit sie auf die Verwendung von KI-Systemen nach der darin festgelegten Bestimmung Anwendung finden, sowie Artikel 5 Absatz 1 Unterabsatz 1 Buchstabe h, Artikel 5 Absätze 2 bis 6 und Artikel 26 Absatz 10 dieser Verordnung in Bezug auf die Verarbeitung personenbezogener Daten durch die Mitgliedstaaten im Rahmen der Ausübung von Tätigkeiten, die in den Anwendungsbereich des Dritten Teils Titel V Kapitel 4 oder 5 AEUV fallen, für Irland nicht bindend, wenn Irland nicht durch die Vorschriften gebunden ist, die die Formen der justiziellen Zusammenarbeit in Strafsachen oder der polizeilichen Zusammenarbeit regeln, in deren Rahmen die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften eingehalten werden müssen.
(41)
Conformément aux articles 2 et 2 bis du protocole no 22 sur la position du Danemark, annexé au traité l’Union européenne et au traité sur le fonctionnement de l’Union européenne, le Danemark n’est pas lié par les règles fixées à l’article 5, paragraphe 1, premier alinéa, point g), dans la mesure où il s’applique à l’utilisation de systèmes de catégorisation biométrique pour des activités dans le domaine de la coopération policière et de la coopération judiciaire en matière pénale, à l’article 5, paragraphe 1, premier alinéa, point d), dans la mesure où il s’applique à l’utilisation de systèmes d’IA couverts par cette disposition, à l’article 5, paragraphe 1, premier alinéa, point h), à l’article 5, paragraphes 2 à 6, et à l’article 26, paragraphe 10, du présent règlement et adoptées sur la base de l’article 16 du traité sur le fonctionnement de l’Union européenne, ni soumis à leur application, lorsqu’elles concernent le traitement des données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou du chapitre 5 du titre V de la troisième partie du traité sur le fonctionnement de l’Union européenne.
(41)
Nach den Artikeln 2 und 2a des dem EUV und dem AEUV beigefügten Protokolls Nr. 22 über die Position Dänemarks ist Dänemark durch die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften in Artikel 5 Absatz 1 Unterabsatz 1 Buchstabe g soweit er auf die Verwendung von Systemen zur biometrischen Kategorisierung für Tätigkeiten im Bereich der polizeilichen Zusammenarbeit und der justiziellen Zusammenarbeit in Strafsachen Anwendung findet, Artikel 5 Absatz 1 Unterabsatz 1 Buchstaben d soweit sie auf die Verwendung von KI-Systemen nach der darin festgelegten Bestimmung Anwendung finden, sowie Artikel 5 Absatz 1 Unterabsatz 1 Buchstabe h, Artikel 5 Absätze 2 bis 6 und Artikel 26 Absatz 10 dieser Verordnung in Bezug auf die Verarbeitung personenbezogener Daten durch die Mitgliedstaaten im Rahmen der Ausübung von Tätigkeiten, die in den Anwendungsbereich des Dritten Teils Titel V Kapitel 4 oder 5 AEUV fallen, weder gebunden noch zu ihrer Anwendung verpflichtet.
(42)
Conformément à la présomption d’innocence, les personnes physiques dans l’Union devraient toujours être jugées sur leur comportement réel. Une personne physique ne devrait jamais être jugée sur la base d’un comportement prédit par l’IA uniquement sur la base de son profilage, de ses traits de personnalité ou de ses caractéristiques, telles que la nationalité, le lieu de naissance, le lieu de résidence, le nombre d’enfants, le niveau d’endettement ou le type de voiture, sans qu’il existe un motif raisonnable de soupçonner que cette personne est impliquée dans une activité criminelle sur la base de faits objectifs vérifiables et sans évaluation humaine de ceux-ci. Par conséquent, il convient d’interdire les évaluations des risques effectuées en ce qui concerne des personnes physiques dans le but d’évaluer la probabilité que ces dernières commettent une infraction ou de prévoir la survenance d’une infraction pénale, réelle ou potentielle, sur la seule base du profilage de ces personnes physiques ou de l’évaluation de leurs traits de personnalité et caractéristiques. En tout état de cause, cette interdiction ne vise ni ne concerne l’analyse des risques non fondée sur le profilage des personnes ou sur les traits de personnalité et les caractéristiques des individus, tels que les systèmes d’IA utilisant l’analyse des risques pour évaluer la probabilité de fraude financière de la part d’entreprises sur la base de transactions suspectes ou d’outils d’analyse des risques permettant de prédire la probabilité de la localisation de stupéfiants ou de marchandises illicites par les autorités douanières, par exemple sur la base de voies de trafic connues.
(42)
Im Einklang mit der Unschuldsvermutung sollten natürliche Personen in der Union stets nach ihrem tatsächlichen Verhalten beurteilt werden. Natürliche Personen sollten niemals allein nach dem Verhalten beurteilt werden, das von einer KI auf der Grundlage ihres Profiling, ihrer Persönlichkeitsmerkmale oder -eigenschaften wie Staatsangehörigkeit, Geburtsort, Wohnort, Anzahl der Kinder, Schulden oder Art ihres Fahrzeugs vorhergesagt wird, ohne dass ein begründeter Verdacht besteht, dass diese Person an einer kriminellen Tätigkeit auf der Grundlage objektiver nachprüfbarer Tatsachen beteiligt ist, und ohne dass eine menschliche Überprüfung stattfindet. Daher sollten Risikobewertungen, die in Bezug auf natürliche Personen durchgeführt werden, um zu bewerten, ob sie straffällig werden oder um eine tatsächliche oder mögliche Straftat vorherzusagen, und dies ausschließlich auf dem Profiling dieser Personen oder der Bewertung ihrer Persönlichkeitsmerkmale und -eigenschaften beruht, verboten werden. In jedem Fall betrifft oder berührt dieses Verbot nicht Risikoanalysen, die nicht auf dem Profiling von Einzelpersonen oder auf Persönlichkeitsmerkmalen und -eigenschaften von Einzelpersonen beruhen, wie etwa KI-Systeme, die Risikoanalysen zur Bewertung der Wahrscheinlichkeit eines Finanzbetrugs durch Unternehmen auf der Grundlage verdächtiger Transaktionen durchführen, oder Risikoanalyseinstrumente einsetzen, um die Wahrscheinlichkeit vorherzusagen, dass Betäubungsmittel oder illegale Waren durch Zollbehörden, beispielsweise auf der Grundlage bekannter Schmuggelrouten, aufgespürt werden.
(43)
Il y a lieu d’interdire la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA qui créent ou développent des bases de données de reconnaissance faciale par le moissonnage non ciblé d’images faciales provenant de l’internet ou de la vidéosurveillance, parce que cette pratique ne fait qu’accentuer le sentiment de surveillance de masse et peut entraîner des violations flagrantes des droits fondamentaux, y compris du droit au respect de la vie privée.
(43)
Das Inverkehrbringen, die Inbetriebnahme für diesen spezifischen Zweck oder die Verwendung von KI-Systemen, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Videoüberwachungsaufnahmen erstellen oder erweitern, sollte verboten werden, da dies das Gefühl der Massenüberwachung verstärkt und zu schweren Verstößen gegen die Grundrechte, einschließlich des Rechts auf Privatsphäre, führen kann.
(44)
La base scientifique des systèmes d’IA visant à identifier ou à inférer les émotions suscite de vives inquiétudes, d’autant plus que l’expression des émotions varie considérablement d’une culture et d’une situation à l’autre, comme d’ailleurs chez un même individu. Les principaux défauts de ces systèmes sont, entre autres, leur fiabilité limitée, leur manque de précision et leur généralisabilité limitée. Par conséquent, les systèmes d’IA qui identifient ou déduisent les émotions ou les intentions de personnes physiques sur la base de leurs données biométriques peuvent conduire à des résultats discriminatoires et peuvent être intrusifs pour les droits et libertés des personnes concernées. Si l’on considère le déséquilibre de pouvoir qui existe dans le cadre du travail ou de l’enseignement, combiné au caractère intrusif de ces systèmes, ces derniers risqueraient de déboucher sur le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes entiers de personnes physiques. Par conséquent, il convient d’interdire la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA destinés à être utilisés pour déterminer l’état émotionnel de personnes physiques dans des situations liées au lieu de travail et à l’enseignement. Cette interdiction ne devrait pas porter sur les systèmes d’IA mis sur le marché strictement pour des raisons médicales ou de sécurité, tels que les systèmes destinés à un usage thérapeutique.
(44)
Im Hinblick auf die wissenschaftliche Grundlage von KI-Systemen, die darauf abzielen, Emotionen zu erkennen oder abzuleiten, bestehen ernsthafte Bedenken, insbesondere da sich Gefühlsausdrücke je nach Kultur oder Situation und selbst bei ein und derselben Person erheblich unterscheiden. Zu den größten Schwachstellen solcher Systeme gehört, dass sie beschränkt zuverlässig, nicht eindeutig und nur begrenzt verallgemeinerbar sind. Daher können KI-Systeme, die Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten erkennen oder ableiten, diskriminierende Ergebnisse hervorbringen und in die Rechte und Freiheiten der betroffenen Personen eingreifen. Angesichts des Machtungleichgewichts in den Bereichen Arbeit und Bildung in Verbindung mit dem intrusiven Charakter dieser Systeme können diese zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen führen. Daher sollte das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die den emotionalen Zustand von Einzelpersonen in Situationen, ableiten sollen, die mit dem Arbeitsplatz oder dem Bildungsbereich in Zusammenhang stehen, verboten werden. Dieses Verbot sollte nicht für KI-Systeme gelten, die ausschließlich aus medizinischen oder sicherheitstechnischen Gründen in Verkehr gebracht werden, wie z. B. Systeme, die für therapeutische Zwecke bestimmt sind.
(45)
Le présent règlement devrait être sans effet sur les pratiques interdites par le droit de l’Union, notamment en vertu du droit de la protection des données, de la lutte contre la discrimination, de la protection des consommateurs et de la concurrence.
(45)
Praktiken, die nach Unionsrecht, einschließlich Datenschutzrecht, Nichtdiskriminierungsrecht, Verbraucherschutzrecht und Wettbewerbsrecht, verboten sind, sollten von dieser Verordnung nicht betroffen sein.
(46)
Les systèmes d’IA à haut risque ne devraient être mis sur le marché de l’Union, mis en service ou utilisés que s’ils satisfont à certaines exigences obligatoires. Ces exigences devraient garantir que les systèmes d’IA à haut risque disponibles dans l’Union ou dont les sorties sont utilisées d’une autre manière dans l’Union ne présentent pas de risques inacceptables pour d’importants intérêts publics de l’Union tels qu’ils sont reconnus et protégés par le droit de l’Union. Sur la base du nouveau cadre législatif, que la Commission a détaillé dans sa communication présentant le «“Guide bleu” relatif à la mise en œuvre de la réglementation de l’UE sur les produits 2022» (20), la règle générale est que plus d’un acte juridique de la législation d’harmonisation de l’Union, comme les règlements (UE) 2017/745 (21) et (UE) 2017/746 (22) du Parlement européen et du Conseil ou la directive 2006/42/CE du Parlement européen et du Conseil (23), peuvent s’appliquer à un produit dès lors que la mise à disposition ou la mise en service ne peut avoir lieu que lorsque le produit est conforme à l’ensemble de la législation d’harmonisation de l’Union applicable. Dans un souci de cohérence, et afin d’éviter des charges administratives ou des coûts inutiles, les fournisseurs d’un produit contenant un ou plusieurs systèmes d’IA à haut risque, auxquels s’appliquent les exigences du présent règlement et de la législation d’harmonisation de l’Union dont la liste figure en annexe du présent règlement, devraient disposer d’une certaine souplesse en ce qui concerne les décisions opérationnelles à prendre quant à la manière de garantir de façon optimale qu’un produit contenant un ou plusieurs systèmes d’IA est conforme à l’ensemble des exigences applicables de la législation d’harmonisation de l’Union. Les systèmes d’IA désignés comme étant à haut risque devraient être limités aux systèmes qui ont une incidence préjudiciable substantielle sur la santé, la sécurité et les droits fondamentaux des citoyens dans l’Union et une telle limitation devrait réduire au minimum toute éventuelle restriction au commerce international.
(46)
Hochrisiko-KI-Systeme sollten nur dann auf dem Unionsmarkt in Verkehr gebracht, in Betrieb genommen oder verwendet werden, wenn sie bestimmte verbindliche Anforderungen erfüllen. Mit diesen Anforderungen sollte sichergestellt werden, dass Hochrisiko-KI-Systeme, die in der Union verfügbar sind oder deren Ausgabe anderweitig in der Union verwendet wird, keine unannehmbaren Risiken für wichtige öffentliche Interessen der Union bergen, wie sie im Unionsrecht anerkannt und geschützt sind. Auf der Grundlage des neuen Rechtsrahmens, wie in der Bekanntmachung der Kommission „Leitfaden für die Umsetzung der Produktvorschriften der EU 2022 (Blue Guide)“ (20) dargelegt, gilt als allgemeine Regel, dass mehr als ein Rechtsakt der Harmonisierungsrechtsvorschriften der Union wie die Verordnungen (EU) 2017/745 (21) und (EU) 2017/746 (22) des Europäischen Parlaments und des Rates oder die Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates (23) auf ein Produkt anwendbar sein können, da die Bereitstellung oder Inbetriebnahme nur erfolgen kann, wenn das Produkt allen geltenden Harmonisierungsrechtsvorschriften der Union entspricht. Um Kohärenz zu gewährleisten und unnötigen Verwaltungsaufwand oder Kosten zu vermeiden, sollten die Anbieter eines Produkts, das ein oder mehrere Hochrisiko-KI-Systeme enthält, für die die Anforderungen dieser Verordnung und der in einem Anhang dieser Verordnung aufgeführten Harmonisierungsrechtsvorschriften der Union gelten, in Bezug auf operative Entscheidungen darüber flexibel sein, wie die Konformität eines Produkts, das ein oder mehrere Hochrisiko-KI-Systeme enthält, bestmöglich mit allen geltenden Anforderungen der Harmonisierungsrechtsvorschriften der Union sichergestellt werden kann. Als hochriskant sollten nur solche KI-Systeme eingestuft werden, die erhebliche schädliche Auswirkungen auf die Gesundheit, die Sicherheit und die Grundrechte von Personen in der Union haben, wodurch eine mögliche Beschränkung des internationalen Handels so gering wie möglich bleiben sollte.
(47)
Les systèmes d’IA pourraient avoir un impact négatif sur la santé et la sécurité des citoyens, en particulier lorsque ces systèmes sont utilisés en tant que composants de sécurité de produits. Conformément aux objectifs de la législation d’harmonisation de l’Union visant à faciliter la libre circulation des produits sur le marché intérieur et à garantir que seuls des produits sûrs et conformes à d’autres égards soient mis sur le marché, il est important de dûment prévenir et atténuer les risques pour la sécurité susceptibles d’être créés par un produit dans son ensemble en raison de ses composants numériques, y compris les systèmes d’IA. Par exemple, des robots de plus en plus autonomes, que ce soit dans le secteur de l’industrie manufacturière ou des services de soins et d’aide à autrui, devraient pouvoir opérer et remplir leurs fonctions en toute sécurité dans des environnements complexes. De même, dans le secteur de la santé, où les enjeux pour la vie et la santé sont particulièrement importants, les systèmes de diagnostic de plus en plus sophistiqués et les systèmes soutenant les décisions humaines devraient être fiables et précis.
(47)
KI-Systeme könnten nachteilige Auswirkungen auf die Gesundheit und Sicherheit von Personen haben, insbesondere wenn solche Systeme als Sicherheitsbauteile von Produkten zum Einsatz kommen. Im Einklang mit den Zielen der Harmonisierungsrechtsvorschriften der Union, die den freien Verkehr von Produkten im Binnenmarkt erleichtern und gewährleisten sollen, dass nur sichere und anderweitig konforme Produkte auf den Markt gelangen, ist es wichtig, dass die Sicherheitsrisiken, die ein Produkt als Ganzes aufgrund seiner digitalen Komponenten, einschließlich KI-Systeme, mit sich bringen kann, angemessen vermieden und gemindert werden. So sollten beispielsweise zunehmend autonome Roboter — sei es in der Fertigung oder in der persönlichen Assistenz und Pflege — in der Lage sein, sicher zu arbeiten und ihre Funktionen in komplexen Umgebungen zu erfüllen. Desgleichen sollten die immer ausgefeilteren Diagnosesysteme und Systeme zur Unterstützung menschlicher Entscheidungen im Gesundheitssektor, in dem die Risiken für Leib und Leben besonders hoch sind, zuverlässig und genau sein.
(48)
L’ampleur de l’incidence négative du système d’IA sur les droits fondamentaux protégés par la Charte est un critère particulièrement pertinent lorsqu’il s’agit de classer un système d’IA en tant que système à haut risque. Ces droits comprennent le droit à la dignité humaine, le respect de la vie privée et familiale, la protection des données à caractère personnel, la liberté d’expression et d’information, la liberté de réunion et d’association, le droit à la non-discrimination, le droit à l’éducation, la protection des consommateurs, les droits des travailleurs, les droits des personnes handicapées, l’égalité de genre, les droits de propriété intellectuelle, le droit à un recours effectif et à accéder à un tribunal impartial, les droits de la défense et la présomption d’innocence, et le droit à une bonne administration. En plus de ces droits, il est important de souligner le fait que les enfants bénéficient de droits spécifiques consacrés à l’article 24 de la Charte et dans la convention des Nations unies relative aux droits de l’enfant (et précisés dans l’observation générale no 25 de la CNUDE en ce qui concerne l’environnement numérique), et que ces deux textes considèrent la prise en compte des vulnérabilités des enfants et la fourniture d’une protection et de soins appropriés comme nécessaires au bien-être de l’enfant. Le droit fondamental à un niveau élevé de protection de l’environnement, consacré dans la Charte et mis en œuvre dans les politiques de l’Union, devrait également être pris en considération lors de l’évaluation de la gravité du préjudice qu’un système d’IA peut causer, notamment en ce qui concerne les conséquences pour la santé et la sécurité des personnes.
(48)
Das Ausmaß der nachteiligen Auswirkungen des KI-Systems auf die durch die Charta geschützten Grundrechte ist bei der Einstufung eines KI-Systems als hochriskant von besonderer Bedeutung. Zu diesen Rechten gehören die Würde des Menschen, die Achtung des Privat- und Familienlebens, der Schutz personenbezogener Daten, die Freiheit der Meinungsäußerung und die Informationsfreiheit, die Versammlungs- und Vereinigungsfreiheit, das Recht auf Nichtdiskriminierung, das Recht auf Bildung, der Verbraucherschutz, die Arbeitnehmerrechte, die Rechte von Menschen mit Behinderungen, die Gleichstellung der Geschlechter, Rechte des geistigen Eigentums, das Recht auf einen wirksamen Rechtsbehelf und ein faires Gerichtsverfahren, das Verteidigungsrecht, die Unschuldsvermutung sowie das Recht auf eine gute Verwaltung. Es muss betont werden, dass Kinder — zusätzlich zu diesen Rechten — über spezifische Rechte verfügen, wie sie in Artikel 24 der Charta und im Übereinkommen der Vereinten Nationen über die Rechte des Kindes (UNCRC) — im Hinblick auf das digitale Umfeld weiter ausgeführt in der Allgemeinen Bemerkung Nr. 25 des UNCRC — verankert sind; in beiden wird die Berücksichtigung der Schutzbedürftigkeit der Kinder gefordert und ihr Anspruch auf den Schutz und die Fürsorge festgelegt, die für ihr Wohlergehen notwendig sind. Darüber hinaus sollte dem Grundrecht auf ein hohes Umweltschutzniveau, das in der Charta verankert ist und mit der Unionspolitik umgesetzt wird, bei der Bewertung der Schwere des Schadens, den ein KI-System unter anderem in Bezug auf die Gesundheit und Sicherheit von Personen verursachen kann, ebenfalls Rechnung getragen werden.
(49)
En ce qui concerne les systèmes d’IA à haut risque constituant des composants de sécurité de produits ou de systèmes, ou qui sont eux-mêmes des produits ou des systèmes entrant dans le champ d’application du règlement (CE) no 300/2008 du Parlement européen et du Conseil (24), du règlement (UE) no 167/2013 du Parlement européen et du Conseil (25), du règlement (UE) no 168/2013 du Parlement européen et du Conseil (26), de la directive 2014/90/UE du Parlement européen et du Conseil (27), de la directive (UE) 2016/797 du Parlement européen et du Conseil (28), du règlement (UE) 2018/858 du Parlement européen et du Conseil (29), du règlement (UE) 2018/1139 du Parlement européen et du Conseil (30) ou du règlement (UE) 2019/2144 du Parlement européen et du Conseil (31), il convient de modifier ces actes pour veiller à ce que la Commission tienne compte, sur la base des spécificités techniques et réglementaires de chaque secteur, et sans interférer avec les mécanismes et les autorités de gouvernance, d’évaluation de la conformité et de contrôle de l’application déjà en place en vertu de ces règlements, des exigences obligatoires applicables aux systèmes d’IA à haut risque définis dans le présent règlement lors de l’adoption d’actes délégués ou d’actes d’exécution pertinents sur la base de ces actes.
(49)
In Bezug auf Hochrisiko-KI-Systeme, die Sicherheitsbauteile von Produkten oder Systemen oder selbst Produkte oder Systeme sind, die in den Anwendungsbereich der Verordnung (EG) Nr. 300/2008 des Europäischen Parlaments und des Rates (24), der Verordnung (EU) Nr. 167/2013 des Europäischen Parlaments und des Rates (25), der Verordnung (EU) Nr. 168/2013 des Europäischen Parlaments und des Rates (26), der Richtlinie 2014/90/EU des Europäischen Parlaments und des Rates (27), der Richtlinie (EU) 2016/797 des Europäischen Parlaments und des Rates (28), der Verordnung (EU) 2018/858 des Europäischen Parlaments und des Rates (29), der Verordnung (EU) 2018/1139 des Europäischen Parlaments und des Rates (30) und der Verordnung (EU) 2019/2144 des Europäischen Parlaments und des Rates (31) fallen, ist es angezeigt, diese Rechtsakte zu ändern, damit die Kommission — aufbauend auf den technischen und regulatorischen Besonderheiten des jeweiligen Sektors und ohne Beeinträchtigung bestehender Governance-, Konformitätsbewertungs- und Durchsetzungsmechanismen sowie der darin eingerichteten Behörden — beim Erlass von etwaigen delegierten Rechtsakten oder Durchführungsrechtsakten auf der Grundlage der genannten Rechtsakte die in der vorliegenden Verordnung festgelegten verbindlichen Anforderungen an Hochrisiko-KI-Systeme berücksichtigt.
(50)
En ce qui concerne les systèmes d’IA qui constituent des composants de sécurité de produits relevant de certaines législations d’harmonisation de l’Union dont la liste figure en annexe du présent règlement, ou qui sont eux-mêmes de tels produits, il convient de les classer comme étant à haut risque au titre du présent règlement si le produit concerné est soumis à la procédure d’évaluation de la conformité par un organisme tiers d’évaluation de la conformité conformément à la législation d’harmonisation de l’Union correspondante. Ces produits sont notamment les machines, les jouets, les ascenseurs, les appareils et les systèmes de protection destinés à être utilisés en atmosphères explosibles, les équipements radio, les équipements sous pression, les équipements pour bateaux de plaisance, les installations à câbles, les appareils brûlant des combustibles gazeux, les dispositifs médicaux, les dispositifs médicaux de diagnostic in vitro, l’automobile et l’aviation.
(50)
In Bezug auf KI-Systeme, die Sicherheitsbauteile von Produkten oder selbst Produkte sind, die in den Anwendungsbereich bestimmter, im Anhang dieser Verordnung aufgeführter Harmonisierungsrechtsvorschriften der Union fallen, ist es angezeigt, sie im Rahmen dieser Verordnung als hochriskant einzustufen, wenn das betreffende Produkt gemäß den einschlägigen Harmonisierungsrechtsvorschriften der Union dem Konformitätsbewertungsverfahren durch eine als Dritte auftretende Konformitätsbewertungsstelle unterzogen wird. Dabei handelt es sich insbesondere um Produkte wie Maschinen, Spielzeuge, Aufzüge, Geräte und Schutzsysteme zur bestimmungsgemäßen Verwendung in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Sportbootausrüstung, Seilbahnen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte, In-vitro-Diagnostika, Automobile und Flugzeuge.
(51)
La classification d’un système d’IA comme étant à haut risque en application du présent règlement ne devrait pas nécessairement signifier que le produit utilisant le système d’IA en tant que composant de sécurité, ou que le système d’IA lui-même en tant que produit, est considéré comme étant à haut risque selon les critères établis dans la législation d’harmonisation de l’Union correspondante qui s’applique au produit en question. Tel est notamment le cas pour le règlement (UE) 2017/745 et le règlement (UE) 2017/746, dans le cadre desquels une évaluation de la conformité par un tiers est prévue pour les produits à risque moyen et les produits à haut risque.
(51)
Die Einstufung eines KI-Systems als hochriskant gemäß dieser Verordnung sollte nicht zwangsläufig bedeuten, dass von dem Produkt, dessen Sicherheitsbauteil das KI-System ist, oder von dem KI-System als eigenständigem Produkt nach den Kriterien der einschlägigen Harmonisierungsrechtsvorschriften der Union für das betreffende Produkt ein hohes Risiko ausgeht. Dies gilt insbesondere für die Verordnungen (EU) 2017/745 und (EU) 2017/746, wo für Produkte mit mittlerem und hohem Risiko eine Konformitätsbewertung durch Dritte vorgesehen ist.
(52)
En ce qui concerne les systèmes d’IA autonomes, à savoir les systèmes d’IA à haut risque autres que ceux qui constituent des composants de sécurité de produits ou qui sont eux-mêmes des produits, il convient de les classer comme étant à haut risque si, au vu de leur destination, ils présentent un risque élevé de causer un préjudice à la santé, à la sécurité ou aux droits fondamentaux des citoyens, en tenant compte à la fois de la gravité et de la probabilité du préjudice éventuel, et s’ils sont utilisés dans un certain nombre de domaines spécifiquement prédéfinis dans le présent règlement. La définition de ces systèmes est fondée sur la même méthode et les mêmes critères que ceux également envisagés pour toute modification ultérieure de la liste des systèmes d’IA à haut risque que la Commission devrait être habilitée à adopter, au moyen d’actes délégués, afin de tenir compte du rythme rapide de l’évolution technologique, ainsi que des changements potentiels dans l’utilisation des systèmes d’IA.
(52)
Bei eigenständigen KI-Systemen, d. h. Hochrisiko-KI-Systemen, bei denen es sich um andere Systeme als Sicherheitsbauteile von Produkten handelt oder die selbst Produkte sind, ist es angezeigt, sie als hochriskant einzustufen, wenn sie aufgrund ihrer Zweckbestimmung ein hohes Risiko bergen, die Gesundheit und Sicherheit oder die Grundrechte von Personen zu schädigen, wobei sowohl die Schwere des möglichen Schadens als auch die Wahrscheinlichkeit seines Auftretens zu berücksichtigen sind, und sofern sie in einer Reihe von Bereichen verwendet werden, die in dieser Verordnung ausdrücklich festgelegt sind. Die Bestimmung dieser Systeme erfolgt nach derselben Methodik und denselben Kriterien, die auch für künftige Änderungen der Liste der Hochrisiko-KI-Systeme vorgesehen sind, zu deren Annahme die Kommission im Wege delegierter Rechtsakte ermächtigt werden sollte, um dem rasanten Tempo der technologischen Entwicklung sowie den möglichen Änderungen bei der Verwendung von KI-Systemen Rechnung zu tragen.
(53)
Il importe également de préciser qu’il peut exister des cas spécifiques dans lesquels les systèmes d’IA visés dans des domaines prédéfinis spécifiés dans le présent règlement ne présentent pas un risque important d’atteinte aux intérêts juridiques protégés dans ces domaines parce qu’ils n’ont pas d’incidence substantielle sur la prise de décision ou ne causent pas de préjudice important à ces intérêts. Aux fins du présent règlement, il convient d’entendre par système d’IA qui n’a pas d’incidence substantielle sur le résultat de la prise de décision un système d’IA qui n’a pas d’incidence sur la substance et, partant, sur le résultat de la prise de décision, qu’elle soit humaine ou automatisée. Dans les cas où une ou plusieurs des conditions ci-après sont remplies, il pourrait s’agir d’un système d’IA qui n’a pas d’incidence substantielle sur le résultat de la prise de décision. La première de ces conditions devrait être que le système d’IA est destiné à accomplir une tâche procédurale étroite, comme transformer des données non structurées en données structurées, classer les documents entrants par catégories ou détecter les doublons parmi un grand nombre d’applications. Ces tâches sont par nature si étroites et limitées qu’elles ne présentent que des risques limités, qui ne sont pas exacerbés par une utilisation d’un système d’IA dans un contexte répertorié parmi les utilisations à haut risque dans la liste figurant en annexe du présent règlement. La deuxième condition devrait être que la tâche effectuée par le système d’IA est destinée à améliorer le résultat d’une activité humaine préalablement réalisée, susceptible d’être utile aux fins des utilisations à haut risque énumérées dans une annexe du présent règlement. Compte tenu de ces caractéristiques, le système d’IA n’ajoute qu’une couche supplémentaire à une activité humaine, ce qui présente par conséquent un risque réduit. Cette condition s’appliquerait par exemple aux systèmes d’IA destinés à améliorer la façon dont un document est rédigé, pour lui donner un ton professionnel ou un style académique ou pour l’adapter à un message de marque défini. La troisième condition devrait être que le système d’IA est destiné à détecter les constantes en matière de prise de décision ou les écarts par rapport aux constantes habituelles antérieures. Le risque serait réduit parce que l’utilisation du système d’IA intervient après la réalisation d’une évaluation humaine et n’est pas destinée à se substituer à celle-ci ni à l’influencer, sans examen humain approprié. Il s’agit par exemple des systèmes d’IA qui, compte tenu de certaines constantes habituelles observées chez un enseignant au niveau de la notation, peuvent être utilisés pour vérifier a posteriori si l’enseignant s’est éventuellement écarté de ces constantes, de manière à signaler d’éventuelles incohérences ou anomalies. La quatrième condition devrait être que le système d’IA est destiné à exécuter une tâche qui n’est qu’un acte préparatoire à une évaluation pertinente aux fins des systèmes d’IA repris dans la liste figurant dans une annexe du présent règlement et, partant, la probabilité que les sorties produites par le système présentent un risque pour l’évaluation postérieure est très faible. Cette condition s’applique, entre autres, aux solutions intelligentes de traitement des fichiers, qui comprennent diverses fonctions telles que l’indexation, la recherche, le traitement de texte et le traitement de la parole ou le fait de relier des données à d’autres sources de données, ou aux systèmes d’IA utilisés pour la traduction de documents initiaux. En tout état de cause, les systèmes d’IA utilisés dans des cas d’utilisation à haut risque énumérés dans une annexe du présent règlement devraient être considérés comme présentant des risques importants de préjudice pour la santé, la sécurité ou les droits fondamentaux si le système d’IA implique un profilage au sens de l’article 4, point 4), du règlement (UE) 2016/679, de l’article 3, point 4), de la directive (UE) 2016/680 et de l’article 3, point 5), du règlement (UE) 2018/1725. Afin de garantir la traçabilité et la transparence, un fournisseur qui considère qu’un système d’IA n’est pas à haut risque sur la base des conditions susvisées devrait documenter l’évaluation avant la mise sur le marché ou la mise en service de ce système et fournir cette documentation aux autorités nationales compétentes sur demande. Ce fournisseur devrait être tenu d’enregistrer le système d’IA dans la base de données de l’UE établie en vertu du présent règlement. En vue de fournir des orientations supplémentaires pour la mise en œuvre pratique des critères en fonction desquels des systèmes d’IA répertoriés dans la liste figurant dans une annexe du présent règlement sont, à titre exceptionnel, des systèmes qui ne sont pas à haut risque, la Commission devrait, après consultation du Comité IA, fournir des lignes directrices précisant cette mise en œuvre pratique, assorties d’une liste exhaustive d’exemples pratiques de cas d’utilisation de systèmes d’IA qui sont à haut risque et de cas d’utilisation qui ne le sont pas.
(53)
Ferner muss klargestellt werden, dass es bestimmte Fälle geben kann, in denen KI-Systeme für vordefinierte in dieser Verordnung festgelegte Bereiche nicht zu einem bedeutenden Risiko der Beeinträchtigung der in diesen Bereichen geschützten rechtlichen Interessen führen, da sie die Entscheidungsfindung nicht wesentlich beeinflussen oder diesen Interessen nicht erheblich schaden. Für die Zwecke dieser Verordnung sollte ein KI-System, das das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst, als ein KI-System verstanden werden, das keine Auswirkungen auf den Inhalt und damit das Ergebnis der Entscheidungsfindung hat, unabhängig davon, ob es sich um menschliche oder automatisierte Entscheidungen handelt. Ein KI-System, das das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst, könnte Situationen einschließen, in denen eine oder mehrere der folgenden Bedingungen erfüllt sind. Die erste dieser Bedingungen ist, dass das KI-System dazu bestimmt ist, in einem Verfahren eine eng gefasste Aufgabe zu erfüllen, wie etwa ein KI-System, das unstrukturierte Daten in strukturierte Daten umwandelt, ein KI-System, das eingehende Dokumente in Kategorien einordnet, oder ein KI-System, das zur Erkennung von Duplikaten unter einer großen Zahl von Anwendungen eingesetzt wird. Diese Aufgaben sind so eng gefasst und begrenzt, dass sie nur beschränkte Risiken darstellen, die sich durch die Verwendung eines KI-Systems in einem Kontext, der in einem Anhang dieser Verordnung als Verwendung mit hohem Risiko aufgeführt ist, nicht erhöhen. Die zweite Bedingung sollte darin bestehen, dass die von einem KI-System ausgeführte Aufgabe das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit verbessert, die für die Zwecke der in einem Anhang dieser Verordnung aufgeführten Verwendungen mit hohem Risiko relevant sein kann. Unter Berücksichtigung dieser Merkmale wird eine menschliche Tätigkeit durch das KI-System lediglich durch eine zusätzliche Ebene ergänzt und stellt daher ein geringeres Risiko dar. Diese Bedingung würde beispielsweise für KI-Systeme gelten, deren Ziel es ist, die in zuvor verfassten Dokumenten verwendete Sprache zu verbessern, etwa den professionellen Ton, den wissenschaftlichen Sprachstil oder um den Text an einen bestimmten mit einer Marke verbundenen Stil anzupassen. Dritte Bedingung sollte sein, dass mit dem KI-System Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern erkannt werden sollen. Das Risiko wäre geringer, da die Verwendung des KI-Systems einer zuvor abgeschlossenen menschlichen Bewertung folgt, die das KI-System ohne angemessene menschliche Überprüfung nicht ersetzen oder beeinflussen soll. Zu solchen KI-Systemen gehören beispielsweise solche, die in Bezug auf ein bestimmtes Benotungsmuster eines Lehrers dazu verwendet werden können, nachträglich zu prüfen, ob der Lehrer möglicherweise von dem Benotungsmuster abgewichen ist, um so auf mögliche Unstimmigkeiten oder Unregelmäßigkeiten aufmerksam zu machen. Die vierte Bedingung sollte darin bestehen, dass das KI-System dazu bestimmt ist, eine Aufgabe auszuführen, die eine Bewertung, die für die Zwecke der in einem Anhang dieser Verordnung aufgeführten KI-Systeme relevant ist, lediglich vorbereitet, wodurch die mögliche Wirkung der Ausgaben des Systems im Hinblick auf das Risiko für die folgende Bewertung sehr gering bleibt. Diese Bedingung umfasst u. a. intelligente Lösungen für die Bearbeitung von Dossiers, wozu verschiedene Funktionen wie Indexierung, Suche, Text- und Sprachverarbeitung oder Verknüpfung von Daten mit anderen Datenquellen gehören, oder KI-Systeme, die für die Übersetzung von Erstdokumenten verwendet werden. In jedem Fall sollten KI-Systeme, die in den in einem Anhang dieser Verordnung aufgeführten Anwendungsfälle mit hohem Risiko verwendet werden, als erhebliche Risiken für die Gesundheit, Sicherheit oder Grundrechte gelten, wenn das KI-System Profiling im Sinne von Artikel 4 Nummer 4 der Verordnung (EU) 2016/679 oder Artikel 3 Nummer 4 der Richtlinie (EU) 2016/680 oder Artikel 3 Nummer 5 der Verordnung (EU) 2018/1725 beinhaltet. Um die Nachvollziehbarkeit und Transparenz zu gewährleisten, sollte ein Anbieter, der der Auffassung ist, dass ein KI-System auf der Grundlage der oben genannten Bedingungen kein hohes Risiko darstellt, eine Dokumentation der Bewertung erstellen, bevor dieses System in Verkehr gebracht oder in Betrieb genommen wird, und die genannte Dokumentation den zuständigen nationalen Behörden auf Anfrage zur Verfügung stellen. Ein solcher Anbieter sollte verpflichtet sein, das KI-System in der gemäß dieser Verordnung eingerichteten EU-Datenbank zu registrieren. Um eine weitere Anleitung für die praktische Umsetzung der Bedingungen zu geben, unter denen die in einem Anhang dieser Verordnung aufgeführten Systeme ausnahmsweise kein hohes Risiko darstellen, sollte die Kommission nach Konsultation des KI-Gremiums Leitlinien bereitstellen, in denen diese praktische Umsetzung detailliert aufgeführt ist und durch eine umfassende Liste praktischer Beispiele für Anwendungsfälle von KI-Systemen, die ein hohes Risiko und Anwendungsfälle, die kein hohes Risiko darstellen, ergänzt wird.
(54)
Étant donné que les données biométriques constituent une catégorie particulière de données à caractère personnel, il convient de classer comme étant à haut risque plusieurs cas d’utilisation critique des systèmes biométriques, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables. Les inexactitudes techniques des systèmes d’IA destinés à l’identification biométrique à distance des personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires. Le risque de tels résultats biaisés et d’effets discriminatoires est particulièrement important en ce qui concerne l’âge, l’appartenance ethnique, la race, le sexe ou le handicap. Il convient par conséquent de classer les systèmes d’identification biométrique à distance comme étant à haut risque compte tenu des risques qu’ils présentent. Sont exclus de cette classification les systèmes d’IA destinés à être utilisés à des fins de vérification biométrique, parmi lesquelles l’authentification, dont la seule finalité est de confirmer qu’une personne physique donnée est bien celle qu’elle prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un dispositif ou de disposer d’un accès sécurisé à des locaux. En outre, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés pour la catégorisation biométrique en fonction d’attributs ou de caractéristiques sensibles protégés en vertu de l’article 9, paragraphe 1, du règlement (UE) 2016/679 sur la base de données biométriques, dans la mesure où ils ne sont pas interdits par le présent règlement, et les systèmes de reconnaissance des émotions qui ne sont pas interdits en vertu du présent règlement. Les systèmes biométriques destinés à être utilisés uniquement dans le but de permettre la cybersécurité et les mesures de protection des données à caractère personnel ne devraient pas être considérés comme des systèmes d’IA à haut risque.
(54)
Da biometrische Daten eine besondere Kategorie personenbezogener Daten darstellen, sollten einige kritische Anwendungsfälle biometrischer Systeme als hochriskant eingestuft werden, sofern ihre Verwendung nach den einschlägigen Rechtsvorschriften der Union und den nationalen Rechtsvorschriften zulässig ist. Technische Ungenauigkeiten von KI-Systemen, die für die biometrische Fernidentifizierung natürlicher Personen bestimmt sind, können zu verzerrten Ergebnissen führen und eine diskriminierende Wirkung haben. Das Risiko solcher verzerrter Ergebnisse und solcher diskriminierender Wirkungen ist von besonderer Bedeutung, wenn es um das Alter, die ethnische Herkunft, die Rasse, das Geschlecht oder Behinderungen geht. Biometrische Fernidentifizierungssysteme sollten daher angesichts der von ihnen ausgehenden Risiken als hochriskant eingestuft werden. Diese Einstufung umfasst keine KI-Systeme, die bestimmungsgemäß für die biometrische Verifizierung, wozu die Authentifizierung gehört, verwendet werden sollen, deren einziger Zweck darin besteht, zu bestätigen, dass eine bestimmte natürliche Person die Person ist, für die sie sich ausgibt, sowie zur Bestätigung der Identität einer natürlichen Person zu dem alleinigen Zweck Zugang zu einem Dienst zu erhalten, ein Gerät zu entriegeln oder sicheren Zugang zu Räumlichkeiten zu erhalten. Darüber hinaus sollten KI-Systeme, die bestimmungsgemäß für die biometrische Kategorisierung nach sensiblen Attributen oder Merkmalen, die gemäß Artikel 9 Absatz 1 der Verordnung (EU) 2016/679 auf der Grundlage biometrischer Daten geschützt sind, und sofern sie nicht nach der vorliegenden Verordnung verboten sind, sowie Emotionserkennungssysteme, die nach dieser Verordnung nicht verboten sind, als hochriskant eingestuft werden. Biometrische Systeme, die ausschließlich dazu bestimmt sind, um Maßnahmen zur Cybersicherheit und zum Schutz personenbezogener Daten durchführen zu können, sollten nicht als Hochrisiko-KI-Systeme gelten.
(55)
En ce qui concerne la gestion et l’exploitation des infrastructures critiques, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés en tant que composants de sécurité dans le cadre de la gestion et de l’exploitation des infrastructures numériques critiques visées à l’annexe, point 8, de la directive (UE) 2022/2557, du trafic routier et de l’approvisionnement en eau, gaz, électricité et chauffage, car leur défaillance ou leur mauvais fonctionnement peut mettre en danger la vie et la santé de personnes à grande échelle et entraîner des perturbations importantes dans le déroulement normal des activités sociales et économiques. Les composants de sécurité des infrastructures critiques, y compris des infrastructures numériques critiques, sont des systèmes utilisés pour protéger directement l’intégrité physique des infrastructures critiques ou la santé et la sécurité des personnes et des biens, mais qui ne sont pas nécessaires au fonctionnement du système. La défaillance ou le mauvais fonctionnement de ces composants pourrait directement entraîner des risques pour l’intégrité physique des infrastructures critiques et, partant, des risques pour la santé et la sécurité des personnes et des biens. Les composants destinés à être utilisés uniquement à des fins de cybersécurité ne devraient pas être considérés comme des composants de sécurité. Les systèmes de surveillance de la pression de l’eau ou les systèmes de commande des alarmes incendie dans les centres d’informatique en nuage sont des exemples de composants de sécurité de ces infrastructures critiques.
(55)
Was die Verwaltung und den Betrieb kritischer Infrastruktur anbelangt, so ist es angezeigt, KI-Systeme, die als Sicherheitsbauteile für die Verwaltung und den Betrieb kritischer digitaler Infrastruktur gemäß Nummer 8 des Anhangs der Richtlinie (EU) 2022/2557, des Straßenverkehrs sowie für die Wasser-, Gas-, Wärme- und Stromversorgung verwendet werden sollen, als hochriskant einzustufen, da ihr Ausfall oder ihre Störung in großem Umfang ein Risiko für das Leben und die Gesundheit von Personen darstellen und zu erheblichen Störungen bei der normalen Durchführung sozialer und wirtschaftlicher Tätigkeiten führen kann. Sicherheitsbauteile kritischer Infrastruktur, einschließlich kritischer digitaler Infrastruktur, sind Systeme, die verwendet werden, um die physische Integrität kritischer Infrastruktur oder die Gesundheit und Sicherheit von Personen und Eigentum zu schützen, die aber nicht notwendig sind, damit das System funktioniert. Ausfälle oder Störungen solcher Komponenten können direkt zu Risiken für die physische Integrität kritischer Infrastruktur und somit zu Risiken für die Gesundheit und Sicherheit von Personen und Eigentum führen. Komponenten, die für die ausschließliche Verwendung zu Zwecken der Cybersicherheit vorgesehen sind, sollten nicht als Sicherheitsbauteile gelten. Zu Beispielen von Sicherheitsbauteilen solcher kritischen Infrastruktur zählen etwa Systeme für die Überwachung des Wasserdrucks oder Feuermelder-Kontrollsysteme in Cloud-Computing-Zentren.
(56)
Le déploiement de systèmes d’IA dans l’éducation est important pour promouvoir une éducation et une formation numériques de qualité et pour permettre à tous les apprenants et enseignants d’acquérir et de partager les aptitudes et compétences numériques nécessaires, y compris l’éducation aux médias, ainsi que l’esprit critique, pour participer activement à l’économie, à la société et aux processus démocratiques. Toutefois, les systèmes d’IA utilisés dans l’éducation ou la formation professionnelle, en particulier pour déterminer l’accès ou l’admission, pour affecter des personnes à des établissements ou programmes d’enseignement et de formation professionnelle à tous les niveaux, pour évaluer les acquis d’apprentissage des personnes, pour évaluer le niveau d’enseignement approprié d’une personne et influencer substantiellement le niveau d’enseignement et de formation dont bénéficiera cette personne ou auquel elle pourra avoir accès ou pour surveiller les étudiants au cours des épreuves et détecter les comportements interdits dans ce cadre devraient être classés comme étant à haut risque, car ils peuvent déterminer le parcours éducatif et professionnel d’une personne et peut par conséquent avoir une incidence sur la capacité de cette personne à assurer sa propre subsistance. Lorsqu’ils sont mal conçus et utilisés, ces systèmes peuvent être particulièrement intrusifs et mener à des violations du droit à l’éducation et à la formation ainsi que du droit à ne pas subir de discriminations, et perpétuer des schémas historiques de discrimination, par exemple à l’encontre des femmes, de certains groupes d’âge, des personnes handicapées ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle.
(56)
Der Einsatz von KI-Systemen in der Bildung ist wichtig, um eine hochwertige digitale allgemeine und berufliche Bildung zu fördern und es allen Lernenden und Lehrkräften zu ermöglichen, die erforderlichen digitalen Fähigkeiten und Kompetenzen, einschließlich Medienkompetenz und kritischem Denken, zu erwerben und auszutauschen, damit sie sich aktiv an Wirtschaft, Gesellschaft und demokratischen Prozessen beteiligen können. Allerdings sollten KI-Systeme, die in der allgemeinen oder beruflichen Bildung eingesetzt werden, um insbesondere den Zugang oder die Zulassung zum Zweck der Zuordnung von Personen zu Bildungs- und Berufsbildungseinrichtungen oder -programmen auf allen Ebenen zu bestimmen, die Lernergebnisse von Personen zu beurteilen, das angemessene Bildungsniveau einer Person zu bewerten und das Niveau der Bildung und Ausbildung, das die Person erhält oder zu dem sie Zugang erhält, wesentlich zu beeinflussen und verbotenes Verhalten von Schülern während Prüfungen zu überwachen und zu erkennen als hochriskante KI-Systeme eingestuft werden, da sie über den Verlauf der Bildung und des Berufslebens einer Person entscheiden und daher ihre Fähigkeit beeinträchtigen können, ihren Lebensunterhalt zu sichern. Bei unsachgemäßer Konzeption und Verwendung können solche Systeme sehr intrusiv sein und das Recht auf allgemeine und berufliche Bildung sowie das Recht auf Nichtdiskriminierung verletzen und historische Diskriminierungsmuster fortschreiben, beispielsweise gegenüber Frauen, bestimmten Altersgruppen und Menschen mit Behinderungen oder Personen mit einer bestimmten rassischen oder ethnischen Herkunft oder sexuellen Ausrichtung.
(57)
Les systèmes d’IA utilisés pour des questions liées à l’emploi, à la gestion de la main-d’œuvre et à l’accès à l’emploi indépendant, en particulier pour le recrutement et la sélection de personnes, pour la prise de décisions affectant les conditions des relations professionnelles, ainsi que la promotion et la résiliation des relations professionnelles contractuelles, pour l’attribution de tâches fondée sur le comportement individuel, les traits de personnalité ou les caractéristiques personnelles et pour le suivi ou l’évaluation des personnes dans le cadre de relations professionnelles contractuelles, devraient également être classés comme étant à haut risque car ces systèmes peuvent avoir une incidence considérable sur les perspectives de carrière et les moyens de subsistance de ces personnes ainsi que sur les droits des travailleurs. Les relations professionnelles contractuelles en question devraient concerner également, de manière significative, celles qui lient les employés et les personnes qui fournissent des services sur des plateformes telles que celles visées dans le programme de travail de la Commission pour 2021. Tout au long du processus de recrutement et lors de l’évaluation, de la promotion ou du maintien des personnes dans des relations professionnelles contractuelles, les systèmes d’IA peuvent perpétuer des schémas historiques de discrimination, par exemple à l’égard des femmes, de certains groupes d’âge et des personnes handicapées, ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle. Les systèmes d’IA utilisés pour surveiller les performances et le comportement de ces personnes peuvent aussi porter atteinte à leurs droits fondamentaux à la protection des données et à la vie privée.
(57)
KI-Systeme, die in den Bereichen Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit eingesetzt werden, insbesondere für die Einstellung und Auswahl von Personen, für Entscheidungen über die Bedingungen des Arbeitsverhältnisses sowie die Beförderung und die Beendigung von Arbeitsvertragsverhältnissen, für die Zuweisung von Arbeitsaufgaben auf der Grundlage von individuellem Verhalten, persönlichen Eigenschaften oder Merkmalen sowie für die Überwachung oder Bewertung von Personen in Arbeitsvertragsverhältnissen sollten ebenfalls als hochriskant eingestuft werden, da diese Systeme die künftigen Karriereaussichten und die Lebensgrundlagen dieser Personen und die Arbeitnehmerrechte spürbar beeinflussen können. Einschlägige Arbeitsvertragsverhältnisse sollten in sinnvoller Weise Beschäftigte und Personen erfassen, die Dienstleistungen über Plattformen erbringen, auf die im Arbeitsprogramm der Kommission für 2021 Bezug genommen wird. Solche Systeme können während des gesamten Einstellungsverfahrens und bei der Bewertung, Beförderung oder Weiterbeschäftigung von Personen in Arbeitsvertragsverhältnissen historische Diskriminierungsmuster fortschreiben, beispielsweise gegenüber Frauen, bestimmten Altersgruppen und Menschen mit Behinderungen oder Personen mit einer bestimmten rassischen oder ethnischen Herkunft oder sexuellen Ausrichtung. KI-Systeme zur Überwachung der Leistung und des Verhaltens solcher Personen können auch deren Grundrechte auf Datenschutz und Privatsphäre untergraben.
(58)
Un autre domaine dans lequel l’utilisation des systèmes d’IA mérite une attention particulière est l’accès et le droit à certains services et prestations essentiels, publics et privés, devant permettre aux personnes de participer pleinement à la société ou d’améliorer leur niveau de vie. En particulier, les personnes physiques qui demandent à bénéficier ou bénéficient de prestations et services essentiels d’aide publique de la part des pouvoirs publics, à savoir des services de soins de santé, des prestations de sécurité sociale, des services sociaux fournissant une protection dans des cas tels que la maternité, la maladie, les accidents du travail, la dépendance ou la vieillesse et la perte d’emploi et l’aide sociale et au logement, sont généralement tributaires de ces prestations et services et se trouvent dans une situation vulnérable par rapport aux autorités compétentes. Lorsqu’ils sont utilisés pour déterminer si ces prestations et services devraient être accordés, refusés, réduits, révoqués ou récupérés par les autorités, y compris pour déterminer si les bénéficiaires y ont légitimement droit, les systèmes d’IA peuvent avoir une grande incidence sur les moyens de subsistance des personnes et porter atteinte à leurs droits fondamentaux, tels que le droit à la protection sociale, à la non-discrimination, à la dignité humaine ou à un recours effectif, et devraient donc être classés comme étant à haut risque. Néanmoins, le présent règlement ne devrait pas entraver la mise en place et l’utilisation, dans l’administration publique, d’approches innovantes qui bénéficieraient d’une utilisation plus large de systèmes d’IA conformes et sûrs, à condition que ces systèmes n’entraînent pas de risque élevé pour les personnes physiques et morales. En outre, les systèmes d’IA utilisés pour évaluer la note de crédit ou la solvabilité des personnes physiques devraient être classés en tant que systèmes d’IA à haut risque, car ils déterminent l’accès de ces personnes à des ressources financières ou à des services essentiels tels que le logement, l’électricité et les services de télécommunication. Les systèmes d’IA utilisés à ces fins peuvent conduire à la discrimination entre personnes ou groupes et perpétuer des schémas historiques de discrimination, tels que ceux fondés sur les origines raciales ou ethniques, le sexe, les handicaps, l’âge ou l’orientation sexuelle, ou peuvent créer de nouvelles formes d’incidences discriminatoires. Toutefois, les systèmes d’IA prévus par le droit de l’Union aux fins de détecter les fraudes dans l’offre de services financiers et à des fins prudentielles pour calculer les besoins en fonds propres des établissements de crédit et des compagnies d’assurance ne devraient pas être considérés comme étant à haut risque au titre du présent règlement. Par ailleurs, les systèmes d’IA destinés à être utilisés pour l’évaluation des risques et la tarification en ce qui concerne les personnes physiques en matière d’assurance-santé et vie peuvent avoir une incidence significative sur les moyens de subsistance de ces personnes et, s’ils ne sont pas dûment conçus, développés et utilisés, peuvent porter atteinte à leurs droits fondamentaux et entraîner de graves conséquences pour leur vie et leur santé, y compris l’exclusion financière et la discrimination. Enfin, les systèmes d’IA utilisés pour évaluer et hiérarchiser les appels d’urgence émis par des personnes physiques ou pour envoyer des services d’intervention d’urgence ou établir des priorités dans l’envoi de tels services, y compris la police, les pompiers et les secours, ainsi que dans l’utilisation des systèmes de tri des patients admis dans les services de santé d’urgence, devraient aussi être classés comme étant à haut risque car ils prennent des décisions dans des situations très critiques pour la vie, la santé et les biens des personnes.
(58)
Ein weiterer Bereich, in dem der Einsatz von KI-Systemen besondere Aufmerksamkeit verdient, ist der Zugang zu und die Nutzung von bestimmten grundlegenden privaten und öffentlichen Diensten und Leistungen, die erforderlich sind, damit Menschen uneingeschränkt an der Gesellschaft teilhaben oder ihren Lebensstandard verbessern können. Insbesondere natürliche Personen, die grundlegende staatliche Unterstützungsleistungen und -dienste von Behörden beantragen oder erhalten, wie etwa Gesundheitsdienste, Leistungen der sozialen Sicherheit, soziale Dienste, die Schutz in Fällen wie Mutterschaft, Krankheit, Arbeitsunfall, Pflegebedürftigkeit oder Alter und Arbeitsplatzverlust sowie Sozialhilfe und Wohngeld bieten, sind in der Regel von diesen Leistungen und Diensten abhängig und befinden sich gegenüber den zuständigen Behörden in einer prekären Lage. Wenn KI-Systeme eingesetzt werden, um zu bestimmen, ob solche Leistungen und Dienste von den Behörden gewährt, verweigert, gekürzt, widerrufen oder zurückgefordert werden sollten, einschließlich der Frage, ob Begünstigte rechtmäßig Anspruch auf solche Leistungen oder Dienste haben, können diese Systeme erhebliche Auswirkungen auf die Lebensgrundlage von Personen haben und ihre Grundrechte wie etwa das Recht auf sozialen Schutz, Nichtdiskriminierung, Menschenwürde oder einen wirksamen Rechtsbehelf verletzen und sollten daher als hochriskant eingestuft werden. Dennoch sollte diese Verordnung die Entwicklung und Verwendung innovativer Ansätze in der öffentlichen Verwaltung nicht behindern, die von einer breiteren Verwendung konformer und sicherer KI-Systeme profitieren würde, sofern diese Systeme kein hohes Risiko für juristische und natürliche Personen bergen. Darüber hinaus sollten KI-Systeme, die zur Bewertung der Bonität oder Kreditwürdigkeit natürlicher Personen verwendet werden, als Hochrisiko-KI-Systeme eingestuft werden, da sie den Zugang dieser Personen zu Finanzmitteln oder wesentlichen Dienstleistungen wie etwa Wohnraum, Elektrizität und Telekommunikationsdienstleistungen bestimmen. KI-Systeme, die für diese Zwecke eingesetzt werden, können zur Diskriminierung von Personen oder Gruppen führen und historische Diskriminierungsmuster, wie etwa aufgrund der rassischen oder ethnischen Herkunft, des Geschlechts, einer Behinderung, des Alters oder der sexuellen Ausrichtung, fortschreiben oder neue Formen von Diskriminierung mit sich bringen. Allerdings sollten KI-Systeme, die nach Unionsrecht zur Aufdeckung von Betrug beim Angebot von Finanzdienstleistungen oder für Aufsichtszwecke zur Berechnung der Eigenkapitalanforderungen von Kreditinstituten und Versicherungsunternehmen vorgesehen sind, nicht als Hochrisiko-Systeme gemäß dieser Verordnung angesehen werden. Darüber hinaus können KI-Systeme, die für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Kranken- und Lebensversicherungen eingesetzt werden, auch erhebliche Auswirkungen auf die Existenzgrundlage der Menschen haben und bei nicht ordnungsgemäßer Konzeption, Entwicklung und Verwendung schwerwiegende Konsequenzen für das Leben und die Gesundheit von Menschen nach sich ziehen, einschließlich finanzieller Ausgrenzung und Diskriminierung. Schließlich sollten KI-Systeme, die bei der Bewertung und Einstufung von Notrufen durch natürliche Personen oder der Entsendung oder der Priorisierung der Entsendung von Not- und Rettungsdiensten wie Polizei, Feuerwehr und medizinischer Nothilfe sowie für die Triage von Patienten bei der Notfallversorgung eingesetzt werden, ebenfalls als hochriskant eingestuft werden, da sie in für das Leben und die Gesundheit von Personen und für ihr Eigentum sehr kritischen Situationen Entscheidungen treffen.
(59)
Compte tenu du rôle et de la responsabilité des autorités répressives, les actions menées par celles-ci qui supposent certaines utilisations de systèmes d’IA sont caractérisées par un degré important de déséquilibre des forces et peuvent conduire à la surveillance, à l’arrestation ou à la privation de la liberté d’une personne physique ainsi qu’à d’autres conséquences négatives sur des droits fondamentaux garantis par la Charte. En particulier, si le système d’IA n’est pas entraîné avec des données de haute qualité, ne répond pas aux exigences voulues en termes de performance, d’exactitude ou de robustesse, ou n’est pas correctement conçu et testé avant d’être mis sur le marché ou mis en service, il risque de traiter des personnes de manière discriminatoire ou, plus généralement, incorrecte ou injuste. En outre, l’exercice de droits fondamentaux procéduraux importants, tels que le droit à un recours effectif et à accéder à un tribunal impartial, ainsi que les droits de la défense et la présomption d’innocence, pourrait être entravé, en particulier lorsque ces systèmes d’IA ne sont pas suffisamment transparents, explicables et documentés. Il convient donc de classer comme étant à haut risque, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables, un certain nombre de systèmes d’IA destinés à être utilisés dans un contexte répressif où l’exactitude, la fiabilité et la transparence sont particulièrement importantes pour éviter des conséquences négatives, conserver la confiance du public et garantir que des comptes soient rendus et que des recours puissent être exercés. Compte tenu de la nature des activités et des risques y afférents, ces systèmes d’IA à haut risque devraient inclure en particulier les systèmes d’IA destinés à être utilisés par les autorités répressives ou pour leur compte ou par les institutions, organes et organismes de l’Union pour aider les autorités répressives à évaluer le risque qu’une personne physique ne devienne victime d’infractions pénales, tels que les polygraphes et instruments similaires, à évaluer la fiabilité des preuves dans le cadre d’enquêtes ou de poursuites relatives à des infractions pénales, et, dans la mesure où cela n’est pas interdit par le présent règlement, à évaluer le risque d’infraction ou de récidive d’une personne physique non seulement sur la base du profilage de personnes physiques, mais aussi sur la base de l’évaluation des traits de personnalité, des caractéristiques ou des antécédents judiciaires de personnes physiques ou de groupes, à des fins de profilage dans le cadre de la détection d’infractions pénales, d’enquêtes et de poursuites en la matière. Les systèmes d’IA spécifiquement destinés à être utilisés pour des procédures administratives par les autorités fiscales et douanières ainsi que par les cellules de renseignement financier effectuant des tâches administratives d’analyse d’informations dans le cadre de la législation de l’Union relative à la lutte contre le blanchiment des capitaux ne devraient pas être classés comme des systèmes d’IA à haut risque utilisés par les autorités répressives à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière. L’utilisation des outils d’IA par les autorités répressives et d’autres autorités pertinentes ne devrait pas devenir un facteur d’inégalité ou d’exclusion. Les conséquences de l’utilisation des outils d’IA sur les droits de la défense des suspects ne devraient pas être ignorées, en particulier la difficulté d’obtenir des informations utiles sur le fonctionnement de ces outils et, partant, la difficulté de saisir la justice pour contester leurs résultats, en particulier pour les personnes physiques faisant l’objet d’une enquête.
(59)
In Anbetracht der Rolle und Zuständigkeit von Strafverfolgungsbehörden sind deren Maßnahmen im Zusammenhang mit bestimmten Verwendungen von KI-Systemen durch ein erhebliches Machtungleichgewicht gekennzeichnet und können zur Überwachung, zur Festnahme oder zum Entzug der Freiheit einer natürlichen Person sowie zu anderen nachteiligen Auswirkungen auf die in der Charta verankerten Grundrechte führen. Insbesondere wenn das KI-System nicht mit hochwertigen Daten trainiert wird, die Anforderungen an seine Leistung, Genauigkeit oder Robustheit nicht erfüllt werden oder das System nicht ordnungsgemäß konzipiert und getestet wird, bevor es in Verkehr gebracht oder in anderer Weise in Betrieb genommen wird, kann es Personen in diskriminierender oder anderweitig falscher oder ungerechter Weise ausgrenzen. Darüber hinaus könnte die Ausübung wichtiger verfahrensrechtlicher Grundrechte wie etwa des Rechts auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht sowie das Verteidigungsrecht und die Unschuldsvermutung behindert werden, insbesondere wenn solche KI-Systeme nicht hinreichend transparent, erklärbar und dokumentiert sind. Daher ist es angezeigt, eine Reihe von KI-Systemen — sofern deren Einsatz nach einschlägigem Unions- oder nationalem Recht zugelassen ist —, die im Rahmen der Strafverfolgung eingesetzt werden sollen und bei denen Genauigkeit, Zuverlässigkeit und Transparenz besonders wichtig sind, als hochriskant einzustufen, um nachteilige Auswirkungen zu vermeiden, das Vertrauen der Öffentlichkeit zu erhalten und die Rechenschaftspflicht und einen wirksamen Rechtsschutz zu gewährleisten. Angesichts der Art der Tätigkeiten und der damit verbundenen Risiken sollten diese Hochrisiko-KI-Systeme insbesondere KI-Systeme umfassen, die von Strafverfolgungsbehörden oder in ihrem Auftrag oder von Organen, Einrichtungen und sonstigen Stellen der Union zur Unterstützung von Strafverfolgungsbehörden für folgende Zwecke eingesetzt werden: zur Bewertung des Risikos, dass eine natürliche Person Opfer von Straftaten wird, wie Lügendetektoren und ähnliche Instrumente, zur Bewertung der Zuverlässigkeit von Beweismitteln im Rahmen der Ermittlung oder Verfolgung von Straftaten und — soweit nach dieser Verordnung nicht untersagt — zur Bewertung des Risikos, dass eine natürliche Person eine Straftat begeht oder erneut begeht, nicht nur auf der Grundlage der Erstellung von Profilen natürlicher Personen oder zur Bewertung von Persönlichkeitsmerkmalen und Eigenschaften oder vergangenem kriminellen Verhalten von natürlichen Personen oder Gruppen, zur Erstellung von Profilen während der Aufdeckung, Untersuchung oder strafrechtlichen Verfolgung einer Straftat. KI-Systeme, die speziell für Verwaltungsverfahren in Steuer- und Zollbehörden sowie in Zentralstellen für Geldwäsche-Verdachtsanzeigen, die Verwaltungsaufgaben zur Analyse von Informationen gemäß dem Unionsrecht zur Bekämpfung der Geldwäsche durchführen, bestimmt sind, sollten nicht als Hochrisiko-KI-Systeme eingestuft werden, die von Strafverfolgungsbehörden zum Zweck der Verhütung, Aufdeckung, Untersuchung und strafrechtlichen Verfolgung von Straftaten eingesetzt werden. Der Einsatz von KI-Instrumenten durch Strafverfolgungsbehörden und anderen relevanten Behörden sollte nicht zu einem Faktor der Ungleichheit oder Ausgrenzung werden. Die Auswirkungen des Einsatzes von KI-Instrumenten auf die Verteidigungsrechte von Verdächtigen sollten nicht außer Acht gelassen werden, insbesondere nicht die Schwierigkeit, aussagekräftige Informationen über die Funktionsweise solcher Systeme zu erhalten, und die daraus resultierende Schwierigkeit einer gerichtlichen Anfechtung ihrer Ergebnisse, insbesondere durch natürliche Personen, gegen die ermittelt wird.
(60)
Les systèmes d’IA utilisés dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières touchent des personnes qui se trouvent souvent dans une situation particulièrement vulnérable et qui sont tributaires du résultat des actions des autorités publiques compétentes. L’exactitude, la nature non discriminatoire et la transparence des systèmes d’IA utilisés dans ces contextes sont donc particulièrement importantes pour garantir le respect des droits fondamentaux des personnes concernées, en particulier leurs droits à la libre circulation, à la non-discrimination, à la protection de la vie privée et des données à caractère personnel, à une protection internationale et à une bonne administration. Il convient donc de classer comme étant à haut risque, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables, les systèmes d’IA destinés à être utilisés par les autorités publiques compétentes ou pour leur compte ou par les institutions, organes et organismes de l’Union chargés de tâches dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières, tels que les polygraphes et instruments similaires, pour évaluer certains risques présentés par des personnes physiques entrant sur le territoire d’un État membre ou demandant un visa ou l’asile, et pour aider les autorités publiques compétentes à procéder à l’examen, y compris l’évaluation connexe de la fiabilité des éléments de preuve, des demandes d’asile, de visas et de titres de séjour et des plaintes connexes au regard de l’objectif visant à établir l’éligibilité des personnes physiques demandant un statut, aux fins de détecter, de reconnaître ou d’identifier des personnes physiques dans le cadre de la migration, de l’asile et de la gestion des contrôles aux frontières, à l’exception de la vérification des documents de voyage. Les systèmes d’IA utilisés dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières couverts par le présent règlement devraient être conformes aux exigences procédurales pertinentes fixées par le règlement (CE) no 810/2009 du Parlement européen et du Conseil (32), la directive 2013/32/UE du Parlement européen et du Conseil (33) et tout autre acte législatif pertinent de l’Union. Les systèmes d’IA ne devraient en aucun cas être utilisés par les États membres ou les institutions, organes ou organismes de l’Union dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières comme moyen de contourner les obligations internationales qui leur incombent en vertu de la convention des Nations unies relative au statut des réfugiés, signée à Genève le 28 juillet 1951, telle que modifiée par le protocole du 31 janvier 1967. Ils ne devraient pas non plus être utilisés pour enfreindre de quelque manière que ce soit le principe de non-refoulement ou pour refuser des voies d’accès légales sûres et effectives au territoire de l’Union, y compris le droit à la protection internationale.
(60)
KI-Systeme, die in den Bereichen Migration, Asyl und Grenzkontrolle eingesetzt werden, betreffen Personen, die sich häufig in einer besonders prekären Lage befinden und vom Ergebnis der Maßnahmen der zuständigen Behörden abhängig sind. Die Genauigkeit, der nichtdiskriminierende Charakter und die Transparenz der KI-Systeme, die in solchen Zusammenhängen eingesetzt werden, sind daher besonders wichtig, um die Achtung der Grundrechte der betroffenen Personen, insbesondere ihrer Rechte auf Freizügigkeit, Nichtdiskriminierung, Schutz des Privatlebens und personenbezogener Daten, internationalen Schutz und gute Verwaltung, zu gewährleisten. Daher ist es angezeigt, KI-Systeme — sofern deren Einsatz nach einschlägigem Unions- oder nationalem Recht zugelassen ist — als hochriskant einzustufen, die von den zuständigen mit Aufgaben in den Bereichen Migration, Asyl und Grenzkontrolle betrauten Behörden oder in deren Auftrag oder von Organen, Einrichtungen oder sonstigen Stellen der Union für Folgendes eingesetzt werden: als Lügendetektoren und ähnliche Instrumente; zur Bewertung bestimmter Risiken, die von natürlichen Personen ausgehen, die in das Hoheitsgebiet eines Mitgliedstaats einreisen oder ein Visum oder Asyl beantragen; zur Unterstützung der zuständigen Behörden bei der Prüfung — einschließlich der damit zusammenhängenden Bewertung der Zuverlässigkeit von Beweismitteln — von Asyl- und Visumanträgen sowie Aufenthaltstiteln und damit verbundenen Beschwerden im Hinblick darauf, die Berechtigung der den Antrag stellenden natürlichen Personen festzustellen; zum Zweck der Aufdeckung, Anerkennung oder Identifizierung natürlicher Personen im Zusammenhang mit Migration, Asyl und Grenzkontrolle, mit Ausnahme der Überprüfung von Reisedokumenten. KI-Systeme im Bereich Migration, Asyl und Grenzkontrolle, die unter diese Verordnung fallen, sollten den einschlägigen Verfahrensvorschriften der Verordnung (EG) Nr. 810/2009 des Europäischen Parlaments und des Rates (32), der Richtlinie 2013/32/EU des Europäischen Parlaments und des Rates (33) und anderem einschlägigen Unionsrecht entsprechen. Der Einsatz von KI-Systemen in den Bereichen Migration, Asyl und Grenzkontrolle sollte unter keinen Umständen von den Mitgliedstaaten oder Organen, Einrichtungen oder sonstigen Stellen der Union als Mittel zur Umgehung ihrer internationalen Verpflichtungen aus dem am 28. Juli 1951 in Genf unterzeichneten Abkommen der Vereinten Nationen über die Rechtsstellung der Flüchtlinge in der durch das Protokoll vom 31. Januar 1967 geänderten Fassung genutzt werden. Die Systeme sollten auch nicht dazu genutzt werden, in irgendeiner Weise gegen den Grundsatz der Nichtzurückweisung zu verstoßen oder sichere und wirksame legale Wege in das Gebiet der Union, einschließlich des Rechts auf internationalen Schutz, zu verweigern.
(61)
Certains systèmes d’IA destinés à être utilisés pour l’administration de la justice et les processus démocratiques devraient être classés comme étant à haut risque, compte tenu de leur incidence potentiellement significative sur la démocratie, l’état de droit, les libertés individuelles ainsi que le droit à un recours effectif et à accéder à un tribunal impartial. En particulier, pour faire face aux risques de biais, d’erreurs et d’opacité, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés par une autorité judiciaire ou pour le compte de celle-ci pour aider les autorités judiciaires à rechercher et à interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits. Les systèmes d’IA destinés à être utilisés par des organismes de règlement extrajudiciaire des litiges à ces fins devraient également être considérés comme étant à haut risque lorsque les résultats des procédures de règlement extrajudiciaire des litiges produisent des effets juridiques pour les parties. L’utilisation d’outils d’IA peut soutenir le pouvoir de décision des juges ou l’indépendance judiciaire, mais ne devrait pas les remplacer, car la décision finale doit rester une activité humaine. La classification des systèmes d’IA comme étant à haut risque ne devrait cependant pas s’étendre aux systèmes d’IA destinés à être utilisés pour des activités administratives purement accessoires qui n’ont aucune incidence sur l’administration réelle de la justice dans des cas individuels, telles que l’anonymisation ou la pseudonymisation de décisions judiciaires, de documents ou de données, la communication entre membres du personnel ou les tâches administratives.
(61)
Bestimmte KI-Systeme, die für die Rechtspflege und demokratische Prozesse bestimmt sind, sollten angesichts ihrer möglichen erheblichen Auswirkungen auf die Demokratie, die Rechtsstaatlichkeit, die individuellen Freiheiten sowie das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht als hochriskant eingestuft werden. Um insbesondere den Risiken möglicher Verzerrungen, Fehler und Undurchsichtigkeiten zu begegnen, sollten KI-Systeme, die von einer Justizbehörde oder in ihrem Auftrag dazu genutzt werden sollen, Justizbehörden bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften und bei der Anwendung des Rechts auf konkrete Sachverhalte zu unterstützen, als hochriskant eingestuft werden. KI-Systeme, die von Stellen für die alternative Streitbeilegung für diese Zwecke genutzt werden sollen, sollten ebenfalls als hochriskant gelten, wenn die Ergebnisse der alternativen Streitbeilegung Rechtswirkung für die Parteien entfalten. Der Einsatz von KI-Instrumenten kann die Entscheidungsgewalt von Richtern oder die Unabhängigkeit der Justiz unterstützen, sollte sie aber nicht ersetzen; die endgültige Entscheidungsfindung muss eine von Menschen gesteuerte Tätigkeit bleiben. Die Einstufung von KI-Systemen als hochriskant sollte sich jedoch nicht auf KI-Systeme erstrecken, die für rein begleitende Verwaltungstätigkeiten bestimmt sind, die die tatsächliche Rechtspflege in Einzelfällen nicht beeinträchtigen, wie etwa die Anonymisierung oder Pseudonymisierung gerichtlicher Urteile, Dokumente oder Daten, die Kommunikation zwischen dem Personal oder Verwaltungsaufgaben.
(62)
Sans préjudice des règles prévues dans le règlement (UE) 2024/900 du Parlement européen et du Conseil (34), et afin de faire face aux risques d’ingérence extérieure indue dans le droit de vote consacré à l’article 39 de la Charte et d’effets négatifs sur la démocratie et l’état de droit, les systèmes d’IA destinés à être utilisés pour influencer le résultat d’une élection ou d’un référendum ou le comportement électoral de personnes physiques dans l’exercice de leur vote lors d’élections ou de référendums devraient être classés comme étant à haut risque, à l’exception des systèmes d’IA dont les sorties ne touchent pas directement les personnes physiques, tels que les outils utilisés pour organiser, optimiser et structurer les campagnes politiques d’un point de vue administratif et logistique.
(62)
Unbeschadet der Vorschriften der Verordnung (EU) 2024/900 des Europäischen Parlaments und des Rates (34) und um den Risiken eines unzulässigen externen Eingriffs in das in Artikel 39 der Charta verankerte Wahlrecht und nachteiligen Auswirkungen auf die Demokratie und die Rechtsstaatlichkeit zu begegnen, sollten KI-Systeme, die verwendet werden sollen, um das Ergebnis einer Wahl oder eines Referendums oder das Wahlverhalten natürlicher Personen bei der Ausübung ihres Wahlrechts in einer Wahl oder in Referenden zu beeinflussen, als Hochrisiko-KI-Systeme eingestuft werden, mit Ausnahme von KI-Systemen, deren Ausgaben natürliche Personen nicht direkt ausgesetzt sind, wie Instrumente zur Organisation, Optimierung und Strukturierung politischer Kampagnen in administrativer und logistischer Hinsicht.
(63)
Le fait qu’un système d’IA soit classé comme étant à haut risque au titre du présent règlement ne devrait pas être interprété comme indiquant que l’utilisation du système est licite au titre d’autres actes législatifs de l’Union ou au titre du droit national compatible avec le droit de l’Union, concernant notamment la protection des données à caractère personnel ou l’utilisation de polygraphes et d’instruments similaires ou d’autres systèmes d’analyse de l’état émotionnel des personnes physiques. Toute utilisation de ce type devrait continuer à être subordonnée aux exigences applicables découlant de la Charte et des actes applicables du droit dérivé de l’Union et du droit national. Le présent règlement ne saurait être considéré comme constituant un fondement juridique pour le traitement des données à caractère personnel, y compris des catégories particulières de données à caractère personnel, le cas échéant, sauf disposition contraire expresse du présent règlement.
(63)
Die Tatsache, dass ein KI-System gemäß dieser Verordnung als ein Hochrisiko-KI-System eingestuft wird, sollte nicht dahin gehend ausgelegt werden, dass die Verwendung des Systems nach anderen Rechtsakten der Union oder nach nationalen Rechtsvorschriften, die mit dem Unionsrecht vereinbar sind, rechtmäßig ist, beispielsweise in Bezug auf den Schutz personenbezogener Daten, die Verwendung von Lügendetektoren und ähnlichen Instrumenten oder anderen Systemen zur Ermittlung des emotionalen Zustands natürlicher Personen. Eine solche Verwendung sollte weiterhin ausschließlich gemäß den geltenden Anforderungen erfolgen, die sich aus der Charta, dem anwendbaren Sekundärrecht der Union und nationalen Recht ergeben. Diese Verordnung sollte nicht so verstanden werden, dass sie eine Rechtsgrundlage für die Verarbeitung personenbezogener Daten, gegebenenfalls einschließlich besonderer Kategorien personenbezogener Daten, bildet, es sei denn, in dieser Verordnung ist ausdrücklich etwas anderes vorgesehen.
(64)
Afin d’atténuer les risques liés aux systèmes d’IA à haut risque mis sur le marché ou mis en service et de garantir un niveau élevé de fiabilité, certaines exigences obligatoires devraient s’appliquer aux systèmes d’IA à haut risque, en tenant compte de la destination du système d’IA et du contexte de son utilisation et en fonction du système de gestion des risques à mettre en place par le fournisseur. Les mesures adoptées par les fournisseurs pour se conformer aux exigences obligatoires du présent règlement devraient tenir compte de l’état de la technique généralement reconnu en matière d’IA, et être proportionnées et effectives pour atteindre les objectifs du présent règlement. Reposant sur le nouveau cadre législatif, tel que précisé dans la communication de la Commission intitulée «“Guide bleu” relatif à la mise en œuvre de la réglementation de l’UE sur les produits 2022», la règle générale est que plus d’un acte juridique de la législation d’harmonisation de l’Union peuvent être applicables à un produit donné, étant donné que la mise à disposition ou la mise en service ne peut avoir lieu que si le produit est conforme à l’ensemble de la législation d’harmonisation de l’Union applicable. Les dangers des systèmes d’IA couverts par les exigences du présent règlement concernent des aspects différents de ceux qui sont énoncés dans la législation d’harmonisation existante de l’Union, et, par conséquent, les exigences du présent règlement compléteraient l’ensemble existant de la législation d’harmonisation de l’Union. Par exemple, les machines ou les dispositifs médicaux incorporant un système d’IA peuvent présenter des risques qui ne sont pas couverts par les exigences essentielles en matière de santé et de sécurité énoncées dans la législation harmonisée pertinente de l’Union, étant donné que cette législation sectorielle ne traite pas des risques spécifiques aux systèmes d’IA. Cela implique d’appliquer conjointement et de manière complémentaire les divers actes législatifs. Dans un souci de cohérence, et afin d’éviter une charge administrative et des coûts inutiles, les fournisseurs d’un produit contenant un ou plusieurs systèmes d’IA à haut risque, auxquels s’appliquent les exigences du présent règlement ainsi que les exigences de la législation d’harmonisation de l’Union reposant sur le nouveau cadre législatif et dont la liste figure dans une annexe du présent règlement, devraient disposer d’une certaine souplesse en ce qui concerne les décisions opérationnelles à prendre quant à la manière de garantir de façon optimale qu’un produit contenant un ou plusieurs systèmes d’IA est conforme à l’ensemble des exigences applicables de cette législation harmonisée de l’Union. Cette souplesse pourrait signifier, par exemple, que le fournisseur décide d’intégrer une partie des processus d’essai et de déclaration nécessaires, ainsi que des informations et de la documentation requises en vertu du présent règlement dans la documentation et les procédures existantes requises en vertu de la législation d’harmonisation de l’Union en vigueur reposant sur le nouveau cadre législatif et dont la liste figure en annexe du présent règlement. Cela ne devrait en aucun cas porter atteinte à l’obligation qu’a le fournisseur de se conformer à toutes les exigences applicables.
(64)
Um die von in Verkehr gebrachten oder in Betrieb genommenen Hochrisiko-KI-Systemen ausgehenden Risiken zu mindern und ein hohes Maß an Vertrauenswürdigkeit zu gewährleisten, sollten für Hochrisiko-KI-Systeme bestimmte verbindliche Anforderungen gelten, wobei der Zweckbestimmung und dem Nutzungskontext des KI-Systems sowie dem vom Anbieter einzurichtenden Risikomanagementsystem Rechnung zu tragen ist. Die von den Anbietern zur Erfüllung der verbindlichen Anforderungen dieser Verordnung ergriffenen Maßnahmen sollten dem allgemein anerkannten Stand der KI Rechnung tragen, verhältnismäßig und wirksam sein, um die Ziele dieser Verordnung zu erreichen. Auf der Grundlage des neuen Rechtsrahmens, wie in der Bekanntmachung der Kommission „Leitfaden für die Umsetzung der Produktvorschriften der EU 2022 (Blue Guide)“ dargelegt, gilt als allgemeine Regel, dass mehr als ein Rechtsakt der Harmonisierungsrechtsvorschriften der Union auf ein Produkt anwendbar sein können, da die Bereitstellung oder Inbetriebnahme nur erfolgen kann, wenn das Produkt allen geltenden Harmonisierungsrechtsvorschriften der Union entspricht. Die Gefahren von KI-Systemen, die unter die Anforderungen dieser Verordnung fallen, decken andere Aspekte ab als die bestehenden Harmonisierungsrechtsvorschriften der Union, weshalb die Anforderungen dieser Verordnung das bestehende Regelwerk der Harmonisierungsrechtsvorschriften der Union ergänzen würden. So bergen etwa Maschinen oder Medizinprodukte mit einer KI-Komponente möglicherweise Risiken, die von den grundlegenden Gesundheits- und Sicherheitsanforderungen der einschlägigen harmonisierten Rechtsvorschriften der Union nicht erfasst werden, da diese sektoralen Rechtsvorschriften keine spezifischen KI-Risiken behandeln. Dies erfordert die gleichzeitige und ergänzende Anwendung mehrerer Rechtsakte. Um Kohärenz zu gewährleisten und unnötigen Verwaltungsaufwand sowie unnötige Kosten zu vermeiden, sollten die Anbieter eines Produkts, das ein oder mehrere Hochrisiko-KI-Systeme enthält, für die die Anforderungen dieser Verordnung und der in einem Anhang dieser Verordnung aufgeführten und auf dem neuen Rechtsrahmen beruhenden Harmonisierungsvorschriften der Union gelten, in Bezug auf betriebliche Entscheidungen darüber flexibel sein, wie die Konformität eines Produkts, das ein oder mehrere Hochrisiko-KI-Systeme enthält, bestmöglich mit allen geltenden Anforderungen dieser harmonisierten Rechtsvorschriften der Union sichergestellt werden kann. Diese Flexibilität könnte beispielsweise bedeuten, dass der Anbieter beschließt, einen Teil der gemäß dieser Verordnung erforderlichen Test- und Berichterstattungsverfahren, Informationen und Unterlagen in bereits bestehende Dokumentationen und Verfahren zu integrieren, die nach den auf dem neuen Rechtsrahmen beruhenden und in einem Anhang dieser Verordnung aufgeführten geltenden Harmonisierungsrechtsvorschriften der Union erforderlich sind. Dies sollte in keiner Weise die Verpflichtung des Anbieters untergraben, alle geltenden Anforderungen zu erfüllen.
(65)
Le système de gestion des risques devrait consister en un processus itératif continu planifié et se dérouler sur l’ensemble du cycle de vie d’un système d’IA à haut risque. Ce processus devrait viser à identifier et à atténuer les risques des systèmes d’IA qui se posent pour la santé, la sécurité et les droits fondamentaux. Le système de gestion des risques devrait être régulièrement réexaminé et mis à jour afin de garantir le maintien de son efficacité, ainsi que la justification et la documentation de toutes les décisions et mesures importantes prises en vertu du présent règlement. Ce processus devrait garantir que le fournisseur détermine les risques ou les incidences négatives et mette en œuvre des mesures d’atténuation des risques connus et raisonnablement prévisibles des systèmes d’IA pour la santé, la sécurité et les droits fondamentaux à la lumière de leur destination et de leur mauvaise utilisation raisonnablement prévisible, y compris les risques éventuels découlant de l’interaction entre les systèmes d’IA et l’environnement dans lequel ils fonctionnent. Le système de gestion des risques devrait adopter les mesures de gestion des risques les plus appropriées à la lumière de l’état de la technique en matière d’IA. Lorsqu’il détermine les mesures de gestion des risques les plus appropriées, le fournisseur devrait documenter et expliquer les choix effectués et, le cas échéant, associer des experts et des parties prenantes externes. Lorsqu’il s’agit de déterminer la mauvaise utilisation raisonnablement prévisible des systèmes d’IA à haut risque, le fournisseur devrait couvrir les utilisations des systèmes d’IA dont on peut raisonnablement prévoir, bien qu’elles ne soient pas directement couvertes par la destination et prévues dans la notice d’utilisation, qu’elles résultent d’un comportement humain aisément prévisible dans le contexte des caractéristiques et de l’utilisation spécifiques d’un système d’IA donné. Toutes circonstances connues ou prévisibles liées à l’utilisation du système d’IA à haut risque conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, susceptibles d’entraîner des risques pour la santé, la sécurité ou les droits fondamentaux, devraient figurer dans la notice d’utilisation fournie par le fournisseur. Il s’agit de veiller à ce que le déployeur en ait connaissance et en tienne compte lors de l’utilisation du système d’IA à haut risque. La détermination et la mise en œuvre de mesures d’atténuation des risques en cas de mauvaise utilisation prévisible au titre du présent règlement ne devraient pas nécessiter de la part du fournisseur, pour remédier à la mauvaise utilisation prévisible, des mesures d’entraînement supplémentaires spécifiques pour le système d’IA à haut risque. Les fournisseurs sont toutefois encouragés à envisager de telles mesures d’entraînement supplémentaires pour atténuer les mauvaises utilisations raisonnablement prévisibles, si cela est nécessaire et approprié.
(65)
Das Risikomanagementsystem sollte in einem kontinuierlichen iterativen Prozess bestehen, der während des gesamten Lebenszyklus eines Hochrisiko-KI-Systems geplant und durchgeführt wird. Ziel dieses Prozesses sollte es ein, die einschlägigen Risiken von KI-Systemen für Gesundheit, Sicherheit und Grundrechte zu ermitteln und zu mindern. Das Risikomanagementsystem sollte regelmäßig überprüft und aktualisiert werden, um seine dauerhafte Wirksamkeit sowie die Begründetheit und Dokumentierung aller gemäß dieser Verordnung getroffenen wesentlichen Entscheidungen und Maßnahmen zu gewährleisten. Mit diesem Prozess sollte sichergestellt werden, dass der Anbieter Risiken oder negative Auswirkungen ermittelt und Minderungsmaßnahmen ergreift in Bezug auf die bekannten und vernünftigerweise vorhersehbaren Risiken von KI-Systemen für die Gesundheit, die Sicherheit und die Grundrechte angesichts ihrer Zweckbestimmung und vernünftigerweise vorhersehbaren Fehlanwendung, einschließlich der möglichen Risiken, die sich aus der Interaktion zwischen dem KI-System und der Umgebung, in der es betrieben wird, ergeben könnten. Im Rahmen des Risikomanagementsystems sollten die vor dem Hintergrund des Stands der KI am besten geeigneten Risikomanagementmaßnahmen ergriffen werden. Bei der Ermittlung der am besten geeigneten Risikomanagementmaßnahmen sollte der Anbieter die getroffenen Entscheidungen dokumentieren und erläutern und gegebenenfalls Sachverständige und externe Interessenträger hinzuziehen. Bei der Ermittlung der vernünftigerweise vorhersehbaren Fehlanwendung von Hochrisiko-KI-Systemen sollte der Anbieter die Verwendungen von KI-Systemen erfassen, die zwar nicht unmittelbar der Zweckbestimmung entsprechen und in der Betriebsanleitung vorgesehen sind, jedoch nach vernünftigem Ermessen davon auszugehen ist, dass sie sich aus einem leicht absehbaren menschlichen Verhalten im Zusammenhang mit den spezifischen Merkmalen und der Verwendung eines bestimmten KI-Systems ergeben. Alle bekannten oder vorhersehbaren Umstände bezüglich der Verwendung des Hochrisiko-KI-Systems im Einklang mit seiner Zweckbestimmung oder einer vernünftigerweise vorhersehbaren Fehlanwendung, die zu Risiken für die Gesundheit und Sicherheit oder die Grundrechte führen können, sollten vom Anbieter in der Betriebsanleitung aufgeführt werden. Damit soll sichergestellt werden, dass der Betreiber diese Umstände bei der Nutzung des Hochrisiko-KI-Systems kennt und berücksichtigt. Die Ermittlung und Umsetzung von Risikominderungsmaßnahmen in Bezug auf vorhersehbare Fehlanwendungen im Rahmen dieser Verordnung sollte keine spezifische zusätzliche Schulung für das Hochrisiko-KI-System durch den Anbieter erfordern, um gegen vorhersehbare Fehlanwendungen vorzugehen. Die Anbieter sind jedoch gehalten, solche zusätzlichen Schulungsmaßnahmen in Erwägung zu ziehen, um einer vernünftigerweise vorhersehbare Fehlanwendung entgegenzuwirken, soweit dies erforderlich und angemessen ist.
(66)
Des exigences devraient s’appliquer aux systèmes d’IA à haut risque en ce qui concerne la gestion des risques, la qualité et la pertinence des jeux de données utilisés, la documentation technique et la tenue de registres, la transparence et la fourniture d’informations aux déployeurs, le contrôle humain, ainsi que la robustesse, l’exactitude et la sécurité. Ces exigences sont nécessaires pour atténuer efficacement les risques pour la santé, la sécurité et les droits fondamentaux. Aucune autre mesure moins contraignante pour le commerce n’étant raisonnablement disponible, ces exigences ne constituent pas des restrictions injustifiées aux échanges.
(66)
Die Anforderungen sollten für Hochrisiko-KI-Systeme im Hinblick auf das Risikomanagement, die Qualität und Relevanz der verwendeten Datensätze, die technische Dokumentation und die Aufzeichnungspflichten, die Transparenz und die Bereitstellung von Informationen für die Betreiber, die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Sicherheit gelten. Diese Anforderungen sind erforderlich, um die Risiken für Gesundheit, Sicherheit und Grundrechte wirksam zu mindern. Nachdem nach vernünftigem Ermessen keine anderen weniger handelsbeschränkenden Maßnahmen zur Verfügung stehen, stellen sie keine ungerechtfertigten Handelsbeschränkungen dar.
(67)
Les données de haute qualité et l’accès à ces données jouent un rôle essentiel pour ce qui est de fournir une structure et d’assurer le bon fonctionnement de nombreux systèmes d’IA, en particulier lorsque des techniques axées sur l’entraînement de modèles sont utilisées, afin de garantir que le système d’IA à haut risque fonctionne comme prévu et en toute sécurité et qu’il ne devient pas une source de discrimination interdite par le droit de l’Union. Les jeux de données d’entraînement, de validation et de test de haute qualité nécessitent la mise en œuvre de pratiques de gouvernance et de gestion des données appropriées. Les jeux de données d’entraînement, de validation et de test, y compris les étiquettes, devraient être pertinents, suffisamment représentatifs et, dans toute la mesure du possible, exempts d’erreurs et complets au regard de la destination du système. Afin de faciliter le respect du droit de l’Union sur la protection des données, tel que le règlement (UE) 2016/679, les pratiques en matière de gouvernance et de gestion des données devraient inclure, dans le cas des données à caractère personnel, la transparence quant à la finalité initiale de la collecte des données. Les jeux de données devraient également posséder les propriétés statistiques voulues, y compris en ce qui concerne les personnes ou groupes de personnes pour lesquels le système d’IA à haut risque est destiné à être utilisé, en accordant une attention particulière à l’atténuation des éventuels biais dans les jeux de données qui sont susceptibles de porter atteinte à la santé et à la sécurité des personnes, d’avoir une incidence négative sur les droits fondamentaux ou de se traduire par une discrimination interdite par le droit de l’Union, en particulier lorsque les données de sortie influencent les entrées pour les opérations futures («boucles de rétroaction»). Des biais peuvent, par exemple, être inhérents à des jeux de données sous-jacents, en particulier lorsque des données historiques sont utilisées, ou générés lorsque les systèmes sont mis en œuvre dans des conditions réelles. Les résultats produits par les systèmes d’IA pourraient être influencés par ces biais inhérents, qui ont tendance à se renforcer progressivement et ainsi à perpétuer et à amplifier les discriminations existantes, en particulier pour les personnes appartenant à certains groupes vulnérables, y compris les groupes ethniques ou raciaux. L’exigence selon laquelle les jeux de données doivent être dans toute la mesure du possible complets et exempts d’erreurs ne devrait pas avoir d’effet sur l’utilisation de techniques respectueuses de la vie privée dans le contexte du développement et de la mise à l’essai des systèmes d’IA. En particulier, les jeux de données devraient prendre en considération, dans la mesure requise au regard de leur destination, les propriétés, les caractéristiques ou les éléments qui sont propres au cadre géographique, contextuel, comportemental ou fonctionnel spécifique dans lequel le système d’IA est destiné à être utilisé. Les exigences relatives à la gouvernance des données peuvent être respectées en faisant appel à des tiers qui proposent des services de conformité certifiés, y compris la vérification de la gouvernance des données, l’intégrité des jeux de données et les pratiques d’entraînement, de validation et de mise à l’essai des données, dans la mesure où le respect des exigences du présent règlement en matière de données est garanti.
(67)
Hochwertige Daten und der Zugang dazu spielen eine zentrale Rolle bei der Bereitstellung von Strukturen und für die Sicherstellung der Leistung vieler KI-Systeme, insbesondere wenn Techniken eingesetzt werden, bei denen Modelle mit Daten trainiert werden, um sicherzustellen, dass das Hochrisiko-KI-System bestimmungsgemäß und sicher funktioniert und nicht zur Ursache für Diskriminierung wird, die nach dem Unionsrecht verboten ist. Hochwertige Trainings-, Validierungs- und Testdatensätze erfordern geeignete Daten-Governance- und Datenverwaltungsverfahren. Die Trainings-, Validierungs- und Testdatensätze, einschließlich der Kennzeichnungen, sollten im Hinblick auf die Zweckbestimmung des Systems relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein. Um die Einhaltung des Datenschutzrechts der Union, wie der Verordnung (EU) 2016/679, zu erleichtern, sollten Daten-Governance- und Datenverwaltungsverfahren bei personenbezogenen Daten Transparenz in Bezug auf den ursprünglichen Zweck der Datenerhebung umfassen. Die Datensätze sollten auch die geeigneten statistischen Merkmale haben, auch bezüglich der Personen oder Personengruppen, auf die das Hochrisiko-KI-System bestimmungsgemäß angewandt werden soll, unter besonderer Berücksichtigung der Minderung möglicher Verzerrungen in den Datensätzen, die die Gesundheit und Sicherheit von Personen beeinträchtigen, sich negativ auf die Grundrechte auswirken oder zu einer nach dem Unionsrecht verbotenen Diskriminierung führen könnten, insbesondere wenn die Datenausgaben die Eingaben für künftige Operationen beeinflussen (Rückkopplungsschleifen). Verzerrungen können zum Beispiel — insbesondere bei Verwendung historischer Daten — den zugrunde liegenden Datensätzen innewohnen oder bei der Implementierung der Systeme in der realen Welt generiert werden. Die von einem KI-System ausgegebenen Ergebnisse könnten durch solche inhärenten Verzerrungen beeinflusst werden, die tendenziell allmählich zunehmen und dadurch bestehende Diskriminierungen fortschreiben und verstärken, insbesondere in Bezug auf Personen, die bestimmten schutzbedürftigen Gruppen wie aufgrund von Rassismus benachteiligten oder ethnischen Gruppen angehören. Die Anforderung, dass die Datensätze so weit wie möglich vollständig und fehlerfrei sein müssen, sollte sich nicht auf den Einsatz von Techniken zur Wahrung der Privatsphäre im Zusammenhang mit der Entwicklung und dem Testen von KI-Systemen auswirken. Insbesondere sollten die Datensätze, soweit dies für die Zweckbestimmung erforderlich ist, den Eigenschaften, Merkmalen oder Elementen entsprechen, die für die besonderen geografischen, kontextuellen, verhaltensbezogenen oder funktionalen Rahmenbedingungen, unter denen das Hochrisiko-KI-System bestimmungsgemäß verwendet werden soll, typisch sind. Die Anforderungen an die Daten-Governance können durch die Inanspruchnahme Dritter erfüllt werden, die zertifizierte Compliance-Dienste anbieten, einschließlich der Überprüfung der Daten-Governance, der Datensatzintegrität und der Datenschulungs-, Validierungs- und Testverfahren, sofern die Einhaltung der Datenanforderungen dieser Verordnung gewährleistet ist.
(68)
Pour le développement et l’évaluation de systèmes d’IA à haut risque, certains acteurs, tels que les fournisseurs, les organismes notifiés et d’autres entités concernées, telles que les pôles européens d’innovation numérique, les installations d’expérimentation et d’essai et les centres de recherche, devraient être en mesure d’avoir accès à des jeux de données de haute qualité dans leurs domaines d’activité liés au présent règlement et d’utiliser de tels jeux de données. Les espaces européens communs des données créés par la Commission et la facilitation du partage de données d’intérêt public entre les entreprises et avec le gouvernement seront essentiels pour fournir un accès fiable, responsable et non discriminatoire à des données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA. Par exemple, dans le domaine de la santé, l’espace européen des données de santé facilitera l’accès non discriminatoire aux données de santé et l’entraînement d’algorithmes d’IA à l’aide de ces jeux de données, d’une manière respectueuse de la vie privée, sûre, rapide, transparente et digne de confiance, et avec une gouvernance institutionnelle appropriée. Les autorités compétentes concernées, y compris les autorités sectorielles, qui fournissent ou facilitent l’accès aux données peuvent aussi faciliter la fourniture de données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA.
(68)
Für die Entwicklung und Bewertung von Hochrisiko-KI-Systemen sollten bestimmte Akteure wie etwa Anbieter, notifizierte Stellen und andere einschlägige Einrichtungen wie etwa Europäische Digitale Innovationszentren, Test- und Versuchseinrichtungen und Forscher in der Lage sein, in den Tätigkeitsbereichen, in denen diese Akteure tätig sind und die mit dieser Verordnung in Zusammenhang stehen, auf hochwertige Datensätze zuzugreifen und diese zu nutzen. Die von der Kommission eingerichteten gemeinsamen europäischen Datenräume und die Erleichterung des Datenaustauschs im öffentlichen Interesse zwischen Unternehmen und mit Behörden werden entscheidend dazu beitragen, einen vertrauensvollen, rechenschaftspflichtigen und diskriminierungsfreien Zugang zu hochwertigen Daten für das Training, die Validierung und das Testen von KI-Systemen zu gewährleisten. Im Gesundheitsbereich beispielsweise wird der europäische Raum für Gesundheitsdaten den diskriminierungsfreien Zugang zu Gesundheitsdaten und das Training von KI-Algorithmen mithilfe dieser Datensätze erleichtern, und zwar unter Wahrung der Privatsphäre, auf sichere, zeitnahe, transparente und vertrauenswürdige Weise und unter angemessener institutioneller Leitung. Die einschlägigen zuständigen Behörden, einschließlich sektoraler Behörden, die den Zugang zu Daten bereitstellen oder unterstützen, können auch die Bereitstellung hochwertiger Daten für das Training, die Validierung und das Testen von KI-Systemen unterstützen.
(69)
Le droit au respect de la vie privée et à la protection des données à caractère personnel doit être garanti tout au long du cycle de vie du système d’IA. À cet égard, les principes de minimisation et de protection des données dès la conception et par défaut, tels qu’énoncés dans le droit de l’Union sur la protection des données, sont applicables lorsque des données à caractère personnel sont traitées. Les mesures prises par les fournisseurs pour garantir le respect de ces principes peuvent inclure non seulement l’anonymisation et le cryptage, mais aussi l’utilisation d’une technologie qui permet l’introduction d’algorithmes dans les données ainsi que l’entraînement des systèmes d’IA sans transmission entre parties ou copie des données brutes ou structurées elles-mêmes, sans préjudice des exigences en matière de gouvernance des données prévues par le présent règlement.
(69)
Das Recht auf Privatsphäre und den Schutz personenbezogener Daten muss während des gesamten Lebenszyklus des KI-Systems sichergestellt sein. In dieser Hinsicht gelten die Grundsätze der Datenminimierung und des Datenschutzes durch Technikgestaltung und Voreinstellungen, wie sie im Datenschutzrecht der Union festgelegt sind, wenn personenbezogene Daten verarbeitet werden. Unbeschadet der in dieser Verordnung festgelegten Anforderungen an die Daten-Governance können zu den Maßnahmen, mit denen die Anbieter die Einhaltung dieser Grundsätze sicherstellen, nicht nur Anonymisierung und Verschlüsselung gehören, sondern auch der Einsatz von Technik, die es ermöglicht, Algorithmen direkt am Ort der Datenerzeugung einzusetzen und KI-Systeme zu trainieren, ohne dass Daten zwischen Parteien übertragen oder die Rohdaten oder strukturierten Daten selbst kopiert werden.
(70)
Afin de protéger le droit d’autrui contre la discrimination qui pourrait résulter des biais dans les systèmes d’IA, les fournisseurs devraient, à titre exceptionnel, et dans la mesure où cela est strictement nécessaire aux fins de la détection et de la correction des biais en ce qui concerne les systèmes d’IA à haut risque, sous réserve de garanties appropriées pour les libertés et droits fondamentaux des personnes physiques et à la suite de l’application de toutes les conditions applicables prévues par le présent règlement en plus des conditions énoncées dans les règlements (UE) 2016/679 et (UE) 2018/1725 et dans la directive (UE) 2016/680, être en mesure de traiter également des catégories particulières de données à caractère personnel, pour des raisons d’intérêt public important au sens de l’article 9, paragraphe 2, point g), du règlement (UE) 2016/679 et de l’article 10, paragraphe 2, point g), du règlement (UE) 2018/1725.
(70)
Um das Recht anderer auf Schutz vor Diskriminierung, die sich aus Verzerrungen in KI-Systemen ergeben könnte, zu wahren, sollten die Anbieter ausnahmsweise und in dem unbedingt erforderlichen Ausmaß, um die Erkennung und Korrektur von Verzerrungen im Zusammenhang mit Hochrisiko-KI-Systemen sicherzustellen, vorbehaltlich angemessener Vorkehrungen für den Schutz der Grundrechte und Grundfreiheiten natürlicher Personen und nach Anwendung aller in dieser Verordnung festgelegten geltenden Bedingungen zusätzlich zu den in den Verordnungen (EU) 2016/679 und (EU) 2018/1725 sowie der Richtlinie (EU) 2016/680 festgelegten Bedingungen besondere Kategorien personenbezogener Daten als Angelegenheit von erheblichem öffentlichen Interesse im Sinne des Artikels 9 Absatz 2 Buchstabe g der Verordnung (EU) 2016/679 und des Artikels 10 Absatz 2 Buchstabe g der Verordnung (EU) 2018/1725 verarbeiten können.
(71)
Il est essentiel de disposer d’informations compréhensibles sur la manière dont les systèmes d’IA à haut risque ont été développés et sur leur fonctionnement tout au long de leur durée de vie afin de permettre la traçabilité de ces systèmes, de vérifier le respect des exigences du présent règlement et de surveiller le fonctionnement des systèmes en question et d’assurer leur surveillance après commercialisation. Cela nécessite la tenue de registres et la disponibilité d’une documentation technique contenant les informations nécessaires pour évaluer la conformité du système d’IA avec les exigences pertinentes et faciliter la surveillance après commercialisation. Ces informations devraient notamment porter sur les caractéristiques générales, les capacités et les limites du système, sur les algorithmes, les données et les processus d’entraînement, de mise à l’essai et de validation utilisés, ainsi que sur le système de gestion des risques mis en place et être établies de façon claire et exhaustive. La documentation technique devrait être dûment tenue à jour tout au long de la durée de vie du système d’IA. Par ailleurs, les systèmes d’IA à haut risque devraient permettre, sur le plan technique, l’enregistrement automatique des événements, au moyen de journaux, tout au long de la durée de vie du système.
(71)
Umfassende Informationen darüber, wie Hochrisiko-KI-Systeme entwickelt wurden und wie sie während ihrer gesamten Lebensdauer funktionieren, sind unerlässlich, um die Nachvollziehbarkeit dieser Systeme, die Überprüfung der Einhaltung der Anforderungen dieser Verordnung sowie die Beobachtung ihres Betriebs und ihre Beobachtung nach dem Inverkehrbringen zu ermöglichen. Dies erfordert die Führung von Aufzeichnungen und die Verfügbarkeit einer technischen Dokumentation, die alle erforderlichen Informationen enthält, um die Einhaltung der einschlägigen Anforderungen durch das KI-System zu beurteilen und die Beobachtung nach dem Inverkehrbringen zu erleichtern. Diese Informationen sollten die allgemeinen Merkmale, Fähigkeiten und Grenzen des Systems, die verwendeten Algorithmen, Daten und Trainings-, Test- und Validierungsverfahren sowie die Dokumentation des einschlägigen Risikomanagementsystems umfassen und in klarer und umfassender Form abgefasst sein. Die technische Dokumentation sollte während der gesamten Lebensdauer des KI-Systems angemessen auf dem neuesten Stand gehalten werden. Darüber hinaus sollten die Hochrisiko-KI-Systeme technisch die automatische Aufzeichnung von Ereignissen mittels Protokollierung während der Lebensdauer des Systems ermöglichen.
(72)
Afin de répondre aux préoccupations liées à l’opacité et à la complexité de certains systèmes d’IA et d’aider les déployeurs à remplir les obligations qui leur incombent en vertu du présent règlement, la transparence devrait être requise pour les systèmes d’IA à haut risque avant leur mise sur le marché ou leur mise en service. Les systèmes d’IA à haut risque devraient être conçus de manière à permettre aux déployeurs de comprendre le fonctionnement du système d’IA, d’évaluer sa fonctionnalité et de comprendre ses forces et ses limites. Les systèmes d’IA à haut risque devraient être accompagnés d’informations appropriées sous la forme d’une notice d’utilisation. Ces informations devraient inclure les caractéristiques, les capacités et les limites de la performance du système d’IA. Il s’agirait des informations sur les éventuelles circonstances connues et prévisibles liées à l’utilisation du système d’IA à haut risque, y compris l’action des déployeurs susceptible d’influencer le comportement et la performance du système, dans le cadre desquelles le système d’IA peut entraîner des risques pour la santé, la sécurité et les droits fondamentaux, sur les changements qui ont été déterminés au préalable et évalués à des fins de conformité par le fournisseur et sur les mesures de contrôle humain pertinentes, y compris les mesures visant à faciliter l’interprétation des sorties du système d’IA par les déployeurs. La transparence, y compris la notice d’utilisation jointe au système, devrait aider les déployeurs à utiliser celui-ci et à prendre des décisions en connaissance de cause. Les déployeurs devraient, entre autres, être mieux à même de faire le bon choix quant au système qu’ils ont l’intention d’utiliser à la lumière des obligations qui leur sont applicables, d’être informés sur les utilisations prévues et interdites et d’utiliser le système d’IA correctement et le cas échéant. Afin d’améliorer la lisibilité et l’accessibilité des informations figurant dans la notice d’utilisation, il convient, le cas échéant, d’inclure des exemples illustratifs, par exemple sur les limitations et sur les utilisations prévues et interdites du système d’IA. Les fournisseurs devraient veiller à ce que toute la documentation, y compris la notice d’utilisation, contienne des informations utiles, complètes, accessibles et compréhensibles, compte tenu des besoins et des connaissances prévisibles des déployeurs visés. La notice d’utilisation devrait être mise à disposition dans une langue aisément compréhensible par les déployeurs visés, déterminée par l’État membre concerné.
(72)
Um Bedenken hinsichtlich der Undurchsichtigkeit und Komplexität bestimmter KI-Systeme auszuräumen und die Betreiber bei der Erfüllung ihrer Pflichten gemäß dieser Verordnung zu unterstützen, sollte für Hochrisiko-KI-Systeme Transparenz vorgeschrieben werden, bevor sie in Verkehr gebracht oder in Betrieb genommen werden. Hochrisiko-KI-Systeme sollten so gestaltet sein, dass die Betreiber in der Lage sind, zu verstehen, wie das KI-System funktioniert, seine Funktionalität zu bewerten und seine Stärken und Grenzen zu erfassen. Hochrisiko-KI-Systemen sollten angemessene Informationen in Form von Betriebsanleitungen beigefügt sein. Zu diesen Informationen sollten die Merkmale, Fähigkeiten und Leistungsbeschränkungen des KI-Systems gehören. Diese würden Informationen über mögliche bekannte und vorhersehbare Umstände im Zusammenhang mit der Nutzung des Hochrisiko-KI-Systems, einschließlich Handlungen des Betreibers, die das Verhalten und die Leistung des Systems beeinflussen können, unter denen das KI-System zu Risiken in Bezug auf die Gesundheit, die Sicherheit und die Grundrechte führen kann, über die Änderungen, die vom Anbieter vorab festgelegt und auf Konformität geprüft wurden, und über die einschlägigen Maßnahmen der menschlichen Aufsicht, einschließlich der Maßnahmen, um den Betreibern die Interpretation der Ausgaben von KI-Systemen zu erleichtern, umfassen. Transparenz, einschließlich der begleitenden Betriebsanleitungen, sollte den Betreibern bei der Nutzung des Systems helfen und ihre fundierte Entscheidungsfindung unterstützen. Unter anderem sollten Betreiber besser in der Lage sein, das richtige System auszuwählen, das sie angesichts der für sie geltenden Pflichten verwenden wollen, über die beabsichtigten und ausgeschlossenen Verwendungszwecke informiert sein und das KI-System korrekt und angemessen verwenden. Um die Lesbarkeit und Zugänglichkeit der in der Betriebsanleitung enthaltenen Informationen zu verbessern, sollten diese gegebenenfalls anschauliche Beispiele enthalten, zum Beispiel zu den Beschränkungen sowie zu den beabsichtigten und ausgeschlossenen Verwendungen des KI-Systems. Die Anbieter sollten dafür sorgen, dass in der gesamten Dokumentation, einschließlich der Betriebsanleitungen, aussagekräftige, umfassende, zugängliche und verständliche Informationen enthalten sind, wobei die Bedürfnisse und vorhersehbaren Kenntnisse der Zielbetreiber zu berücksichtigen sind. Die Betriebsanleitungen sollten in einer vom betreffenden Mitgliedstaat festgelegten Sprache zur Verfügung gestellt werden, die von den Zielbetreibern leicht verstanden werden kann.
(73)
Les systèmes d’IA à haut risque devraient être conçus et développés de manière à ce que les personnes physiques puissent superviser leur fonctionnement et veiller à ce qu’ils soient utilisés comme prévu et à ce que leurs incidences soient prises en compte tout au long de leur cycle de vie. À cette fin, des mesures appropriées de contrôle humain devraient être établies par le fournisseur du système avant sa mise sur le marché ou sa mise en service. En particulier, le cas échéant, de telles mesures devraient garantir que le système est soumis à des contraintes opérationnelles intégrées qui ne peuvent pas être ignorées par le système lui-même, que le système répond aux ordres de l’opérateur humain et que les personnes physiques auxquelles le contrôle humain a été confié ont les compétences, la formation et l’autorité nécessaires pour s’acquitter de ce rôle. Il est également essentiel, le cas échéant, de veiller à ce que les systèmes d’IA à haut risque comprennent des mécanismes destinés à guider et à informer une personne physique à laquelle le contrôle humain a été confié, afin qu’elle puisse décider en connaissance de cause s’il faut intervenir, à quel moment et de quelle manière, pour éviter des conséquences négatives ou des risques, ou arrêter le système s’il ne fonctionne pas comme prévu. Compte tenu des conséquences importantes pour les personnes en cas d’erreur dans les correspondances établies par certains systèmes d’identification biométrique, il convient de prévoir pour ces systèmes une exigence de contrôle humain accru, de manière qu’aucune mesure ou décision ne puisse être prise par le déployeur sur la base de l’identification obtenue par le système, à moins qu’elle n’ait été vérifiée et confirmée séparément par au moins deux personnes physiques. Ces personnes pourraient provenir d’une ou de plusieurs entités et compter parmi elles la personne qui fait fonctionner le système ou l’utilise. Cette exigence ne devrait pas entraîner de charges ou de retards inutiles, et il pourrait suffire que les vérifications effectuées séparément par les différentes personnes soient automatiquement enregistrées dans les journaux générés par le système. Compte tenu des spécificités des domaines que sont les activités répressives, la migration, les contrôles aux frontières et l’asile, cette exigence ne devrait pas s’appliquer lorsque le droit de l’Union ou le droit national considère que cette application est disproportionnée.
(73)
Hochrisiko-KI-Systeme sollten so gestaltet und entwickelt werden, dass natürliche Personen ihre Funktionsweise überwachen und sicherstellen können, dass sie bestimmungsgemäß verwendet werden und dass ihre Auswirkungen während des Lebenszyklus des Systems berücksichtigt werden. Zu diesem Zweck sollte der Anbieter des Systems vor dem Inverkehrbringen oder der Inbetriebnahme geeignete Maßnahmen zur Gewährleistung der menschlichen Aufsicht festlegen. Insbesondere sollten solche Maßnahmen gegebenenfalls gewährleisten, dass das System integrierten Betriebseinschränkungen unterliegt, über die sich das System selbst nicht hinwegsetzen kann, dass es auf den menschlichen Bediener reagiert und dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, um diese Aufgabe wahrzunehmen. Es ist außerdem unerlässlich, gegebenenfalls dafür zu sorgen, dass in Hochrisiko-KI-Systemen Mechanismen enthalten sind, um eine natürliche Person, der die menschliche Aufsicht übertragen wurde, zu beraten und zu informieren, damit sie fundierte Entscheidungen darüber trifft, ob, wann und wie einzugreifen ist, um negative Folgen oder Risiken zu vermeiden, oder das System anzuhalten, wenn es nicht wie beabsichtigt funktioniert. Angesichts der bedeutenden Konsequenzen für Personen im Falle eines falschen Treffers durch bestimmte biometrische Identifizierungssysteme ist es angezeigt, für diese Systeme eine verstärkte Anforderung im Hinblick auf die menschliche Aufsicht vorzusehen, sodass der Betreiber keine Maßnahmen oder Entscheidungen aufgrund des vom System hervorgebrachten Identifizierungsergebnisses treffen kann, solange dies nicht von mindestens zwei natürlichen Personen getrennt überprüft und bestätigt wurde. Diese Personen könnten von einer oder mehreren Einrichtungen stammen und die Person umfassen, die das System bedient oder verwendet. Diese Anforderung sollte keine unnötigen Belastungen oder Verzögerungen mit sich bringen, und es könnte ausreichen, dass die getrennten Überprüfungen durch die verschiedenen Personen automatisch in die vom System erzeugten Protokolle aufgenommen werden. Angesichts der Besonderheiten der Bereiche Strafverfolgung, Migration, Grenzkontrolle und Asyl sollte diese Anforderung nicht gelten, wenn die Geltung dieser Anforderung nach Unionsrecht oder nationalem Recht unverhältnismäßig ist.
(74)
Les systèmes d’IA à haut risque devraient produire des résultats d’une qualité constante tout au long de leur cycle de vie et assurer un niveau approprié d’exactitude, de robustesse et de cybersécurité, au vu de leur destination et conformément à l’état de la technique généralement reconnu. La Commission et les organisations et parties prenantes concernées sont encouragées à tenir dûment compte de l’atténuation des risques et des incidences négatives du système d’IA. Le niveau attendu des indicateurs de performance devrait être indiqué dans la notice d’utilisation jointe au système. Les fournisseurs sont instamment invités à communiquer ces informations aux déployeurs d’une manière claire et aisément compréhensible, sans malentendus ou déclarations trompeuses. Le droit de l’Union en matière de métrologie légale, y compris les directives 2014/31/UE (35) et 2014/32/UE (36) du Parlement européen et du Conseil, vise à garantir l’exactitude des mesures et à contribuer à la transparence et à la loyauté des transactions commerciales. Dans ce contexte, en coopération avec les parties prenantes et organisations concernées, telles que les autorités de métrologie et d’étalonnage des performances, la Commission devrait encourager, le cas échéant, l’élaboration de critères de référence et de méthodes de mesure pour les systèmes d’IA. Ce faisant, la Commission devrait prendre note des partenaires internationaux travaillant sur la métrologie et les indicateurs de mesure pertinents relatifs à l’IA et collaborer avec ceux-ci.
(74)
Hochrisiko-KI-Systeme sollten während ihres gesamten Lebenszyklus beständig funktionieren und ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit angesichts ihrer Zweckbestimmung und entsprechend dem allgemein anerkannten Stand der Technik aufweisen. Die Kommission sowie einschlägige Interessenträger und Organisationen sind aufgefordert, der Minderung der Risiken und negativen Auswirkungen des KI-Systems gebührend Rechnung zu tragen. Das erwartete Leistungskennzahlenniveau sollte in der beigefügten Betriebsanleitung angegeben werden. Die Anbieter werden nachdrücklich aufgefordert, diese Informationen den Betreibern in klarer und leicht verständlicher Weise ohne Missverständnisse oder irreführende Aussagen zu übermitteln. Die Rechtsvorschriften der Union zum gesetzlichen Messwesen, einschließlich der Richtlinien 2014/31/EU (35) und 2014/32/EU des Europäischen Parlaments und des Rates (36), zielt darauf ab, die Genauigkeit von Messungen sicherzustellen und die Transparenz und Fairness im Geschäftsverkehr zu fördern. In diesem Zusammenhang sollte die Kommission in Zusammenarbeit mit einschlägigen Interessenträgern und Organisationen, wie Metrologie- und Benchmarking-Behörden, gegebenenfalls die Entwicklung von Benchmarks und Messmethoden für KI-Systeme fördern. Dabei sollte die Kommission internationale Partner, die an Metrologie und einschlägigen Messindikatoren für KI arbeiten, beachten und mit ihnen zusammenarbeiten.
(75)
La robustesse technique est une exigence essentielle pour les systèmes d’IA à haut risque. Il convient qu’ils soient résilients face aux comportements préjudiciables ou, plus généralement, indésirables pouvant résulter de limites intrinsèques aux systèmes ou dues à l’environnement dans lequel les systèmes fonctionnent (par exemple les erreurs, les défaillances, les incohérences et les situations inattendues). Par conséquent, des mesures techniques et organisationnelles devraient être prises pour garantir la robustesse des systèmes d’IA à haut risque, par exemple en concevant et développant des solutions techniques appropriées pour prévenir ou réduire au minimum les comportements préjudiciables ou, plus généralement, indésirables. Ces solutions techniques peuvent comprendre, par exemple, des mécanismes permettant au système d’interrompre son fonctionnement en toute sécurité (mesures de sécurité après défaillance) en présence de certaines anomalies ou en cas de fonctionnement en dehors de certaines limites déterminées au préalable. L’absence de protection contre ces risques pourrait avoir des incidences sur la sécurité ou entraîner des violations des droits fondamentaux, par exemple en raison de décisions erronées ou de sorties inexactes ou biaisées générées par le système d’IA.
(75)
Die technische Robustheit ist eine wesentliche Voraussetzung für Hochrisiko-KI-Systeme. Sie sollten widerstandsfähig in Bezug auf schädliches oder anderweitig unerwünschtes Verhalten sein, das sich aus Einschränkungen innerhalb der Systeme oder der Umgebung, in der die Systeme betrieben werden, ergeben kann (z. B. Fehler, Störungen, Unstimmigkeiten, unerwartete Situationen). Daher sollten technische und organisatorische Maßnahmen ergriffen werden, um die Robustheit von Hochrisiko-KI-Systemen sicherzustellen, indem beispielsweise geeignete technische Lösungen konzipiert und entwickelt werden, um schädliches oder anderweitig unerwünschtes Verhalten zu verhindern oder zu minimieren. Zu diesen technischen Lösungen können beispielsweise Mechanismen gehören, die es dem System ermöglichen, seinen Betrieb bei bestimmten Anomalien oder beim Betrieb außerhalb bestimmter vorab festgelegter Grenzen sicher zu unterbrechen (Störungssicherheitspläne). Ein fehlender Schutz vor diesen Risiken könnte die Sicherheit beeinträchtigen oder sich negativ auf die Grundrechte auswirken, wenn das KI-System beispielsweise falsche Entscheidungen trifft oder falsche oder verzerrte Ausgaben hervorbringt.
(76)
La cybersécurité joue un rôle crucial pour ce qui est de garantir la résilience des systèmes d’IA face aux tentatives de détourner leur utilisation, leur comportement ou leur performance ou de compromettre leurs propriétés de sûreté par des tiers malveillants exploitant les vulnérabilités du système. Les cyberattaques contre les systèmes d’IA peuvent passer par des ressources propres à l’IA, telles que les jeux de données d’entraînement (par exemple pour l’empoisonnement de données) ou l’entraînement des modèles (par exemple pour des attaques contradictoires ou des attaques par inférence d’appartenance), ou exploiter les vulnérabilités des ressources numériques du système d’IA ou de l’infrastructure TIC sous-jacente. Pour garantir un niveau de cybersécurité adapté aux risques, des mesures appropriées, telles que des contrôles de sécurité, devraient donc être prises par les fournisseurs de systèmes d’IA à haut risque, en tenant également compte, si nécessaire, de l’infrastructure TIC sous-jacente.
(76)
Die Cybersicherheit spielt eine entscheidende Rolle, wenn es darum geht, sicherzustellen, dass KI-Systeme widerstandsfähig gegenüber Versuchen böswilliger Dritter sind, unter Ausnutzung der Schwachstellen der Systeme deren Verwendung, Verhalten, Leistung zu verändern oder ihre Sicherheitsmerkmale zu beeinträchtigen. Cyberangriffe auf KI-Systeme können KI-spezifische Ressourcen wie Trainingsdatensätze (z. B. Datenvergiftung) oder trainierte Modelle (z. B. feindliche Angriffe oder Inferenzangriffe auf Mitgliederdaten) nutzen oder Schwachstellen in den digitalen Ressourcen des KI-Systems oder der zugrunde liegenden IKT-Infrastruktur ausnutzen. Um ein den Risiken angemessenes Cybersicherheitsniveau zu gewährleisten, sollten die Anbieter von Hochrisiko-KI-Systemen daher geeignete Maßnahmen, etwa Sicherheitskontrollen, ergreifen, wobei gegebenenfalls auch die zugrunde liegende IKT-Infrastruktur zu berücksichtigen ist.
(77)
Sans préjudice des exigences relatives à la robustesse et à l’exactitude énoncées dans le présent règlement, les systèmes d’IA à haut risque qui relèvent du champ d’application du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques, conformément audit règlement, peuvent démontrer leur conformité avec les exigences de cybersécurité du présent règlement en satisfaisant aux exigences essentielles de cybersécurité énoncées audit règlement. Lorsqu’ils satisfont aux exigences essentielles du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques, les systèmes d’IA à haut risque devraient être réputés conformes aux exigences de cybersécurité énoncées dans le présent règlement dans la mesure où le respect de ces exigences est démontré dans la déclaration UE de conformité, ou dans des parties de celle-ci, délivrée en vertu dudit règlement. À cette fin, l’évaluation des risques en matière de cybersécurité associés à un produit comportant des éléments numériques classé comme système d’IA à haut risque conformément au présent règlement, effectuée en vertu du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques, devrait tenir compte des risques pesant sur la cyberrésilience d’un système d’IA en ce qui concerne les tentatives de tiers non autorisés de modifier son utilisation, son comportement ou sa performance, y compris les vulnérabilités spécifiques à l’IA telles que l’empoisonnement des données ou les attaques hostiles, ainsi que, le cas échéant, les risques pesant sur les droits fondamentaux, comme l’exige le présent règlement.
(77)
Unbeschadet der in dieser Verordnung festgelegten Anforderungen an Robustheit und Genauigkeit können Hochrisiko-AI-Systeme, die in den Geltungsbereich einer Verordnung des Europäischen Parlaments und des Rates über horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen gemäß der genannten Verordnung fallen, die Erfüllung der Cybersicherheitsanforderungen der vorliegenden Verordnung nachweisen, indem sie die in der genannten Verordnung festgelegten grundlegenden Cybersicherheitsanforderungen erfüllen. Wenn Hochrisiko-KI-Systeme die grundlegenden Anforderungen einer Verordnung des Europäischen Parlaments und des Rates über horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen erfüllen, sollten sie als die in der vorliegenden Verordnung festgelegten Cybersicherheitsanforderungen erfüllend gelten, soweit die Erfüllung der genannten Anforderungen in der gemäß der genannten Verordnung ausgestellten EU-Konformitätserklärung oder in Teilen davon nachgewiesen wird. Zu diesem Zweck sollten bei der im Rahmen einer Verordnung des Europäischen Parlaments und des Rates über horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen durchgeführten Bewertung der Cybersicherheitsrisiken, die mit einem gemäß der vorliegenden Verordnung als Hochrisiko-KI-System eingestuften Produkt mit digitalen Elementen verbunden sind, Risiken für die Cyberabwehrfähigkeit eines KI-Systems in Bezug auf Versuche unbefugter Dritter, seine Verwendung, sein Verhalten oder seine Leistung zu verändern, einschließlich KI-spezifischer Schwachstellen wie Datenvergiftung oder feindlicher Angriffe, sowie gegebenenfalls Risiken für die Grundrechte gemäß der vorliegenden Verordnung berücksichtigt werden.
(78)
La procédure d’évaluation de la conformité prévue par le présent règlement devrait s’appliquer en ce qui concerne les exigences essentielles de cybersécurité d’un produit comportant des éléments numériques relevant du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques et classé comme système d’IA à haut risque en vertu du présent règlement. Toutefois, l’application de cette règle ne devrait pas entraîner de réduction du niveau d’assurance nécessaire pour les produits critiques comportant des éléments numériques couverts par le règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques. Par conséquent, par dérogation à cette règle, les systèmes d’IA à haut risque qui relèvent du champ d’application du présent règlement et sont également considérés comme des produits critiques importants comportant des éléments numériques en vertu du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques et auxquels s’applique la procédure d’évaluation de la conformité fondée sur le contrôle interne visée à l’annexe du présent règlement, sont soumis aux dispositions relatives à l’évaluation de la conformité du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques en ce qui concerne les exigences essentielles de cybersécurité énoncées dans ledit règlement. Dans ce cas, les dispositions respectives relatives à l’évaluation de la conformité fondée sur le contrôle interne énoncées à l’annexe du présent règlement devraient s’appliquer à tous les autres aspects couverts par le présent règlement. En s’appuyant sur les connaissances et l’expertise de l’ENISA en ce qui concerne la politique de cybersécurité et les tâches qui lui sont confiées en vertu du règlement (UE) 2019/881 du Parlement européen et du Conseil (37), la Commission devrait coopérer avec l’ENISA sur les questions liées à la cybersécurité des systèmes d’IA.
(78)
Das in dieser Verordnung vorgesehene Konformitätsbewertungsverfahren sollte in Bezug auf die grundlegenden Cybersicherheitsanforderungen an ein Produkt mit digitalen Elementen, das unter eine Verordnung des Europäischen Parlaments und des Rates über horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen fällt und gemäß der vorliegenden Verordnung als Hochrisiko-KI-System eingestuft ist, gelten. Diese Regel sollte jedoch nicht dazu führen, dass die erforderliche Vertrauenswürdigkeit für unter eine Verordnung des Europäischen Parlaments und des Rates über horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen fallende kritische Produkte mit digitalen Elementen verringert wird. Daher unterliegen abweichend von dieser Regel Hochrisiko-KI-Systeme, die in den Anwendungsbereich der vorliegenden Verordnung fallen und gemäß einer Verordnung des Europäischen Parlaments und des Rates über horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen als wichtige und kritische Produkte mit digitalen Elementen eingestuft werden und für die das Konformitätsbewertungsverfahren auf der Grundlage der internen Kontrolle gemäß einem Anhang der vorliegenden Verordnung gilt, den Konformitätsbewertungsbestimmungen einer Verordnung des Europäischen Parlaments und des Rates über horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen, soweit die wesentlichen Cybersicherheitsanforderungen der genannten Verordnung betroffen sind. In diesem Fall sollten für alle anderen Aspekte, die unter die vorliegende Verordnung fallen, die entsprechenden Bestimmungen über die Konformitätsbewertung auf der Grundlage der internen Kontrolle gelten, die in einem Anhang der vorliegenden Verordnung festgelegt sind. Aufbauend auf den Kenntnissen und dem Fachwissen der ENISA in Bezug auf die Cybersicherheitspolitik und die der ENISA gemäß der Verordnung (EU) 2019/881 des Europäischen Parlaments und des Rates (37) übertragenen Aufgaben sollte die Kommission in Fragen im Zusammenhang mit der Cybersicherheit von KI-Systemen mit der ENISA zusammenarbeiten.
(79)
Il convient qu’une personne physique ou morale spécifique, définie comme étant le fournisseur, assume la responsabilité de la mise sur le marché ou de la mise en service d’un système d’IA à haut risque, indépendamment du fait que cette personne physique ou morale soit ou non la personne qui a conçu ou développé le système.
(79)
Es ist angezeigt, dass eine bestimmte als Anbieter definierte natürliche oder juristische Person die Verantwortung für das Inverkehrbringen oder die Inbetriebnahme eines Hochrisiko-KI-Systems übernimmt, unabhängig davon, ob es sich bei dieser natürlichen oder juristischen Person um die Person handelt, die das System konzipiert oder entwickelt hat.
(80)
En leur qualité de signataires de la convention des Nations unies relative aux droits des personnes handicapées, l’Union et les États membres sont légalement tenus de protéger les personnes handicapées contre la discrimination et de promouvoir leur égalité, de veiller à ce que les personnes handicapées aient accès, au même titre que les autres, aux technologies et aux systèmes d’information et de communication, ainsi que de garantir le respect de leur vie privée. Compte tenu de l’importance et de l’utilisation croissantes des systèmes d’IA, l’application des principes de conception universelle à toutes les nouvelles technologies et à tous les nouveaux services devrait garantir un accès complet et égal à toute personne potentiellement concernée par les technologies d’IA ou les utilisant, y compris les personnes handicapées, d’une manière qui tienne pleinement compte de leur dignité et de leur diversité intrinsèques. Il est donc essentiel que les fournisseurs garantissent la pleine conformité avec les exigences en matière d’accessibilité, y compris la directive (UE) 2016/2102 du Parlement européen et du Conseil (38) et la directive (UE) 2019/882. Les fournisseurs devraient veiller au respect de ces exigences dès la conception. Les mesures nécessaires devraient donc être aussi intégrées que possible dans la conception des systèmes d’IA à haut risque.
(80)
Als Unterzeichner des Übereinkommens über die Rechte von Menschen mit Behinderungen der Vereinten Nationen sind die Union und alle Mitgliedstaaten rechtlich verpflichtet, Menschen mit Behinderungen vor Diskriminierung zu schützen und ihre Gleichstellung zu fördern, sicherzustellen, dass Menschen mit Behinderungen gleichberechtigt Zugang zu Informations- und Kommunikationstechnologien und -systemen haben, und die Achtung der Privatsphäre von Menschen mit Behinderungen sicherzustellen. Angesichts der zunehmenden Bedeutung und Nutzung von KI-Systemen sollte die strikte Anwendung der Grundsätze des universellen Designs auf alle neuen Technologien und Dienste einen vollständigen und gleichberechtigten Zugang für alle Menschen sicherstellen, die potenziell von KI-Technologien betroffen sind oder diese nutzen, einschließlich Menschen mit Behinderungen, und zwar in einer Weise, die ihrer Würde und Vielfalt in vollem Umfang Rechnung trägt. Es ist daher von wesentlicher Bedeutung, dass die Anbieter die uneingeschränkte Einhaltung der Barrierefreiheitsanforderungen sicherstellen, einschließlich der in der Richtlinie (EU) 2016/2102 des Europäischen Parlaments und des Rates (38) und in der Richtlinie (EU) 2019/882 festgelegten Anforderungen. Die Anbieter sollten die Einhaltung dieser Anforderungen durch Voreinstellungen sicherstellen. Die erforderlichen Maßnahmen sollten daher so weit wie möglich in die Konzeption von Hochrisiko-KI-Systemen integriert werden.
(81)
Le fournisseur devrait mettre en place un système solide de gestion de la qualité, garantir le respect de la procédure d’évaluation de la conformité requise, rédiger la documentation pertinente et mettre en place un système solide de surveillance après commercialisation. Les fournisseurs de systèmes d’IA à haut risque qui sont soumis à des obligations en matière de systèmes de gestion de la qualité en vertu du droit sectoriel pertinent de l’Union devraient avoir la possibilité d’intégrer les éléments du système de gestion de la qualité prévus par le présent règlement dans le système de gestion de la qualité existant prévu dans cet autre droit sectoriel de l’Union. La complémentarité entre le présent règlement et le droit sectoriel existant de l’Union devrait également être prise en compte dans les futures activités ou orientations de normalisation de la Commission. Les autorités publiques qui mettent en service des systèmes d’IA à haut risque destinés à être utilisés exclusivement par elles peuvent adopter et mettre en œuvre les règles relatives au système de gestion de la qualité dans le cadre du système de gestion de la qualité adopté au niveau national ou régional, selon le cas, en tenant compte des spécificités du secteur, ainsi que des compétences et de l’organisation de l’autorité publique concernée.
(81)
Der Anbieter sollte ein solides Qualitätsmanagementsystem einrichten, die Durchführung des vorgeschriebenen Konformitätsbewertungsverfahrens sicherstellen, die einschlägige Dokumentation erstellen und ein robustes System zur Beobachtung nach dem Inverkehrbringen einrichten. Anbieter von Hochrisiko-KI-Systemen, die Pflichten in Bezug auf Qualitätsmanagementsysteme gemäß den einschlägigen sektorspezifischen Rechtsvorschriften der Union unterliegen, sollten die Möglichkeit haben, die Elemente des in dieser Verordnung vorgesehenen Qualitätsmanagementsystems als Teil des bestehenden, in diesen anderen sektoralen Rechtsvorschriften der Union vorgesehen Qualitätsmanagementsystems aufzunehmen. Auch bei künftigen Normungstätigkeiten oder Leitlinien, die von der Kommission angenommen werden, sollte der Komplementarität zwischen dieser Verordnung und den bestehenden sektorspezifischen Rechtsvorschriften der Union Rechnung getragen werden. Behörden, die Hochrisiko-KI-Systeme für den Eigengebrauch in Betrieb nehmen, können unter Berücksichtigung der Besonderheiten des Bereichs sowie der Zuständigkeiten und der Organisation der besagten Behörde die Vorschriften für das Qualitätsmanagementsystem als Teil des auf nationaler oder regionaler Ebene eingesetzten Qualitätsmanagementsystems annehmen und umsetzen.
(82)
Pour permettre le contrôle de l’application du présent règlement et créer des conditions de concurrence équitables pour les opérateurs, et compte tenu des différentes formes de mise à disposition des produits numériques, il est important de veiller à ce que, en toutes circonstances, une personne établie dans l’Union puisse fournir aux autorités toutes les informations nécessaires sur la conformité d’un système d’IA. Par conséquent, avant de mettre leurs systèmes d’IA à disposition dans l’Union, les fournisseurs établis dans des pays tiers devraient nommer, par mandat écrit, un mandataire établi dans l’Union. Ce mandataire joue un rôle capital en ce sens qu’il veille à la conformité des systèmes d’IA à haut risque mis sur le marché ou mis en service dans l’Union par des fournisseurs qui ne sont pas établis dans l’Union et sert à ces derniers de point de contact établi dans l’Union.
(82)
Um die Durchsetzung dieser Verordnung zu ermöglichen und gleiche Wettbewerbsbedingungen für die Akteure zu schaffen, muss unter Berücksichtigung der verschiedenen Formen der Bereitstellung digitaler Produkte sichergestellt sein, dass unter allen Umständen eine in der Union niedergelassene Person den Behörden alle erforderlichen Informationen über die Konformität eines KI-Systems zur Verfügung stellen kann. Daher sollten Anbieter, die in Drittländern niedergelassen sind, vor der Bereitstellung ihrer KI-Systeme in der Union schriftlich einen in der Union niedergelassenen Bevollmächtigten benennen. Dieser Bevollmächtigte spielt eine zentrale Rolle bei der Gewährleistung der Konformität der von den betreffenden Anbietern, die nicht in der Union niedergelassen sind, in der Union in Verkehr gebrachten oder in Betrieb genommenen Hochrisiko-KI-Systeme und indem er als ihr in der Union niedergelassener Ansprechpartner dient.
(83)
Compte tenu de la nature et de la complexité de la chaîne de valeur des systèmes d’IA, et conformément au nouveau cadre législatif, il est essentiel de garantir la sécurité juridique et de faciliter le respect du présent règlement. Par conséquent, il est nécessaire de préciser le rôle et les obligations spécifiques des opérateurs concernés tout au long de ladite chaîne de valeur, tels que les importateurs et les distributeurs qui peuvent contribuer au développement des systèmes d’IA. Dans certaines situations, ces opérateurs pourraient jouer plus d’un rôle en même temps et devraient donc remplir toutes les obligations pertinentes associées à ces rôles. Par exemple, un opérateur pourrait agir à la fois en tant que distributeur et importateur.
(83)
Angesichts des Wesens und der Komplexität der Wertschöpfungskette für KI-Systeme und im Einklang mit dem neuen Rechtsrahmen ist es von wesentlicher Bedeutung, Rechtssicherheit zu gewährleisten und die Einhaltung dieser Verordnung zu erleichtern. Daher müssen die Rolle und die spezifischen Pflichten der relevanten Akteure entlang dieser Wertschöpfungskette, wie Einführer und Händler, die zur Entwicklung von KI-Systemen beitragen können, präzisiert werden. In bestimmten Situationen könnten diese Akteure mehr als eine Rolle gleichzeitig wahrnehmen und sollten daher alle einschlägigen Pflichten, die mit diesen Rollen verbunden sind, kumulativ erfüllen. So könnte ein Akteur beispielsweise gleichzeitig als Händler und als Einführer auftreten.
(84)
Afin de garantir la sécurité juridique, il est nécessaire de préciser que, dans certaines conditions particulières, tout distributeur, importateur, déployeur ou autre tiers devrait être considéré comme un fournisseur d’un système d’IA à haut risque et, par conséquent, assumer toutes les obligations correspondantes. Tel serait le cas si cette partie met son nom ou sa marque sur un système d’IA à haut risque déjà mis sur le marché ou mis en service, sans préjudice des dispositions contractuelles stipulant que les obligations sont attribuées d’une autre manière. Tel serait aussi le cas si cette partie apporte une modification substantielle à un système d’IA à haut risque qui a déjà été mis sur le marché ou a déjà été mis en service et de telle sorte qu’il demeure un système d’IA à haut risque conformément au présent règlement, ou si elle modifie la destination d’un système d’IA, y compris un système d’IA à usage général, qui n’a pas été classé comme étant à haut risque et qui a déjà été mis sur le marché ou mis en service, de telle sorte que le système d’IA devient un système d’IA à haut risque conformément au présent règlement. Ces dispositions devraient s’appliquer sans préjudice de dispositions plus spécifiques établies dans certains actes législatifs de l’Union en matière d’harmonisation reposant sur le nouveau cadre législatif avec lesquels le présent règlement devrait s’appliquer. Par exemple, l’article 16, paragraphe 2, du règlement (UE) 2017/745, qui dispose que certaines modifications ne devraient pas être considérées comme des modifications d’un dispositif susceptibles d’influer sur sa conformité avec les exigences applicables, devrait continuer de s’appliquer aux systèmes d’IA à haut risque constituant des dispositifs médicaux au sens dudit règlement.
(84)
Um Rechtssicherheit zu gewährleisten, muss präzisiert werden, dass unter bestimmten spezifischen Bedingungen jeder Händler, Einführer, Betreiber oder andere Dritte als Anbieter eines Hochrisiko-KI-Systems betrachtet werden und daher alle einschlägigen Pflichten erfüllen sollte. Dies wäre auch der Fall, wenn diese Partei ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System mit ihrem Namen oder ihrer Handelsmarke versieht, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen, oder wenn sie eine wesentliche Veränderung des Hochrisiko-KI-Systems, das bereits in Verkehr gebracht oder bereits in Betrieb genommen wurde, so vornimmt, dass es ein Hochrisiko-KI-System im Sinne dieser Verordnung bleibt, oder wenn sie die Zweckbestimmung eines KI-Systems, einschließlich eines KI-Systems mit allgemeinem Verwendungszweck, das nicht als Hochrisiko-KI-System eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so verändert, dass das KI-System zu einem Hochrisiko-KI-System im Sinne dieser Verordnung wird. Diese Bestimmungen sollten unbeschadet spezifischerer Bestimmungen in bestimmten Harmonisierungsrechtsvorschriften der Union auf Grundlage des neuen Rechtsrahmens gelten, mit denen diese Verordnung zusammen gelten sollte. So sollte beispielsweise Artikel 16 Absatz 2 der Verordnung (EU) 2017/745, wonach bestimmte Änderungen nicht als eine Änderung des Produkts, die Auswirkungen auf seine Konformität mit den geltenden Anforderungen haben könnte, gelten sollten, weiterhin auf Hochrisiko-KI-Systeme angewandt werden, bei denen es sich um Medizinprodukte im Sinne der genannten Verordnung handelt.
(85)
Les systèmes d’IA à usage général peuvent être utilisés comme des systèmes d’IA à haut risque en tant que tels ou comme des composants d’autres systèmes d’IA à haut risque. Dès lors, en raison de leur nature particulière, et afin de garantir un partage équitable des responsabilités tout au long de la chaîne de valeur de l’IA, les fournisseurs de systèmes d’IA à usage général, indépendamment du fait que ces systèmes puissent être utilisés comme des systèmes d’IA à haut risque en tant que tels par d’autres fournisseurs ou comme des composants de systèmes d’IA à haut risque, et sauf dispositions contraires du présent règlement, devraient coopérer étroitement avec les fournisseurs des systèmes d’IA à haut risque concernés afin de leur permettre de se conformer aux obligations pertinentes prévues par le présent règlement et avec les autorités compétentes établies en vertu du présent règlement.
(85)
KI-Systeme mit allgemeinem Verwendungszweck können als eigenständige Hochrisiko-KI-Systeme eingesetzt werden oder Komponenten anderer Hochrisiko-KI-Systemen sein. Daher sollten, aufgrund der besonderen Merkmale dieser KI-Systeme und um für eine gerechte Verteilung der Verantwortlichkeiten entlang der KI-Wertschöpfungskette zu sorgen, Anbieter solcher Systeme, unabhängig davon, ob sie von anderen Anbietern als eigenständige Hochrisiko-KI-Systeme oder als Komponenten von Hochrisiko-KI-Systemen verwendet werden können, und sofern in dieser Verordnung nichts anderes bestimmt ist, eng mit den Anbietern der relevanten Hochrisiko-KI-Systeme, um ihnen die Einhaltung der entsprechenden Pflichten aus dieser Verordnung zu ermöglichen, und mit den gemäß dieser Verordnung eingerichteten zuständigen Behörden zusammenarbeiten.
(86)
Lorsque, dans les conditions prévues par le présent règlement, le fournisseur qui a initialement mis sur le marché ou mis en service le système d’IA ne devrait plus être considéré comme le fournisseur aux fins du présent règlement, et lorsque ce fournisseur n’a pas expressément exclu le changement du système d’IA en un système d’IA à haut risque, ce fournisseur devrait néanmoins coopérer étroitement, mettre à disposition les informations nécessaires et fournir l’accès technique raisonnablement attendu et toute autre assistance qui sont requis pour le respect des obligations énoncées dans le présent règlement, notamment en ce qui concerne la conformité avec l’évaluation de la conformité des systèmes d’IA à haut risque.
(86)
Sollte der Anbieter, der das KI-System ursprünglich in Verkehr gebracht oder in Betrieb genommen hat, unter den in dieser Verordnung festgelegten Bedingungen nicht mehr als Anbieter im Sinne dieser Verordnung gelten und hat jener Anbieter die Änderung des KI-Systems in ein Hochrisiko-KI-System nicht ausdrücklich ausgeschlossen, so sollte der erstgenannte Anbieter dennoch eng zusammenarbeiten, die erforderlichen Informationen zur Verfügung stellen und den vernünftigerweise erwarteten technischen Zugang und sonstige Unterstützung leisten, die für die Erfüllung der in dieser Verordnung festgelegten Pflichten, insbesondere in Bezug auf die Konformitätsbewertung von Hochrisiko-KI-Systemen, erforderlich sind.
(87)
En outre, lorsqu’un système d’IA à haut risque qui est un composant de sécurité d’un produit relevant du champ d’application de la législation d’harmonisation de l’Union reposant sur le nouveau cadre législatif n’est pas mis sur le marché ou mis en service indépendamment du produit, le fabricant du produit défini par cette législation devrait se conformer aux obligations du fournisseur établies dans le présent règlement et devrait, en particulier, garantir que le système d’IA intégré dans le produit final est conforme aux exigences du présent règlement.
(87)
Zusätzlich sollte, wenn ein Hochrisiko-KI-System, bei dem es sich um ein Sicherheitsbauteil eines Produkts handelt, das in den Geltungsbereich von Harmonisierungsrechtsvorschriften der Union auf Grundlage des neuen Rechtsrahmens fällt, nicht unabhängig von dem Produkt in Verkehr gebracht oder in Betrieb genommen wird, der Produkthersteller im Sinne der genannten Rechtsvorschriften die in der vorliegenden Verordnung festgelegten Anbieterpflichten erfüllen und sollte insbesondere sicherstellen, dass das in das Endprodukt eingebettete KI-System den Anforderungen dieser Verordnung entspricht.
(88)
Tout au long de la chaîne de valeur de l’IA, plusieurs parties fournissent souvent des systèmes, des outils et des services d’IA, mais aussi des composants ou des processus que le fournisseur intègre dans le système d’IA avec plusieurs objectifs, dont l’entraînement de modèles, le réentraînement de modèles, la mise à l’essai et l’évaluation de modèles, l’intégration dans des logiciels ou d’autres aspects du développement de modèles. Ces parties ont un rôle important à jouer dans la chaîne de valeur vis-à-vis du fournisseur du système d’IA à haut risque dans lequel leurs systèmes, outils, services, composants ou processus d’IA sont intégrés, et devraient fournir à ce fournisseur, en vertu d’un accord écrit, les informations, les capacités, l’accès technique et toute autre assistance nécessaires sur la base de l’état de la technique généralement reconnu, afin de lui permettre de se conformer pleinement aux obligations énoncées dans le présent règlement, sans compromettre leurs propres droits de propriété intellectuelle ou secrets d’affaires.
(88)
Entlang der KI-Wertschöpfungskette liefern häufig mehrere Parteien KI-Systeme, Instrumente und Dienstleistungen, aber auch Komponenten oder Prozesse, die vom Anbieter zu diversen Zwecken in das KI-System integriert werden; dazu gehören das Trainieren, Neutrainieren, Testen und Bewerten von Modellen, die Integration in Software oder andere Aspekte der Modellentwicklung. Diese Parteien haben eine wichtige Rolle in der Wertschöpfungskette gegenüber dem Anbieter des Hochrisiko-KI-Systems, in das ihre KI-Systeme, Instrumente, Dienste, Komponenten oder Verfahren integriert werden, und sollten in einer schriftlichen Vereinbarung die Informationen, die Fähigkeiten, den technischen Zugang und die sonstige Unterstützung nach dem allgemein anerkannten Stand der Technik bereitstellen, die erforderlich sind, damit der Anbieter die in dieser Verordnung festgelegten Pflichten vollständig erfüllen kann, ohne seine eigenen Rechte des geistigen Eigentums oder Geschäftsgeheimnisse zu gefährden.
(89)
Les tiers qui rendent accessibles au public des outils, services, processus ou composants d’IA autres que des modèles d’IA à usage général ne devraient pas être tenus de se conformer aux exigences visant les responsabilités tout au long de la chaîne de valeur de l’IA, en particulier à l’égard du fournisseur qui les a utilisés ou intégrés, lorsque ces outils, services, processus ou composants d’IA sont rendus accessibles sous licence libre et ouverte. Les développeurs d’outils, de services, de processus ou de composants d’IA libres et ouverts autres que les modèles d’IA à usage général devraient être encouragés à mettre en œuvre des pratiques documentaires largement adoptées, telles que les cartes modèles et les fiches de données, afin d’accélérer le partage d’informations tout au long de la chaîne de valeur de l’IA, ce qui permettrait de promouvoir des systèmes d’IA fiables dans l’Union.
(89)
Dritte, die Instrumente, Dienste, Verfahren oder Komponenten, bei denen es sich nicht um KI-Modelle mit allgemeinem Verwendungszweck handelt, öffentlich zugänglich machen, sollten nicht dazu verpflichtet werden, Anforderungen zu erfüllen, die auf die Verantwortlichkeiten entlang der KI-Wertschöpfungskette ausgerichtet sind, insbesondere gegenüber dem Anbieter, der sie genutzt oder integriert hat, wenn diese Instrumente, Dienste, Verfahren oder KI-Komponenten im Rahmen einer freien und quelloffenen Lizenz zugänglich gemacht werden. Die Entwickler von freien und quelloffenen Instrumenten, Diensten, Verfahren oder KI-Komponenten, bei denen es sich nicht um KI-Modelle mit allgemeinem Verwendungszweck handelt, sollten dazu ermutigt werden, weit verbreitete Dokumentationsverfahren, wie z. B. Modellkarten und Datenblätter, als Mittel dazu einzusetzen, den Informationsaustausch entlang der KI-Wertschöpfungskette zu beschleunigen, sodass vertrauenswürdige KI-Systeme in der Union gefördert werden können.
(90)
La Commission pourrait élaborer et recommander des clauses contractuelles types volontaires à établir entre les fournisseurs de systèmes d’IA à haut risque et les tiers qui fournissent des outils, des services, des composants ou des processus qui sont utilisés ou intégrés dans les systèmes d’IA à haut risque, afin de faciliter la coopération tout au long de la chaîne de valeur. Lorsqu’elle élabore des clauses contractuelles types volontaires, la Commission devrait aussi tenir compte des éventuelles exigences contractuelles applicables dans des secteurs ou des activités spécifiques.
(90)
Die Kommission könnte freiwillige Mustervertragsbedingungen für Verträge zwischen Anbietern von Hochrisiko-KI-Systemen und Dritten ausarbeiten und empfehlen, in deren Rahmen Instrumente, Dienste, Komponenten oder Verfahren bereitgestellt werden, die für Hochrisiko-KI-Systeme verwendet oder in diese integriert werden, um die Zusammenarbeit entlang der Wertschöpfungskette zu erleichtern. Bei der Ausarbeitung dieser freiwilligen Mustervertragsbedingungen sollte die Kommission auch mögliche vertragliche Anforderungen berücksichtigen, die in bestimmten Sektoren oder Geschäftsfällen gelten.
(91)
Compte tenu de la nature des systèmes d’IA et des risques pour la sécurité et les droits fondamentaux potentiellement associés à leur utilisation, notamment en ce qui concerne la nécessité d’assurer un suivi adéquat de la performance d’un système d’IA dans un contexte réel, il convient de définir des responsabilités spécifiques pour les déployeurs. Les déployeurs devraient en particulier prendre des mesures techniques et organisationnelles appropriées pour pouvoir utiliser les systèmes d’IA à haut risque conformément à la notice d’utilisation, et certaines autres obligations devraient être prévues en ce qui concerne la surveillance du fonctionnement des systèmes d’IA et la tenue de registres, selon le cas. En outre, les déployeurs devraient veiller à ce que les personnes chargées de mettre en œuvre la notice d’utilisation et au contrôle humain des systèmes énoncées dans le présent règlement possèdent les compétences nécessaires, en particulier un niveau adéquat de maîtrise, de formation et d’autorité en matière d’IA pour s’acquitter correctement de ces tâches. Ces obligations devraient être sans préjudice des autres obligations des déployeurs en ce qui concerne les systèmes d’IA à haut risque en vertu du droit de l’Union ou du droit national.
(91)
Angesichts des Charakters von KI-Systemen und der Risiken für die Sicherheit und die Grundrechte, die mit ihrer Verwendung verbunden sein können, ist es angezeigt, besondere Zuständigkeiten für die Betreiber festzulegen, auch im Hinblick darauf, dass eine angemessene Beobachtung der Leistung eines KI-Systems unter Realbedingungen sichergestellt werden muss. Die Betreiber sollten insbesondere geeignete technische und organisatorische Maßnahmen treffen, um sicherzustellen, dass sie Hochrisiko-KI-Systeme gemäß den Betriebsanleitungen verwenden, und es sollten bestimmte andere Pflichten in Bezug auf die Überwachung der Funktionsweise der KI-Systeme und gegebenenfalls auch Aufzeichnungspflichten festgelegt werden. Darüber hinaus sollten die Betreiber sicherstellen, dass die Personen, denen die Umsetzung der Betriebsanleitungen und die menschliche Aufsicht gemäß dieser Verordnung übertragen wurde, über die erforderliche Kompetenz verfügen, insbesondere über ein angemessenes Niveau an KI-Kompetenz, Schulung und Befugnis, um diese Aufgaben ordnungsgemäß zu erfüllen. Diese Pflichten sollten sonstige Pflichten des Betreibers in Bezug auf Hochrisiko-KI-Systeme nach Unionsrecht oder nationalem Recht unberührt lassen.
(92)
Le présent règlement est sans préjudice de l’obligation qu’ont les employeurs d’informer ou d’informer et de consulter les travailleurs ou leurs représentants en vertu du droit et des pratiques nationales ou de l’Union, y compris la directive 2002/14/CE du Parlement européen et du Conseil (39), sur les décisions de mise en service ou d’utilisation de systèmes d’IA. Il reste nécessaire de veiller à ce que les travailleurs et leurs représentants soient informés du déploiement prévu de systèmes d’IA à haut risque sur le lieu de travail lorsque les conditions de cette obligation d’information ou d’information et de consultation figurant dans d’autres instruments juridiques ne sont pas remplies. En outre, ce droit à l’information est accessoire et nécessaire à l’objectif de protection des droits fondamentaux qui sous-tend le présent règlement. Par conséquent, il convient de prévoir une obligation d’information à cet effet dans le présent règlement, sans porter atteinte aux droits existants des travailleurs.
(92)
Diese Verordnung lässt Pflichten der Arbeitgeber unberührt, Arbeitnehmer oder ihre Vertreter nach dem Unionsrecht oder nationalem Recht und nationaler Praxis, einschließlich der Richtlinie 2002/14/EG des Europäischen Parlaments und des Rates (39) über Entscheidungen zur Inbetriebnahme oder Nutzung von KI-Systemen zu unterrichten oder zu unterrichten und anzuhören. Es muss nach wie vor sichergestellt werden, dass Arbeitnehmer und ihre Vertreter über die geplante Einführung von Hochrisiko-KI-Systemen am Arbeitsplatz unterrichtet werden, wenn die Bedingungen für diese Pflichten zur Unterrichtung oder zur Unterrichtung und Anhörung gemäß anderen Rechtsinstrumenten nicht erfüllt sind. Darüber hinaus ist dieses Recht, unterrichtet zu werden, ein Nebenrecht und für das Ziel des Schutzes der Grundrechte, das dieser Verordnung zugrunde liegt, erforderlich. Daher sollte in dieser Verordnung eine entsprechende Unterrichtungsanforderung festgelegt werden, ohne bestehende Arbeitnehmerrechte zu beeinträchtigen.
(93)
Si des risques liés aux systèmes d’IA peuvent découler de la manière dont ces systèmes sont conçus, ils peuvent également provenir de la manière dont ces systèmes d’IA sont utilisés. Les déployeurs de systèmes d’IA à haut risque jouent donc un rôle essentiel pour ce qui est de garantir la protection des droits fondamentaux, en complétant les obligations du fournisseur lors du développement du système d’IA. Les déployeurs sont les mieux placés pour comprendre comment le système d’IA à haut risque sera utilisé concrètement et peuvent donc identifier les risques importants potentiels qui n’étaient pas prévus au cours de la phase de développement, en raison d’une connaissance plus précise du contexte d’utilisation et des personnes ou groupes de personnes susceptibles d’être concernés, y compris les groupes vulnérables. Les déployeurs de systèmes d’IA à haut risque énumérés dans une annexe du présent règlement contribuent également de façon essentielle à informer les personnes physiques et devraient, lorsqu’ils prennent des décisions ou facilitent la prise de décisions concernant des personnes physiques, selon le cas, informer lesdites personnes physiques qu’elles sont soumises à l’utilisation du système d’IA à haut risque. Cette information devrait comprendre la destination du système et le type de décisions prises. Les déployeurs devraient aussi informer les personnes physiques de leur droit à une explication prévu par le présent règlement. En ce qui concerne les systèmes d’IA à haut risque utilisés à des fins répressives, cette obligation devrait être mise en œuvre conformément à l’article 13 de la directive (UE) 2016/680.
(93)
Während Risiken im Zusammenhang mit KI-Systemen einerseits aus der Art und Weise entstehen können, in der solche Systeme konzipiert sind, können sie sich andererseits auch aus der Art und Weise ergeben, in der diese Systeme verwendet werden. Betreiber von Hochrisiko-KI-Systemen spielen daher eine entscheidende Rolle bei der Gewährleistung des Schutzes der Grundrechte in Ergänzung der Pflichten der Anbieter bei der Entwicklung der KI-Systeme. Betreiber können am besten verstehen, wie das Hochrisiko-KI-System konkret eingesetzt wird, und können somit dank einer genaueren Kenntnis des Verwendungskontextes sowie der wahrscheinlich betroffenen Personen oder Personengruppen, einschließlich schutzbedürftiger Gruppen, erhebliche potenzielle Risiken erkennen, die in der Entwicklungsphase nicht vorausgesehen wurden. Betreiber der in einem Anhang dieser Verordnung aufgeführten Hochrisiko-KI-Systeme spielen ebenfalls eine entscheidende Rolle bei der Unterrichtung natürlicher Personen und sollten, wenn sie natürliche Personen betreffende Entscheidungen treffen oder bei solchen Entscheidungen Unterstützung leisten, gegebenenfalls die natürlichen Personen darüber unterrichten, dass sie Gegenstand des Einsatzes des Hochrisiko-KI-Systems sind. Diese Unterrichtung sollte die Zweckbestimmung und die Art der getroffenen Entscheidungen umfassen. Der Betreiber sollte die natürlichen Personen auch über ihr Recht auf eine Erklärung gemäß dieser Verordnung unterrichten. Bei Hochrisiko-KI-Systemen, die zu Strafverfolgungszwecken eingesetzt werden, sollte diese Pflicht im Einklang mit Artikel 13 der Richtlinie (EU) 2016/680 umgesetzt werden.
(94)
Tout traitement de données biométriques intervenant dans l’utilisation de systèmes d’IA à des fins d’identification biométrique de nature répressive doit être conforme à l’article 10 de la directive (UE) 2016/680, qui n’autorise un tel traitement que lorsque cela est strictement nécessaire, sous réserve de garanties appropriées pour les droits et libertés de la personne concernée, et lorsqu’il est autorisé par le droit de l’Union ou le droit d’un État membre. Une telle utilisation, lorsqu’elle est autorisée, doit également respecter les principes énoncés à l’article 4, paragraphe 1, de la directive (UE) 2016/680, notamment la licéité, la loyauté et la transparence, la limitation des finalités, l’exactitude et la limitation de la conservation.
(94)
Jede Verarbeitung biometrischer Daten im Zusammenhang mit der Verwendung von KI-Systemen für die biometrische Identifizierung zu Strafverfolgungszwecken muss im Einklang mit Artikel 10 der Richtlinie (EU) 2016/680, demzufolge eine solche Verarbeitung nur dann erlaubt ist, wenn sie unbedingt erforderlich ist, vorbehaltlich angemessener Vorkehrungen für den Schutz der Rechte und Freiheiten der betroffenen Person, und sofern sie nach dem Unionsrecht oder dem Recht der Mitgliedstaaten zulässig ist, erfolgen. Bei einer solchen Nutzung, sofern sie zulässig ist, müssen auch die in Artikel 4 Absatz 1 der Richtlinie (EU) 2016/680 festgelegten Grundsätze geachtet werden, einschließlich Rechtmäßigkeit, Fairness und Transparenz, Zweckbindung, sachliche Richtigkeit und Speicherbegrenzung.
(95)
Sans préjudice du droit de l’Union applicable, en particulier le règlement (UE) 2016/679 et la directive (UE) 2016/680, et compte tenu de la nature intrusive des systèmes d’identification biométrique à distance a posteriori, l’utilisation de systèmes d’identification biométrique à distance a posteriori devrait être soumise à des garanties. Les systèmes d’identification biométrique à distance a posteriori devraient toujours être utilisés d’une manière proportionnée, légitime et strictement nécessaire, et donc ciblée, en ce qui concerne les personnes à identifier, le lieu et la portée temporelle et fondée sur un jeu de données fermé d’images vidéo légalement acquises. En tout état de cause, les systèmes d’identification biométrique à distance a posteriori ne devraient pas être utilisés dans le cadre d’activités répressives pour mener à une surveillance aveugle. Les conditions d’identification biométrique à distance a posteriori ne devraient en aucun cas constituer une base permettant de contourner les conditions applicables en ce qui concerne l’interdiction et les exceptions strictes pour l’identification biométrique à distance en temps réel.
(95)
Unbeschadet des geltenden Unionsrechts, insbesondere der Verordnung (EU) 2016/679 und der Richtlinie (EU) 2016/680, sollte die Verwendung von Systemen zur nachträglichen biometrischen Fernidentifizierung in Anbetracht des intrusiven Charakters von Systemen zur nachträglichen biometrischen Fernidentifizierung Schutzvorkehrungen unterliegen. Systeme zur nachträglichen biometrischen Fernidentifizierung sollten stets auf verhältnismäßige, legitime und unbedingt erforderliche Weise eingesetzt werden und somit zielgerichtet sein, was die zu identifizierenden Personen, den Ort und den zeitlichen Anwendungsbereich betrifft, und auf einem geschlossenen Datensatz rechtmäßig erworbener Videoaufnahmen basieren. In jedem Fall sollten Systeme zur nachträglichen biometrischen Fernidentifizierung im Rahmen der Strafverfolgung nicht so verwendet werden, dass sie zu willkürlicher Überwachung führen. Die Bedingungen für die nachträgliche biometrische Fernidentifizierung sollten keinesfalls eine Grundlage dafür bieten, die Bedingungen des Verbots und der strengen Ausnahmen für biometrische Echtzeit-Fernidentifizierung zu umgehen.
(96)
Afin de garantir efficacement la protection des droits fondamentaux, les déployeurs de systèmes d’IA à haut risque qui sont des organismes de droit public ou des entités privées fournissant des services publics et des déployeurs de certains systèmes d’IA à haut risque énumérés dans une annexe du présent règlement, tels que des entités bancaires ou d’assurance, devraient procéder à une analyse d’impact de ces systèmes concernant les droits fondamentaux avant de les mettre en service. Les services à caractère public importants pour les personnes peuvent également être fournis par des entités privées. Les entités privées fournissant de tels services publics sont liées à des missions d’intérêt public dans des domaines tels que l’éducation, les soins de santé, les services sociaux, le logement et l’administration de la justice. L’analyse d’impact concernant les droits fondamentaux vise à ce que le déployeur identifie les risques spécifiques pour les droits des personnes ou groupes de personnes susceptibles d’être concernés et à ce qu’il détermine les mesures à prendre en cas de matérialisation de ces risques. L’analyse d’impact devrait être réalisée avant le premier déploiement du système d’IA à haut risque et être mise à jour lorsque le déployeur estime que l’un des facteurs pertinents a changé. L’analyse d’impact devrait identifier les processus pertinents du déployeur dans lesquels le système d’IA à haut risque sera utilisé conformément à sa destination, et devrait indiquer la durée pendant laquelle le système est destiné à être utilisé et selon quelle fréquence ainsi que les catégories spécifiques de personnes physiques et de groupes susceptibles d’être concernés dans le contexte spécifique d’utilisation. L’analyse devrait aussi déterminer les risques spécifiques de préjudice susceptibles d’avoir une incidence sur les droits fondamentaux de ces personnes ou groupes. Afin que cette analyse soit réalisée correctement, le déployeur devrait tenir compte des informations pertinentes, y compris, mais sans s’y limiter, les informations communiquées par le fournisseur du système d’IA à haut risque dans la notice d’utilisation. À la lumière des risques recensés, les déployeurs devraient déterminer les mesures à prendre en cas de matérialisation de ces risques, y compris, par exemple, les dispositions en matière de gouvernance dans ce contexte spécifique d’utilisation, telles que les dispositions pour le contrôle humain conformément à la notice d’utilisation ou les procédures de traitement des plaintes et de recours, en ce qu’elles pourraient contribuer à atténuer les risques pour les droits fondamentaux dans des cas d’utilisation concrets. Après avoir réalisé cette analyse d’impact, le déployeur devrait en informer l’autorité de surveillance du marché concernée. Le cas échéant, pour recueillir les informations pertinentes nécessaires à la réalisation de l’analyse d’impact, les déployeurs de systèmes d’IA à haut risque, en particulier lorsque des systèmes d’IA sont utilisés dans le secteur public, pourraient associer les parties prenantes concernées, y compris les représentants de groupes de personnes susceptibles d’être concernés par le système d’IA, les experts indépendants et les organisations de la société civile, à la réalisation de cette analyse d’impact et à la conception des mesures à prendre en cas de matérialisation des risques. Le Bureau européen de l’intelligence artificielle (ci-après dénommé «Bureau de l’IA») devrait élaborer un modèle de questionnaire afin de faciliter la mise en conformité et de réduire la charge administrative pesant sur les déployeurs.
(96)
Um wirksam sicherzustellen, dass die Grundrechte geschützt werden, sollten Betreiber von Hochrisiko-KI-Systemen, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt, und Betreiber, die bestimmte Hochrisiko-KI-Systemen gemäß einem Anhang dieser Verordnung betreiben, wie Bank- oder Versicherungsunternehmen, vor der Inbetriebnahme eine Grundrechte-Folgenabschätzung durchführen. Für Einzelpersonen wichtige Dienstleistungen öffentlicher Art können auch von privaten Einrichtungen erbracht werden. Private Einrichtungen, die solche öffentliche Dienstleistungen erbringen, sind mit Aufgaben im öffentlichen Interesse verknüpft, etwa in den Bereichen Bildung, Gesundheitsversorgung, Sozialdienste, Wohnungswesen und Justizverwaltung. Ziel der Grundrechte-Folgenabschätzung ist es, dass der Betreiber die spezifischen Risiken für die Rechte von Einzelpersonen oder Gruppen von Einzelpersonen, die wahrscheinlich betroffen sein werden, ermittelt und Maßnahmen ermittelt, die im Falle eines Eintretens dieser Risiken zu ergreifen sind. Die Folgenabschätzung sollte vor dem erstmaligen Einsatz des Hochrisiko-KI-Systems durchgeführt werden, und sie sollte aktualisiert werden, wenn der Betreiber der Auffassung ist, dass sich einer der relevanten Faktoren geändert hat. In der Folgenabschätzung sollten die einschlägigen Verfahren des Betreibers, bei denen das Hochrisiko-KI-System im Einklang mit seiner Zweckbestimmung verwendet wird, genannt werden, und sie sollte eine Beschreibung des Zeitraums und der Häufigkeit, innerhalb dessen bzw. mit der das Hochrisiko-KI-System verwendet werden soll, sowie der Kategorien der natürlichen Personen und Gruppen, die im spezifischen Verwendungskontext betroffen sein könnten, enthalten. Die Abschätzung sollte außerdem die spezifischen Schadensrisiken enthalten, die sich auf die Grundrechte dieser Personen oder Gruppen auswirken können. Bei der Durchführung dieser Bewertung sollte der Betreiber Informationen Rechnung tragen, die für eine ordnungsgemäße Abschätzung der Folgen relevant sind, unter anderem die vom Anbieter des Hochrisiko-KI-Systems in der Betriebsanleitung angegebenen Informationen. Angesichts der ermittelten Risiken sollten die Betreiber Maßnahmen festlegen, die im Falle eines Eintretens dieser Risiken zu ergreifen sind, einschließlich beispielsweise Unternehmensführungsregelungen in diesem spezifischen Verwendungskontext, etwa Regelungen für die menschliche Aufsicht gemäß den Betriebsanleitungen oder Verfahren für die Bearbeitung von Beschwerden und Rechtsbehelfsverfahren, da sie dazu beitragen könnten, Risiken für die Grundrechte in konkreten Anwendungsfällen zu mindern. Nach Durchführung dieser Folgenabschätzung sollte der Betreiber die zuständige Marktüberwachungsbehörde unterrichten. Um einschlägige Informationen einzuholen, die für die Durchführung der Folgenabschätzung erforderlich sind, könnten die Betreiber von Hochrisiko-KI-Systemen, insbesondere wenn KI-Systeme im öffentlichen Sektor verwendet werden, relevante Interessenträger, unter anderem Vertreter von Personengruppen, die von dem KI-System betroffen sein könnten, unabhängige Sachverständige und Organisationen der Zivilgesellschaft, in die Durchführung solcher Folgenabschätzungen und die Gestaltung von Maßnahmen, die im Falle des Eintretens der Risiken zu ergreifen sind, einbeziehen. Das Europäische Büro für Künstliche Intelligenz (im Folgenden „Büro für Künstliche Intelligenz“) sollte ein Muster für einen Fragebogen ausarbeiten, um den Betreibern die Einhaltung der Vorschriften zu erleichtern und den Verwaltungsaufwand für sie zu verringern.
(97)
La notion de modèles d’IA à usage général devrait être clairement définie et distincte de la notion de systèmes d’IA afin de garantir la sécurité juridique. La définition devrait se fonder sur les principales caractéristiques fonctionnelles d’un modèle d’IA à usage général, en particulier la généralité et la capacité d’exécuter de manière compétente un large éventail de tâches distinctes. Ces modèles sont généralement entraînés avec de grandes quantités de données, au moyen de diverses méthodes, telles que l’apprentissage auto-supervisé, non supervisé ou par renforcement. Les modèles d’IA à usage général peuvent être mis sur le marché de différentes manières, notamment au moyen de bibliothèques, d’interfaces de programmation d’applications (API), de téléchargements directs ou de copies physiques. Ces modèles peuvent être modifiés ou affinés et ainsi se transformer en nouveaux modèles. Bien que les modèles d’IA soient des composants essentiels des systèmes d’IA, ils ne constituent pas en soi des systèmes d’IA. Les modèles d’IA nécessitent l’ajout d’autres composants, tels qu’une interface utilisateur, pour devenir des systèmes d’IA. Les modèles d’IA sont généralement intégrés dans les systèmes d’IA et en font partie. Le présent règlement prévoit des règles spécifiques pour les modèles d’IA à usage général et pour les modèles d’IA à usage général qui présentent des risques systémiques, lesquelles devraient également s’appliquer lorsque ces modèles sont intégrés dans un système d’IA ou en font partie. Il convient de considérer que les obligations incombant aux fournisseurs de modèles d’IA à usage général devraient s’appliquer une fois que ces modèles sont mis sur le marché. Lorsque le fournisseur d’un modèle d’IA à usage général intègre un propre modèle dans son propre système d’IA qui est mis à disposition sur le marché ou mis en service, ce modèle devrait être considéré comme étant mis sur le marché et, par conséquent, les obligations prévues par le présent règlement pour les modèles devraient continuer de s’appliquer en plus de celles applicables aux systèmes d’IA. Les obligations prévues pour les modèles ne devraient en aucun cas s’appliquer lorsqu’un propre modèle est utilisé pour des processus purement internes qui ne sont pas essentiels à la fourniture d’un produit ou d’un service à des tiers et que les droits des personnes physiques ne sont pas affectés. Compte tenu de leurs effets potentiellement très négatifs, les modèles d’IA à usage général présentant un risque systémique devraient toujours être soumis aux obligations pertinentes prévues par le présent règlement. La définition ne devrait pas couvrir les modèles d’IA utilisés avant leur mise sur le marché aux seules fins d’activités de recherche, de développement et de prototypage. Cela est sans préjudice de l’obligation de se conformer au présent règlement lorsque, à la suite de telles activités, un modèle est mis sur le marché.
(97)
Der Begriff „KI-Modelle mit allgemeinem Verwendungszweck“ sollte klar bestimmt und vom Begriff der KI-Systeme abgegrenzt werden, um Rechtssicherheit zu schaffen. Die Begriffsbestimmung sollte auf den wesentlichen funktionalen Merkmalen eines KI-Modells mit allgemeinem Verwendungszweck beruhen, insbesondere auf der allgemeinen Verwendbarkeit und der Fähigkeit, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen. Diese Modelle werden in der Regel mit großen Datenmengen durch verschiedene Methoden, etwa überwachtes, unüberwachtes und bestärkendes Lernen, trainiert. KI-Modelle mit allgemeinem Verwendungszweck können auf verschiedene Weise in Verkehr gebracht werden, unter anderem über Bibliotheken, Anwendungsprogrammierschnittstellen (API), durch direktes Herunterladen oder als physische Kopie. Diese Modelle können weiter geändert oder zu neuen Modellen verfeinert werden. Obwohl KI-Modelle wesentliche Komponenten von KI-Systemen sind, stellen sie für sich genommen keine KI-Systeme dar. Damit KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich. KI-Modelle sind in der Regel in KI-Systeme integriert und Teil davon. Diese Verordnung enthält spezifische Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck und für KI-Modelle mit allgemeinem Verwendungszweck, die systemische Risiken bergen; diese sollten auch gelten, wenn diese Modelle in ein KI-System integriert oder Teil davon sind. Es sollte klar sein, dass die Pflichten für die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck gelten sollten, sobald die KI-Modelle mit allgemeinem Verwendungszweck in Verkehr gebracht werden. Wenn der Anbieter eines KI-Modells mit allgemeinem Verwendungszweck ein eigenes Modell in sein eigenes KI-System integriert, das auf dem Markt bereitgestellt oder in Betrieb genommen wird, sollte jenes Modell als in Verkehr gebracht gelten und sollten daher die Pflichten aus dieser Verordnung für Modelle weiterhin zusätzlich zu den Pflichten für KI-Systeme gelten. Die für Modelle festgelegten Pflichten sollten in jedem Fall nicht gelten, wenn ein eigenes Modell für rein interne Verfahren verwendet wird, die für die Bereitstellung eines Produkts oder einer Dienstleistung an Dritte nicht wesentlich sind, und die Rechte natürlicher Personen nicht beeinträchtigt werden. Angesichts ihrer potenziellen in erheblichem Ausmaße negativen Auswirkungen sollten KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko stets den einschlägigen Pflichten gemäß dieser Verordnung unterliegen. Die Begriffsbestimmung sollte nicht für KI-Modelle gelten, die vor ihrem Inverkehrbringen ausschließlich für Forschungs- und Entwicklungstätigkeiten oder die Konzipierung von Prototypen verwendet werden. Dies gilt unbeschadet der Pflicht, dieser Verordnung nachzukommen, wenn ein Modell nach solchen Tätigkeiten in Verkehr gebracht wird.
(98)
Alors que la généralité d’un modèle pourrait, entre autres, également être déterminée par un nombre de paramètres, les modèles comptant au moins un milliard de paramètres et entraînés à l’aide d’un grand nombre de données utilisant l’auto-supervision à grande échelle devraient être considérés comme présentant une généralité significative et exécutant de manière compétente un large éventail de tâches distinctes.
(98)
Die allgemeine Verwendbarkeit eines Modells könnte zwar unter anderem auch durch eine bestimmte Anzahl von Parametern bestimmt werden, doch sollten Modelle mit mindestens einer Milliarde Parametern, die mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert werden, als Modelle gelten, die eine erhebliche allgemeine Verwendbarkeit aufweisen und ein breites Spektrum unterschiedlicher Aufgaben kompetent erfüllen.
(99)
Les grands modèles d’IA génératifs sont un exemple typique d’un modèle d’IA à usage général, étant donné qu’ils permettent la production flexible de contenus, tels que du texte, de l’audio, des images ou de la vidéo, qui peuvent aisément s’adapter à un large éventail de tâches distinctes.
(99)
Große generative KI-Modelle sind ein typisches Beispiel für ein KI-Modell mit allgemeinem Verwendungszweck, da sie eine flexible Erzeugung von Inhalten ermöglichen, etwa in Form von Text- Audio-, Bild- oder Videoinhalten, die leicht ein breites Spektrum unterschiedlicher Aufgaben umfassen können.
(100)
Lorsqu’un modèle d’IA à usage général est intégré dans un système d’IA ou en fait partie, ce système devrait être considéré comme un système d’IA à usage général lorsque, en raison de cette intégration, ce système a la capacité de répondre à divers usages. Un système d’IA à usage général peut être utilisé directement ou être intégré dans d’autres systèmes d’IA.
(100)
Wenn ein KI-Modell mit allgemeinem Verwendungszweck in ein KI-System integriert oder Teil davon ist, sollte dieses System als KI-System mit allgemeinem Verwendungszweck gelten, wenn dieses System aufgrund dieser Integration in der Lage ist, einer Vielzahl von Zwecken zu dienen. Ein KI-System mit allgemeinem Verwendungszweck kann direkt eingesetzt oder in andere KI-Systeme integriert werden.
(101)
Les fournisseurs de modèles d’IA à usage général ont un rôle et une responsabilité particuliers tout au long de la chaîne de valeur de l’IA, étant donné que les modèles qu’ils fournissent peuvent constituer la base d’une série de systèmes en aval, souvent fournis par des fournisseurs en aval, qui nécessitent une bonne compréhension des modèles et de leurs capacités, à la fois pour permettre l’intégration de ces modèles dans leurs produits et pour remplir les obligations qui leur incombent en vertu du présent règlement ou d’autres règlements. Par conséquent, des mesures de transparence proportionnées devraient être prévues, y compris l’élaboration et la tenue à jour de la documentation, et la fourniture d’informations sur le modèle d’IA à usage général en vue de son utilisation par les fournisseurs en aval. La documentation technique devrait être élaborée et tenue à jour par le fournisseur de modèles d’IA à usage général afin qu’elle puisse être mise, sur demande, à la disposition du Bureau de l’IA et des autorités nationales compétentes. L’ensemble minimal d’éléments à inclure dans cette documentation devrait figurer dans des annexes spécifiques du présent règlement. La Commission devrait être habilitée à modifier ces annexes par voie d’actes délégués à la lumière des évolutions technologiques.
(101)
Anbieter von KI-Modellen mit allgemeinem Verwendungszweck nehmen entlang der KI-Wertschöpfungskette eine besondere Rolle und Verantwortung wahr, da die von ihnen bereitgestellten Modelle die Grundlage für eine Reihe nachgelagerter Systeme bilden können, die häufig von nachgelagerten Anbietern bereitgestellt werden und ein gutes Verständnis der Modelle und ihrer Fähigkeiten erfordern, sowohl um die Integration solcher Modelle in ihre Produkte zu ermöglichen als auch ihre Pflichten im Rahmen dieser oder anderer Verordnungen zu erfüllen. Daher sollten verhältnismäßige Transparenzmaßnahmen festgelegt werden, einschließlich der Erstellung und Aktualisierung von Dokumentation und der Bereitstellung von Informationen über das KI-Modell mit allgemeinem Verwendungszweck für dessen Nutzung durch die nachgelagerten Anbieter. Der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck sollte technische Dokumentation erarbeiten und aktualisieren, damit sie dem Büro für Künstliche Intelligenz und den zuständigen nationalen Behörden auf Anfrage zur Verfügung gestellt werden kann. Welche Elemente mindestens in eine solche Dokumentation aufzunehmen sind, sollte in bestimmten Anhängen dieser Verordnung festgelegt werden. Der Kommission sollte die Befugnis übertragen werden, diese Anhänge im Wege delegierter Rechtsakte vor dem Hintergrund sich wandelnder technologischer Entwicklungen zu ändern.
(102)
Les logiciels et les données, y compris les modèles, publiés dans le cadre d’une licence libre et ouverte grâce à laquelle ils peuvent être partagés librement et qui permet aux utilisateurs de librement consulter, utiliser, modifier et redistribuer ces logiciels et données ou leurs versions modifiées peuvent contribuer à la recherche et à l’innovation sur le marché et offrir d’importantes possibilités de croissance pour l’économie de l’Union. Les modèles d’IA à usage général publiés sous licence libre et ouverte devraient être considérés comme garantissant des niveaux élevés de transparence et d’ouverture si leurs paramètres, y compris les poids, les informations sur l’architecture du modèle et les informations sur l’utilisation du modèle, sont rendus publics. La licence devrait également être considérée comme libre et ouverte lorsqu’elle permet aux utilisateurs d’exploiter, de copier, de distribuer, d’étudier, de modifier et d’améliorer les logiciels et les données, y compris les modèles, à condition que le fournisseur initial du modèle soit crédité et que les conditions de distribution identiques ou comparables soient respectées.
(102)
Software und Daten, einschließlich Modellen, die im Rahmen einer freien und quelloffenen Lizenz freigegeben werden, die ihre offene Weitergabe erlaubt und die Nutzer kostenlos abrufen, nutzen, verändern und weiter verteilen können, auch in veränderter Form, können zu Forschung und Innovation auf dem Markt beitragen und der Wirtschaft der Union erhebliche Wachstumschancen eröffnen. KI-Modelle mit allgemeinem Verwendungszweck, die im Rahmen freier und quelloffener Lizenzen freigegeben werden, sollten als ein hohes Maß an Transparenz und Offenheit sicherstellend gelten, wenn ihre Parameter, einschließlich Gewichte, Informationen über die Modellarchitektur und Informationen über die Modellnutzung, öffentlich zugänglich gemacht werden. Die Lizenz sollte auch als freie quelloffene Lizenz gelten, wenn sie es den Nutzern ermöglicht, Software und Daten zu betreiben, zu kopieren, zu verbreiten, zu untersuchen, zu ändern und zu verbessern, einschließlich Modelle, sofern der ursprüngliche Anbieter des Modells genannt und identische oder vergleichbare Vertriebsbedingungen eingehalten werden.
(103)
Les composants d’IA libres et ouverts couvrent les logiciels et les données, y compris les modèles et les modèles à usage général, outils, services ou processus d’un système d’IA. Les composants d’IA libres et ouverts peuvent être fournis par différents canaux, y compris leur développement dans des référentiels ouverts. Aux fins du présent règlement, les composants d’IA qui sont fournis contre paiement ou monétisés, y compris par la fourniture d’un soutien technique ou d’autres services, notamment au moyen d’une plateforme logicielle, liés au composant d’IA, ou l’utilisation de données à caractère personnel pour des raisons autres qu’aux fins exclusives de l’amélioration de la sécurité, de la compatibilité ou de l’interopérabilité des logiciels, à l’exception des transactions entre micro-entreprises, ne devraient pas bénéficier des exceptions prévues pour les composants d’IA libres et ouverts. La mise à disposition de composants d’IA au moyen de référentiels ouverts ne devrait pas, en soi, constituer une monétisation.
(103)
Zu freien und quelloffenen KI-Komponenten zählen Software und Daten, einschließlich Modelle und KI-Modelle mit allgemeinem Verwendungszweck, Instrumente, Dienste oder Verfahren eines KI-Systems. Freie und quelloffene KI-Komponenten können über verschiedene Kanäle bereitgestellt werden, einschließlich ihrer Entwicklung auf offenen Speichern. Für die Zwecke dieser Verordnung sollten KI-Komponenten, die gegen einen Preis bereitgestellt oder anderweitig monetarisiert werden, einschließlich durch die Bereitstellung technischer Unterstützung oder anderer Dienste — einschließlich über eine Softwareplattform — im Zusammenhang mit der KI-Komponente oder durch die Verwendung personenbezogener Daten aus anderen Gründen als der alleinigen Verbesserung der Sicherheit, Kompatibilität oder Interoperabilität der Software, mit Ausnahme von Transaktionen zwischen Kleinstunternehmen, nicht unter die Ausnahmen für freie und quelloffene KI-Komponenten fallen. Die Bereitstellung von KI-Komponenten über offene Speicher sollte für sich genommen keine Monetarisierung darstellen.
(104)
Les fournisseurs de modèles d’IA à usage général qui sont publiés sous licence libre et ouverte et dont les paramètres, y compris les poids, les informations sur l’architecture des modèles et les informations sur l’utilisation des modèles, sont rendus publics devraient faire l’objet d’exceptions en ce qui concerne les exigences en matière de transparence imposées pour les modèles d’IA à usage général, à moins que les modèles ne puissent être considérés comme présentant un risque systémique, auquel cas le fait que les modèles soient transparents et accompagnés d’une licence ouverte ne devrait pas être considéré comme une raison suffisante pour exclure le respect des obligations prévues par le présent règlement. En tout état de cause, étant donné que la publication de modèles d’IA à usage général sous licence libre et ouverte ne révèle pas nécessairement des informations importantes sur le jeu de données utilisé pour l’entraînement ou de réglage fin du modèle et sur la manière dont le respect de la législation sur le droit d’auteur a été assuré, l’exception prévue pour les modèles d’IA à usage général en ce qui concerne les exigences en matière de transparence ne devrait pas concerner l’obligation de produire un résumé du contenu utilisé pour l’entraînement des modèles ni l’obligation de mettre en place une politique visant à respecter la législation de l’Union sur le droit d’auteur, en particulier pour identifier et respecter la réservation de droits au titre de l’article 4, paragraphe 3, de la directive (UE) 2019/790 du Parlement européen et du Conseil (40).
(104)
Für die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, die im Rahmen einer freien und quelloffenen Lizenz freigegeben werden und deren Parameter, einschließlich Gewichte, Informationen über die Modellarchitektur und Informationen über die Modellnutzung, öffentlich zugänglich gemacht werden, sollten Ausnahmen in Bezug auf die Transparenzanforderungen für KI-Modelle mit allgemeinem Verwendungszweck gelten, es sei denn, sie können als Modelle gelten, die ein systemisches Risiko bergen; in diesem Fall sollte der Umstand, dass das Modell transparent ist und mit einer quelloffenen Lizenz einhergeht, nicht als ausreichender Grund gelten, um sie von der Einhaltung der Pflichten aus dieser Verordnung auszunehmen. Da die Freigabe von KI-Modellen mit allgemeinem Verwendungszweck im Rahmen einer freien und quelloffenen Lizenz nicht unbedingt wesentliche Informationen über den für das Trainieren oder die Feinabstimmung des Modells verwendeten Datensatz und die Art und Weise, wie damit die Einhaltung des Urheberrechts sichergestellt wurde, offenbart, sollte die für KI-Modelle mit allgemeinem Verwendungszweck vorgesehene Ausnahme von der Einhaltung der Transparenzanforderungen in jedem Fall nicht die Pflicht zur Erstellung einer Zusammenfassung der für das Training des Modells verwendeten Inhalte und die Pflicht, eine Strategie zur Einhaltung des Urheberrechts der Union, insbesondere zur Ermittlung und Einhaltung der gemäß Artikel 4 Absatz 3 der Richtlinie (EU) 2019/790 des Europäischen Parlaments und des Rates (40) geltend gemachten Rechtsvorbehalte, auf den Weg zu bringen, betreffen.
(105)
Les modèles d’IA à usage général, en particulier les grands modèles d’IA génératifs, capables de générer du texte, des images et d’autres contenus, présentent des possibilités d’innovation uniques mais aussi des défis pour les artistes, les auteurs et les autres créateurs, et la manière dont leur contenu créatif est créé, distribué, utilisé et consommé. Le développement et l’entraînement de ces modèles requièrent un accès à de grandes quantités de texte, d’images, de vidéos et d’autres données. Les techniques de fouille de textes et de données peuvent être largement utilisées dans ce contexte pour extraire et analyser ces contenus, qui peuvent être protégés par le droit d’auteur et les droits voisins. Toute utilisation d’un contenu protégé par le droit d’auteur nécessite l’autorisation du titulaire de droits concerné, à moins que des exceptions et limitations pertinentes en matière de droit d’auteur ne s’appliquent. La directive (UE) 2019/790 a introduit des exceptions et des limitations autorisant les reproductions et extractions d’œuvres ou d’autres objets protégés aux fins de la fouille de textes et de données, sous certaines conditions. En vertu de ces règles, les titulaires de droits peuvent choisir de réserver leurs droits sur leurs œuvres ou autres objets protégés afin d’empêcher la fouille de textes et de données, à moins que celle-ci ne soit effectuée à des fins de recherche scientifique. Lorsque les droits d’exclusion ont été expressément réservés de manière appropriée, les fournisseurs de modèles d’IA à usage général doivent obtenir une autorisation des titulaires de droits s’ils souhaitent procéder à une fouille de textes et de données sur ces œuvres.
(105)
KI-Modelle mit allgemeinem Verwendungszweck, insbesondere große generative KI-Modelle, die Text, Bilder und andere Inhalte erzeugen können, bedeuten einzigartige Innovationsmöglichkeiten, aber auch Herausforderungen für Künstler, Autoren und andere Kreative sowie die Art und Weise, wie ihre kreativen Inhalte geschaffen, verbreitet, genutzt und konsumiert werden. Für die Entwicklung und das Training solcher Modelle ist der Zugang zu riesigen Mengen an Text, Bildern, Videos und anderen Daten erforderlich. In diesem Zusammenhang können Text-und-Data-Mining-Techniken in großem Umfang für das Abrufen und die Analyse solcher Inhalte, die urheberrechtlich und durch verwandte Schutzrechte geschützt sein können, eingesetzt werden. Für jede Nutzung urheberrechtlich geschützter Inhalte ist die Zustimmung des betreffenden Rechteinhabers erforderlich, es sei denn, es gelten einschlägige Ausnahmen und Beschränkungen des Urheberrechts. Mit der Richtlinie (EU) 2019/790 wurden Ausnahmen und Beschränkungen eingeführt, um unter bestimmten Bedingungen Vervielfältigungen und Entnahmen von Werken oder sonstigen Schutzgegenständen für die Zwecke des Text und Data Mining zu erlauben. Nach diesen Vorschriften können Rechteinhaber beschließen, ihre Rechte an ihren Werken oder sonstigen Schutzgegenständen vorzubehalten, um Text und Data Mining zu verhindern, es sei denn, es erfolgt zum Zwecke der wissenschaftlichen Forschung. Wenn die Vorbehaltsrechte ausdrücklich und in geeigneter Weise vorbehalten wurden, müssen Anbieter von KI-Modellen mit allgemeinem Verwendungszweck eine Genehmigung von den Rechteinhabern einholen, wenn sie Text und Data Mining bei solchen Werken durchführen wollen.
(106)
Les fournisseurs qui mettent des modèles d’IA à usage général sur le marché de l’Union devraient veiller au respect des obligations pertinentes prévues par le présent règlement. À cette fin, les fournisseurs de modèles d’IA à usage général devraient mettre en place une politique visant à respecter la législation de l’Union sur le droit d’auteur et les droits voisins, en particulier pour identifier et respecter la réservation de droits exprimées par les titulaires de droits conformément à l’article 4, paragraphe 3, de la directive (UE) 2019/790. Tout fournisseur qui met un modèle d’IA à usage général sur le marché de l’Union devrait se conformer à cette obligation, quelle que soit la juridiction dans laquelle se déroulent les actes pertinents au titre du droit d’auteur qui sous-tendent l’entraînement de ces modèles d’IA à usage général. Cela est nécessaire pour garantir des conditions de concurrence équitables entre les fournisseurs de modèles d’IA à usage général, lorsqu’aucun fournisseur ne devrait pouvoir obtenir un avantage concurrentiel sur le marché de l’Union en appliquant des normes en matière de droit d’auteur moins élevées que celles prévues dans l’Union.
(106)
Anbieter, die KI-Modelle mit allgemeinem Verwendungszweck in der Union in Verkehr bringen, sollten die Erfüllung der einschlägigen Pflichten aus dieser Verordnung gewährleisten. Zu diesem Zweck sollten Anbieter von KI-Modellen mit allgemeinem Verwendungszweck eine Strategie zur Einhaltung des Urheberrechts der Union und der verwandten Schutzrechte einführen, insbesondere zur Ermittlung und Einhaltung des gemäß Artikel 4 Absatz 3 der Richtlinie (EU) 2019/790 durch die Rechteinhaber geltend gemachten Rechtsvorbehalts. Jeder Anbieter, der ein KI-Modell mit allgemeinem Verwendungszweck in der Union in Verkehr bringt, sollte diese Pflicht erfüllen, unabhängig davon, in welchem Hoheitsgebiet die urheberrechtlich relevanten Handlungen, die dem Training dieser KI-Modelle mit allgemeinem Verwendungszweck zugrunde liegen, stattfinden. Dies ist erforderlich, um gleiche Wettbewerbsbedingungen für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck sicherzustellen, unter denen kein Anbieter in der Lage sein sollte, durch die Anwendung niedrigerer Urheberrechtsstandards als in der Union einen Wettbewerbsvorteil auf dem Unionsmarkt zu erlangen.
(107)
Afin d’accroître la transparence concernant les données utilisées dans le cadre de l’entraînement préalable et de l’entraînement des modèles d’IA à usage général, y compris le texte et les données protégés par la législation sur le droit d’auteur, il convient que les fournisseurs de ces modèles élaborent et mettent à la disposition du public un résumé suffisamment détaillé du contenu utilisé pour entraîner les modèles d’IA à usage général. Tout en tenant dûment compte de la nécessité de protéger les secrets d’affaires et les informations commerciales confidentielles, ce résumé devrait être généralement complet en termes de contenu plutôt que détaillé sur le plan technique afin d’aider les parties ayant des intérêts légitimes, y compris les titulaires de droits d’auteur, à exercer et à faire respecter les droits que leur confère la législation de l’Union, par exemple en énumérant les principaux jeux ou collections de données utilisés pour entraîner le modèle, tels que les archives de données ou bases de données publiques ou privées de grande ampleur, et en fournissant un texte explicatif sur les autres sources de données utilisées. Il convient que le Bureau de l’IA fournisse un modèle de résumé, qui devrait être simple et utile et permettre au fournisseur de fournir le résumé requis sous forme descriptive.
(107)
Um die Transparenz in Bezug auf die beim Vortraining und Training von KI-Modellen mit allgemeinem Verwendungszweck verwendeten Daten, einschließlich urheberrechtlich geschützter Texte und Daten, zu erhöhen, ist es angemessen, dass die Anbieter solcher Modelle eine hinreichend detaillierte Zusammenfassung der für das Training des KI-Modells mit allgemeinem Verwendungszweck verwendeten Inhalte erstellen und veröffentlichen. Unter gebührender Berücksichtigung der Notwendigkeit, Geschäftsgeheimnisse und vertrauliche Geschäftsinformationen zu schützen, sollte der Umfang dieser Zusammenfassung allgemein weitreichend und nicht technisch detailliert sein, um Parteien mit berechtigtem Interesse, einschließlich der Inhaber von Urheberrechten, die Ausübung und Durchsetzung ihrer Rechte nach dem Unionsrecht zu erleichtern, beispielsweise indem die wichtigsten Datenerhebungen oder Datensätze aufgeführt werden, die beim Training des Modells verwendet wurden, etwa große private oder öffentliche Datenbanken oder Datenarchive, und indem eine beschreibende Erläuterung anderer verwendeter Datenquellen bereitgestellt wird. Es ist angebracht, dass das Büro für Künstliche Intelligenz eine Vorlage für die Zusammenfassung bereitstellt, die einfach und wirksam sein sollte und es dem Anbieter ermöglichen sollte, die erforderliche Zusammenfassung in beschreibender Form bereitzustellen.
(108)
En ce qui concerne l’obligation imposée aux fournisseurs de modèles d’IA à usage général de mettre en place une politique visant à respecter la législation de l’Union sur le droit d’auteur et de mettre à la disposition du public un résumé du contenu utilisé pour l’entraînement, le Bureau de l’IA devrait vérifier si le fournisseur a rempli cette obligation sans vérifier ou évaluer œuvre par œuvre les données d’entraînement en ce qui concerne le respect du droit d’auteur. Le présent règlement n’affecte pas l’application des règles en matière de droit d’auteur prévues par la législation de l’Union.
(108)
In Bezug auf die den Anbietern von KI-Modellen mit allgemeinem Verwendungszweck auferlegten Pflichten, eine Strategie zur Einhaltung des Urheberrechts der Union einzuführen und eine Zusammenfassung der für das Training verwendeten Inhalte zu veröffentlichen, sollte das Büro für Künstliche Intelligenz überwachen, ob der Anbieter diese Pflichten erfüllt hat, ohne dies zu überprüfen oder die Trainingsdaten im Hinblick auf die Einhaltung des Urheberrechts Werk für Werk zu bewerten. Diese Verordnung berührt nicht die Durchsetzung der Urheberrechtsvorschriften des Unionsrechts.
(109)
Le respect des obligations applicables aux fournisseurs de modèles d’IA à usage général devrait correspondre et être proportionné au type de fournisseur de modèles, excluant la nécessité de se conformer pour les personnes qui développent ou utilisent des modèles à des fins non professionnelles ou de recherche scientifique, lesquelles devraient néanmoins être encouragées à se conformer volontairement à ces exigences. Sans préjudice de la législation de l’Union sur le droit d’auteur, le respect de ces obligations devrait tenir dûment compte de la taille du fournisseur et permettre aux PME, y compris aux jeunes pousses, de recourir à des méthodes simplifiées de mise en conformité qui ne devraient pas représenter un coût excessif et décourager l’utilisation de tels modèles. En cas de modification ou de réglage fin d’un modèle, les obligations incombant aux fournisseurs de modèles d’IA à usage général devraient se limiter à cette modification ou à ce réglage fin, par exemple en complétant la documentation technique existante avec des informations sur les modifications, y compris les nouvelles sources de données d’entraînement, aux fins de conformité avec les obligations relatives à la chaîne de valeur prévues par le présent règlement.
(109)
Die Einhaltung der für die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck geltenden Pflichten sollte der Art des Anbieters von Modellen angemessen und verhältnismäßig sein, wobei Personen, die Modelle für nicht berufliche oder wissenschaftliche Forschungszwecke entwickeln oder verwenden, ausgenommen sind, jedoch ermutigt werden sollten, diese Anforderungen freiwillig zu erfüllen. Unbeschadet des Urheberrechts der Union sollte bei der Einhaltung dieser Pflichten der Größe des Anbieters gebührend Rechnung getragen und für KMU, einschließlich Start-up-Unternehmen, vereinfachte Verfahren zur Einhaltung ermöglicht werden, die keine übermäßigen Kosten verursachen und nicht von der Verwendung solcher Modelle abhalten sollten. Im Falle einer Änderung oder Feinabstimmung eines Modells sollten die Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck auf diese Änderung oder Feinabstimmung beschränkt sein, indem beispielsweise die bereits vorhandene technische Dokumentation um Informationen über die Änderungen, einschließlich neuer Trainingsdatenquellen, ergänzt wird, um die in dieser Verordnung festgelegten Pflichten in der Wertschöpfungskette zu erfüllen.
(110)
Les modèles d’IA à usage général pourraient présenter des risques systémiques qui comprennent, sans s’y limiter, tout effet négatif réel ou raisonnablement prévisible en rapport avec des accidents majeurs, des perturbations de secteurs critiques et des conséquences graves pour la santé et la sécurité publiques, tout effet négatif réel ou raisonnablement prévisible sur les processus démocratiques, la sécurité publique et la sécurité économique, et la diffusion de contenus illicites, faux ou discriminatoires. Les risques systémiques devraient être perçus comme augmentant avec les capacités et la portée du modèle, peuvent survenir tout au long du cycle de vie du modèle et sont influencés par les conditions de mauvaise utilisation, la fiabilité du modèle, l’équité et la sécurité du modèle, le niveau d’autonomie du modèle, son accès aux outils, les modalités nouvelles ou combinées, les stratégies de publication et de distribution, le potentiel de suppression des garde-fous et d’autres facteurs. En particulier, les approches internationales ont jusqu’à présent mis en évidence la nécessité de prêter attention aux risques liés à une potentielle mauvaise utilisation intentionnelle ou à des problèmes non intentionnels de contrôle liés à l’alignement sur l’intention humaine, aux risques chimiques, biologiques, radiologiques et nucléaires, tels que les moyens d’abaisser les barrières à l’entrée, y compris pour la mise au point, l’acquisition ou l’utilisation d’armes, aux cybercapacités offensives, tels que les moyens permettant la découverte, l’exploitation ou l’utilisation opérationnelle de vulnérabilités, aux effets de l’interaction et de l’utilisation des outils, y compris, par exemple, la capacité de contrôler les systèmes physiques et d’interférer avec les infrastructures critiques, aux risques liés à la possibilité que les modèles fassent des copies d’eux-mêmes ou «s’auto-reproduisent» ou qu’ils entraînent d’autres modèles, à la manière dont les modèles peuvent donner lieu à des préjugés et des discriminations préjudiciables présentant des risques pour les individus, les communautés ou les sociétés, à la facilitation de la désinformation ou au préjudice porté à la vie privée par des menaces pour les valeurs démocratiques et les droits de l’homme, et au risque qu’un événement particulier entraîne une réaction en chaîne s’accompagnant d’effets négatifs considérables qui pourraient aller jusqu’à affecter toute une ville, tout un secteur d’activité ou toute une communauté.
(110)
KI-Modelle mit allgemeinem Verwendungszweck könnten systemische Risiken bergen, unter anderem tatsächliche oder vernünftigerweise vorhersehbare negative Auswirkungen im Zusammenhang mit schweren Unfällen, Störungen kritischer Sektoren und schwerwiegende Folgen für die öffentliche Gesundheit und Sicherheit; alle tatsächlichen oder vernünftigerweise vorhersehbaren negativen Auswirkungen auf die demokratischen Prozesse und die öffentliche und wirtschaftliche Sicherheit; die Verbreitung illegaler, falscher oder diskriminierender Inhalte. Bei systemischen Risiken sollte davon ausgegangen werden, dass sie mit den Fähigkeiten und der Reichweite des Modells zunehmen, während des gesamten Lebenszyklus des Modells auftreten können und von Bedingungen einer Fehlanwendung, der Zuverlässigkeit des Modells, der Modellgerechtigkeit und der Modellsicherheit, dem Grad der Autonomie des Modells, seinem Zugang zu Instrumenten, neuartigen oder kombinierten Modalitäten, Freigabe- und Vertriebsstrategien, dem Potenzial zur Beseitigung von Leitplanken und anderen Faktoren beeinflusst werden. Insbesondere bei internationalen Ansätzen wurde bisher festgestellt, dass folgenden Risiken Rechnung getragen werden muss: den Risiken einer möglichen vorsätzlichen Fehlanwendung oder unbeabsichtigter Kontrollprobleme im Zusammenhang mit der Ausrichtung auf menschliche Absicht; chemischen, biologischen, radiologischen und nuklearen Risiken, zum Beispiel Möglichkeiten zur Verringerung der Zutrittsschranken, einschließlich für Entwicklung, Gestaltung, Erwerb oder Nutzung von Waffen; offensiven Cyberfähigkeiten, zum Beispiel die Art und Weise, wie Entdeckung, Ausbeutung oder operative Nutzung von Schwachstellen ermöglicht werden können; den Auswirkungen der Interaktion und des Einsatzes von Instrumenten, einschließlich zum Beispiel der Fähigkeit, physische Systeme zu steuern und in kritische Infrastrukturen einzugreifen; Risiken, dass Modelle sich selbst vervielfältigen, oder der „Selbstreplikation“ oder des Trainings anderer Modelle; der Art und Weise, wie Modelle zu schädlichen Verzerrungen und Diskriminierung mit Risiken für Einzelpersonen, Gemeinschaften oder Gesellschaften führen können; der Erleichterung von Desinformation oder der Verletzung der Privatsphäre mit Gefahren für demokratische Werte und Menschenrechte; dem Risiko, dass ein bestimmtes Ereignis zu einer Kettenreaktion mit erheblichen negativen Auswirkungen führen könnte, die sich auf eine ganze Stadt, eine ganze Tätigkeit in einem Bereich oder eine ganze Gemeinschaft auswirken könnten.
(111)
Il convient d’établir une méthode de classification des modèles d’IA à usage général en tant que modèle d’IA à usage général présentant des risques systémiques. Étant donné que les risques systémiques résultent de capacités particulièrement élevées, un modèle d’IA à usage général devrait être considéré comme présentant des risques systémiques s’il a des capacités à fort impact, évaluées sur la base de méthodologies et d’outils techniques appropriés, ou une incidence significative sur le marché intérieur en raison de sa portée. Les capacités à fort impact des modèles d’IA à usage général sont des capacités égales ou supérieures aux capacités des modèles d’IA à usage général les plus avancés. L’éventail complet des capacités d’un modèle pourrait être mieux compris après sa mise sur le marché ou lorsque les déployeurs interagissent avec le modèle. Selon l’état de la technique au moment de l’entrée en vigueur du présent règlement, la quantité cumulée de calculs utilisée pour l’entraînement du modèle d’IA à usage général mesurée en opérations en virgule flottante est l’une des approximations pertinentes pour les capacités du modèle. La quantité cumulée de calculs utilisée pour l’entraînement inclut les calculs utilisés pour l’ensemble des activités et méthodes destinées à renforcer les capacités du modèle avant le déploiement, telles que l’entraînement préalable, la production de données synthétiques et le réglage fin. Par conséquent, il convient de fixer un seuil initial d’opérations en virgule flottante, qui, s’il est atteint par un modèle d’IA à usage général, conduit à présumer qu’il s’agit d’un modèle d’IA à usage général présentant des risques systémiques. Ce seuil devrait être ajusté au fil du temps pour tenir compte des évolutions technologiques et industrielles, telles que les améliorations algorithmiques ou l’amélioration de l’efficacité des matériels, et être complété par des critères de référence et des indicateurs pour la capacité du modèle. À cette fin, le Bureau de l’IA devrait coopérer avec la communauté scientifique, l’industrie, la société civile et d’autres experts. Les seuils, ainsi que les outils et les critères de référence pour l’évaluation des capacités à fort impact, devraient être de bons indicateurs de la généralité et des capacités des modèles d’IA à usage général ainsi que du risque systémique qui y est associé, et pourraient tenir compte de la manière dont le modèle sera mis sur le marché ou du nombre d’utilisateurs qu’il pourrait affecter. Afin de compléter ce système, la Commission devrait avoir la possibilité de prendre des décisions individuelles désignant un modèle d’IA à usage général comme modèle d’IA à usage général présentant un risque systémique s’il est constaté que ce modèle a des capacités ou une incidence équivalentes à celles relevant du seuil fixé. Ces décisions devraient être prises sur la base d’une évaluation globale des critères de désignation des modèles d’IA à usage général présentant un risque systémique énoncés dans une annexe du présent règlement, tels que la qualité ou la taille du jeu de données d’entraînement, le nombre d’utilisateurs professionnels et finaux du modèle, ses modalités d’entrée et de sortie, son niveau d’autonomie et d’évolutivité, ou les outils auxquels il a accès. Sur demande motivée d’un fournisseur dont le modèle a été désigné comme modèle d’IA à usage général présentant un risque systémique, la Commission devrait tenir compte de la demande et peut décider de réévaluer si le modèle d’IA à usage général peut encore être considéré comme présentant un risque systémique.
(111)
Es ist angezeigt, eine Methodik für die Einstufung von KI-Modellen mit allgemeinem Verwendungszweck als KI-Modelle mit allgemeinem Verwendungszweck mit systemischen Risiken festzulegen. Da sich systemische Risiken aus besonders hohen Fähigkeiten ergeben, sollte ein KI-Modell mit allgemeinem Verwendungszweck als Modell mit systemischen Risiken gelten, wenn es über auf der Grundlage geeigneter technischer Instrumente und Methoden bewertete Fähigkeiten mit hoher Wirkkraft verfügt oder aufgrund seiner Reichweite erhebliche Auswirkungen auf den Binnenmarkt hat. „Fähigkeiten mit hoher Wirkkraft“ bei KI-Modellen mit allgemeinem Verwendungszweck bezeichnet Fähigkeiten, die den bei den fortschrittlichsten KI-Modellen mit allgemeinem Verwendungszweck festgestellten Fähigkeiten entsprechen oder diese übersteigen. Das gesamte Spektrum der Fähigkeiten eines Modells könnte besser verstanden werden, nachdem es in Verkehr gebracht wurde oder wenn die Betreiber mit dem Modell interagieren. Nach dem Stand der Technik zum Zeitpunkt des Inkrafttretens dieser Verordnung ist die kumulierte Menge der für das Training des KI-Modells mit allgemeinem Verwendungszweck verwendeten Berechnungen, gemessen in Gleitkommaoperationen, einer der einschlägigen Näherungswerte für Modellfähigkeiten. Die kumulierte Menge der für das Training verwendeten Berechnungen umfasst die kumulierte Menge der für die Tätigkeiten und Methoden, mit denen die Fähigkeiten des Modells vor der Einführung verbessert werden sollen, wie zum Beispiel Vortraining, Generierung synthetischer Daten und Feinabstimmung, verwendeten Berechnungen. Daher sollte ein erster Schwellenwert der Gleitkommaoperationen festgelegt werden, dessen Erreichen durch ein KI-Modell mit allgemeinem Verwendungszweck zu der Annahme führt, dass es sich bei dem Modell um ein KI-Modell mit allgemeinem Verwendungszweck mit systemischen Risiken handelt. Dieser Schwellenwert sollte im Laufe der Zeit angepasst werden, um technologischen und industriellen Veränderungen, wie zum Beispiel algorithmischen Verbesserungen oder erhöhter Hardwareeffizienz, Rechnung zu tragen, und um Benchmarks und Indikatoren für die Modellfähigkeit ergänzt werden. Um die Grundlage dafür zu schaffen, sollte das Büro für Künstliche Intelligenz mit der Wissenschaftsgemeinschaft, der Industrie, der Zivilgesellschaft und anderen Sachverständigen zusammenarbeiten. Schwellenwerte sowie Instrumente und Benchmarks für die Bewertung von Fähigkeiten mit hoher Wirkkraft sollten zuverlässig die allgemeine Verwendbarkeit, die Fähigkeiten und die mit ihnen verbundenen systemischen Risikos von KI-Modellen mit allgemeinem Verwendungszweck vorhersagen können und könnten die Art und Weise, wie das Modell in Verkehr gebracht wird, oder die Zahl der Nutzer, auf die es sich auswirken könnte, berücksichtigen. Ergänzend zu diesem System sollte die Kommission Einzelentscheidungen treffen können, mit denen ein KI-Modell mit allgemeinem Verwendungszweck als KI-Modell mit allgemeinem Verwendungszweck mit systemischem Risiko eingestuft wird, wenn festgestellt wurde, dass dieses Modell Fähigkeiten oder Auswirkungen hat, die den von dem festgelegten Schwellenwert erfassten entsprechen. Die genannte Entscheidung sollte auf der Grundlage einer Gesamtbewertung der in einem Anhang dieser Verordnung festgelegten Kriterien für die Benennung von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko getroffen werden, etwa Qualität oder Größe des Trainingsdatensatzes, Anzahl der gewerblichen Nutzer und Endnutzer, seine Ein- und Ausgabemodalitäten, sein Grad an Autonomie und Skalierbarkeit oder die Instrumente, zu denen es Zugang hat. Stellt der Anbieter, dessen Modell als KI-Modell mit allgemeinem Verwendungszweck mit systemischem Risiko benannt wurde, einen entsprechenden Antrag, sollte die Kommission den Antrag berücksichtigen, und sie kann entscheiden, erneut zu prüfen, ob beim KI-Modell mit allgemeinem Verwendungszweck immer noch davon ausgegangen werden kann, dass es systemische Risiken aufweist.
(112)
Il convient également d’établir de façon précise une procédure de classification d’un modèle d’IA à usage général présentant un risque systémique. Il convient de présumer qu’un modèle d’IA à usage général qui atteint le seuil applicable pour les capacités à fort impact est un modèle d’IA à usage général présentant un risque systémique. Le fournisseur devrait informer le Bureau de l’IA au plus tard deux semaines après que les exigences ont été remplies ou qu’il a été établi qu’un modèle d’IA à usage général répondra aux exigences qui conduisent à la présomption. Cela est particulièrement important en ce qui concerne le seuil d’opérations en virgule flottante, car l’entraînement des modèles d’IA à usage général nécessite une planification considérable qui inclut l’allocation préalable des ressources de calcul, et, par conséquent, les fournisseurs de modèles d’IA à usage général sont en mesure de savoir si leur modèle atteindra le seuil avant l’achèvement de l’entraînement. Dans le cadre de cette information, le fournisseur devrait pouvoir démontrer que, en raison de ses caractéristiques spécifiques, un modèle d’IA à usage général ne présente pas, exceptionnellement, de risques systémiques et qu’il ne devrait donc pas être classé comme modèle d’IA à usage général présentant des risques systémiques. Ces éléments d’information sont utiles pour le Bureau de l’IA en ce qu’ils lui permettent d’anticiper la mise sur le marché de modèles d’IA à usage général présentant des risques systémiques, et les fournisseurs peuvent ainsi commencer à coopérer avec le Bureau de l’IA à un stade précoce. Ils sont particulièrement importants en ce qui concerne les modèles d’IA à usage général qu’il est prévu de publier en tant que source ouverte, étant donné que, après la publication des modèles de source ouverte, les mesures nécessaires pour garantir le respect des obligations prévues par le présent règlement peuvent être plus difficiles à mettre en œuvre.
(112)
Außerdem muss das Verfahren für die Einstufung eines KI-Modell mit allgemeinem Verwendungszweck mit systemischem Risiko präzisiert werden. Bei einem KI-Modell mit allgemeinem Verwendungszweck, das den geltenden Schwellenwert für Fähigkeiten mit hoher Wirkkraft erreicht, sollte angenommen werden, dass es sich um ein KI-Modell mit allgemeinem Verwendungszweck mit systemischem Risiko handelt. Der Anbieter sollte spätestens zwei Wochen, nachdem die Bedingungen erfüllt sind oder bekannt wird, dass ein KI-Modell mit allgemeinem Verwendungszweck die Bedingungen, die die Annahme bewirken, erfüllen wird, dies dem Büro für Künstliche Intelligenz mitteilen. Dies ist insbesondere im Zusammenhang mit dem Schwellenwert der Gleitkommaoperationen relevant, da das Training von KI-Modellen mit allgemeinem Verwendungszweck eine erhebliche Planung erfordert, die die vorab durchgeführte Zuweisung von Rechenressourcen umfasst, sodass die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck vor Abschluss des Trainings erfahren können, ob ihr Modell den Schwellenwert erreichen wird. Im Rahmen dieser Mitteilung sollte der Anbieter nachweisen können, dass ein KI-Modell mit allgemeinem Verwendungszweck aufgrund seiner besonderen Merkmale außerordentlicherweise keine systemischen Risiken birgt und daher nicht als KI-Modell mit allgemeinem Verwendungszweck mit systemischem Risiko eingestuft werden sollte. Diese Informationen sind für das Büro für Künstliche Intelligenz wertvoll, um das Inverkehrbringen von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko zu antizipieren, und die Anbieter können frühzeitig mit der Zusammenarbeit mit dem Büro für Künstliche Intelligenz beginnen. Diese Informationen sind besonders wichtig im Hinblick auf KI-Modell mit allgemeinem Verwendungszweck, die als quelloffene Modelle bereitgestellt werden sollen, da nach der Bereitstellung von quelloffenen Modellen die erforderlichen Maßnahmen zur Gewährleistung der Einhaltung der Pflichten gemäß dieser Verordnung möglicherweise schwieriger umzusetzen sind.
(113)
Si la Commission prend connaissance du fait qu’un modèle d’IA à usage général satisfait aux exigences de classification en tant que modèle d’IA à usage général présentant un risque systémique, qui n’était pas connu auparavant ou dont le fournisseur concerné n’avait pas informé la Commission, celle-ci devrait être habilitée à désigner ce modèle comme tel. Un système d’alertes qualifiées devrait garantir que le Bureau de l’IA est informé par le panel scientifique des modèles d’IA à usage général qui devraient éventuellement être classés comme modèles d’IA à usage général présentant un risque systémique, en plus des activités de suivi du Bureau de l’IA.
(113)
Erhält die Kommission Kenntnis davon, dass ein KI-Modell mit allgemeinem Verwendungszweck die Anforderungen für die Einstufung als KI-Modell mit allgemeinem Verwendungszweck mit systemischem Risiko erfüllt, das zuvor nicht bekannt war oder das der betreffende Anbieter nicht der Kommission gemeldet hat, sollte die Kommission befugt sein, es als solches auszuweisen. Zusätzlich zu den Überwachungstätigkeiten des Büros für Künstliche Intelligenz sollte ein System qualifizierter Warnungen sicherstellen, dass das Büro für Künstliche Intelligenz von dem wissenschaftlichen Gremium von KI-Modelle mit allgemeinem Verwendungszweck in Kenntnis gesetzt wird, die möglicherweise als KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko eingestuft werden sollten, was zu den hinzukommt.
(114)
Les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient être soumis non seulement aux obligations prévues pour les fournisseurs de modèles d’IA à usage général mais aussi à des obligations visant à identifier et à atténuer ces risques et à garantir un niveau adéquat de protection de la cybersécurité, que les modèles en question soient fournis en tant que modèles autonomes ou qu’ils soient intégrés dans un système ou un produit d’IA. Pour atteindre ces objectifs, le présent règlement devrait exiger des fournisseurs qu’ils effectuent les évaluations nécessaires des modèles, en particulier avant leur première mise sur le marché, y compris la réalisation et la documentation d’essais contradictoires des modèles, ainsi que, le cas échéant, au moyen d’essais internes ou externes indépendants. En outre, les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient évaluer et atténuer en permanence les risques systémiques, y compris, par exemple, en mettant en place des politiques de gestion des risques, telles que des processus de responsabilité et de gouvernance, en mettant en œuvre une surveillance après commercialisation, en prenant des mesures appropriées tout au long du cycle de vie du modèle et en coopérant avec les acteurs pertinents tout au long de la chaîne de valeur de l’IA.
(114)
Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, die systemische Risiken bergen, sollten zusätzlich zu den Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck Pflichten unterliegen, die darauf abzielen, diese Risiken zu ermitteln und zu mindern und ein angemessenes Maß an Cybersicherheit zu gewährleisten, unabhängig davon, ob es als eigenständiges Modell bereitgestellt wird oder in ein KI-System oder ein Produkt eingebettet ist. Um diese Ziele zu erreichen, sollten die Anbieter in dieser Verordnung verpflichtet werden, die erforderlichen Bewertungen des Modells — insbesondere vor seinem ersten Inverkehrbringen — durchzuführen, wozu auch die Durchführung und Dokumentation von Angriffstests bei Modellen gehören, gegebenenfalls auch im Rahmen interner oder unabhängiger externer Tests. Darüber hinaus sollten KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko fortlaufend systemische Risiken bewerten und mindern, unter anderem durch die Einführung von Risikomanagementstrategien wie Verfahren der Rechenschaftspflicht und Governance-Verfahren, die Umsetzung der Beobachtung nach dem Inverkehrbringen, die Ergreifung geeigneter Maßnahmen während des gesamten Lebenszyklus des Modells und die Zusammenarbeit mit einschlägigen Akteuren entlang der KI-Wertschöpfungskette.
(115)
Les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient évaluer et atténuer les éventuels risques systémiques. Si, malgré les efforts déployés pour recenser et prévenir les risques liés à un modèle d’IA à usage général susceptible de présenter des risques systémiques, le développement ou l’utilisation du modèle cause un incident grave, le fournisseur de modèle d’IA à usage général devrait, sans retard injustifié, réaliser un suivi de l’incident et communiquer toute information pertinente et toute mesure corrective éventuelle à la Commission et aux autorités nationales compétentes. En outre, les fournisseurs devraient garantir un niveau approprié de protection en matière de cybersécurité en ce qui concerne le modèle et son infrastructure physique, le cas échéant, tout au long du cycle de vie du modèle. La protection en matière de cybersécurité contre les risques systémiques associés à une utilisation malveillante ou à des attaques devrait tenir dûment compte des fuites accidentelles du modèle, des publications non autorisées, du contournement des mesures de sécurité ainsi que de la défense contre les cyberattaques, l’accès non autorisé ou le vol de modèle. Une telle protection pourrait être facilitée par la sécurisation des poids du modèle, des algorithmes, des serveurs et des jeux de données, notamment au moyen de mesures de sécurité opérationnelle relatives à la sécurité de l’information, de politiques spécifiques en matière de cybersécurité, de solutions techniques établies adéquates, et de contrôles de l’accès physique ou informatique, qui soient adaptés aux circonstances particulières et aux risques encourus.
(115)
Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko sollten mögliche systemische Risiken bewerten und mindern. Wenn trotz der Bemühungen um Ermittlung und Vermeidung von Risiken im Zusammenhang mit einem KI-Modell mit allgemeinem Verwendungszweck, das systemische Risiken bergen könnte, die Entwicklung oder Verwendung des Modells einen schwerwiegenden Vorfall verursacht, so sollte der Anbieter des KI-Modells mit allgemeinem Verwendungszweck unverzüglich dem Vorfall nachgehen und der Kommission und den zuständigen nationalen Behörden alle einschlägigen Informationen und mögliche Korrekturmaßnahmen mitteilen. Zudem sollten die Anbieter während des gesamten Lebenszyklus des Modells ein angemessenes Maß an Cybersicherheit für das Modell und seine physische Infrastruktur gewährleisten. Beim Schutz der Cybersicherheit im Zusammenhang mit systemischen Risiken, die mit böswilliger Nutzung oder böswilligen Angriffen verbunden sind, sollte der unbeabsichtigte Modelldatenverlust, die unerlaubte Bereitstellung, die Umgehung von Sicherheitsmaßnahmen und der Schutz vor Cyberangriffen, unbefugtem Zugriff oder Modelldiebstahl gebührend beachtet werden. Dieser Schutz könnte durch die Sicherung von Modellgewichten, Algorithmen, Servern und Datensätzen erleichtert werden, z. B. durch Betriebssicherheitsmaßnahmen für die Informationssicherheit, spezifische Cybersicherheitsstrategien, geeignete technische und etablierte Lösungen sowie Kontrollen des physischen Zugangs und des Cyberzugangs, die den jeweiligen Umständen und den damit verbundenen Risiken angemessen sind.
(116)
Le Bureau de l’IA devrait encourager et faciliter l’élaboration, le réexamen et l’adaptation des codes de bonne pratique, en tenant compte des approches internationales. Tous les fournisseurs de modèles d’IA à usage général pourraient être invités à participer. Afin de veiller à ce que les codes de bonne pratique correspondent à l’état de la technique et prennent dûment en compte un ensemble divers de perspectives, le Bureau de l’IA devrait collaborer avec les autorités nationales compétentes concernées et pourrait, selon qu’il convient, consulter les organisations de la société civile et d’autres parties prenantes et experts pertinents, notamment le groupe scientifique, pour l’élaboration de ces codes. Les codes de bonne pratique devraient traiter des obligations incombant aux fournisseurs de modèles d’IA à usage général, et de modèles d’IA à usage général présentant des risques systémiques. En outre, en ce qui concerne les risques systémiques, les codes de bonne pratique devraient contribuer à établir une taxinomie des risques reprenant le type et la nature des risques systémiques au niveau de l’Union, ainsi que leur source. Les codes de bonne pratique devraient également mettre l’accent sur une évaluation des risques et des mesures d’atténuation spécifiques.
(116)
Das Büro für Künstliche Intelligenz sollte die Ausarbeitung, Überprüfung und Anpassung von Praxisleitfäden unter Berücksichtigung internationaler Ansätze fördern und erleichtern. Alle Anbieter von KI-Modellen mit allgemeinem Verwendungszweck könnten ersucht werden, sich daran zu beteiligen. Um sicherzustellen, dass die Praxisleitfäden dem Stand der Technik entsprechen und unterschiedlichen Perspektiven gebührend Rechnung tragen, sollte das Büro für Künstliche Intelligenz bei der Ausarbeitung solcher Leitfäden mit den einschlägigen zuständigen nationalen Behörden zusammenarbeiten und könnte dabei gegebenenfalls Organisationen der Zivilgesellschaft und andere einschlägige Interessenträger und Sachverständige, einschließlich des wissenschaftlichen Gremiums, konsultieren. Die Praxisleitfäden sollten die Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und von KI-Modellen mit allgemeinem Verwendungszweck, die systemische Risiken bergen, abdecken. Ferner sollten Praxisleitfäden im Zusammenhang mit systemischen Risiken dazu beitragen, dass eine Risikotaxonomie für Art und Wesen der systemischen Risiken auf Unionsebene, einschließlich ihrer Ursachen, festgelegt wird. Bei den Praxisleitfäden sollten auch auf spezifische Maßnahmen zur Risikobewertung und -minderung im Mittelpunkt stehen.
(117)
Les codes de bonne pratique devraient constituer un outil central pour assurer le bon respect des obligations qui incombent aux fournisseurs de modèles d’IA à usage général au titre du présent règlement. Les fournisseurs devraient pouvoir s’appuyer sur des codes de bonne pratique pour démontrer qu’ils respectent leurs obligations. Par voie d’actes d’exécution, la Commission pourrait décider d’approuver un code de bonnes pratiques et de lui conférer une validité générale au sein de l’Union ou, à défaut, de fixer des règles communes pour la mise en œuvre des obligations pertinentes si un code de bonnes pratiques ne peut pas être mis au point avant que le présent règlement ne devienne applicable, ou si un tel code n’est pas considéré comme adéquat par le Bureau de l’IA. Dès lors qu’une norme harmonisée est publiée et jugée appropriée par le Bureau de l’IA au regard des obligations pertinentes, les fournisseurs devraient bénéficier de la présomption de conformité lorsqu’ils respectent une norme européenne harmonisée. En outre, les fournisseurs de modèles d’IA à usage général devraient être en mesure de démontrer la conformité en utilisant d’autres moyens adéquats en l’absence de codes de bonne pratique ou de normes harmonisées ou s’ils choisissent de ne pas s’appuyer sur ceux-ci.
(117)
Die Verhaltenskodizes sollten ein zentrales Instrument für die ordnungsgemäße Einhaltung der in dieser Verordnung für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck vorgesehenen Pflichten darstellen. Die Anbieter sollten sich auf Verhaltenskodizes stützen können, um die Einhaltung der Pflichten nachzuweisen. Die Kommission kann im Wege von Durchführungsrechtsakten beschließen, einen Praxisleitfaden zu genehmigen und ihm eine allgemeine Gültigkeit in der Union zu verleihen oder alternativ gemeinsame Vorschriften für die Umsetzung der einschlägigen Pflichten festzulegen, wenn ein Verhaltenskodex bis zum Zeitpunkt der Anwendbarkeit dieser Verordnung nicht fertiggestellt werden kann oder dies vom Büro für Künstliche Intelligenz für nicht angemessen erachtet wird. Sobald eine harmonisierte Norm veröffentlicht und als geeignet bewertet wurde, um die einschlägigen Pflichten des Büros für Künstliche Intelligenz abzudecken, sollte die Einhaltung einer harmonisierten europäischen Norm den Anbietern die Konformitätsvermutung begründen. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck sollten darüber hinaus in der Lage sein, die Konformität mit angemessenen alternativen Mitteln nachzuweisen, wenn Praxisleitfäden oder harmonisierte Normen nicht verfügbar sind oder sie sich dafür entscheiden, sich nicht auf diese zu stützen.
(118)
Le présent règlement régit les systèmes et modèles d’IA en instituant certaines exigences et obligations visant les acteurs du marché concernés qui les mettent sur le marché, les mettent en service ou les utilisent dans l’Union, complétant ainsi les obligations incombant aux fournisseurs de services intermédiaires qui intègrent de tels systèmes ou modèles dans leurs services relevant du règlement (UE) 2022/2065. Dans la mesure où ces systèmes ou modèles sont intégrés dans des très grandes plateformes en ligne ou des très grands moteurs de recherche en ligne, ils sont soumis au cadre de gestion des risques établi par le règlement (UE) 2022/2065. Par conséquent, il devrait être présumé que les obligations correspondantes du présent règlement sont remplies, à moins que des risques systémiques importants non couverts par le règlement (UE) 2022/2065 n’apparaissent et ne soient recensés dans de tels modèles. Dans ce contexte, les fournisseurs de très grandes plateformes en ligne et de très grands moteurs de recherche en ligne sont tenus d’évaluer les risques systémiques découlant de la conception, du fonctionnement et de l’utilisation de leurs services, y compris la manière dont la conception des systèmes algorithmiques utilisés dans un service pourrait contribuer à ces risques, ainsi que les risques systémiques découlant de mauvaises utilisations éventuelles. Ces fournisseurs sont également tenus de prendre les mesures d’atténuation appropriées pour assurer le respect des droits fondamentaux.
(118)
Mit dieser Verordnung werden KI-Systeme und KI-Modelle reguliert, indem einschlägigen Marktteilnehmern, die sie in der Union in Verkehr bringen, in Betrieb nehmen oder verwenden, bestimmte Anforderungen und Pflichten auferlegt werden, wodurch die Pflichten für Anbieter von Vermittlungsdiensten ergänzt werden, die solche Systeme oder Modelle in ihre unter die Verordnung (EU) 2022/2065 fallenden Dienste integrieren. Soweit solche Systeme oder Modelle in als sehr groß eingestufte Online-Plattformen oder als sehr groß eingestufte Online-Suchmaschinen eingebettet sind, unterliegen sie dem in der Verordnung (EU) 2022/2065 vorgesehenen Rahmen für das Risikomanagement. Folglich sollte angenommen werden, dass die entsprechenden Verpflichtungen dieser Verordnung erfüllt sind, es sei denn, in solchen Modellen treten erhebliche systemische Risiken auf, die nicht unter die Verordnung (EU) 2022/2065 fallen, und werden dort ermittelt. Im vorliegenden Rahmen sind Anbieter sehr großer Online-Plattformen und sehr großer Online-Suchmaschinen verpflichtet, potenzielle systemische Risiken, die sich aus dem Entwurf, dem Funktionieren und der Nutzung ihrer Dienste ergeben, einschließlich der Frage, wie der Entwurf der in dem Dienst verwendeten algorithmischen Systeme zu solchen Risiken beitragen kann, sowie systemische Risiken, die sich aus potenziellen Fehlanwendungen ergeben, zu bewerten. Diese Anbieter sind zudem verpflichtet, unter Wahrung der Grundrechte geeignete Risikominderungsmaßnahmen zu ergreifen.
(119)
Compte tenu du rythme rapide de l’innovation et de l’évolution technologique des services numériques relevant du champ d’application de différents instruments du droit de l’Union, en particulier à la lumière de l’utilisation et de la perception de leurs destinataires, les systèmes d’IA régis par le présent règlement pourraient être fournis en tant que services intermédiaires ou parties de ceux-ci au sens du règlement (UE) 2022/2065, qui devrait être interprété de manière neutre sur le plan technologique. Par exemple, les systèmes d’IA pourraient être utilisés pour fournir des moteurs de recherche en ligne, en particulier, dans la mesure où un système d’IA tel qu’un dialogueur réalise des recherches sur, en principe, tous les sites web, puis en intègre les résultats dans ses connaissances existantes et utilise les connaissances mises à jour pour générer une sortie unique qui combine différentes sources d’information.
(119)
Angesichts des raschen Innovationstempos und der technologischen Entwicklung digitaler Dienste, die in den Anwendungsbereich verschiedener Instrumente des Unionsrechts fallen, können insbesondere unter Berücksichtigung der Verwendung durch ihre Nutzer und deren Wahrnehmung die dieser Verordnung unterliegenden KI-Systeme als Vermittlungsdienste oder Teile davon im Sinne der Verordnung (EU) 2022/2065 bereitgestellt werden, was technologieneutral ausgelegt werden sollte. Beispielsweise können KI-Systeme als Online-Suchmaschinen verwendet werden, insbesondere wenn ein KI-System wie ein Online-Chatbot grundsätzlich alle Websites durchsucht, die Ergebnisse anschließend in sein vorhandenes Wissen integriert und das aktualisierte Wissen nutzt, um eine einzige Ausgabe zu generieren, bei der verschiedene Informationsquellen zusammengeführt wurden.
(120)
En outre, les obligations imposées aux fournisseurs et aux déployeurs de certains systèmes d’IA au titre du présent règlement afin de permettre la détection et la mention du fait que les sorties produites par ces systèmes sont générées ou manipulées par une IA revêtent une importance particulière pour faciliter la mise en œuvre effective du règlement (UE) 2022/2065. Cela vaut en particulier pour les obligations incombant aux fournisseurs de très grandes plateformes en ligne ou de très grands moteurs de recherche en ligne consistant à recenser et à atténuer les risques systémiques susceptibles de découler de la diffusion de contenus qui ont été générés ou manipulés par une IA, en particulier le risque d’effets négatifs réels ou prévisibles sur les processus démocratiques, le débat public et les processus électoraux, notamment par le biais de la désinformation.
(120)
Zudem sind die Pflichten, die Anbietern und Betreibern bestimmter KI-Systeme mit dieser Verordnung auferlegt werden, um die Feststellung und Offenlegung zu ermöglichen, dass die Ausgaben dieser Systeme künstlich erzeugt oder manipuliert werden, von besonderer Bedeutung für die Erleichterung der wirksamen Umsetzung der Verordnung (EU) 2022/2065. Dies gilt insbesondere für die Pflichten der Anbieter sehr großer Online-Plattformen oder sehr großer Online-Suchmaschinen, systemische Risiken zu ermitteln und zu mindern, die aus der Verbreitung von künstlich erzeugten oder manipulierten Inhalten entstehen können, insbesondere das Risiko tatsächlicher oder vorhersehbarer negativer Auswirkungen auf demokratische Prozesse, den gesellschaftlichen Diskurs und Wahlprozesse, unter anderem durch Desinformation.
(121)
La normalisation devrait jouer un rôle essentiel pour fournir des solutions techniques aux fournisseurs afin de garantir la conformité avec le présent règlement, suivant les technologies les plus récentes, et de promouvoir l’innovation ainsi que la compétitivité et la croissance dans le marché unique. Le respect des normes harmonisées telles que définies à l’article 2, point 1) c), du règlement (UE) no 1025/2012 du Parlement européen et du Conseil (41), qui doivent normalement tenir compte des évolutions technologiques les plus récentes, devrait être un moyen pour les fournisseurs de démontrer la conformité avec les exigences du présent règlement. Il convient donc d’encourager une représentation équilibrée des intérêts en associant toutes les parties prenantes concernées à l’élaboration des normes, en particulier les PME, les organisations de consommateurs et les acteurs environnementaux et sociaux, conformément aux articles 5 et 6 du règlement (UE) no 1025/2012. Afin de faciliter le respect de la législation, les demandes de normalisation devraient être formulées par la Commission sans retard injustifié. Lorsqu’elle élabore les demandes de normalisation, la Commission devrait consulter le forum consultatif et le Comité IA afin de recueillir l’expertise pertinente. Toutefois, en l’absence de références pertinentes à des normes harmonisées, la Commission devrait être en mesure d’établir, au moyen d’actes d’exécution, et après consultation du forum consultatif, des spécifications communes pour certaines exigences au titre du présent règlement. Les spécifications communes devraient être une solution de repli exceptionnelle pour faciliter l’obligation du fournisseur de se conformer aux exigences du présent règlement, lorsque la demande de normalisation n’a été acceptée par aucune des organisations européennes de normalisation, ou lorsque les normes harmonisées pertinentes ne répondent pas suffisamment aux préoccupations en matière de droits fondamentaux, ou lorsque les normes harmonisées ne sont pas conformes à la demande, ou lorsque l’adoption d’une norme harmonisée appropriée accuse des retards. Lorsqu’un tel retard dans l’adoption d’une norme harmonisée est dû à la complexité technique de ladite norme, la Commission devrait en tenir compte avant d’envisager l’établissement de spécifications communes. Lorsqu’elle élabore des spécifications communes, la Commission est encouragée à coopérer avec des partenaires internationaux et des organismes internationaux de normalisation.
(121)
Die Normung sollte eine Schlüsselrolle dabei spielen, den Anbietern technische Lösungen zur Verfügung zu stellen, um im Einklang mit dem Stand der Technik die Einhaltung dieser Verordnung zu gewährleisten und Innovation sowie Wettbewerbsfähigkeit und Wachstum im Binnenmarkt zu fördern. Die Einhaltung harmonisierter Normen im Sinne von Artikel 2 Nummer 1 Buchstabe c der Verordnung (EU) Nr. 1025/2012 des Europäischen Parlaments und des Rates (41), die normalerweise den Stand der Technik widerspiegeln sollten, sollte den Anbietern den Nachweis der Konformität mit den Anforderungen der vorliegenden Verordnung ermöglichen. Daher sollte eine ausgewogene Interessenvertretung unter Einbeziehung aller relevanten Interessenträger, insbesondere KMU, Verbraucherorganisationen sowie ökologischer und sozialer Interessenträger, bei der Entwicklung von Normen gemäß den Artikeln 5 und 6 der Verordnung (EU) Nr. 1025/2012, gefördert werden. Um die Einhaltung der Vorschriften zu erleichtern, sollten die Normungsaufträge von der Kommission unverzüglich erteilt werden. Bei der Ausarbeitung des Normungsauftrags sollte die Kommission das Beratungsforum und das KI-Gremium konsultieren, um einschlägiges Fachwissen einzuholen. In Ermangelung einschlägiger Fundstellen zu harmonisierten Normen sollte die Kommission jedoch im Wege von Durchführungsrechtsakten und nach Konsultation des Beratungsforums gemeinsame Spezifikationen für bestimmte Anforderungen im Rahmen dieser Verordnung festlegen können. Die gemeinsame Spezifikation sollte eine außergewöhnliche Ausweichlösung sein, um die Pflicht des Anbieters zur Einhaltung der Anforderungen dieser Verordnung zu erleichtern, wenn der Normungsauftrag von keiner der europäischen Normungsorganisationen angenommen wurde oder die einschlägigen harmonisierten Normen den Bedenken im Bereich der Grundrechte nicht ausreichend Rechnung tragen oder die harmonisierten Normen dem Auftrag nicht entsprechen oder es Verzögerungen bei der Annahme einer geeigneten harmonisierten Norm gibt. Ist eine solche Verzögerung bei der Annahme einer harmonisierten Norm auf die technische Komplexität dieser Norm zurückzuführen, so sollte die Kommission dies prüfen, bevor sie die Festlegung gemeinsamer Spezifikationen in Erwägung zieht. Die Kommission wird ermutigt, bei der Entwicklung gemeinsamer Spezifikationen mit internationalen Partnern und internationalen Normungsgremien zusammenzuarbeiten.
(122)
Il convient que, sans préjudice de l’utilisation de normes harmonisées et de spécifications communes, les fournisseurs d’un système d’IA à haut risque qui a été entraîné et testé avec des données reflétant le cadre géographique, comportemental, contextuel ou fonctionnel spécifique dans lequel il est destiné à être utilisé soient présumés comme se conformant à la mesure pertinente prévue au titre de l’exigence en matière de gouvernance des données énoncée dans le présent règlement. Sans préjudice des exigences liées à la robustesse et à l’exactitude énoncées dans le présent règlement, conformément à l’article 54, paragraphe 3, du règlement (UE) 2019/881, les systèmes d’IA à haut risque qui ont été certifiés ou pour lesquels une déclaration de conformité a été délivrée dans le cadre d’un schéma de cybersécurité en vertu dudit règlement et dont les références ont été publiées au Journal officiel de l’Union européenne devraient être présumés conformes aux exigences de cybersécurité du présent règlement dans la mesure où le certificat de cybersécurité ou la déclaration de conformité, ou des parties de ceux-ci, couvrent l’exigence de cybersécurité du présent règlement. Cet aspect demeure sans préjudice du caractère volontaire dudit schéma de cybersécurité.
(122)
Unbeschadet der Anwendung harmonisierter Normen und gemeinsamer Spezifikationen ist es angezeigt, dass für Anbieter von Hochrisiko-KI-Systemen, die mit Daten, in denen sich die besonderen geografischen, verhaltensbezogenen, kontextuellen oder funktionalen Rahmenbedingungen niederschlagen, unter denen sie verwendet werden sollen, trainiert und getestet wurden, die Vermutung der Konformität mit der einschlägigen Maßnahme gilt, die im Rahmen der in dieser Verordnung festgelegten Anforderungen an die Daten-Governance vorgesehen ist. Unbeschadet der in dieser Verordnung festgelegten Anforderungen an Robustheit und Genauigkeit sollte gemäß Artikel 54 Absatz 3 der Verordnung (EU) 2019/881 bei Hochrisiko-KI-Systemen, die im Rahmen eines Schemas für die Cybersicherheit gemäß der genannten Verordnung zertifiziert wurden oder für die eine Konformitätserklärung ausgestellt wurde und deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht wurden, vermutet werden, dass eine Übereinstimmung mit den Cybersicherheitsanforderungen der vorliegenden Verordnung gegeben ist, sofern das Cybersicherheitszertifikat oder die Konformitätserklärung oder Teile davon die Cybersicherheitsanforderungen dieser Verordnung abdecken. Dies gilt unbeschadet des freiwilligen Charakters dieses Schemas für die Cybersicherheit.
(123)
Afin de garantir un niveau élevé de fiabilité des systèmes d’IA à haut risque, ces systèmes devraient être soumis à une évaluation de la conformité avant leur mise sur le marché ou leur mise en service.
(123)
Um ein hohes Maß an Vertrauenswürdigkeit von Hochrisiko-KI-Systemen zu gewährleisten, sollten diese Systeme einer Konformitätsbewertung unterzogen werden, bevor sie in Verkehr gebracht oder in Betrieb genommen werden.
(124)
Afin de réduire au minimum la charge pesant sur les opérateurs et d’éviter les éventuels doubles emplois, la conformité avec les exigences du présent règlement des systèmes d’IA à haut risque liés à des produits couverts par la législation d’harmonisation existante de l’Union fondée sur le nouveau cadre législatif devrait être évaluée dans le cadre de l’évaluation de la conformité déjà prévue en vertu de cette législation. L’applicabilité des exigences du présent règlement ne devrait donc pas avoir d’incidence sur la logique, la méthode ou la structure générale propres à l’évaluation de la conformité au titre de la législation d’harmonisation de l’Union pertinente.
(124)
Damit für Akteure möglichst wenig Aufwand entsteht und etwaige Doppelarbeit vermieden wird, ist es angezeigt, dass bei Hochrisiko-KI-Systemen im Zusammenhang mit Produkten, die auf der Grundlage des neuen Rechtsrahmens unter bestehende Harmonisierungsrechtsvorschriften der Union fallen, im Rahmen der bereits in den genannten Rechtsvorschriften vorgesehenen Konformitätsbewertung bewertet wird, ob diese KI-Systeme den Anforderungen dieser Verordnung genügen. Die Anwendbarkeit der Anforderungen dieser Verordnung sollte daher die besondere Logik, Methodik oder allgemeine Struktur der Konformitätsbewertung gemäß den einschlägigen Harmonisierungsrechtsvorschriften der Union unberührt lassen.
(125)
Compte tenu de la complexité des systèmes d’IA à haut risque et des risques qui y sont associés, il importe d’élaborer une procédure d’évaluation de la conformité adéquat faisant intervenir les organismes notifiés pour ces systèmes, dite «évaluation de conformité par un tiers». Toutefois, étant donné l’expérience actuelle des organismes professionnels de certification avant mise sur le marché dans le domaine de la sécurité des produits et de la nature différente des risques encourus, il convient de limiter, au moins dans une phase initiale d’application du présent règlement, le champ d’application des évaluations de la conformité réalisées par un tiers aux systèmes d’IA à haut risque autres que ceux liés à des produits. Par conséquent, l’évaluation de la conformité de ces systèmes devrait en règle générale être réalisée par le fournisseur sous sa propre responsabilité, à la seule exception des systèmes d’IA destinés à être utilisés à des fins de biométrie.
(125)
Angesichts der Komplexität von Hochrisiko-KI-Systemen und der damit verbundenen Risiken ist es wichtig, ein angemessenes Konformitätsbewertungsverfahren für Hochrisiko-KI-Systeme, an denen notifizierte Stellen beteiligt sind, — die sogenannte Konformitätsbewertung durch Dritte — zu entwickeln. In Anbetracht der derzeitigen Erfahrung professioneller dem Inverkehrbringen vorgeschalteter Zertifizierer im Bereich der Produktsicherheit und der unterschiedlichen Art der damit verbundenen Risiken empfiehlt es sich jedoch, zumindest während der anfänglichen Anwendung dieser Verordnung für Hochrisiko-KI-Systeme, die nicht mit Produkten in Verbindung stehen, den Anwendungsbereich der Konformitätsbewertung durch Dritte einzuschränken. Daher sollte die Konformitätsbewertung solcher Systeme in der Regel vom Anbieter in eigener Verantwortung durchgeführt werden, mit Ausnahme von KI-Systemen, die für die Biometrie verwendet werden sollen.
(126)
Afin de procéder à des évaluations de la conformité par un tiers lorsque cela est nécessaire, les organismes notifiés devraient être notifiés en vertu du présent règlement par les autorités nationales compétentes, sous réserve qu’ils satisfassent à un ensemble d’exigences portant en particulier sur leur indépendance, leur compétence, l’absence de conflits d’intérêts et les exigences appropriées en matière de cybersécurité. La notification de ces organismes devrait être envoyée par les autorités nationales compétentes à la Commission et aux autres États membres à l’aide de l’outil de notification électronique mis au point et géré par la Commission, conformément à l’annexe I, article R23, de la décision no 768/2008/CE.
(126)
Damit KI-Systeme, falls vorgeschrieben, Konformitätsbewertungen durch Dritte unterzogen werden können, sollten die notifizierten Stellen gemäß dieser Verordnung von den zuständigen nationalen Behörden notifiziert werden, sofern sie eine Reihe von Anforderungen erfüllen, insbesondere in Bezug auf Unabhängigkeit, Kompetenz, Nichtvorliegen von Interessenkonflikten und geeignete Anforderungen an die Cybersicherheit. Die Notifizierung dieser Stellen sollte von den zuständigen nationalen Behörden der Kommission und den anderen Mitgliedstaaten mittels des von der Kommission entwickelten und verwalteten elektronischen Notifizierungsinstruments gemäß Anhang I Artikel R23 des Beschlusses Nr. 768/2008/EG übermittelt werden.
(127)
Conformément aux engagements pris par l’Union au titre de l’accord de l’Organisation mondiale du commerce sur les obstacles techniques au commerce, il convient de faciliter la reconnaissance mutuelle des résultats des évaluations de la conformité produits par les organismes d’évaluation de la conformité compétents, indépendamment du territoire sur lequel ils sont établis, à condition que ces organismes d’évaluation de la conformité établis en vertu du droit d’un pays tiers satisfassent aux exigences applicables en vertu du présent règlement et que l’Union ait conclu un accord en ce sens. Dans ce contexte, la Commission devrait étudier activement d’éventuels instruments internationaux à cette fin et, en particulier, œuvrer à la conclusion d’accords de reconnaissance mutuelle avec des pays tiers.
(127)
Im Einklang mit den Verpflichtungen der Union im Rahmen des Übereinkommens der Welthandelsorganisation über technische Handelshemmnisse ist es angemessen, die gegenseitige Anerkennung von Konformitätsbewertungsergebnissen zu erleichtern, die von den zuständigen Konformitätsbewertungsstellen unabhängig von dem Gebiet, in dem sie niedergelassen sind, generiert wurden, sofern diese nach dem Recht eines Drittlandes errichteten Konformitätsbewertungsstellen die geltenden Anforderungen dieser Verordnung erfüllen und die Union ein entsprechendes Abkommen geschlossen hat. In diesem Zusammenhang sollte die Kommission aktiv mögliche internationale Instrumente zu diesem Zweck prüfen und insbesondere den Abschluss von Abkommen über die gegenseitige Anerkennung mit Drittländern anstreben.
(128)
Conformément à la notion communément établie de modification substantielle pour les produits réglementés par la législation d’harmonisation de l’Union, chaque fois que survient une modification susceptible d’avoir une incidence sur la conformité d’un système d’IA à haut risque avec le présent règlement (par exemple, un changement de système d’exploitation ou d’architecture logicielle) ou que la destination du système change, il convient de considérer ledit système d’IA comme un nouveau système d’IA devant être soumis à nouvelle procédure d’évaluation de la conformité. Cependant, les changements intervenant sur l’algorithme et la performance de systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service, à savoir l’adaptation automatique de la façon dont les fonctions sont exécutées, ne devraient pas constituer une modification substantielle, à condition que ces changements aient été prédéterminés par le fournisseur et évalués au moment de l’évaluation de la conformité.
(128)
Im Einklang mit dem allgemein anerkannten Begriff der wesentlichen Änderung von Produkten, für die Harmonisierungsvorschriften der Union gelten, ist es angezeigt, dass das KI-System bei jeder Änderung, die die Einhaltung dieser Verordnung durch das Hochrisiko-KI-System beeinträchtigen könnte (z. B. Änderung des Betriebssystems oder der Softwarearchitektur), oder wenn sich die Zweckbestimmung des Systems ändert, als neues KI-System betrachtet werden sollte, das einer neuen Konformitätsbewertung unterzogen werden sollte. Änderungen, die den Algorithmus und die Leistung von KI-Systemen betreffen, die nach dem Inverkehrbringen oder der Inbetriebnahme weiterhin dazulernen — d. h., sie passen automatisch an, wie die Funktionen ausgeführt werden —, sollten jedoch keine wesentliche Veränderung darstellen, sofern diese Änderungen vom Anbieter vorab festgelegt und zum Zeitpunkt der Konformitätsbewertung bewertet wurden.
(129)
Le marquage «CE» devrait être apposé sur les systèmes d’IA à haut risque pour indiquer leur conformité avec le présent règlement afin qu’ils puissent circuler librement dans le marché intérieur. Pour les systèmes d’IA à haut risque intégrés à un produit, un marquage «CE» physique devrait être apposé, éventuellement complété par un marquage «CE» numérique. Pour les systèmes d’IA à haut risque fournis uniquement sous forme numérique, il convient d’utiliser un marquage «CE» numérique. Les États membres devraient s’abstenir de créer des entraves injustifiées à la mise sur le marché ou à la mise en service de systèmes d’IA à haut risque qui satisfont aux exigences fixées dans le présent règlement et portent le marquage «CE».
(129)
Hochrisiko-KI-Systeme sollten grundsätzlich mit der CE-Kennzeichnung versehen sein, aus der ihre Konformität mit dieser Verordnung hervorgeht, sodass sie frei im Binnenmarkt verkehren können. Bei in ein Produkt integrierten Hochrisiko-KI-Systemen sollte eine physische CE-Kennzeichnung angebracht werden, die durch eine digitale CE-Kennzeichnung ergänzt werden kann. Bei Hochrisiko-KI-Systemen, die nur digital bereitgestellt werden, sollte eine digitale CE-Kennzeichnung verwendet werden. Die Mitgliedstaaten sollten keine ungerechtfertigten Hindernisse für das Inverkehrbringen oder die Inbetriebnahme von Hochrisiko-KI-Systemen schaffen, die die in dieser Verordnung festgelegten Anforderungen erfüllen und mit der CE-Kennzeichnung versehen sind.
(130)
Dans certaines conditions, la disponibilité rapide de technologies innovantes peut être cruciale pour la santé et la sécurité des personnes, pour la protection de l’environnement et la lutte contre le changement climatique et pour la société dans son ensemble. Il convient donc que, pour des motifs exceptionnels liés à la sécurité publique ou à la protection de la vie et de la santé des personnes physiques, à la protection de l’environnement et à la protection d’actifs industriels et d’infrastructures d’importance majeure, les autorités de surveillance du marché puissent autoriser la mise sur le marché ou la mise en service de systèmes d’IA qui n’ont pas fait l’objet d’une évaluation de la conformité. Dans des situations dûment justifiées, prévues dans le présent règlement, les autorités répressives ou les autorités de protection civile peuvent mettre en service un système d’IA à haut risque spécifique sans avoir obtenu l’autorisation de l’autorité de surveillance du marché, à condition que cette autorisation soit demandée sans retard injustifié pendant ou après l’utilisation.
(130)
Unter bestimmten Bedingungen kann die rasche Verfügbarkeit innovativer Technik für die Gesundheit und Sicherheit von Menschen, den Schutz der Umwelt und vor dem Klimawandel und die Gesellschaft insgesamt von entscheidender Bedeutung sein. Es ist daher angezeigt, dass die Aufsichtsbehörden aus außergewöhnlichen Gründen der öffentlichen Sicherheit, des Schutzes des Lebens und der Gesundheit natürlicher Personen, des Umweltschutzes und des Schutzes wichtiger Industrie- und Infrastrukturanlagen das Inverkehrbringen oder die Inbetriebnahme von KI-Systemen, die keiner Konformitätsbewertung unterzogen wurden, genehmigen könnten. In hinreichend begründeten Fällen gemäß dieser Verordnung können Strafverfolgungs- oder Katastrophenschutzbehörden ein bestimmtes Hochrisiko-KI-System ohne Genehmigung der Marktüberwachungsbehörde in Betrieb nehmen, sofern diese Genehmigung während der Verwendung oder im Anschluss daran unverzüglich beantragt wird.
(131)
Afin de faciliter les travaux de la Commission et des États membres dans le domaine de l’IA et d’accroître la transparence à l’égard du public, les fournisseurs de systèmes d’IA à haut risque autres que ceux liés à des produits relevant du champ d’application de la législation d’harmonisation existante de l’Union en la matière, ainsi que les fournisseurs qui considèrent qu’un système d’IA inscrit sur la liste des cas d’utilisation à haut risque dans une annexe du présent règlement n’est pas à haut risque sur la base d’une dérogation, devraient être tenus de s’enregistrer eux-mêmes et d’enregistrer les informations relatives à leur système d’IA dans une base de données de l’UE, qui sera établie et gérée par la Commission. Avant d’utiliser un système d’IA inscrit sur la liste des cas d’utilisation à haut risque dans une annexe du présent règlement, les déployeurs de systèmes d’IA à haut risque qui sont des autorités, des agences ou des organismes publics devraient s’enregistrer dans une telle base de données et sélectionner le système qu’ils envisagent d’utiliser. Les autres déployeurs devraient être autorisés à le faire volontairement. Cette section de la base de données de l’UE devrait être accessible au public sans frais, et les informations qu’elle contient devraient être consultables grâce à une navigation aisée et être facilement compréhensibles et lisibles par machine. La base de données de l’UE devrait également être conviviale, par exemple en offrant des fonctionnalités de recherche, y compris par mots-clés, afin de permettre au grand public de trouver les informations pertinentes devant être transmises au moment de l’enregistrement des systèmes d’IA à haut risque et les informations sur le cas d’utilisation de systèmes d’IA à haut risque, énoncés dans une annexe du présent règlement, auquel les systèmes d’IA à haut risque correspondent. Toute modification substantielle de systèmes d’IA à haut risque devrait également être enregistrée dans la base de données de l’UE. En ce qui concerne les systèmes d’IA à haut risque dans les domaines des activités répressives, de la migration, de l’asile et de la gestion des contrôles aux frontières, les obligations en matière d’enregistrement devraient être remplies dans une section non publique sécurisée de la base de données de l’UE. L’accès à la section non publique sécurisée devrait être strictement réservé à la Commission, ainsi qu’aux autorités de surveillance du marché pour ce qui est de la section nationale de cette base de données les concernant. Les systèmes d’IA à haut risque dans le domaine des infrastructures critiques ne devraient être enregistrés qu’au niveau national. La Commission devrait faire fonction de responsable du traitement pour la base de données de l’UE, conformément au règlement (UE) 2018/1725. Afin de garantir que la base de données de l’UE soit pleinement opérationnelle une fois déployée, la procédure de création de la base de données devrait prévoir le développement de spécifications fonctionnelles par la Commission et un rapport d’audit indépendant. La Commission devrait tenir compte des risques liés à la cybersécurité dans l’accomplissement de ses missions en tant que responsable du traitement des données dans la base de données de l’UE. Afin de maximiser la disponibilité et l’utilisation de la base de données de l’UE, y compris les informations mises à disposition par son intermédiaire, la base de données de l’UE devrait être conforme aux exigences prévues par la directive (UE) 2019/882.
(131)
Um die Arbeit der Kommission und der Mitgliedstaaten im KI-Bereich zu erleichtern und die Transparenz gegenüber der Öffentlichkeit zu erhöhen, sollten Anbieter von Hochrisiko-KI-Systemen, die nicht im Zusammenhang mit Produkten stehen, welche in den Anwendungsbereich einschlägiger Harmonisierungsrechtsvorschriften der Union fallen, und Anbieter, die der Auffassung sind, dass ein KI-System, das in den in einem Anhang dieser Verordnung aufgeführten Anwendungsfällen mit hohem Risiko aufgeführt ist, auf der Grundlage einer Ausnahme nicht hochriskant ist, dazu verpflichtet werden, sich und Informationen über ihr KI-System in einer von der Kommission einzurichtenden und zu verwaltenden EU-Datenbank zu registrieren. Vor der Verwendung eines KI-Systems, das in den in einem Anhang dieser Verordnung aufgeführten Anwendungsfällen mit hohem Risiko aufgeführt ist, sollten sich Betreiber von Hochrisiko-KI-Systemen, die Behörden, Einrichtungen oder sonstige Stellen sind, in dieser Datenbank registrieren und das System auswählen, dessen Verwendung sie planen. Andere Betreiber sollten berechtigt sein, dies freiwillig zu tun. Dieser Teil der EU-Datenbank sollte öffentlich und kostenlos zugänglich sein, und die Informationen sollten leicht zu navigieren, verständlich und maschinenlesbar sein. Die EU-Datenbank sollte außerdem benutzerfreundlich sein und beispielsweise die Suche, auch mit Stichwörtern, vorsehen, damit die breite Öffentlichkeit die einschlägigen Informationen finden kann, die bei der Registrierung von Hochrisiko-KI-Systemen einzureichen sind und die sich auf einen in einem Anhang dieser Verordnung aufgeführten Anwendungsfall der Hochrisiko-KI-Systeme, denen die betreffenden Hochrisiko-KI-Systeme entsprechen, beziehen. Jede wesentliche Veränderung von Hochrisiko-KI-Systemen sollte ebenfalls in der EU-Datenbank registriert werden. Bei Hochrisiko-KI-Systemen, die in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrolle eingesetzt werden, sollten die Registrierungspflichten in einem sicheren nicht öffentlichen Teil der EU-Datenbank erfüllt werden. Der Zugang zu dem gesicherten nicht öffentlichen Teil sollte sich strikt auf die Kommission sowie auf die Marktüberwachungsbehörden und bei diesen auf ihren nationalen Teil dieser Datenbank beschränken. Hochrisiko-KI-Systeme im Bereich kritischer Infrastrukturen sollten nur auf nationaler Ebene registriert werden. Die Kommission sollte gemäß der Verordnung (EU) 2018/1725 als für die EU-Datenbank Verantwortlicher gelten. Um die volle Funktionsfähigkeit der EU-Datenbank zu gewährleisten, sollte das Verfahren für die Einrichtung der Datenbank auch die Entwicklung von funktionalen Spezifikationen durch die Kommission und einen unabhängigen Prüfbericht umfassen. Die Kommission sollte bei der Wahrnehmung ihrer Aufgaben als Verantwortliche für die EU-Datenbank die Risiken im Zusammenhang mit Cybersicherheit berücksichtigen. Um für ein Höchstmaß an Verfügbarkeit und Nutzung der EU-Datenbank durch die Öffentlichkeit zu sorgen, sollte die EU-Datenbank, einschließlich der über sie zur Verfügung gestellten Informationen, den Anforderungen der Richtlinie (EU) 2019/882 entsprechen.
(132)
Certains systèmes d’IA destinés à interagir avec des personnes physiques ou à générer du contenu peuvent présenter des risques spécifiques d’usurpation d’identité ou de tromperie, qu’ils soient ou non considérés comme étant à haut risque. Dans certaines circonstances, l’utilisation de ces systèmes devrait donc être soumise à des obligations de transparence spécifiques sans préjudice des exigences et obligations relatives aux systèmes d’IA à haut risque et sous réserve d’exemptions ciblées destinées à tenir compte des besoins spécifiques des activités répressives. En particulier, les personnes physiques devraient être avisées qu’elles interagissent avec un système d’IA, sauf si cela ressort clairement du point de vue d’une personne physique normalement informée et raisonnablement attentive et avisée, compte tenu des circonstances et du contexte d’utilisation. Lors de la mise en œuvre de cette obligation, les caractéristiques des personnes physiques appartenant à des groupes vulnérables en raison de leur âge ou d’un handicap devraient être prises en compte dans la mesure où le système d’IA est destiné à interagir également avec ces groupes. En outre, les personnes physiques devraient être mises au courant lorsqu’elles sont exposées à des systèmes d’IA qui, en traitant leurs données biométriques, peuvent identifier ou déduire les émotions ou intentions de ces personnes ou les affecter à des catégories spécifiques. Ces catégories spécifiques peuvent avoir trait à des aspects tels que le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, les traits personnels, l’origine ethnique, les préférences et les intérêts personnels. Ces informations et notifications devraient être fournies dans des formats accessibles aux personnes handicapées.
(132)
Bestimmte KI-Systeme, die mit natürlichen Personen interagieren oder Inhalte erzeugen sollen, können unabhängig davon, ob sie als hochriskant eingestuft werden, ein besonderes Risiko in Bezug auf Identitätsbetrug oder Täuschung bergen. Unter bestimmten Umständen sollte die Verwendung solcher Systeme daher — unbeschadet der Anforderungen an und Pflichten für Hochrisiko-KI-Systeme und vorbehaltlich punktueller Ausnahmen, um den besonderen Erfordernissen der Strafverfolgung Rechnung zu tragen — besonderen Transparenzpflichten unterliegen. Insbesondere sollte natürlichen Personen mitgeteilt werden, dass sie es mit einem KI-System zu tun haben, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. Bei der Umsetzung dieser Pflicht sollten die Merkmale von natürlichen Personen, die aufgrund ihres Alters oder einer Behinderung schutzbedürftigen Gruppen angehören, berücksichtigt werden, soweit das KI-System auch mit diesen Gruppen interagieren soll. Darüber hinaus sollte natürlichen Personen mitgeteilt werden, wenn sie KI-Systemen ausgesetzt sind, die durch die Verarbeitung ihrer biometrischen Daten die Gefühle oder Absichten dieser Personen identifizieren oder ableiten oder sie bestimmten Kategorien zuordnen können. Solche spezifischen Kategorien können Aspekte wie etwa Geschlecht, Alter, Haarfarbe, Augenfarbe, Tätowierungen, persönliche Merkmale, ethnische Herkunft sowie persönliche Vorlieben und Interessen betreffen. Diese Informationen und Mitteilungen sollten für Menschen mit Behinderungen in entsprechend barrierefrei zugänglicher Form bereitgestellt werden.
(133)
Divers systèmes d’IA peuvent générer de grandes quantités de contenu de synthèse qu’il devient de plus en plus difficile pour les êtres humains de distinguer du contenu authentique généré par des humains. La large disponibilité et les capacités croissantes de ces systèmes ont des conséquences importantes sur l’intégrité de l’écosystème informationnel et la confiance en celui-ci, ce qui pose de nouveaux risques de désinformation et de manipulation à grande échelle, de fraude, d’usurpation d’identité et de tromperie des consommateurs. Compte tenu de ces effets, du rythme rapide de l’évolution technologique et de la nécessité de nouvelles méthodes et techniques pour déterminer l’origine des informations, il convient d’exiger que les fournisseurs de ces systèmes intègrent des solutions techniques permettant le marquage dans un format lisible par machine et la détection du fait que les sorties ont été générées ou manipulées par un système d’IA, et non par un être humain. De telles techniques et méthodes devraient être aussi fiables, interopérables, efficaces et solides que la technologie le permet, et tenir compte des techniques disponibles ou d’une combinaison de ces techniques, telles que les filigranes, les identifications de métadonnées, les méthodes cryptographiques permettant de prouver la provenance et l’authenticité du contenu, les méthodes d’enregistrement, les empreintes digitales ou d’autres techniques, selon qu’il convient. Lorsqu’ils mettent en œuvre cette obligation, les fournisseurs devraient également tenir compte des spécificités et des limites des différents types de contenu, ainsi que des évolutions technologiques et du marché pertinentes dans le domaine, tels qu’elles ressortent de l’état de la technique généralement reconnu. Ces techniques et méthodes peuvent être mises en œuvre au niveau du système d’IA ou au niveau du modèle d’IA, y compris pour les modèles d’IA à usage général qui génèrent du contenu, ce qui facilitera l’accomplissement de cette obligation par le fournisseur en aval du système d’IA. Dans un souci de proportionnalité, il convient d’envisager que cette obligation de marquage ne s’applique pas aux systèmes d’IA qui remplissent une fonction d’assistance pour la mise en forme standard ou les systèmes d’IA qui ne modifient pas de manière substantielle les données d’entrée fournies par le déployeur ou leur sémantique.
(133)
Eine Vielzahl von KI-Systemen kann große Mengen synthetischer Inhalte erzeugen, bei denen es für Menschen immer schwieriger wird, sie vom Menschen erzeugten und authentischen Inhalten zu unterscheiden. Die breite Verfügbarkeit und die zunehmenden Fähigkeiten dieser Systeme wirken sich erheblich auf die Integrität des Informationsökosystems und das ihm entgegengebrachte Vertrauen aus, weil neue Risiken in Bezug auf Fehlinformation und Manipulation in großem Maßstab, Betrug, Identitätsbetrug und Täuschung der Verbraucher entstehen. Angesichts dieser Auswirkungen, des raschen Tempos im Technologiebereich und der Notwendigkeit neuer Methoden und Techniken zur Rückverfolgung der Herkunft von Informationen sollten die Anbieter dieser Systeme verpflichtet werden, technische Lösungen zu integrieren, die die Kennzeichnung in einem maschinenlesbaren Format und die Feststellung ermöglichen, dass die Ausgabe von einem KI-System und nicht von einem Menschen erzeugt oder manipuliert wurde. Diese Techniken und Methoden sollten — soweit technisch möglich — hinreichend zuverlässig, interoperabel, wirksam und belastbar sein, wobei verfügbare Techniken, wie Wasserzeichen, Metadatenidentifizierungen, kryptografische Methoden zum Nachweis der Herkunft und Authentizität des Inhalts, Protokollierungsmethoden, Fingerabdrücke oder andere Techniken, oder eine Kombination solcher Techniken je nach Sachlage zu berücksichtigen sind. Bei der Umsetzung dieser Pflicht sollten die Anbieter auch die Besonderheiten und Einschränkungen der verschiedenen Arten von Inhalten und die einschlägigen technologischen Entwicklungen und Marktentwicklungen in diesem Bereich, die dem allgemein anerkannten Stand der Technik entsprechen, berücksichtigen. Solche Techniken und Methoden können auf der Ebene des KI-Systems oder der Ebene des KI-Modells, darunter KI-Modelle mit allgemeinem Verwendungszweck zur Erzeugung von Inhalten, angewandt werden, wodurch dem nachgelagerten Anbieter des KI-Systems die Erfüllung dieser Pflicht erleichtert wird. Um die Verhältnismäßigkeit zu wahren, sollte vorgesehen werden, dass diese Kennzeichnungspflicht weder für KI-Systeme, die in erster Linie eine unterstützende Funktion für die Standardbearbeitung ausführen, noch für KI-Systeme, die die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern, gilt.
(134)
Outre les solutions techniques utilisées par les fournisseurs du système, les déployeurs qui se servent d’un système d’IA pour générer ou manipuler des images ou des contenus audio ou vidéo présentant une ressemblance sensible avec des personnes, des objets, des lieux, des entités ou des événements existants et pouvant être perçu à tort par une personne comme authentiques ou véridiques (hypertrucages), devraient aussi déclarer de manière claire et reconnaissable que le contenu a été créé ou manipulé par une IA en étiquetant les sorties d’IA en conséquence et en mentionnant son origine artificielle. Le respect de cette obligation de transparence ne devrait pas être interprété comme indiquant que l’utilisation du système d’IA ou des sorties qu’il génère entrave le droit à la liberté d’expression et le droit à la liberté des arts et des sciences garantis par la Charte, en particulier lorsque le contenu fait partie d’un travail ou d’un programme manifestement créatif, satirique, artistique; de fiction ou analogue, sous réserve de garanties appropriées pour les droits et libertés de tiers. Dans ces cas, l’obligation de transparence s’appliquant aux hypertrucages au titre du présent règlement se limite à la divulgation de l’existence de tels contenus générés ou manipulés, d’une manière appropriée qui n’entrave pas l’affichage ou la jouissance de l’œuvre, y compris son exploitation et son utilisation normales, tout en préservant l’utilité et la qualité de l’œuvre. En outre, il convient d’envisager une obligation d’information similaire en ce qui concerne le texte généré ou manipulé par l’IA dans la mesure où celui-ci est publié dans le but d’informer le public sur des questions d’intérêt public, à moins que le contenu généré par l’IA n’ait fait l’objet d’un processus d’examen humain ou de contrôle éditorial et qu’une personne physique ou morale assume la responsabilité éditoriale pour la publication du contenu.
(134)
Neben den technischen Lösungen, die von den Anbietern von KI-Systemen eingesetzt werden, sollten Betreiber, die ein KI-System zum Erzeugen oder Manipulieren von Bild-, Audio- oder Videoinhalte verwenden, die wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen merklich ähneln und einer Person fälschlicherweise echt oder wahr erscheinen würden (Deepfakes), auch klar und deutlich offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden, indem sie die Ausgaben von KI entsprechend kennzeichnen und auf ihren künstlichen Ursprung hinweisen. Die Einhaltung dieser Transparenzpflicht sollte nicht so ausgelegt werden, dass sie darauf hindeutet, dass die Verwendung des KI-Systems oder seiner Ausgabe das Recht auf freie Meinungsäußerung und das Recht auf Freiheit der Kunst und Wissenschaft, die in der Charta garantiert sind, behindern, insbesondere wenn der Inhalt Teil eines offensichtlich kreativen, satirischen, künstlerischen, fiktionalen oder analogen Werks oder Programms ist und geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen. In diesen Fällen beschränkt sich die in dieser Verordnung festgelegte Transparenzpflicht für Deepfakes darauf, das Vorhandenseins solcher erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks, einschließlich seiner normalen Nutzung und Verwendung, nicht beeinträchtigt und gleichzeitig den Nutzen und die Qualität des Werks aufrechterhält. Darüber hinaus ist es angezeigt, eine ähnliche Offenlegungspflicht in Bezug auf durch KI erzeugte oder manipulierte Texte anzustreben, soweit diese veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, es sei denn, die durch KI erzeugten Inhalte wurden einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen und eine natürliche oder juristische Person trägt die redaktionelle Verantwortung für die Veröffentlichung der Inhalte.
(135)
Sans préjudice de la nature obligatoire et de la pleine applicabilité des obligations de transparence, la Commission peut également encourager et faciliter l’élaboration de codes de bonne pratique au niveau de l’Union afin de faciliter la mise en œuvre effective des obligations relatives à la détection et à l’étiquetage des contenus générés ou manipulés par une IA, y compris pour favoriser des modalités pratiques visant, selon qu’il convient, à rendre les mécanismes de détection accessibles et à faciliter la coopération avec d’autres acteurs tout au long de la chaîne de valeur, à diffuser les contenus ou à vérifier leur authenticité et leur provenance pour permettre au public de reconnaître efficacement les contenus générés par l’IA.
(135)
Unbeschadet des verbindlichen Charakters und der uneingeschränkten Anwendbarkeit der Transparenzpflichten kann die Kommission zudem die Ausarbeitung von Praxisleitfäden auf Unionsebene im Hinblick auf die Ermöglichung der wirksamen Umsetzung der Pflichten in Bezug auf die Feststellung und Kennzeichnung künstlich erzeugter oder manipulierter Inhalte erleichtern und fördern, auch um praktische Vorkehrungen zu unterstützen, mit denen gegebenenfalls die Feststellungsmechanismen zugänglich gemacht werden, die Zusammenarbeit mit anderen Akteuren entlang der Wertschöpfungskette erleichtert wird und Inhalte verbreitet oder ihre Echtheit und Herkunft überprüft werden, damit die Öffentlichkeit durch KI erzeugte Inhalte wirksam erkennen kann.
(136)
Les obligations incombant aux fournisseurs et aux déployeurs de certains systèmes d’IA au titre du présent règlement afin de permettre la détection et la mention du fait que les sorties de ces systèmes sont générées ou manipulées par une IA revêtent une importance particulière pour faciliter la mise en œuvre effective du règlement (UE) 2022/2065. Cela vaut en particulier pour les obligations incombant aux fournisseurs de très grandes plateformes en ligne ou de très grands moteurs de recherche en ligne consistant à recenser et à atténuer les risques systémiques susceptibles de découler de la diffusion de contenus qui ont été générés ou manipulés par une IA, en particulier le risque d’effets négatifs réels ou prévisibles sur les processus démocratiques, le débat public et les processus électoraux, notamment par le biais de la désinformation. L’exigence relative à l’étiquetage des contenus générés par des systèmes d’IA au titre du présent règlement est sans préjudice de l’obligation prévue à l’article 16, paragraphe 6, du règlement (UE) 2022/2065 imposant aux fournisseurs de services d’hébergement de traiter les signalements de contenus illégaux qu’ils reçoivent au titre de l’article 16, paragraphe 1, dudit règlement, et elle ne devrait pas influencer l’évaluation et la décision quant à l’illégalité du contenu en question. Cette évaluation ne devrait être effectuée qu’au regard des règles régissant la légalité du contenu.
(136)
Die Pflichten, die Anbietern und Betreibern bestimmter KI-Systeme mit dieser Verordnung auferlegt werden, die Feststellung und Offenlegung zu ermöglichen, dass die Ausgaben dieser Systeme künstlich erzeugt oder manipuliert werden, sind von besonderer Bedeutung für die Erleichterung der wirksamen Umsetzung der Verordnung (EU) 2022/2065. Dies gilt insbesondere für die Pflicht der Anbieter sehr großer Online-Plattformen oder sehr großer Online-Suchmaschinen, systemische Risiken zu ermitteln und zu mindern, die aus der Verbreitung von künstlich erzeugten oder manipulierten Inhalten entstehen können, insbesondere das Risiko tatsächlicher oder vorhersehbarer negativer Auswirkungen auf demokratische Prozesse, den gesellschaftlichen Diskurs und Wahlprozesse, unter anderem durch Desinformation. Die Anforderung gemäß dieser Verordnung, durch KI-Systeme erzeugte Inhalte zu kennzeichnen, berührt nicht die Pflicht in Artikel 16 Absatz 6 der Verordnung (EU) 2022/2065 für Anbieter von Hostingdiensten, gemäß Artikel 16 Absatz 1 der genannten Verordnung eingegangene Meldungen über illegale Inhalte zu bearbeiten, und sollte nicht die Beurteilung der Rechtswidrigkeit der betreffenden Inhalte und die Entscheidung darüber beeinflussen. Diese Beurteilung sollte ausschließlich anhand der Vorschriften für die Rechtmäßigkeit der Inhalte vorgenommen werden.
(137)
Le respect des obligations de transparence applicables aux systèmes d’IA relevant du présent règlement ne devrait pas être interprété comme indiquant que l’utilisation du système d’IA ou de ses sorties est licite en vertu du présent règlement ou d’autres actes législatifs de l’Union et des États membres et devrait être sans préjudice d’autres obligations de transparence pour les déployeurs de systèmes d’IA prévues par le droit de l’Union ou le droit national.
(137)
Die Einhaltung der Transparenzpflichten für die von dieser Verordnung erfassten KI-Systeme sollte nicht als Hinweis darauf ausgelegt werden, dass die Verwendung des KI-Systems oder seiner Ausgabe nach dieser Verordnung oder anderen Rechtsvorschriften der Union und der Mitgliedstaaten rechtmäßig ist, und sollte andere Transparenzpflichten für Betreiber von KI-Systemen, die im Unionsrecht oder im nationalen Recht festgelegt sind, unberührt lassen.
(138)
L’IA est une famille de technologies en évolution rapide qui nécessite la mise en place d’un contrôle réglementaire et d’un espace sûr et contrôlé pour l’expérimentation, garantissant également une innovation responsable et l’intégration de garanties et de mesures d’atténuation des risques appropriées. Pour garantir un cadre juridique favorable à l’innovation, à l’épreuve du temps et résilient face aux perturbations, les États membres devraient veiller à ce que leurs autorités nationales compétentes mettent en place au moins un bac à sable réglementaire de l’IA au niveau national pour faciliter le développement et la mise à l’essai de systèmes d’IA innovants sous un contrôle réglementaire strict avant que ces systèmes ne soient mis sur le marché ou mis en service d’une autre manière. Les États membres pourraient également satisfaire à cette obligation en participant à des bacs à sable réglementaires déjà existants ou en établissant conjointement un bac à sable avec les autorités compétentes d’un ou de plusieurs États membres, pour autant que cette participation offre un niveau de couverture nationale équivalent pour les États membres participants. Les bacs à sable réglementaires de l’IA pourraient être mis en place sous forme physique, numérique ou hybride et admettre des produits tant physiques que numériques. Les autorités chargées de les mettre en place devraient également veiller à ce que les bacs à sable réglementaires de l’IA disposent des ressources appropriées pour assurer leur fonctionnement, y compris les ressources financières et humaines.
(138)
KI bezeichnet eine Reihe sich rasch entwickelnder Technologien, die eine Regulierungsaufsicht und einen sicheren und kontrollierten Raum für die Erprobung erfordern, wobei gleichzeitig eine verantwortungsvolle Innovation und die Integration geeigneter Schutzvorkehrungen und Risikominderungsmaßnahmen gewährleistet werden müssen. Um einen innovationsfördernden, zukunftssicheren und gegenüber Störungen widerstandsfähigen Rechtsrahmen sicherzustellen, sollten die Mitgliedstaaten sicherstellen, dass ihre zuständigen nationalen Behörden mindestens ein KI-Reallabor auf nationaler Ebene einrichten, um die Entwicklung und die Erprobung innovativer KI-Systeme vor deren Inverkehrbringen oder anderweitiger Inbetriebnahme unter strenger Regulierungsaufsicht zu erleichtern. Die Mitgliedstaaten könnten diese Pflicht auch erfüllen, indem sie sich an bereits bestehenden Reallaboren beteiligen oder ein Reallabor mit den zuständigen Behörden eines oder mehrerer Mitgliedstaaten gemeinsam einrichten, insoweit diese Beteiligung eine gleichwertige nationale Abdeckung für die teilnehmenden Mitgliedstaaten bietet. KI-Reallabore könnten in physischer, digitaler oder Hybrid-Form eingerichtet werden, und sie können physische sowie digitale Produkte umfassen. Die einrichtenden Behörden sollten ferner sicherstellen, dass die KI-Reallabore über angemessene Ressourcen für ihre Aufgaben, einschließlich finanzieller und personeller Ressourcen, verfügen.
(139)
Les bacs à sable réglementaires de l’IA devraient avoir pour objectif de favoriser l’innovation dans le domaine de l’IA en créant un environnement contrôlé d’expérimentation et d’essai au stade du développement et de la précommercialisation afin de garantir la conformité des systèmes d’IA innovants avec le présent règlement et d’autres dispositions pertinentes du droit de l’Union et du droit national. De plus, les bacs à sable réglementaires de l’IA devraient viser à renforcer la sécurité juridique pour les innovateurs ainsi que le contrôle et la compréhension, par les autorités compétentes, des possibilités, des risques émergents et des conséquences de l’utilisation de l’IA, de faciliter l’apprentissage réglementaire pour les autorités et les entreprises, y compris en vue d’ajustements futurs du cadre juridique, de soutenir la coopération et l’échange de bonnes pratiques avec les autorités participant au bac à sable réglementaire de l’IA, et d’accélérer l’accès aux marchés, notamment en supprimant les obstacles pour les PME, y compris les jeunes pousses. Les bacs à sable réglementaires de l’IA devraient être largement disponibles dans toute l’Union, et il convient de prêter une attention particulière à leur accessibilité pour les PME, y compris les jeunes pousses. La participation au bac à sable réglementaire de l’IA devrait se concentrer sur les questions qui créent une insécurité juridique pour les fournisseurs et les fournisseurs potentiels avant d’innover, d’expérimenter l’IA dans l’Union et de contribuer à un apprentissage réglementaire fondé sur des données probantes. La surveillance des systèmes d’IA dans le bac à sable réglementaire de l’IA devrait donc porter sur leur développement, leur entraînement, leur mise à l’essai et leur validation avant que les systèmes ne soient mis sur le marché ou mis en service, ainsi que sur la notion et la survenance de modifications substantielles susceptibles de nécessiter une nouvelle procédure d’évaluation de la conformité. Tout risque important recensé lors du développement et de la mise à l’essai de ces systèmes d’IA devrait donner lieu à des mesures d’atténuation adéquates et, à défaut, à la suspension du processus de développement et d’essai. Au besoin, les autorités nationales compétentes mettant en place des bacs à sable réglementaires de l’IA devraient coopérer avec d’autres autorités concernées, y compris celles qui supervisent la protection des droits fondamentaux, et pourraient permettre la participation d’autres acteurs de l’écosystème de l’IA, tels que les organisations nationales ou européennes de normalisation, les organismes notifiés, les installations d’essai et d’expérimentation, les laboratoires de recherche et d’expérimentation, les pôles européens d’innovation numérique, ainsi que les parties prenantes et les organisations de la société civile concernées. Pour assurer une mise en œuvre uniforme dans toute l’Union et des économies d’échelle, il convient d’établir des règles communes pour la mise en place des bacs à sable réglementaires de l’IA ainsi qu’un cadre de coopération entre les autorités compétentes intervenant dans la surveillance des bacs à sable. Les bacs à sable réglementaires de l’IA établis en vertu du présent règlement devraient être sans préjudice d’autres actes législatifs autorisant la création d’autres bacs à sable en vue de garantir le respect de dispositions de droit autres que le présent règlement. Le cas échéant, les autorités compétentes concernées chargées de ces autres bacs à sable réglementaires devraient prendre en considération les avantages de l’utilisation de ces bacs à sable également aux fins d’assurer la conformité des systèmes d’IA avec le présent règlement. Sous réserve d’un accord entre les autorités nationales compétentes et les participants au bac à sable réglementaire de l’IA, il peut également être procédé à des essais en conditions réelles supervisés dans le cadre du bac à sable réglementaire de l’IA.
(139)
Die Ziele der KI-Reallabore sollten in Folgendem bestehen: Innovationen im Bereich KI zu fördern, indem eine kontrollierte Versuchs- und Testumgebung für die Entwicklungsphase und die dem Inverkehrbringen vorgelagerte Phase geschaffen wird, um sicherzustellen, dass die innovativen KI-Systeme mit dieser Verordnung und anderem einschlägigen Unionsrecht und dem nationalen Recht in Einklang stehen. Darüber hinaus sollten die KI-Reallabore darauf abzielen, die Rechtssicherheit für Innovatoren sowie die Aufsicht und das Verständnis der zuständigen Behörden in Bezug auf die Möglichkeiten, neu auftretenden Risiken und Auswirkungen der KI-Nutzung zu verbessern, das regulatorische Lernen für Behörden und Unternehmen zu erleichtern, unter anderem im Hinblick auf künftige Anpassungen des Rechtsrahmens, die Zusammenarbeit und den Austausch bewährter Praktiken mit den an dem KI-Reallabor beteiligten Behörden zu unterstützen und den Marktzugang zu beschleunigen, unter anderem indem Hindernisse für KMU, einschließlich Start-up-Unternehmen, abgebaut werden. KI-Reallabore sollten in der gesamten Union weithin verfügbar sein, und ein besonderes Augenmerk sollte auf ihre Zugänglichkeit für KMU, einschließlich Start-up-Unternehmen, gelegt werden. Die Beteiligung am KI-Reallabor sollte sich auf Fragen konzentrieren, die zu Rechtsunsicherheit für Anbieter und zukünftige Anbieter führen, damit sie Innovationen vornehmen, mit KI in der Union experimentieren und zu evidenzbasiertem regulatorischen Lernen beitragen. Die Beaufsichtigung der KI-Systeme im KI-Reallabor sollte sich daher auf deren Entwicklung, Training, Testen und Validierung vor dem Inverkehrbringen oder der Inbetriebnahme der Systeme sowie auf das Konzept und das Auftreten wesentlicher Änderungen erstrecken, die möglicherweise ein neues Konformitätsbewertungsverfahren erfordern. Alle erheblichen Risiken, die bei der Entwicklung und Erprobung solcher KI-Systeme festgestellt werden, sollten eine angemessene Risikominderung und, in Ermangelung dessen, die Aussetzung des Entwicklungs- und Erprobungsprozesses nach sich ziehen. Gegebenenfalls sollten die zuständigen nationalen Behörden, die KI-Reallabore einrichten, mit anderen einschlägigen Behörden zusammenarbeiten, einschließlich derjenigen, die den Schutz der Grundrechte überwachen, und könnten die Einbeziehung anderer Akteure innerhalb des KI-Ökosystems gestatten, wie etwa nationaler oder europäischer Normungsorganisationen, notifizierter Stellen, Test- und Versuchseinrichtungen, Forschungs- und Versuchslabore, Europäischer Digitaler Innovationszentren und einschlägiger Interessenträger und Organisationen der Zivilgesellschaft. Im Interesse einer unionsweit einheitlichen Umsetzung und der Erzielung von Größenvorteilen ist es angezeigt, dass gemeinsame Vorschriften für die Umsetzung von KI-Reallaboren und ein Rahmen für die Zusammenarbeit zwischen den an der Beaufsichtigung der Reallabore beteiligten Behörden festgelegt werden. KI-Reallabore, die im Rahmen dieser Verordnung eingerichtet werden, sollten anderes Recht, das die Einrichtung anderer Reallabore ermöglicht, unberührt lassen, um die Einhaltung anderen Rechts als dieser Verordnung sicherzustellen. Gegebenenfalls sollten die für diese anderen Reallabore zuständigen Behörden die Vorteile der Nutzung dieser Reallabore auch zum Zweck der Gewährleistung der Konformität der KI-Systeme mit dieser Verordnung berücksichtigen. Im Einvernehmen zwischen den zuständigen nationalen Behörden und den am KI-Reallabor Beteiligten können Tests unter Realbedingungen auch im Rahmen des KI-Reallabors durchgeführt und beaufsichtigt werden.
(140)
Le présent règlement devrait constituer la base juridique pour l’utilisation, par les fournisseurs et fournisseurs potentiels du bac à sable réglementaire de l’IA, des données à caractère personnel collectées à d’autres fins pour le développement de certains systèmes d’IA d’intérêt public dans le cadre du bac à sable réglementaire de l’IA, uniquement dans des conditions déterminées, conformément à l’article 6, paragraphe 4, et à l’article 9, paragraphe 2, point g), du règlement (UE) 2016/679 et aux articles 5, 6 et 10 du règlement (UE) 2018/1725, et sans préjudice de l’article 4, paragraphe 2, et de l’article 10 de la directive (UE) 2016/680. Toutes les autres obligations des responsables du traitement et tous les autres droits des personnes concernées en vertu des règlements (UE) 2016/679 et (UE) 2018/1725 et de la directive (UE) 2016/680 restent applicables. En particulier, le présent règlement ne devrait pas constituer une base juridique au sens de l’article 22, paragraphe 2, point b), du règlement (UE) 2016/679 et de l’article 24, paragraphe 2, point b), du règlement (UE) 2018/1725. Les fournisseurs et fournisseurs potentiels participant au bac à sable réglementaire de l’IA devraient prévoir des garanties appropriées et coopérer avec les autorités compétentes, notamment en suivant leurs orientations et en agissant rapidement et de bonne foi pour atténuer adéquatement tout risque important recensé pour la sécurité, la santé et les droits fondamentaux susceptible de survenir au cours du développement, de la mise à l’essai et de l’expérimentation dans ledit bac à sable.
(140)
Die vorliegende Verordnung sollte im Einklang mit Artikel 6 Absatz 4 und Artikel 9 Absatz 2 Buchstabe g der Verordnung (EU) 2016/679 und den Artikeln 5, 6 und 10 der Verordnung (EU) 2018/1725 sowie unbeschadet des Artikels 4 Absatz 2 und des Artikels 10 der Richtlinie (EU) 2016/680 die Rechtsgrundlage für die Verwendung — ausschließlich unter bestimmten Bedingungen — personenbezogener Daten, die für andere Zwecke erhoben wurden, zur Entwicklung bestimmter KI-Systeme im öffentlichen Interesse innerhalb des KI-Reallabors durch die Anbieter und zukünftigen Anbieter im KI-Reallabor bilden. Alle anderen Pflichten von Verantwortlichen und Rechte betroffener Personen im Rahmen der Verordnungen (EU) 2016/679 und (EU) 2018/1725 und der Richtlinie (EU) 2016/680 gelten weiterhin. Insbesondere sollte diese Verordnung keine Rechtsgrundlage im Sinne des Artikels 22 Absatz 2 Buchstabe b der Verordnung (EU) 2016/679 und des Artikels 24 Absatz 2 Buchstabe b der Verordnung (EU) 2018/1725 bilden. Anbieter und zukünftige Anbieter im KI-Reallabor sollten angemessene Schutzvorkehrungen treffen und mit den zuständigen Behörden zusammenarbeiten, unter anderem indem sie deren Anleitung folgen und zügig und nach Treu und Glauben handeln, um etwaige erhebliche Risiken für die Sicherheit, die Gesundheit und die Grundrechte, die bei der Entwicklung, bei der Erprobung und bei Versuchen in diesem Reallabor auftreten können, zu mindern.
(141)
Afin d’accélérer le processus de développement et la mise sur le marché des systèmes d’IA à haut risque énumérés dans une annexe du présent règlement, il importe que les fournisseurs ou fournisseurs potentiels de ces systèmes puissent également bénéficier d’un régime particulier pour soumettre ces systèmes à des essais en conditions réelles sans participer à un bac à sable réglementaire de l’IA. Toutefois, dans de tels cas, compte tenu des conséquences possibles de ces essais sur des personnes physiques, il convient de veiller à ce que le présent règlement introduise des garanties et des conditions appropriées et suffisantes pour les fournisseurs ou fournisseurs potentiels. Ces garanties devraient comprendre, entre autres, une demande de consentement éclairé de la part des personnes physiques pour participer à des essais en conditions réelles, sauf en ce qui concerne les services répressifs lorsque la recherche d’un consentement éclairé empêcherait que le système d’IA ne soit mis à l’essai. Le consentement des participants à la participation à ces essais au titre du présent règlement est distinct et sans préjudice du consentement des personnes concernées au traitement de leurs données à caractère personnel en vertu de la législation applicable en matière de protection des données. Il importe également important de réduire les risques au minimum et de permettre aux autorités compétentes d’exercer un contrôle et, par conséquent, d’exiger des fournisseurs potentiels qu’ils disposent d’un plan d’essais en conditions réelles présenté à l’autorité de surveillance du marché compétente, d’enregistrer les essais dans des sections spécifiques de la base de données de l’UE, sous réserve de quelques exceptions limitées, de fixer des limitations de la période pendant laquelle les essais peuvent être menés et d’exiger des garanties supplémentaires pour les personnes appartenant à certains groupes vulnérables, ainsi qu’un accord écrit définissant les rôles et les responsabilités des fournisseurs potentiels et des déployeurs et établissant un contrôle effectif par le personnel compétent participant aux essais en conditions réelles. En outre, il convient d’envisager des garanties supplémentaires pour veiller à ce que les prédictions, recommandations ou décisions d’un système d’IA puissent être infirmées et ignorées de manière effective et à ce que les données à caractère personnel soient protégées et supprimées lorsque les personnes concernées ont retiré leur consentement à participer aux essais, sans qu’il soit porté atteinte aux droits dont elles disposent en tant que personnes concernées en vertu du droit de l’Union en matière de protection des données. En ce qui concerne le transfert de données, il convient en outre d’envisager que les données collectées et traitées aux fins des essais en conditions réelles ne soient transférées vers des pays tiers que lorsque des garanties appropriées et applicables en vertu du droit de l’Union sont en place, en particulier conformément aux bases pour le transfert de données à caractère personnel prévues par le droit de l’Union en matière de protection des données, et que des garanties appropriées soient mises en place pour les données à caractère non personnel conformément au droit de l’Union, notamment les règlements (UE) 2022/868 (42) et (UE) 2023/2854 (43) du Parlement européen et du Conseil.
(141)
Um den Prozess der Entwicklung und des Inverkehrbringens der in einem Anhang dieser Verordnung aufgeführten Hochrisiko-KI-Systeme zu beschleunigen, ist es wichtig, dass Anbieter oder zukünftige Anbieter solcher Systeme auch von einer spezifischen Regelung für das Testen dieser Systeme unter Realbedingungen profitieren können, ohne sich an einem KI-Reallabor zu beteiligen. In solchen Fällen, unter Berücksichtigung der möglichen Folgen solcher Tests für Einzelpersonen, sollte jedoch sichergestellt werden, dass mit dieser Verordnung angemessene und ausreichende Garantien und Bedingungen für Anbieter oder zukünftige Anbieter eingeführt werden. Diese Garantien sollten unter anderem die Einholung der informierten Einwilligung natürlicher Personen in die Beteiligung an Tests unter Realbedingungen umfassen, mit Ausnahme der Strafverfolgung, wenn die Einholung der informierten Einwilligung verhindern würde, dass das KI-System getestet wird. Die Einwilligung der Testteilnehmer zur Teilnahme an solchen Tests im Rahmen dieser Verordnung unterscheidet sich von der Einwilligung betroffener Personen in die Verarbeitung ihrer personenbezogenen Daten nach den einschlägigen Datenschutzvorschriften und greift dieser nicht vor. Ferner ist es wichtig, die Risiken zu minimieren und die Aufsicht durch die zuständigen Behörden zu ermöglichen und daher von zukünftigen Anbietern zu verlangen, dass sie der zuständigen Marktüberwachungsbehörde einen Plan für einen Test unter Realbedingungen vorgelegt haben, die Tests — vorbehaltlich einiger begrenzter Ausnahmen — in den dafür vorgesehenen Abschnitten der EU-Datenbank zu registrieren, den Zeitraum zu begrenzen, in dem die Tests durchgeführt werden können, und zusätzliche Schutzmaßnahmen für Personen, die schutzbedürftigen Gruppen angehören, sowie eine schriftliche Einwilligung mit der Festlegung der Aufgaben und Zuständigkeiten der zukünftigen Anbieter und der Betreiber und eine wirksame Aufsicht durch zuständiges Personal, das an den Tests unter Realbedingungen beteiligt ist, zu verlangen. Darüber hinaus ist es angezeigt, zusätzliche Schutzmaßnahmen vorzusehen, um sicherzustellen, dass die Vorhersagen, Empfehlungen oder Entscheidungen des KI-Systems effektiv rückgängig gemacht und missachtet werden können, und dass personenbezogene Daten geschützt sind und gelöscht werden, wenn die Testteilnehmer ihre Einwilligung zur Teilnahme an den Tests widerrufen haben, und zwar unbeschadet ihrer Rechte als betroffene Personen nach dem Datenschutzrecht der Union. Was die Datenübermittlung betrifft, so ist es angezeigt vorzusehen, dass Daten, die zum Zweck von Tests unter Realbedingungen erhoben und verarbeitet wurden, nur dann an Drittstaaten übermittelt werden sollten, wenn angemessene und anwendbare Schutzmaßnahmen nach dem Unionsrecht umgesetzt wurden, insbesondere im Einklang mit den Grundlagen für die Übermittlung personenbezogener Daten nach dem Datenschutzrecht der Union, während für nicht personenbezogene Daten angemessene Schutzmaßnahmen im Einklang mit dem Unionsrecht, z. B. den Verordnungen (EU) 2022/868 (42) und (EU) 2023/2854 (43) des Europäischen Parlaments und des Rates eingerichtet wurden.
(142)
Afin de veiller à ce que l’IA engendre des résultats bénéfiques sur le plan social et environnemental, les États membres sont encouragés à soutenir et à promouvoir la recherche et le développement de solutions d’IA propices à tels résultats, telles que des solutions fondées sur l’IA destinées à renforcer l’accessibilité pour les personnes handicapées, à réduire les inégalités socio-économiques ou à atteindre les objectifs environnementaux, en y affectant des ressources suffisantes, y compris des financements publics et de l’Union, et, lorsqu’il convient et pour autant que les critères d’éligibilité et de sélection soient remplis, en envisageant des projets spécifiques qui poursuivent ces objectifs. Ces projets devraient être fondés sur le principe d’une coopération interdisciplinaire entre les développeurs d’IA, les experts en matière d’inégalité et de non-discrimination, d’accessibilité, de droits des consommateurs, de droits environnementaux et numériques, ainsi que les universitaires.
(142)
Um sicherzustellen, dass KI zu sozial und ökologisch vorteilhaften Ergebnissen führt, werden die Mitgliedstaaten ermutigt, Forschung und Entwicklung zu KI-Lösungen, die zu sozial und ökologisch vorteilhaften Ergebnissen beitragen, zu unterstützen und zu fördern, wie KI-gestützte Lösungen für mehr Barrierefreiheit für Personen mit Behinderungen, zur Bekämpfung sozioökonomischer Ungleichheiten oder zur Erreichung von Umweltzielen, indem ausreichend Ressourcen — einschließlich öffentlicher Mittel und Unionsmittel — bereitgestellt werden, und — soweit angebracht und sofern die Voraussetzungen und Zulassungskriterien erfüllt sind — insbesondere unter Berücksichtigung von Projekten, mit denen diese Ziele verfolgt werden. Diese Projekte sollten auf dem Grundsatz der interdisziplinären Zusammenarbeit zwischen KI-Entwicklern, Sachverständigen in den Bereichen Gleichstellung und Nichtdiskriminierung, Barrierefreiheit und Verbraucher-, Umwelt- und digitale Rechte sowie Wissenschaftlern beruhen.
(143)
Afin de promouvoir et de protéger l’innovation, il est important que les intérêts des PME, y compris les jeunes pousses, qui sont des fournisseurs ou des déployeurs de systèmes d’IA bénéficient d’une attention particulière. À cette fin, les États membres devraient prendre des initiatives à l’intention de ces opérateurs, notamment en matière de sensibilisation et de communication d’informations. Les États membres devraient fournir aux PME, y compris les jeunes pousses, qui ont leur siège social ou une succursale dans l’Union un accès prioritaire aux bacs à sable réglementaires de l’IA, à condition qu’elles remplissent les conditions d’éligibilité et les critères de sélection et sans exclure que d’autres fournisseurs et fournisseurs potentiels accèdent aux bacs à sable pour autant que les mêmes conditions et critères soient remplis. Les États membres devraient utiliser les canaux de communication existants, et en établissent de nouveaux s’il y a lieu, avec les PME, y compris les jeunes pousses, les déployeurs, d’autres innovateurs et, le cas échéant, les autorités publiques locales afin de soutenir les PME tout au long de leur trajectoire de développement en leur fournissant des orientations et en répondant à leurs questions concernant la mise en œuvre du présent règlement. Le cas échéant, ces canaux devraient collaborer pour créer des synergies et assurer la cohérence des orientations fournies aux PME, y compris les jeunes pousses, et aux déployeurs. En outre, les États membres devraient faciliter la participation des PME et d’autres parties concernées aux processus d’élaboration de la normalisation. Par ailleurs, les intérêts et les besoins spécifiques des fournisseurs qui sont des PME, y compris des jeunes pousses, devraient être pris en considération lorsque les organismes notifiés fixent les redevances d’évaluation de la conformité. La Commission devrait évaluer régulièrement les coûts de certification et de mise en conformité pour les PME, y compris les jeunes pousses, en menant des consultations transparentes, et devrait collaborer avec les États membres pour réduire ces coûts. Par exemple, les frais de traduction liés à la documentation obligatoire et à la communication avec les autorités peuvent représenter un coût important pour les fournisseurs et d’autres opérateurs, en particulier pour ceux de plus petite envergure. Les États membres devraient éventuellement veiller à ce qu’une des langues qu’ils choisissent et acceptent pour la documentation pertinente des fournisseurs et pour la communication avec les opérateurs soit une langue comprise par le plus grand nombre possible de déployeurs transfrontières. Afin de répondre aux besoins spécifiques des PME, y compris les jeunes pousses, la Commission devrait fournir des modèles normalisés pour les domaines qui relèvent du présent règlement, sur demande du Comité IA. En outre, la Commission devrait compléter les efforts déployés par les États membres en mettant en place une plateforme d’information unique présentant des informations facilement exploitables concernant le présent règlement à l’intention de tous les fournisseurs et déployeurs, en organisant des campagnes de communication appropriées pour faire connaître les obligations découlant du présent règlement, et en évaluant et en promouvant la convergence des bonnes pratiques dans les procédures de passation de marchés publics relatifs aux systèmes d’IA. Les entreprises qui jusqu’à récemment relevaient des «petites entreprises» au sens de l’annexe à la recommandation 2003/361/CE de la Commission (44) devraient avoir accès à ces mesures de soutien, étant donné que ces nouvelles moyennes entreprises peuvent parfois manquer des ressources juridiques et de la formation nécessaires pour avoir une bonne compréhension du présent règlement et en respecter les dispositions.
(143)
Um Innovationen zu fördern und zu schützen, ist es wichtig, die Interessen von KMU, einschließlich Start-up-Unternehmen, die Anbieter und Betreiber von KI-Systemen sind, besonders zu berücksichtigen. Zu diesem Zweck sollten die Mitgliedstaaten Initiativen ergreifen, die sich an diese Akteure richten, darunter auch Sensibilisierungs- und Informationsmaßnahmen. Die Mitgliedstaaten sollten KMU, einschließlich Start-up-Unternehmen, die ihren Sitz oder eine Zweigniederlassung in der Union haben, vorrangigen Zugang zu den KI-Reallaboren gewähren, soweit sie die Voraussetzungen und Zulassungskriterien erfüllen und ohne andere Anbieter und zukünftige Anbieter am Zugang zu den Reallaboren zu hindern, sofern die gleichen Voraussetzungen und Kriterien erfüllt sind. Die Mitgliedstaaten sollten bestehende Kanäle nutzen und gegebenenfalls neue Kanäle für die Kommunikation mit KMU, einschließlich Start-up-Unternehmen, Betreibern, anderen Innovatoren und gegebenenfalls Behörden einrichten, um KMU auf ihrem gesamten Entwicklungsweg zu unterstützen, indem sie ihnen Orientierungshilfe bieten und Fragen zur Durchführung dieser Verordnung beantworten. Diese Kanäle sollten gegebenenfalls zusammenarbeiten, um Synergien zu schaffen und eine Homogenität ihrer Leitlinien für KMU, einschließlich Start-up-Unternehmen, und Betreiber sicherzustellen. Darüber hinaus sollten die Mitgliedstaaten die Beteiligung von KMU und anderen einschlägigen Interessenträgern an der Entwicklung von Normen fördern. Außerdem sollten die besonderen Interessen und Bedürfnisse von Anbietern, die KMU, einschließlich Start-up-Unternehmen, sind, bei der Festlegung der Gebühren für die Konformitätsbewertung durch die notifizierten Stellen berücksichtigt werden. Die Kommission sollte regelmäßig die Zertifizierungs- und Befolgungskosten für KMU, einschließlich Start-up-Unternehmen, durch transparente Konsultationen bewerten, und sie sollte mit den Mitgliedstaaten zusammenarbeiten, um diese Kosten zu senken. So können beispielsweise Übersetzungen im Zusammenhang mit der verpflichtenden Dokumentation und Kommunikation mit Behörden für Anbieter und andere Akteure, insbesondere die kleineren unter ihnen, erhebliche Kosten verursachen. Die Mitgliedstaaten sollten möglichst dafür sorgen, dass eine der Sprachen, die sie für die einschlägige Dokumentation der Anbieter und für die Kommunikation mit den Akteuren bestimmen und akzeptieren, eine Sprache ist, die von der größtmöglichen Zahl grenzüberschreitender Betreiber weitgehend verstanden wird. Um den besonderen Bedürfnissen von KMU, einschließlich Start-up-Unternehmen, gerecht zu werden, sollte die Kommission auf Ersuchen des KI-Gremiums standardisierte Vorlagen für die unter diese Verordnung fallenden Bereiche bereitstellen. Ferner sollte die Kommission die Bemühungen der Mitgliedstaaten ergänzen, indem sie eine zentrale Informationsplattform mit leicht nutzbaren Informationen über diese Verordnung für alle Anbieter und Betreiber bereitstellt, indem sie angemessene Informationskampagnen durchführt, um für die aus dieser Verordnung erwachsenden Pflichten zu sensibilisieren, und indem sie die Konvergenz bewährter Praktiken bei Vergabeverfahren im Zusammenhang mit KI-Systemen bewertet und fördert. Mittlere Unternehmen, die bis vor kurzem als kleine Unternehmen im Sinne des Anhangs der Empfehlung 2003/361/EG der Kommission (44) galten, sollten Zugang zu diesen Unterstützungsmaßnahmen haben, da diese neuen mittleren Unternehmen mitunter nicht über die erforderlichen rechtlichen Ressourcen und Ausbildung verfügen, um ein ordnungsgemäßes Verständnis und eine entsprechende Einhaltung dieser Verordnung zu gewährleisten.
(144)
Afin de promouvoir et de protéger l’innovation, la plateforme d’IA à la demande, ainsi que l’ensemble des programmes et projets de financement pertinents de l’Union, tels que le programme pour une Europe numérique et Horizon Europe, mis en œuvre par la Commission et les États membres au niveau national ou de l’Union, selon qu’il convient, devraient contribuer à la réalisation des objectifs du présent règlement.
(144)
Um Innovationen zu fördern und zu schützen, sollten die Plattform für KI auf Abruf, alle einschlägigen Finanzierungsprogramme und -projekte der Union, wie etwa das Programm „Digitales Europa“ und Horizont Europa, die von der Kommission und den Mitgliedstaaten auf Unionsebene bzw. auf nationaler Ebene durchgeführt werden, zur Verwirklichung der Ziele dieser Verordnung beitragen.
(145)
Afin de réduire au minimum les risques pour la mise en œuvre résultant du manque de connaissances et d’expertise sur le marché, ainsi que de faciliter la mise en conformité des fournisseurs, en particulier des PME, y compris les jeunes pousses, et des organismes notifiés avec les obligations qui leur incombent au titre du présent règlement, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et les installations d’expérimentation et d’essai mis en place par la Commission et les États membres au niveau de l’Union ou au niveau national devraient contribuer à la mise en œuvre du présent règlement. Dans le cadre de leurs missions et domaines de compétence respectifs, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et les installations d’expérimentation et d’essai sont notamment en mesure d’apporter un soutien technique et scientifique aux fournisseurs et aux organismes notifiés.
(145)
Um die Risiken bei der Umsetzung, die sich aus mangelndem Wissen und fehlenden Fachkenntnissen auf dem Markt ergeben, zu minimieren und den Anbietern, insbesondere KMU, einschließlich Start-up-Unternehmen, und notifizierten Stellen die Einhaltung ihrer Pflichten aus dieser Verordnung zu erleichtern, sollten insbesondere die Plattform für KI auf Abruf, die europäischen Zentren für digitale Innovation und die Test- und Versuchseinrichtungen, die von der Kommission und den Mitgliedstaaten auf Unionsebene bzw. auf nationaler Ebene eingerichtet werden, zur Durchführung dieser Verordnung beitragen. Die Plattform für KI auf Abruf, die europäischen Zentren für digitale Innovation und die Test- und Versuchseinrichtungen können Anbieter und notifizierte Stellen im Rahmen ihres jeweiligen Auftrags und ihrer jeweiligen Kompetenzbereiche insbesondere technisch und wissenschaftlich unterstützen.
(146)
En outre, au vu de la très petite taille de certains opérateurs et afin d’assurer la proportionnalité en ce qui concerne les coûts de l’innovation, il convient de permettre aux microentreprises de satisfaire à l’une des obligations les plus coûteuses, à savoir celle de mettre en place un système de gestion de la qualité, d’une manière simplifiée qui réduirait la charge administrative et les coûts pour ces entreprises sans affecter le niveau de protection et la nécessité de se conformer aux exigences applicables aux systèmes d’IA à haut risque. La Commission devrait élaborer des lignes directrices pour préciser quels éléments du système de gestion de la qualité les microentreprises doivent respecter dans le système simplifié.
(146)
Angesichts der sehr geringen Größe einiger Akteure und um die Verhältnismäßigkeit in Bezug auf die Innovationskosten sicherzustellen, ist es darüber hinaus angezeigt, Kleinstunternehmen zu erlauben, eine der kostspieligsten Pflichten, nämlich die Einführung eines Qualitätsmanagementsystems, in vereinfachter Weise zu erfüllen, was den Verwaltungsaufwand und die Kosten für diese Unternehmen verringern würde, ohne das Schutzniveau und die Notwendigkeit der Einhaltung der Anforderungen für Hochrisiko-KI-Systeme zu beeinträchtigen. Die Kommission sollte Leitlinien ausarbeiten, um die Elemente des Qualitätsmanagementsystems zu bestimmen, die von Kleinstunternehmen auf diese vereinfachte Weise zu erfüllen sind.
(147)
Il convient que la Commission facilite, dans la mesure du possible, l’accès aux installations d’expérimentation et d’essai pour les organismes, groupes ou laboratoires qui ont été créés ou accrédités en vertu d’une législation d’harmonisation de l’Union pertinente et qui accomplissent des tâches dans le cadre de l’évaluation de la conformité des produits ou dispositifs couverts par la législation d’harmonisation de l’Union en question. C’est en particulier le cas en ce qui concerne les groupes d’experts, les laboratoires spécialisés et les laboratoires de référence dans le domaine des dispositifs médicaux conformément aux règlements (UE) 2017/745 et (UE) 2017/746.
(147)
Es ist angezeigt, dass die Kommission den Stellen, Gruppen oder Laboratorien, die gemäß den einschlägigen Harmonisierungsrechtsvorschriften der Union eingerichtet oder akkreditiert sind und Aufgaben im Zusammenhang mit der Konformitätsbewertung von Produkten oder Geräten wahrnehmen, die unter diese Harmonisierungsrechtsvorschriften der Union fallen, so weit wie möglich den Zugang zu Test- und Versuchseinrichtungen erleichtert. Dies gilt insbesondere für Expertengremien, Fachlaboratorien und Referenzlaboratorien im Bereich Medizinprodukte gemäß den Verordnungen (EU) 2017/745 und (EU) 2017/746.
(148)
Le présent règlement devrait établir un cadre de gouvernance qui permette à la fois de coordonner et de soutenir l’application du présent règlement au niveau national, ainsi que de renforcer les capacités au niveau de l’Union et d’intégrer les parties prenantes dans le domaine de l’IA. La mise en œuvre et le contrôle de l’application effectifs du présent règlement requièrent un cadre de gouvernance qui permette de coordonner et de renforcer l’expertise centrale au niveau de l’Union. Le Bureau de l’IA a été créé par voie d’une décision de la Commission (45) et a pour mission d’approfondir l’expertise et de renforcer les capacités de l’Union dans le domaine de l’IA ainsi que de contribuer à la mise en œuvre de la législation de l’Union sur l’IA. Les États membres devraient faciliter l’accomplissement des missions du Bureau de l’IA en vue de soutenir le développement de l’expertise de l’Union et des capacités au niveau de l’Union et de renforcer le fonctionnement du marché unique numérique. En outre, il convient d’établir un Comité IA composé de représentants des États membres, un groupe scientifique visant à intégrer la communauté scientifique et un forum consultatif visant à recueillir les contributions des parties concernées en vue de la mise en œuvre du présent règlement, au niveau de l’Union et au niveau national. Le développement de l’expertise et des capacités de l’Union devrait également consister à utiliser les ressources et l’expertise existantes, en particulier grâce à des synergies avec les structures établies dans le contexte de l’application au niveau de l’Union d’autres dispositions législatives et à des synergies avec des initiatives connexes au niveau de l’Union, telles que l’entreprise commune EuroHPC et les installations de mise à l’essai de l’IA et d’expérimentations relevant du programme pour une Europe numérique.
(148)
Mit dieser Verordnung sollte ein Governance-Rahmen geschaffen werden, der sowohl die Koordinierung und Unterstützung der Anwendung dieser Verordnung auf nationaler Ebene als auch den Aufbau von Kapazitäten auf Unionsebene und die Integration von Interessenträgern im Bereich der KI ermöglicht. Für die wirksame Umsetzung und Durchsetzung dieser Verordnung ist ein Governance-Rahmen erforderlich, der es ermöglicht, zentrales Fachwissen auf Unionsebene zu koordinieren und aufzubauen. Per Kommissionbeschluss (45) wurde das Büro für Künstliche Intelligenz errichtet, dessen Aufgabe es ist, Fachwissen und Kapazitäten der Union im Bereich der KI zu entwickeln und zur Umsetzung des Unionsrechts im KI-Bereich beizutragen. Die Mitgliedstaaten sollten die Aufgaben des Büros für Künstliche Intelligenz erleichtern, um die Entwicklung von Fachwissen und Kapazitäten auf Unionsebene zu unterstützen und die Funktionsweise des digitalen Binnenmarkts zu stärken. Darüber hinaus sollten ein aus Vertretern der Mitgliedstaaten zusammengesetztes KI-Gremium, ein wissenschaftliches Gremium zur Integration der Wissenschaftsgemeinschaft und ein Beratungsforum für Beiträge von Interessenträgern zur Durchführung dieser Verordnung auf Unionsebene und auf nationaler Ebene eingerichtet werden. Die Entwicklung von Fachwissen und Kapazitäten der Union sollte auch die Nutzung bestehender Ressourcen und Fachkenntnisse umfassen, insbesondere durch Synergien mit Strukturen, die im Rahmen der Durchsetzung anderen Rechts auf Unionsebene aufgebaut wurden, und Synergien mit einschlägigen Initiativen auf Unionsebene, wie dem Gemeinsamen Unternehmen EuroHPC und den KI-Test- und Versuchseinrichtungen im Rahmen des Programms „Digitales Europa“.
(149)
Afin de faciliter une mise en œuvre aisée, efficace et harmonisée du présent règlement, il convient de créer un Comité IA. Ce Comité IA devrait tenir compte des différents intérêts de l’écosystème de l’IA et être composé de représentants des États membres. Le Comité IA devrait être chargé d’un certain nombre de tâches consultatives, parmi lesquelles la formulation d’avis, de recommandations, de conseils ou la contribution à des orientations sur des questions liées à la mise en œuvre du présent règlement, y compris sur les questions relatives à l’exécution, les spécifications techniques ou les normes existantes concernant les exigences établies dans le présent règlement, et la fourniture de conseils à la Commission et aux États membres ainsi qu’à leurs autorités nationales compétentes sur des questions spécifiques liées à l’IA. Afin d’offrir une certaine souplesse aux États membres dans la désignation de leurs représentants au sein du Comité IA, ces représentants peuvent être toute personne appartenant à des entités publiques qui devraient avoir les compétences et les pouvoirs nécessaires pour faciliter la coordination au niveau national et contribuer à l’accomplissement des tâches du Comité IA. Le Comité IA devrait établir deux sous-groupes permanents chargés de fournir une plateforme de coopération et d’échange entre les autorités de surveillance du marché et les autorités notifiantes sur des questions liées respectivement à la surveillance du marché et aux organismes notifiés. Le sous-groupe permanent pour la surveillance du marché devrait agir au titre de groupe de coopération administrative (ADCO) pour le présent règlement au sens de l’article 30 du règlement (UE) 2019/1020. Conformément à l’article 33 dudit règlement, la Commission devrait apporter son soutien aux activités du sous-groupe permanent en procédant à des évaluations ou à des études du marché, en particulier en vue de recenser les aspects du présent règlement appelant une coordination particulière urgente entre les autorités de surveillance du marché. Le Comité IA peut créer d’autres sous-groupes permanents ou temporaires, s’il y a lieu, afin d’examiner des questions spécifiques. Le Comité IA devrait également coopérer, lorsqu’il y a lieu, avec les organes, groupes d’experts et réseaux compétents de l’Union actifs dans le contexte de dispositions législatives pertinentes de l’Union, notamment ceux qui agissent au titre de la législation applicable de l’Union en matière de données, et de produits et services numériques.
(149)
Um eine reibungslose, wirksame und harmonisierte Durchführung dieser Verordnung zu erleichtern, sollte ein KI-Gremium eingerichtet werden. Das KI-Gremium sollte die verschiedenen Interessen des KI-Ökosystems widerspiegeln und sich aus Vertretern der Mitgliedstaaten zusammensetzen. Das KI-Gremium sollte für eine Reihe von Beratungsaufgaben zuständig sein, einschließlich der Abgabe von Stellungnahmen, Empfehlungen, Ratschlägen oder Beiträgen zu Leitlinien zu Fragen im Zusammenhang mit der Durchführung dieser Verordnung — darunter zu Durchsetzungsfragen, technischen Spezifikationen oder bestehenden Normen in Bezug auf die in dieser Verordnung festgelegten Anforderungen — sowie der Beratung der Kommission und der Mitgliedstaaten und ihrer zuständigen nationalen Behörden in spezifischen Fragen im Zusammenhang mit KI. Um den Mitgliedstaaten eine gewisse Flexibilität bei der Benennung ihrer Vertreter im KI-Gremium zu geben, können diese Vertreter alle Personen sein, die öffentlichen Einrichtungen angehören, die über einschlägige Zuständigkeiten und Befugnisse verfügen sollten, um die Koordinierung auf nationaler Ebene zu erleichtern und zur Erfüllung der Aufgaben des KI-Gremiums beizutragen. Das KI-Gremium sollte zwei ständige Untergruppen einrichten, um Marktüberwachungsbehörden und notifizierenden Behörden für die Zusammenarbeit und den Austausch in Fragen, die die Marktüberwachung bzw. notifizierende Stellen betreffen, eine Plattform zu bieten. Die ständige Untergruppe für Marktüberwachung sollte für diese Verordnung als Gruppe für die Verwaltungszusammenarbeit (ADCO-Gruppe) im Sinne des Artikels 30 der Verordnung (EU) 2019/1020 fungieren. Im Einklang mit Artikel 33 der genannten Verordnung sollte die Kommission die Tätigkeiten der ständigen Untergruppe für Marktüberwachung durch die Durchführung von Marktbewertungen oder -untersuchungen unterstützen, insbesondere im Hinblick auf die Ermittlung von Aspekten dieser Verordnung, die eine spezifische und dringende Koordinierung zwischen den Marktüberwachungsbehörden erfordern. Das KI-Gremium kann weitere ständige oder nichtständige Untergruppen einrichten, falls das für die Prüfung bestimmter Fragen zweckmäßig sein sollte. Das KI-Gremium sollte gegebenenfalls auch mit einschlägigen Einrichtungen, Sachverständigengruppen und Netzwerken der Union zusammenarbeiten, die im Zusammenhang mit dem einschlägigen Unionsrecht tätig sind, einschließlich insbesondere derjenigen, die im Rahmen des einschlägigen Unionsrechts über Daten, digitale Produkte und Dienstleistungen tätig sind.
(150)
En vue d’assurer la participation des parties prenantes à la mise en œuvre et à l’application du présent règlement, il convient d’établir un forum consultatif chargé de conseiller le Comité IA et la Commission et de leur fournir une expertise technique. Afin d’assurer une représentation diversifiée et équilibrée des parties prenantes tenant compte des différents intérêts commerciaux et non commerciaux et, au sein de la catégorie des intérêts commerciaux, eu égard aux PME et autres entreprises, le forum consultatif devrait être composé, entre autres, de représentants du secteur, des jeunes pousses, des PME, du milieu universitaire, de la société civile, y compris les partenaires sociaux, ainsi que de l’Agence des droits fondamentaux, de l’ENISA, du Comité européen de normalisation (CEN), du Comité européen de normalisation électrotechnique (CENELEC) et de l’Institut européen de normalisation des télécommunications (ETSI).
(150)
Im Hinblick auf die Einbeziehung von Interessenträgern in die Umsetzung und Anwendung dieser Verordnung sollte ein Beratungsforum eingerichtet werden, um das KI-Gremium und die Kommission zu beraten und ihnen technisches Fachwissen bereitzustellen. Um eine vielfältige und ausgewogene Vertretung der Interessenträger mit gewerblichen und nicht gewerblichen Interessen und — innerhalb der Kategorie mit gewerblichen Interessen — in Bezug auf KMU und andere Unternehmen zu gewährleisten, sollten in dem Beratungsforum unter anderem die Industrie, Start-up-Unternehmen, KMU, die Wissenschaft, die Zivilgesellschaft, einschließlich der Sozialpartner, sowie die Agentur für Grundrechte, die ENISA, das Europäische Komitee für Normung (CEN), das Europäische Komitee für elektrotechnische Normung (CENELEC) und das Europäische Institut für Telekommunikationsnormen (ETSI) vertreten sein.
(151)
Afin de soutenir la mise en œuvre et le contrôle du respect du présent règlement, en particulier les activités de suivi du Bureau de l’IA concernant les modèles d’IA à usage général, il convient d’établir un groupe scientifique composé d’experts indépendants. Les experts indépendants constituant le groupe scientifique devraient être choisis en fonction de leur expertise à la pointe des connaissances scientifiques ou techniques dans le domaine de l’IA. Ils devraient s’acquitter de leurs tâches avec impartialité et objectivité et veiller à la confidentialité des informations et des données obtenues dans l’exercice de leurs tâches et activités. Afin de permettre le renforcement des capacités nationales nécessaires au contrôle effectif du respect du présent règlement, les États membres devraient être en mesure de solliciter l’aide de la réserve d’experts constituant le groupe scientifique pour leurs activités répressives.
(151)
Zur Unterstützung der Umsetzung und Durchsetzung dieser Verordnung, insbesondere der Beobachtungstätigkeiten des Büros für Künstliche Intelligenz in Bezug auf KI-Modelle mit allgemeinem Verwendungszweck, sollte ein wissenschaftliches Gremium mit unabhängigen Sachverständigen eingerichtet werden. Die unabhängigen Sachverständigen, aus denen sich das wissenschaftliche Gremium zusammensetzt, sollten auf der Grundlage des aktuellen wissenschaftlichen oder technischen Fachwissens im KI-Bereich ausgewählt werden und ihre Aufgaben unparteiisch, objektiv und unter Achtung der Vertraulichkeit der bei der Durchführung ihrer Aufgaben und Tätigkeiten erhaltenen Informationen und Daten ausüben. Um eine Aufstockung der nationalen Kapazitäten, die für die wirksame Durchsetzung dieser Verordnung erforderlich sind, zu ermöglichen, sollten die Mitgliedstaaten für ihre Durchsetzungstätigkeiten Unterstützung aus dem Pool von Sachverständigen anfordern können, der das wissenschaftliche Gremium bildet.
(152)
Afin de soutenir un contrôle de l’application adéquat en ce qui concerne les systèmes d’IA et de renforcer les capacités des États membres, il convient de créer et de mettre à la disposition des États membres des structures de soutien de l’Union pour les essais en matière d’IA.
(152)
Um eine angemessene Durchsetzung in Bezug auf KI-Systeme zu unterstützen und die Kapazitäten der Mitgliedstaaten zu stärken, sollten Unionsstrukturen zur Unterstützung der Prüfung von KI eingerichtet und den Mitgliedstaaten zur Verfügung gestellt werden.
(153)
Les États membres jouent un rôle clé dans l’application et le contrôle du respect du présent règlement. À cet égard, chaque État membre devrait désigner au moins une autorité notifiante et au moins une autorité de surveillance du marché en tant qu’autorités nationales compétentes chargées de contrôler l’application et la mise en œuvre du présent règlement. Les États membres peuvent décider de désigner une entité publique, quel qu’en soit le type, qui soit chargée d’exécuter les tâches des autorités nationales compétentes au sens du présent règlement, en fonction de leurs caractéristiques et besoins organisationnels nationaux spécifiques. Afin d’accroître l’efficacité de l’organisation du côté des États membres et de définir un point de contact unique avec le public et les homologues au niveau des États membres et de l’Union, chaque État membre devrait désigner une autorité de surveillance du marché pour tenir le rôle de point de contact unique.
(153)
Den Mitgliedstaaten kommt bei der Anwendung und Durchsetzung dieser Verordnung eine Schlüsselrolle zu. Dazu sollte jeder Mitgliedstaat mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde als zuständige nationale Behörden benennen, die die Anwendung und Durchführung dieser Verordnung beaufsichtigen. Die Mitgliedstaaten können beschließen, öffentliche Einrichtungen jeder Art zu benennen, die die Aufgaben der zuständigen nationalen Behörden im Sinne dieser Verordnung gemäß ihren spezifischen nationalen organisatorischen Merkmalen und Bedürfnissen wahrnehmen. Um die Effizienz der Organisation aufseiten der Mitgliedstaaten zu steigern und eine zentrale Anlaufstelle gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Union einzurichten, sollte jeder Mitgliedstaat eine Marktüberwachungsbehörde als zentrale Anlaufstelle benennen.
(154)
Les autorités nationales compétentes devraient exercer leurs pouvoirs de manière indépendante, impartiale et sans parti pris, afin de préserver les principes d’objectivité de leurs activités et de leurs tâches et d’assurer l’application et la mise en œuvre du présent règlement. Les membres de ces autorités devraient s’abstenir de toute action incompatible avec leurs fonctions et devraient être soumis aux règles de confidentialité prévues par le présent règlement.
(154)
Die zuständigen nationalen Behörden sollten ihre Befugnisse unabhängig, unparteiisch und unvoreingenommen ausüben, um die Grundsätze der Objektivität ihrer Tätigkeiten und Aufgaben zu wahren und die Anwendung und Durchführung dieser Verordnung sicherzustellen. Die Mitglieder dieser Behörden sollten sich jeder Handlung enthalten, die mit ihren Aufgaben unvereinbar wäre, und sie sollten den Vertraulichkeitsvorschriften gemäß dieser Verordnung unterliegen.
(155)
Afin de veiller à ce que les fournisseurs de systèmes d’IA à haut risque puissent prendre en considération l’expérience acquise dans l’utilisation de systèmes d’IA à haut risque pour améliorer leurs systèmes et le processus de conception et de développement, ou qu’ils puissent prendre d’éventuelles mesures correctives en temps utile, tous les fournisseurs devraient avoir mis en place un système de surveillance après commercialisation. Le cas échéant, la surveillance après commercialisation devrait comprendre une analyse de l’interaction avec d’autres systèmes d’IA, y compris d’autres dispositifs et logiciels. La surveillance après commercialisation ne devrait pas couvrir les données opérationnelles sensibles des utilisateurs de systèmes d’IA qui sont des autorités répressives. Ce système est aussi essentiel pour garantir que les risques potentiels découlant des systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service puissent être traités plus efficacement et en temps utile. Dans ce contexte, les fournisseurs devraient également être tenus de mettre en place un système pour signaler aux autorités compétentes tout incident grave résultant de l’utilisation de leurs systèmes d’IA, à savoir un incident ou un dysfonctionnement entraînant la mort ou une atteinte grave à la santé, une perturbation grave et irréversible de la gestion et de l’exploitation des infrastructures critiques, des infractions aux obligations découlant du droit de l’Union visant à protéger les droits fondamentaux ou une atteinte grave aux biens ou à l’environnement.
(155)
Damit Anbieter von Hochrisiko-KI-Systemen die Erfahrungen mit der Verwendung von Hochrisiko-KI-Systemen bei der Verbesserung ihrer Systeme und im Konzeptions- und Entwicklungsprozess berücksichtigen oder rechtzeitig etwaige Korrekturmaßnahmen ergreifen können, sollten alle Anbieter über ein System zur Beobachtung nach dem Inverkehrbringen verfügen. Gegebenenfalls sollte die Beobachtung nach dem Inverkehrbringen eine Analyse der Interaktion mit anderen KI-Systemen, einschließlich anderer Geräte und Software, umfassen. Die Beobachtung nach dem Inverkehrbringen sollte nicht für sensible operative Daten von Betreibern, die Strafverfolgungsbehörden sind, gelten. Dieses System ist auch wichtig, damit den möglichen Risiken, die von KI-Systemen ausgehen, die nach dem Inverkehrbringen oder der Inbetriebnahme dazulernen, effizienter und zeitnah begegnet werden kann. In diesem Zusammenhang sollten die Anbieter auch verpflichtet sein, ein System einzurichten, um den zuständigen Behörden schwerwiegende Vorfälle zu melden, die sich aus der Verwendung ihrer KI-Systeme ergeben; damit sind Vorfälle oder Fehlfunktionen gemeint, die zum Tod oder zu schweren Gesundheitsschäden führen, schwerwiegende und irreversible Störungen der Verwaltung und des Betriebs kritischer Infrastrukturen, Verstöße gegen Verpflichtungen aus dem Unionsrecht, mit denen die Grundrechte geschützt werden sollen, oder schwere Sach- oder Umweltschäden.
(156)
Afin de garantir un contrôle approprié et efficace du respect des exigences et obligations énoncées par le présent règlement, qui fait partie de la législation d’harmonisation de l’Union, le système de surveillance du marché et de mise en conformité des produits établi par le règlement (UE) 2019/1020 devrait s’appliquer dans son intégralité. Les autorités de surveillance du marché désignées en vertu du présent règlement devraient disposer de tous les pouvoirs d’exécution prévus par le présent règlement et par le règlement (UE) 2019/1020, et elles devraient exercer leurs pouvoirs et s’acquitter de leurs tâches de manière indépendante, impartiale et sans parti pris. Bien que la majorité des systèmes d’IA ne fassent pas l’objet d’exigences et obligations particulières au titre du présent règlement, les autorités de surveillance du marché peuvent prendre des mesures à l’égard de tous les systèmes d’IA lorsqu’ils présentent un risque conformément au présent règlement. En raison de la nature spécifique des institutions, agences et organes de l’Union relevant du champ d’application du présent règlement, il convient de désigner le Contrôleur européen de la protection des données comme autorité compétente pour la surveillance du marché en ce qui les concerne. Cela devrait être sans préjudice de la désignation des autorités nationales compétentes par les États membres. Les activités de surveillance du marché ne devraient pas affecter la capacité des entités surveillées à s’acquitter de leurs tâches de manière indépendante, lorsque cette indépendance constitue une exigence du droit de l’Union.
(156)
Zur Gewährleistung einer angemessenen und wirksamen Durchsetzung der Anforderungen und Pflichten gemäß dieser Verordnung, bei der es sich um eine Harmonisierungsrechtsvorschrift der Union handelt, sollte das mit der Verordnung (EU) 2019/1020 eingeführte System der Marktüberwachung und der Konformität von Produkten in vollem Umfang gelten. Die gemäß dieser Verordnung benannten Marktüberwachungsbehörden sollten über alle in der vorliegenden Verordnung und der Verordnung (EU) 2019/1020 festgelegten Durchsetzungsbefugnisse verfügen und ihre Befugnisse und Aufgaben unabhängig, unparteiisch und unvoreingenommen wahrnehmen. Obwohl die meisten KI-Systeme keinen spezifischen Anforderungen und Pflichten gemäß der vorliegenden Verordnung unterliegen, können die Marktüberwachungsbehörden Maßnahmen in Bezug auf alle KI-Systeme ergreifen, wenn sie ein Risiko gemäß dieser Verordnung darstellen. Aufgrund des spezifischen Charakters der Organe, Einrichtungen und sonstigen Stellen der Union, die in den Anwendungsbereich dieser Verordnung fallen, ist es angezeigt, dass der Europäische Datenschutzbeauftragte als eine zuständige Marktüberwachungsbehörde für sie benannt wird. Die Benennung zuständiger nationaler Behörden durch die Mitgliedstaaten sollte davon unberührt bleiben. Die Marktüberwachungstätigkeiten sollten die Fähigkeit der beaufsichtigten Einrichtungen, ihre Aufgaben unabhängig wahrzunehmen, nicht beeinträchtigen, wenn eine solche Unabhängigkeit nach dem Unionsrecht erforderlich ist.
(157)
Le présent règlement est sans préjudice des compétences, des tâches, des pouvoirs et de l’indépendance des autorités ou organismes publics nationaux compétents qui contrôlent l’application du droit de l’Union en matière de protection des droits fondamentaux, y compris les organismes chargés des questions d’égalité et les autorités de protection des données. Lorsque leur mandat l’exige, ces autorités ou organismes publics nationaux devraient également avoir accès à toute documentation créée en vertu du présent règlement. Une procédure de sauvegarde spécifique devrait être mise en place pour garantir une application adéquate et en temps utile opposable aux systèmes d’IA présentant un risque pour la santé, la sécurité et les droits fondamentaux. La procédure applicable à ces systèmes d’IA présentant un risque devrait être appliquée aux systèmes d’IA à haut risque présentant un risque, aux systèmes interdits qui ont été mis sur le marché, mis en service ou utilisés en violation des interdictions concernant des pratiques définies par le présent règlement, et aux systèmes d’IA qui ont été mis à disposition en violation des exigences de transparence énoncées dans le présent règlement et qui présentent un risque.
(157)
Diese Verordnung berührt nicht die Zuständigkeiten, Aufgaben, Befugnisse und Unabhängigkeit der einschlägigen nationalen Behörden oder Stellen, die die Anwendung des Unionsrechts zum Schutz der Grundrechte überwachen, einschließlich Gleichbehandlungsstellen und Datenschutzbehörden. Sofern dies für die Erfüllung ihres Auftrags erforderlich ist, sollten auch diese nationalen Behörden oder Stellen Zugang zu der gesamten im Rahmen dieser Verordnung erstellten Dokumentation haben. Es sollte ein spezifisches Schutzklauselverfahren festgelegt werden, um eine angemessene und zeitnahe Durchsetzung gegenüber KI-Systemen, die ein Risiko für Gesundheit, Sicherheit und Grundrechte bergen, sicherzustellen. Das Verfahren für solche KI-Systeme, die ein Risiko bergen, sollte auf Hochrisiko-KI-Systeme, von denen ein Risiko ausgeht, auf verbotene Systeme, die unter Verstoß gegen die in dieser Verordnung festgelegten verbotenen Praktiken in Verkehr gebracht, in Betrieb genommen oder verwendet wurden, sowie auf KI-Systeme, die unter Verstoß der Transparenzanforderungen dieser Verordnung bereitgestellt wurden und ein Risiko bergen, angewandt werden.
(158)
Le droit de l’Union en matière de services financiers comprend des règles et des exigences en matière de gouvernance interne et de gestion des risques qui sont applicables aux établissements financiers réglementés dans le cadre de la fourniture de ces services, y compris lorsqu’ils font usage de systèmes d’IA. Afin d’assurer la cohérence de l’application et du contrôle du respect des obligations découlant du présent règlement et des règles et exigences pertinentes prévues par les actes juridiques de l’Union sur les services financiers, les autorités compétentes chargées de la surveillance et du contrôle de l’application de ces actes juridiques, en particulier les autorités compétentes au sens du règlement (UE) no 575/2013 du Parlement européen et du Conseil (46) et des directives 2008/48/CE (47), 2009/138/CE (48), 2013/36/UE (49), 2014/17/UE (50) et (UE) 2016/97 (51) du Parlement européen et du Conseil, devraient être désignées, dans les limites de leurs compétences respectives, comme les autorités compétentes aux fins de la surveillance de la mise en œuvre du présent règlement, y compris pour les activités de surveillance du marché, en ce qui concerne les systèmes d’IA fournis ou utilisés par des établissements financiers réglementés et surveillés, à moins que les États membres ne décident de désigner une autre autorité pour remplir ces tâches de surveillance du marché. Ces autorités compétentes devraient disposer, en vertu du présent règlement et du règlement (UE) 2019/1020, de tous les pouvoirs nécessaires pour faire respecter les exigences et obligations du présent règlement, y compris le pouvoir d’effectuer des activités de surveillance du marché ex post qui peuvent être intégrées, le cas échéant, dans leurs mécanismes et procédures de surveillance existants au titre du droit de l’Union en matière de services financiers. Il convient d’envisager que, lorsqu’elles agissent en tant qu’autorités de surveillance du marché au titre du présent règlement, les autorités nationales responsables de la surveillance des établissements de crédit réglementés régis par la directive 2013/36/UE, qui participent au mécanisme de surveillance unique institué par le règlement (UE) no 1024/2013 du Conseil (52), doivent communiquer sans délai à la Banque centrale européenne toute information identifiée dans le cadre de leurs activités de surveillance du marché qui pourrait présenter un intérêt pour les missions de surveillance prudentielle de la Banque centrale européenne telles qu’elles sont définies dans ledit règlement. Pour renforcer encore la cohérence entre le présent règlement et les règles applicables aux établissements de crédit régis par la directive 2013/36/UE, il convient aussi d’intégrer certaines des obligations procédurales des fournisseurs en ce qui concerne la gestion des risques, la surveillance après commercialisation et la documentation dans les obligations et procédures existantes au titre de la directive 2013/36/UE. Afin d’éviter les chevauchements, des dérogations limitées devraient aussi être envisagées en ce qui concerne le système de gestion de la qualité des fournisseurs et l’obligation de suivi imposée aux déployeurs de systèmes d’IA à haut risque dans la mesure où les dispositions y afférentes s’appliquent aux établissements de crédit régis par la directive 2013/36/UE. Le même régime devrait s’appliquer aux entreprises d’assurance et de réassurance et aux sociétés holding d’assurance relevant de la directive 2009/138/CE, aux intermédiaires d’assurance relevant de la directive (UE) 2016/97, ainsi qu’aux autres types d’établissements financiers soumis à des exigences en matière de gouvernance, de dispositifs ou de processus internes établis en vertu des dispositions pertinentes du droit de l’Union en matière de services financiers afin d’assurer la cohérence et l’égalité de traitement dans le secteur financier.
(158)
Die Rechtsvorschriften der Union über Finanzdienstleistungen enthalten Vorschriften und Anforderungen für die interne Unternehmensführung und das Risikomanagement, die für regulierte Finanzinstitute bei der Erbringung solcher Dienstleistungen gelten, auch wenn sie KI-Systeme verwenden. Um eine kohärente Anwendung und Durchsetzung der Pflichten aus dieser Verordnung sowie der einschlägigen Vorschriften und Anforderungen der Rechtsvorschriften der Union über Finanzdienstleistungen zu gewährleisten, sollten die für die Beaufsichtigung und Durchsetzung jener Rechtsvorschriften zuständigen Behörden, insbesondere die zuständigen Behörden im Sinne der Verordnung (EU) Nr. 575/2013 des Europäischen Parlaments und des Rates (46) und der Richtlinien 2008/48/EG (47), 2009/138/EG (48), 2013/36/EU (49), 2014/17/EU (50) und (EU) 2016/97 (51) des Europäischen Parlaments und des Rates, im Rahmen ihrer jeweiligen Zuständigkeiten auch als zuständige Behörden für die Beaufsichtigung der Durchführung dieser Verordnung, einschließlich der Marktüberwachungstätigkeiten, in Bezug auf von regulierten und beaufsichtigten Finanzinstituten bereitgestellte oder verwendete KI-Systeme benannt werden, es sei denn, die Mitgliedstaaten beschließen, eine andere Behörde zu benennen, um diese Marktüberwachungsaufgaben wahrzunehmen. Diese zuständigen Behörden sollten alle Befugnisse gemäß dieser Verordnung und der Verordnung (EU) 2019/1020 haben, um die Anforderungen und Pflichten der vorliegenden Verordnung durchzusetzen, einschließlich Befugnisse zur Durchführung von Ex-post-Marktüberwachungstätigkeiten, die gegebenenfalls in ihre bestehenden Aufsichtsmechanismen und -verfahren im Rahmen des einschlägigen Unionsrechts über Finanzdienstleistungen integriert werden können. Es ist angezeigt, vorzusehen, dass die nationalen Behörden, die für die Aufsicht über unter die Richtlinie 2013/36/EU fallende Kreditinstitute zuständig sind, welche an dem mit der Verordnung (EU) Nr. 1024/2013 des Rates (52) eingerichteten einheitlichen Aufsichtsmechanismus teilnehmen, in ihrer Funktion als Marktüberwachungsbehörden gemäß der vorliegenden Verordnung der Europäischen Zentralbank unverzüglich alle im Zuge ihrer Marktüberwachungstätigkeiten ermittelten Informationen übermitteln, die für die in der genannten Verordnung festgelegten Aufsichtsaufgaben der Europäischen Zentralbank von Belang sein könnten. Um die Kohärenz zwischen der vorliegenden Verordnung und den Vorschriften für Kreditinstitute, die unter die Richtlinie 2013/36/EU fallen, weiter zu verbessern, ist es ferner angezeigt, einige verfahrenstechnische Anbieterpflichten in Bezug auf das Risikomanagement, die Beobachtung nach dem Inverkehrbringen und die Dokumentation in die bestehenden Pflichten und Verfahren gemäß der Richtlinie 2013/36/EU aufzunehmen. Zur Vermeidung von Überschneidungen sollten auch begrenzte Ausnahmen in Bezug auf das Qualitätsmanagementsystem der Anbieter und die Beobachtungspflicht der Betreiber von Hochrisiko-KI-Systemen in Betracht gezogen werden, soweit diese Kreditinstitute betreffen, die unter die Richtlinie 2013/36/EU fallen. Die gleiche Regelung sollte für Versicherungs- und Rückversicherungsunternehmen und Versicherungsholdinggesellschaften gemäß der Richtlinie 2009/138/EG und Versicherungsvermittler gemäß der Richtlinie (EU) 2016/97 sowie für andere Arten von Finanzinstituten gelten, die Anforderungen in Bezug auf ihre Regelungen oder Verfahren der internen Unternehmensführung unterliegen, die gemäß einschlägigem Unionsrecht der Union über Finanzdienstleistungen festgelegt wurden, um Kohärenz und Gleichbehandlung im Finanzsektor sicherzustellen.
(159)
Chaque autorité de surveillance du marché chargée des systèmes d’IA à haut risque dans le domaine de la biométrie énumérés dans une annexe du présent règlement, dans la mesure où ces systèmes sont utilisés à des fins liées aux activités répressives, à la migration, à l’asile et à la gestion des contrôles aux frontières ou à l’administration de la justice et aux processus démocratiques, devrait disposer de pouvoirs effectifs en matière d’enquête et de mesures correctives, y compris au minimum le pouvoir d’obtenir l’accès à toutes les données à caractère personnel traitées et à toutes les informations nécessaires à l’accomplissement de ses tâches. Les autorités de surveillance du marché devraient être en mesure d’exercer leurs pouvoirs en toute indépendance. Toute restriction de leur accès à des données opérationnelles sensibles au titre du présent règlement devrait être sans préjudice des pouvoirs qui leur sont conférés par la directive (UE) 2016/680. Aucune exclusion concernant la divulgation de données aux autorités nationales chargées de la protection des données au titre du présent règlement ne devrait avoir d’incidence sur les pouvoirs actuels ou futurs de ces autorités au-delà du champ d’application du présent règlement.
(159)
Jede Marktüberwachungsbehörde für Hochrisiko-KI-Systeme im Bereich der Biometrie, die in einem Anhang zu dieser Verordnung aufgeführt sind, sollte — soweit diese Systeme für die Zwecke der Strafverfolgung, von Migration, Asyl und Grenzkontrolle oder von Rechtspflege und demokratischen Prozessen eingesetzt werden — über wirksame Ermittlungs- und Korrekturbefugnisse verfügen, einschließlich mindestens der Befugnis, Zugang zu allen personenbezogenen Daten, die verarbeitet werden, und zu allen Informationen, die für die Ausübung ihrer Aufgaben erforderlich sind, zu erhalten. Die Marktüberwachungsbehörden sollten in der Lage sein, ihre Befugnisse in völliger Unabhängigkeit auszuüben. Jede Beschränkung ihres Zugangs zu sensiblen operativen Daten im Rahmen dieser Verordnung sollte die Befugnisse unberührt lassen, die ihnen mit der Richtlinie (EU) 2016/680 übertragen wurden. Kein Ausschluss der Offenlegung von Daten gegenüber nationalen Datenschutzbehörden im Rahmen dieser Verordnung sollte die derzeitigen oder künftigen Befugnisse dieser Behörden über den Geltungsbereich dieser Verordnung hinaus beeinträchtigen.
(160)
Les autorités de surveillance du marché et la Commission devraient être en mesure de proposer des activités conjointes, y compris des enquêtes conjointes, à mener par les autorités de surveillance du marché ou par les autorités de surveillance du marché conjointement avec la Commission, visant à promouvoir le respect de la législation, de déceler la non-conformité, de sensibiliser et de fournir des orientations au regard du présent règlement en ce qui concerne des catégories spécifiques de systèmes d’IA à haut risque qui sont recensés comme présentant un risque grave dans au moins deux États membres. Les activités conjointes visant à promouvoir le respect de la législation devraient être menées conformément à l’article 9 du règlement (UE) 2019/1020. Le Bureau de l’IA devrait assurer la coordination centrale des enquêtes conjointes.
(160)
Die Marktüberwachungsbehörden und die Kommission sollten gemeinsame Tätigkeiten, einschließlich gemeinsamer Untersuchungen, vorschlagen können, die von den Marktüberwachungsbehörden oder von den Marktüberwachungsbehörden gemeinsam mit der Kommission durchgeführt werden, um Konformität zu fördern, Nichtkonformität festzustellen, zu sensibilisieren und Orientierung zu dieser Verordnung und bestimmten Kategorien von Hochrisiko-KI-Systemen bereitzustellen, bei denen festgestellt wird, dass sie in zwei oder mehr Mitgliedstaaten ein ernstes Risiko darstellen. Gemeinsame Tätigkeiten zur Förderung der Konformität sollten im Einklang mit Artikel 9 der Verordnung (EU) 2019/1020 durchgeführt werden. Das Büro für Künstliche Intelligenz sollte die Koordinierung gemeinsamer Untersuchungen unterstützen.
(161)
Il est nécessaire de clarifier les responsabilités et les compétences au niveau de l’Union et au niveau national en ce qui concerne les systèmes d’IA qui reposent sur des modèles d’IA à usage général. Afin d’éviter les chevauchements de compétences, lorsqu’un système est fondé sur un modèle d’IA à usage général et que le modèle et le système sont fournis par le même fournisseur, la surveillance devrait avoir lieu au niveau de l’Union par l’intermédiaire du Bureau de l’IA, qui devrait disposer à cette fin des pouvoirs d’une autorité de surveillance du marché au sens du règlement (UE) 2019/1020. Dans tous les autres cas, les autorités nationales de surveillance du marché demeurent chargées de la surveillance des systèmes d’IA. Toutefois, pour les systèmes d’IA à usage général qui peuvent être utilisés directement par les déployeurs pour au moins un usage classé comme étant à haut risque, les autorités de surveillance du marché devraient coopérer avec le Bureau de l’IA pour mener les évaluations de la conformité, et informer le Comité IA et les autres autorités de surveillance du marché en conséquence. En outre, toute autorité de surveillance du marché devrait être en mesure de solliciter l’assistance du Bureau de l’IA lorsqu’elle n’est pas en mesure de conclure une enquête sur un système d’IA à haut risque parce qu’elle ne peut accéder à certaines informations liées au modèle d’IA à usage général sur lequel repose ce système. Dans de tels cas, la procédure relative à l’assistance mutuelle pour les cas transfrontières prévue au chapitre VI du règlement (UE) 2019/1020 devrait s’appliquer mutatis mutandis.
(161)
Die Verantwortlichkeiten und Zuständigkeiten auf Unionsebene und nationaler Ebene in Bezug auf KI-Systeme, die auf KI-Modellen mit allgemeinem Verwendungszweck aufbauen, müssen präzisiert werden. Um sich überschneidende Zuständigkeiten zu vermeiden, sollte die Aufsicht für KI-Systeme, die auf KI-Modellen mit allgemeinem Verwendungszweck beruhen und bei denen das Modell und das System vom selben Anbieter bereitgestellt werden, auf der Unionsebene durch das Büro für Künstliche Intelligenz erfolgen, das für diesen Zweck über die Befugnisse einer Marktüberwachungsbehörde im Sinne der Verordnung (EU) 2019/1020 verfügen sollte. In allen anderen Fällen sollten die nationalen Marktüberwachungsbehörden weiterhin für die Aufsicht über KI-Systeme zuständig sein. Bei KI-Systemen mit allgemeinem Verwendungszweck, die von Betreibern direkt für mindestens einen Zweck verwendet werden können, der als hochriskant eingestuft wird, sollten die Marktüberwachungsbehörden jedoch mit dem Büro für Künstliche Intelligenz zusammenarbeiten, um Konformitätsbewertungen durchzuführen, und sie sollten KI-Gremium und andere Marktüberwachungsbehörden entsprechend informieren. Darüber hinaus sollten Marktüberwachungsbehörden das Büro für Künstliche Intelligenz um Unterstützung ersuchen können, wenn die Marktüberwachungsbehörde nicht in der Lage ist, eine Untersuchung zu einem Hochrisiko-KI-System abzuschließen, weil sie keinen Zugang zu bestimmten Informationen im Zusammenhang mit dem KI-Modell mit allgemeinem Verwendungszweck, auf dem das Hochrisiko-KI-System beruht, haben. In diesen Fällen sollte das Verfahren bezüglich grenzübergreifender Amtshilfe nach Kapitel VI der Verordnung (EU) 2019/1020 entsprechend Anwendung finden.
(162)
Afin de tirer le meilleur parti de l’expertise centralisée de l’Union et des synergies au niveau de l’Union, les pouvoirs de surveillance et de contrôle du respect des obligations incombant aux fournisseurs de modèles d’IA à usage général devraient relever de la compétence de la Commission. Le Bureau de l’IA devrait être en mesure de prendre toutes les mesures nécessaires pour contrôler la mise en œuvre effective du présent règlement en ce qui concerne les modèles d’IA à usage général. Il devrait être en mesure d’enquêter sur d’éventuelles infractions aux règles incombant aux fournisseurs de modèles d’IA à usage général, aussi bien de sa propre initiative, selon les résultats de ses activités de surveillance, ou sur demande des autorités de surveillance du marché conformément aux conditions prévues par le présent règlement. Afin de contribuer à une surveillance effective par le Bureau de l’IA, celui-ci devrait donner la possibilité aux fournisseurs en aval d’introduire des réclamations concernant d’éventuelles infractions aux règles relatives aux fournisseurs de modèles et systèmes d’IA à usage général.
(162)
Um das zentralisierte Fachwissen der Union und Synergien auf Unionsebene bestmöglich zu nutzen, sollte die Kommission für die Aufsicht und die Durchsetzung der Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck zuständig sein. Das Büro für Künstliche Intelligenz sollte alle erforderlichen Maßnahmen durchführen können, um die wirksame Umsetzung dieser Verordnung im Hinblick auf KI-Modelle mit allgemeinem Verwendungszweck zu überwachen. Es sollte mögliche Verstöße gegen die Vorschriften für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck sowohl auf eigene Initiative, auf der Grundlage der Ergebnisse seiner Überwachungstätigkeiten, als auch auf Anfrage von Marktüberwachungsbehörden gemäß den in dieser Verordnung festgelegten Bedingungen untersuchen können. Zur Unterstützung einer wirksamen Überwachung durch das Büro für Künstliche Intelligenz sollte die Möglichkeit vorgesehen werden, dass nachgelagerte Anbieter Beschwerden über mögliche Verstöße gegen die Vorschriften für Anbieter von KI-Modellen und -Systemen mit allgemeinem Verwendungszweck einreichen können.
(163)
En vue de compléter les systèmes de gouvernance des modèles d’IA à usage général, le groupe scientifique devrait soutenir les activités de surveillance du Bureau de l’IA et pourrait, dans certains cas, soumettre au Bureau de l’IA des alertes qualifiées qui déclenchent des mesures de suivi telles que des enquêtes. Cela devrait être le cas lorsque le groupe scientifique a des raisons de soupçonner qu’un modèle d’IA à usage général présente un risque concret et identifiable au niveau de l’Union. Cela devrait aussi être le cas lorsque le groupe scientifique a des raisons de soupçonner qu’un modèle d’IA à usage général remplit les critères qui conduiraient à une classification en tant que modèle d’IA à usage général présentant un risque systémique. Afin que le groupe scientifique dispose des informations nécessaires à l’exécution de ces tâches, il devrait exister un mécanisme permettant au groupe scientifique de demander à la Commission d’exiger du fournisseur qu’il fournisse des documents ou des informations.
(163)
Um die Governance-Systeme für KI-Modelle mit allgemeinem Verwendungszweck zu ergänzen, sollte das wissenschaftliche Gremium die Überwachungstätigkeiten des Büros für Künstliche Intelligenz unterstützen; dazu kann es in bestimmten Fällen qualifizierte Warnungen an das Büro für Künstliche Intelligenz richten, die Folgemaßnahmen wie etwa Untersuchungen auslösen. Dies sollte der Fall sein, wenn das wissenschaftliche Gremium Grund zu der Annahme hat, dass ein KI-Modell mit allgemeinem Verwendungszweck ein konkretes und identifizierbares Risiko auf Unionsebene darstellt. Außerdem sollte dies der Fall sein, wenn das wissenschaftliche Gremium Grund zu der Annahme hat, dass ein KI-Modell mit allgemeinem Verwendungszweck die Kriterien erfüllt, die zu einer Einstufung als KI-Modell mit allgemeinem Verwendungszweck mit systemischem Risiko führen würde. Um dem wissenschaftlichen Gremium die Informationen zur Verfügung zu stellen, die für die Ausübung dieser Aufgaben erforderlich sind, sollte es einen Mechanismus geben, wonach das wissenschaftliche Gremium die Kommission ersuchen kann, Unterlagen oder Informationen von einem Anbieter anzufordern.
(164)
Le Bureau de l’IA devrait être en mesure de prendre les mesures nécessaires pour contrôler la mise en œuvre effective et le respect des obligations incombant aux fournisseurs de modèles d’IA à usage général énoncées dans le présent règlement. Le Bureau de l’IA devrait être en mesure d’enquêter sur d’éventuelles infractions conformément aux pouvoirs qui lui sont conférés au titre du présent règlement, y compris en exigeant des documents et des informations, en réalisant des évaluations, ainsi qu’en exigeant que des mesures soient prises par les fournisseurs de modèles d’IA à usage général. Lors de la réalisation des évaluations, afin de tirer parti d’une expertise indépendante, le Bureau de l’IA devrait pouvoir faire appel à des experts indépendants pour réaliser les évaluations en son nom. Le respect des obligations devrait pouvoir être imposé, entre autres, par des demandes de prendre des mesures appropriées, y compris des mesures d’atténuation des risques dans le cas de risques systémiques recensés, ainsi qu’en restreignant la mise à disposition du modèle sur le marché, en le retirant ou en le rappelant. À titre de garantie, lorsque cela est nécessaire en sus des droits procéduraux prévus par le présent règlement, les fournisseurs de modèles d’IA à usage général devraient jouir des droits procéduraux prévus à l’article 18 du règlement (UE) 2019/1020, qui devraient s’appliquer mutatis mutandis, sans préjudice des droits procéduraux plus spécifiques prévus par le présent règlement.
(164)
Das Büro für Künstliche Intelligenz sollte die erforderlichen Maßnahmen ergreifen können, um die wirksame Umsetzung und die Einhaltung der in dieser Verordnung festgelegten Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck zu überwachen. Das Büro für Künstliche Intelligenz sollte mögliche Verstöße im Einklang mit den in dieser Verordnung vorgesehenen Befugnissen untersuchen können, unter anderem indem es Unterlagen und Informationen anfordert, Bewertungen durchführt und Maßnahmen von Anbietern von KI-Modellen mit allgemeinem Verwendungszweck verlangt. Was die Durchführung von Bewertungen betrifft, so sollte das Büro für Künstliche Intelligenz unabhängige Sachverständige mit der Durchführung der Bewertungen in seinem Namen beauftragen können, damit unabhängiges Fachwissen genutzt werden kann. Die Einhaltung der Pflichten sollte durchsetzbar sein, unter anderem durch die Aufforderung zum Ergreifen angemessener Maßnahmen, einschließlich Risikominderungsmaßnahmen im Fall von festgestellten systemischen Risiken, sowie durch die Einschränkung der Bereitstellung des Modells auf dem Markt, die Rücknahme des Modells oder den Rückruf des Modells. Als Schutzmaßnahme, die erforderlichenfalls über die in dieser Verordnung vorgesehenen Verfahrensrechte hinausgeht, sollten die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck über die in Artikel 18 der Verordnung (EU) 2019/1020 vorgesehenen Verfahrensrechte verfügen, die — unbeschadet in der vorliegenden Verordnung vorgesehener spezifischerer Verfahrensrechte — entsprechend gelten sollten.
(165)
Le développement de systèmes d’IA autres que les systèmes d’IA à haut risque dans le respect des exigences du présent règlement peut conduire à une plus large adoption d’une IA éthique et digne de confiance dans l’Union. Les fournisseurs de systèmes d’IA qui ne sont pas à haut risque devraient être encouragés à établir des codes de conduite, accompagnés de mécanismes de gouvernance connexes, destinés à favoriser l’application volontaire de tout ou partie des exigences obligatoires applicables aux systèmes d’IA à haut risque, adaptés en fonction de la destination des systèmes et des risques plus faibles encourus et tenant compte des solutions techniques disponibles et des bonnes pratiques du secteur, tels que les cartes modèles et les fiches de données. Les fournisseurs et, le cas échéant, les déployeurs de tous les systèmes d’IA, à haut risque ou non, et modèles d’IA devraient aussi être encouragés à appliquer sur une base volontaire des exigences supplémentaires liées, par exemple, aux éléments des lignes directrices de l’Union en matière d’éthique pour une IA digne de confiance, à la durabilité environnementale, aux mesures relatives à la maîtrise de l’IA, à la conception et au développement inclusifs et diversifiés des systèmes d’IA, y compris en prêtant attention aux personnes vulnérables et à l’accessibilité pour les personnes handicapées, à la participation des parties prenantes avec la contribution, le cas échéant, de parties prenantes concernées telles que les organisations d’entreprises et de la société civile, le milieu universitaire, les organismes de recherche, les syndicats et les organisations de protection des consommateurs à la conception et au développement des systèmes d’IA, ainsi qu’à la diversité des équipes de développement, y compris l’équilibre hommes-femmes. Afin que les codes de conduite volontaires portent leurs effets, ils devraient s’appuyer sur des objectifs clairs et des indicateurs de performance clés permettant de mesurer la réalisation de ces objectifs. Ils devraient également être élaborés de manière inclusive, selon qu’il convient, avec la participation des parties prenantes concernées telles que les organisations d’entreprises et de la société civile, le milieu universitaire, les organismes de recherche, les syndicats et les organisations de protection des consommateurs. La Commission peut élaborer des initiatives, y compris de nature sectorielle, pour faciliter la suppression des obstacles techniques entravant l’échange transfrontière de données pour le développement de l’IA, notamment en ce qui concerne l’infrastructure d’accès aux données et l’interopérabilité sémantique et technique des différents types de données.
(165)
Die Entwicklung anderer KI-Systeme als Hochrisiko-KI-Systeme gemäß den Anforderungen dieser Verordnung kann zu einer stärkeren Verbreitung ethischer und vertrauenswürdiger KI in der Union führen. Anbieter von KI-Systemen, die kein hohes Risiko bergen, sollten angehalten werden, Verhaltenskodizes — einschließlich zugehöriger Governance-Mechanismen — zu erstellen, um eine freiwillige Anwendung einiger oder aller der für Hochrisiko-KI-Systeme geltenden Anforderungen zu fördern, die angesichts der Zweckbestimmung der Systeme und des niedrigeren Risikos angepasst werden, und unter Berücksichtigung der verfügbaren technischen Lösungen und bewährten Verfahren der Branche wie Modell- und Datenkarten. Darüber hinaus sollten die Anbieter und gegebenenfalls die Betreiber aller KI-Systeme, ob mit hohem Risiko oder nicht, und aller KI-Modelle auch ermutigt werden, freiwillig zusätzliche Anforderungen anzuwenden, z. B. in Bezug auf die Elemente der Ethikleitlinien der Union für vertrauenswürdige KI, die ökologische Nachhaltigkeit, Maßnahmen für KI-Kompetenz, die inklusive und vielfältige Gestaltung und Entwicklung von KI-Systemen, unter anderem mit Schwerpunkt auf schutzbedürftige Personen und die Barrierefreiheit für Menschen mit Behinderungen, die Beteiligung der Interessenträger, gegebenenfalls mit Einbindung einschlägiger Interessenträger wie Unternehmensverbänden und Organisationen der Zivilgesellschaft, Wissenschaft, Forschungsorganisationen, Gewerkschaften und Verbraucherschutzorganisationen an der Konzeption und Entwicklung von KI-Systemen und die Vielfalt der Entwicklungsteams, einschließlich einer ausgewogenen Vertretung der Geschlechter. Um sicherzustellen, dass die freiwilligen Verhaltenskodizes wirksam sind, sollten sie auf klaren Zielen und zentralen Leistungsindikatoren zur Messung der Verwirklichung dieser Ziele beruhen. Sie sollten außerdem in inklusiver Weise entwickelt werden, gegebenenfalls unter Einbeziehung einschlägiger Interessenträger wie Unternehmensverbände und Organisationen der Zivilgesellschaft, Wissenschaft, Forschungsorganisationen, Gewerkschaften und Verbraucherschutzorganisationen. Die Kommission kann Initiativen, auch sektoraler Art, ergreifen, um den Abbau technischer Hindernisse zu erleichtern, die den grenzüberschreitenden Datenaustausch im Zusammenhang mit der KI-Entwicklung behindern, unter anderem in Bezug auf die Infrastruktur für den Datenzugang und die semantische und technische Interoperabilität verschiedener Arten von Daten.
(166)
Il importe que les systèmes d’IA liés à des produits qui ne sont pas à haut risque au titre du présent règlement et qui ne sont donc pas tenus d’être conformes aux exigences énoncées pour les systèmes d’IA à haut risque soient néanmoins sûrs lorsqu’ils sont mis sur le marché ou mis en service. Pour contribuer à cet objectif, l’application du règlement (UE) 2023/988 du Parlement européen et du Conseil (53) constituerait un filet de sécurité.
(166)
Es ist wichtig, dass KI-Systeme im Zusammenhang mit Produkten, die gemäß dieser Verordnung kein hohes Risiko bergen und daher nicht die in dieser Verordnung festgelegten Anforderungen für Hochrisiko-KI-Systeme erfüllen müssen, dennoch sicher sind, wenn sie in Verkehr gebracht oder in Betrieb genommen werden. Um zu diesem Ziel beizutragen, würde die Verordnung (EU) 2023/988 des Europäischen Parlaments und des Rates (53) als Sicherheitsnetz dienen.
(167)
Afin d’assurer une coopération constructive et en toute confiance entre les autorités compétentes au niveau de l’Union et au niveau national, toutes les parties intervenant dans l’application du présent règlement devraient respecter la confidentialité des informations et des données obtenues dans le cadre de l’exécution de leurs tâches, conformément au droit de l’Union et au droit national. Elles devraient s’acquitter de leurs tâches et activités de manière à protéger, en particulier, les droits de propriété intellectuelle, les informations commerciales confidentielles et les secrets d’affaires, la mise en œuvre effective du présent règlement, les intérêts en matière de sécurité nationale et publique, l’intégrité des procédures pénales et administratives et l’intégrité des informations classifiées.
(167)
Zur Gewährleistung einer vertrauensvollen und konstruktiven Zusammenarbeit der zuständigen Behörden auf Ebene der Union und der Mitgliedstaaten sollten alle an der Anwendung dieser Verordnung beteiligten Parteien gemäß dem Unionsrecht und dem nationalen Recht die Vertraulichkeit der im Rahmen der Wahrnehmung ihrer Aufgaben erlangten Informationen und Daten wahren. Sie sollten ihre Aufgaben und Tätigkeiten so ausüben, dass insbesondere die Rechte des geistigen Eigentums, vertrauliche Geschäftsinformationen und Geschäftsgeheimnisse, die wirksame Durchführung dieser Verordnung, die öffentlichen und nationalen Sicherheitsinteressen, die Integrität von Straf- und Verwaltungsverfahren und die Integrität von Verschlusssachen geschützt werden.
(168)
Le respect des dispositions du présent règlement devrait pouvoir être imposé au moyen de sanctions et d’autres mesures d’exécution. Les États membres devraient prendre toutes les mesures nécessaires pour que les dispositions du présent règlement soient mises en œuvre et, notamment, prévoir des sanctions effectives, proportionnées et dissuasives en cas de violation de ces dispositions, et dans le respect du principe non bis in idem. Afin de renforcer et d’harmoniser les sanctions administratives applicables en cas de violation du présent règlement, il convient d’établir le montant maximal pour la fixation des amendes administratives pour certaines infractions spécifiques. Pour évaluer le montant des amendes, les États membres devraient, dans chaque cas d’espèce, tenir compte de toutes les caractéristiques propres à la situation spécifique, en prenant notamment en considération la nature, la gravité et la durée de l’infraction et ses conséquences, ainsi que la taille du fournisseur, en particulier s’il s’agit d’une PME, y compris les jeunes pousses. Le Contrôleur européen de la protection des données devrait avoir le pouvoir d’infliger des amendes aux institutions, agences et organes de l’Union relevant du présent règlement.
(168)
Die Einhaltung dieser Verordnung sollte durch die Verhängung von Sanktionen und anderen Durchsetzungsmaßnahmen durchsetzbar sein. Die Mitgliedstaaten sollten alle erforderlichen Maßnahmen ergreifen, um sicherzustellen, dass die Bestimmungen dieser Verordnung durchgeführt werden, und dazu unter anderem wirksame, verhältnismäßige und abschreckende Sanktionen für Verstöße festlegen und das Verbot der Doppelbestrafung befolgen. Um die verwaltungsrechtlichen Sanktionen für Verstöße gegen diese Verordnung zu verschärfen und zu harmonisieren, sollten Obergrenzen für die Festsetzung der Geldbußen bei bestimmten Verstößen festgelegt werden. Bei der Bemessung der Höhe der Geldbußen sollten die Mitgliedstaaten in jedem Einzelfall alle relevanten Umstände der jeweiligen Situation berücksichtigen, insbesondere die Art, die Schwere und die Dauer des Verstoßes und seiner Folgen sowie die Größe des Anbieters, vor allem wenn es sich bei diesem um ein KMU — einschließlich eines Start-up-Unternehmens — handelt. Der Europäische Datenschutzbeauftragte sollte befugt sein, gegen Organe, Einrichtungen und sonstige Stellen der Union, die in den Anwendungsbereich dieser Verordnung fallen, Geldbußen zu verhängen.
(169)
Le respect des obligations incombant aux fournisseurs de modèles d’IA à usage général au titre du présent règlement devrait pouvoir être imposé, entre autres, au moyen d’amendes. À cette fin, des niveaux appropriés d’amendes devraient également être fixés pour les infractions à ces obligations, y compris le non-respect de mesures demandées par la Commission en vertu au présent règlement, sous réserve de délais de prescription appropriés conformément du principe de proportionnalité. Toutes les décisions prises par la Commission au titre du présent règlement sont soumises au contrôle de la Cour de justice de l’Union européenne conformément au traité sur le fonctionnement de l’Union européenne, y compris la compétence de pleine juridiction de la Cour de justice en ce qui concerne les sanctions en application de l’article 261 du traité sur le fonctionnement de l’Union européenne.
(169)
Die Einhaltung der mit dieser Verordnung auferlegten Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck sollte unter anderem durch Geldbußen durchgesetzt werden können. Zu diesem Zweck sollten Geldbußen in angemessener Höhe für Verstöße gegen diese Pflichten, einschließlich der Nichteinhaltung der von der Kommission gemäß dieser Verordnung verlangten Maßnahmen, festgesetzt werden, vorbehaltlich angemessener Verjährungsfristen im Einklang mit dem Grundsatz der Verhältnismäßigkeit. Alle Beschlüsse, die die Kommission auf der Grundlage dieser Verordnung fasst, unterliegen der Überprüfung durch den Gerichtshof der Europäischen Union im Einklang mit dem AEUV, einschließlich der Befugnis des Gerichtshofs zu unbeschränkter Ermessensnachprüfung hinsichtlich Zwangsmaßnahmen im Einklang mit Artikel 261 AEUV.
(170)
Le droit de l’Union et le droit national prévoient déjà des voies de recours effectives pour les personnes physiques et morales qui subissent une atteinte à leurs droits et libertés en raison de l’utilisation de systèmes d’IA. Sans préjudice de ces recours, toute personne physique ou morale ayant des motifs de considérer qu’il y a eu violation des dispositions du présent règlement devrait avoir le droit d’introduire une réclamation auprès de l’autorité de surveillance du marché concernée.
(170)
Im Unionsrecht und im nationalen Recht sind bereits wirksame Rechtsbehelfe für natürliche und juristische Personen vorgesehen, deren Rechte und Freiheiten durch die Nutzung von KI-Systemen beeinträchtigt werden. Unbeschadet dieser Rechtsbehelfe sollte jede natürliche oder juristische Person, die Grund zu der Annahme hat, dass gegen diese Verordnung verstoßen wurde, befugt sein, bei der betreffenden Marktüberwachungsbehörde eine Beschwerde einzureichen.
(171)
Les personnes concernées devraient avoir le droit d’obtenir une explication lorsque la décision d’un déployeur est principalement fondée sur les sorties de certains systèmes d’IA à haut risque qui relèvent du champ d’application du présent règlement et lorsque cette décision produit des effets juridiques ou cause un préjudice important de façon similaire à ces personnes d’une manière qu’elles considèrent comme ayant une incidence négative sur leur santé, leur sécurité ou leurs droits fondamentaux. Cette explication devrait être claire et pertinente, et constituer une base à partir de laquelle les personnes concernées peuvent exercer leurs droits. Le droit d’obtenir une explication ne devrait pas s’appliquer à l’utilisation de systèmes d’IA pour lesquels des exceptions ou des restrictions découlent du droit de l’Union ou du droit national et ne devrait s’appliquer que dans la mesure où ce droit n’est pas déjà prévu par le droit de l’Union.
(171)
Betroffene Personen sollten das Recht haben, eine Erklärung zu erhalten, wenn eine Entscheidung eines Betreibers überwiegend auf den Ausgaben bestimmter Hochrisiko-KI-systeme beruht, die in den Geltungsbereich dieser Verordnung fallen, und wenn diese Entscheidung Rechtswirkungen entfaltet oder diese Personen in ähnlicher Weise wesentlich beeinträchtigt, und zwar so, dass sie ihrer Ansicht nach negative Auswirkungen auf ihre Gesundheit, ihre Sicherheit oder ihre Grundrechte hat. Diese Erklärung sollte klar und aussagekräftig sein, und sie sollte eine Grundlage bieten, auf der die betroffenen Personen ihre Rechte ausüben können. Das Recht auf eine Erklärung sollte nicht für die Nutzung von KI-Systemen gelten, für die sich aus dem Unionsrecht oder dem nationalen Recht Ausnahmen oder Beschränkungen ergeben, und es sollte nur insoweit gelten, als es nicht bereits in anderem Unionsrecht vorgesehen ist.
(172)
Les personnes agissant en tant que lanceurs d’alerte eu égard à des infractions au présent règlement devraient être protégées en vertu du droit de l’Union. La directive (UE) 2019/1937 du Parlement européen et du Conseil (54) devrait donc s’appliquer aux signalements d’infractions au présent règlement et à la protection des personnes signalant ces infractions.
(172)
Personen, die als Hinweisgeber in Bezug auf die in dieser Verordnung genannten Verstöße auftreten, sollten durch das Unionsrecht geschützt werden. Für die Meldung von Verstößen gegen diese Verordnung und den Schutz von Personen, die solche Verstöße melden, sollte daher die Richtlinie (EU) 2019/1937 des Europäischen Parlaments und des Rates (54) gelten.
(173)
Afin de garantir que le cadre réglementaire puisse être adapté si nécessaire, le pouvoir d’adopter des actes conformément à l’article 290 du traité sur le fonctionnement de l’Union européenne devrait être délégué à la Commission pour lui permettre de modifier les conditions dans lesquelles un système d’IA ne doit pas être considéré comme étant à haut risque, la liste des systèmes d’IA à haut risque, les dispositions relatives à la documentation technique, le contenu de la déclaration «UE» de conformité, les dispositions relatives aux procédures d’évaluation de la conformité, les dispositions établissant les systèmes d’IA à haut risque auxquels devrait s’appliquer la procédure d’évaluation de la conformité fondée sur l’évaluation du système de gestion de la qualité et l’évaluation de la documentation technique, le seuil, les critères de référence et les indicateurs, y compris en complétant ces critères de référence et indicateurs, dans les règles de classification des modèles d’IA à usage général présentant un risque systémique, les critères de désignation des modèles d’IA à usage général présentant un risque systémique, la documentation technique destinée aux fournisseurs de modèles d’IA à usage général et les informations relatives à la transparence pour les fournisseurs de modèles d’IA à usage général. Il importe particulièrement que la Commission procède aux consultations appropriées durant son travail préparatoire, y compris au niveau des experts, et que ces consultations soient menées conformément aux principes définis dans l’accord interinstitutionnel du 13 avril 2016«Mieux légiférer» (55). En particulier, afin d’assurer une participation égale à la préparation des actes délégués, le Parlement européen et le Conseil reçoivent tous les documents en même temps que les experts des États membres, et leurs experts ont systématiquement accès aux réunions des groupes d’experts de la Commission participant à la préparation des actes délégués.
(173)
Damit der Regelungsrahmen erforderlichenfalls angepasst werden kann, sollte der Kommission die Befugnis übertragen werden, gemäß Artikel 290 AEUV Rechtsakte zur Änderung der Bedingungen, unter denen ein KI-System nicht als Hochrisiko-System einzustufen ist, der Liste der Hochrisiko-KI-Systeme, der Bestimmungen über die technische Dokumentation, des Inhalts der EU-Konformitätserklärung, der Bestimmungen über die Konformitätsbewertungsverfahren, der Bestimmungen zur Festlegung der Hochrisiko-KI-Systeme, für die das Konformitätsbewertungsverfahren auf der Grundlage der Bewertung des Qualitätsmanagementsystems und der technischen Dokumentation gelten sollte, der Schwellenwerte, Benchmarks und Indikatoren — auch durch Ergänzung dieser Benchmarks und Indikatoren — in den Vorschriften für die Einstufung von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko, der Kriterien für die Benennung von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko, der technischen Dokumentation für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und der Transparenzinformationen für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck zu erlassen. Es ist von besonderer Bedeutung, dass die Kommission im Zuge ihrer Vorbereitungsarbeit angemessene Konsultationen, auch auf der Ebene von Sachverständigen, durchführt, die mit den Grundsätzen in Einklang stehen, die in der Interinstitutionellen Vereinbarung vom 13. April 2016 über bessere Rechtsetzung (55) niedergelegt wurden. Um insbesondere für eine gleichberechtigte Beteiligung an der Vorbereitung delegierter Rechtsakte zu sorgen, erhalten das Europäische Parlament und der Rat alle Dokumente zur gleichen Zeit wie die Sachverständigen der Mitgliedstaaten, und ihre Sachverständigen haben systematisch Zugang zu den Sitzungen der Sachverständigengruppen der Kommission, die mit der Vorbereitung der delegierten Rechtsakte befasst sind.
(174)
Compte tenu de l’évolution rapide des technologies et de l’expertise technique requise aux fins de la bonne application du présent règlement, la Commission devrait évaluer et réexaminer le présent règlement au plus tard le 2 août 2029 et tous les quatre ans par la suite, et faire rapport au Parlement européen et au Conseil. En outre, en tenant compte des conséquences sur le champ d’application du présent règlement, la Commission devrait procéder à une évaluation de la nécessité de modifier une fois par an la liste des systèmes d’IA à haut risque et la liste des pratiques interdites. En outre, au plus tard le 2 août 2028 et tous les quatre ans par la suite, la Commission devrait évaluer la nécessité de modifier les rubriques de la liste des domaines à haut risque figurant à l’annexe du présent règlement, les systèmes d’IA relevant des obligations de transparence, l’efficacité du système de surveillance et de gouvernance ainsi que l’état d’avancement des travaux de normalisation concernant le développement économe en énergie de modèles d’IA à usage général, y compris la nécessité de mesures ou d’actions supplémentaires, et faire rapport au Parlement européen et au Conseil. Enfin, au plus tard le 2 août 2028 et tous les trois ans par la suite, la Commission devrait évaluer l’impact et l’efficacité des codes de conduite volontaires destinés à favoriser l’application des exigences énoncées pour les systèmes d’IA à haut risque dans le cas des systèmes d’IA autres que les systèmes d’IA à haut risque, et éventuellement d’autres exigences supplémentaires pour de tels systèmes d’IA.
(174)
Angesichts der raschen technologischen Entwicklungen und des für die wirksame Anwendung dieser Verordnung erforderlichen technischen Fachwissens sollte die Kommission diese Verordnung bis zum 2. August 2029 und danach alle vier Jahre bewerten und überprüfen und dem Europäischen Parlament und dem Rat darüber Bericht erstatten. Darüber hinaus sollte die Kommission — unter Berücksichtigung der Auswirkungen auf den Geltungsbereich dieser Verordnung — einmal jährlich beurteilen, ob es notwendig ist, die Liste der Hochrisiko-KI-Systeme und die Liste der verbotenen Praktiken zu ändern. Außerdem sollte die Kommission bis zum 2. August 2028 und danach alle vier Jahre die Notwendigkeit einer Änderung der Liste der Hochrisikobereiche im Anhang dieser Verordnung, die KI-Systeme im Geltungsbereich der Transparenzpflichten, die Wirksamkeit des Aufsichts- und Governance-Systems und die Fortschritte bei der Entwicklung von Normungsdokumenten zur energieeffizienten Entwicklung von KI-Modellen mit allgemeinem Verwendungszweck, einschließlich der Notwendigkeit weiterer Maßnahmen oder Handlungen, bewerten und dem Europäischen Parlament und dem Rat darüber Bericht erstatten. Schließlich sollte die Kommission bis zum 2. August 2028 und danach alle drei Jahre eine Bewertung der Folgen und der Wirksamkeit der freiwilligen Verhaltenskodizes durchführen, mit denen die Anwendung der für Hochrisiko-KI-Systeme vorgesehenen Anforderungen bei anderen KI-Systemen als Hochrisiko-KI-Systemen und möglicherweise auch zusätzlicher Anforderungen an solche KI-Systeme gefördert werden soll.
(175)
Afin de garantir des conditions uniformes de mise en œuvre du présent règlement, il convient de conférer des compétences d’exécution à la Commission. Ces compétences devraient être exercées en conformité avec le règlement (UE) no 182/2011 du Parlement européen et du Conseil (56).
(175)
Zur Gewährleistung einheitlicher Bedingungen für die Durchführung dieser Verordnung sollten der Kommission Durchführungsbefugnisse übertragen werden. Diese Befugnisse sollten gemäß der Verordnung (EU) Nr. 182/2011 des Europäischen Parlaments und des Rates (56) ausgeübt werden.
(176)
Étant donné que l’objectif du présent règlement, à savoir améliorer le fonctionnement du marché intérieur et promouvoir l’adoption d’une IA axée sur l’humain et digne de confiance tout en garantissant un niveau élevé de protection de la santé, de la sécurité et des droits fondamentaux consacrés dans la Charte, y compris la démocratie, l’état de droit et la protection de l’environnement, contre les effets néfastes des systèmes d’IA dans l’Union, et en soutenant l’innovation, ne peut pas être atteint de manière suffisante par les États membres mais peut, en raison des dimensions et des effets de l’action, l’être mieux au niveau de l’Union, celle-ci peut prendre des mesures conformément au principe de subsidiarité consacré à l’article 5 du traité sur l’Union européenne. Conformément au principe de proportionnalité énoncé audit article, le présent règlement n’excède pas ce qui est nécessaire pour atteindre cet objectif.
(176)
Da das Ziel dieser Verordnung, nämlich die Verbesserung der Funktionsweise des Binnenmarkts und die Förderung der Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen KI bei gleichzeitiger Gewährleistung eines hohen Maßes an Schutz der Gesundheit, der Sicherheit, der in der Charta verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Schutz der Umwelt vor schädlichen Auswirkungen von KI-Systemen in der Union, und der Förderung von Innovation, von den Mitgliedstaaten nicht ausreichend verwirklicht werden kann, sondern vielmehr wegen des Umfangs oder der Wirkungen der Maßnahme auf Unionsebene besser zu verwirklichen ist, kann die Union im Einklang mit dem in Artikel 5 EUV verankerten Subsidiaritätsprinzip tätig werden. Entsprechend dem in demselben Artikel genannten Grundsatz der Verhältnismäßigkeit geht diese Verordnung nicht über das für die Verwirklichung dieses Ziels erforderliche Maß hinaus.
(177)
Afin d’assurer la sécurité juridique, de veiller à ce que les opérateurs disposent d’une période d’adaptation appropriée et d’éviter toute perturbation du marché, y compris en assurant la continuité de l’utilisation des systèmes d’IA, il convient que le présent règlement s’applique aux systèmes d’IA à haut risque qui ont été mis sur le marché ou mis en service avant la date générale d’application de celui-ci, uniquement si, à compter de cette date, ces systèmes subissent d’importantes modifications de leur conception ou de leur destination. Il convient de préciser qu’à cet égard, la notion d’importante modification devrait être comprise comme équivalente sur le fond à celle de modification substantielle, qui est utilisée uniquement en ce qui concerne les systèmes d’IA à haut risque au titre du présent règlement. À titre exceptionnel et compte tenu de l’obligation de rendre des comptes au public, les exploitants de systèmes d’IA qui sont des composants des systèmes d’information à grande échelle établis par les actes juridiques énumérés à l’annexe du présent règlement et les exploitants de systèmes d’IA à haut risque destinés à être utilisés par des autorités publiques devraient prendre les mesures nécessaires pour se conformer aux exigences du présent règlement, respectivement, d’ici à la fin de 2030 et au plus tard le 2 août 2030.
(177)
Um Rechtssicherheit zu gewährleisten, einen angemessenen Anpassungszeitraum für die Akteure sicherzustellen und Marktstörungen zu vermeiden, unter anderem durch Gewährleistung der Kontinuität der Verwendung von KI-Systemen, ist es angezeigt, dass diese Verordnung nur dann für die Hochrisiko-KI-Systeme, die vor dem allgemeinen Anwendungsbeginn dieser Verordnung in Verkehr gebracht oder in Betrieb genommen wurden, gilt, wenn diese Systeme ab diesem Datum erheblichen Veränderungen in Bezug auf ihre Konzeption oder Zweckbestimmung unterliegen. Es ist angezeigt, klarzustellen, dass der Begriff der erheblichen Veränderung in diesem Hinblick als gleichwertig mit dem Begriff der wesentlichen Änderung verstanden werden sollte, der nur in Bezug auf Hochrisiko-KI-Systeme im Sinne dieser Verordnung verwendet wird. Ausnahmsweise und im Lichte der öffentlichen Rechenschaftspflicht sollten Betreiber von KI-Systemen, die Komponenten der in einem Anhang zu dieser Verordnung aufgeführten durch Rechtsakte eingerichteten IT-Großsysteme sind, und Betreiber von Hochrisiko-KI-Systemen, die von Behörden genutzt werden sollen, die erforderlichen Schritte unternehmen, um den Anforderungen dieser Verordnung bis Ende 2030 bzw. bis zum 2. August 2030 nachzukommen.
(178)
Les fournisseurs de systèmes d’IA à haut risque sont encouragés à commencer à se conformer, sur une base volontaire, aux obligations pertinentes du présent règlement dès la période transitoire.
(178)
Die Anbieter von Hochrisiko-KI-Systemen werden ermutigt, auf freiwilliger Basis bereits während der Übergangsphase mit der Einhaltung der einschlägigen Pflichten aus dieser Verordnung zu beginnen.
(179)
Le présent règlement devrait s’appliquer à partir du 2 août 2026. Toutefois, compte tenu du risque inacceptable associé à certaines utilisations de l’IA, les interdictions ainsi que les dispositions générales du présent règlement devraient déjà s’appliquer à compter du 2 février 2025. Si le plein effet de ces interdictions découle de la mise en place de la gouvernance et du contrôle du respect du présent règlement, il importe d’anticiper l’application des interdictions afin de tenir compte des risques inacceptables et d’avoir un effet sur d’autres procédures, par exemple en droit civil. En outre, l’infrastructure liée à la gouvernance et au système d’évaluation de la conformité devrait être opérationnelle avant le 2 août 2026, et les dispositions relatives aux organismes notifiés et à la structure de gouvernance devraient donc s’appliquer à compter du 2 août 2025. Compte tenu du rythme rapide des avancées technologiques et de l’adoption des modèles d’IA à usage général, les obligations incombant aux fournisseurs de modèles d’IA à usage général devraient s’appliquer à compter du 2 août 2025. Les codes de bonne pratique devraient être prêts au plus tard le 2 mai 2025 afin de permettre aux fournisseurs de démontrer leur conformité à temps. Le Bureau de l’IA devrait veiller à ce que les règles et procédures de classification soient à jour des évolutions technologiques. En outre, les États membres devraient définir et notifier à la Commission les règles relatives aux sanctions, y compris les amendes administratives, et veiller à ce qu’elles soient correctement et efficacement mises en œuvre à la date d’application du présent règlement. Par conséquent, les dispositions relatives aux sanctions devraient s’appliquer à compter du 2 août 2025.
(179)
Diese Verordnung sollte ab dem 2. August 2026 gelten. Angesichts des unannehmbaren Risikos, das mit der Nutzung von KI auf bestimmte Weise verbunden ist, sollten die Verbote sowie die allgemeinen Bestimmungen dieser Verordnung jedoch bereits ab dem 2. Februar 2025 gelten. Während die volle Wirkung dieser Verbote erst mit der Festlegung der Leitung und der Durchsetzung dieser Verordnung entsteht, ist die Vorwegnahme der Anwendung der Verbote wichtig, um unannehmbaren Risiken Rechnung zu tragen und Wirkung auf andere Verfahren, etwa im Zivilrecht, zu entfalten. Darüber hinaus sollte die Infrastruktur für die Leitung und das Konformitätsbewertungssystem vor dem 2. August 2026 einsatzbereit sein, weshalb die Bestimmungen über notifizierte Stellen und die Leitungsstruktur ab dem 2. August 2025 gelten sollten. Angesichts des raschen technologischen Fortschritts und der Einführung von KI-Modellen mit allgemeinem Verwendungszweck sollten die Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck ab dem 2. August 2025 gelten. Die Verhaltenskodizes sollten bis zum 2. Mai 2025 vorliegen, damit die Anbieter die Einhaltung fristgerecht nachweisen können. Das Büro für Künstliche Intelligenz sollte sicherstellen, dass die Vorschriften und Verfahren für die Einstufung jeweils dem Stand der technologischen Entwicklung entsprechen. Darüber hinaus sollten die Mitgliedstaaten die Vorschriften über Sanktionen, einschließlich Geldbußen, festlegen und der Kommission mitteilen sowie dafür sorgen, dass diese bis zum Geltungsbeginn dieser Verordnung ordnungsgemäß und wirksam umgesetzt werden. Daher sollten die Bestimmungen über Sanktionen ab dem 2. August 2025 gelten.
(180)
Le Contrôleur européen de la protection des données et le comité européen de la protection des données ont été consultés conformément à l’article 42, paragraphes 1 et 2, du règlement (UE) 2018/1725 et ont rendu leur avis conjoint le 18 juin 2021,
(180)
Der Europäische Datenschutzbeauftragte und der Europäische Datenschutzausschuss wurden gemäß Artikel 42 Absätze 1 und 2 der Verordnung (EU) 2018/1725 angehört und haben am 18. Juni 2021 ihre gemeinsame Stellungnahme abgegeben —
ONT ADOPTÉ LE PRÉSENT RÈGLEMENT:
HABEN FOLGENDE VERORDNUNG ERLASSEN:
1. Le présent règlement s’applique:
(1) Diese Verordnung gilt für
a)
aux fournisseurs établis ou situés dans l’Union ou dans un pays tiers qui mettent sur le marché ou mettent en service des systèmes d’IA ou qui mettent sur le marché des modèles d’IA à usage général dans l’Union;
a)
Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind;
b)
aux déployeurs de systèmes d’IA qui ont leur lieu d’établissement ou sont situés dans l’Union;
b)
Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder in der Union befinden;
c)
aux fournisseurs et aux déployeurs de systèmes d’IA qui ont leur lieu d’établissement ou sont situés dans un pays tiers, lorsque les sorties produites par le système d’IA sont utilisées dans l’Union;
c)
Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird;
d)
aux importateurs et aux distributeurs de systèmes d’IA;
d)
Einführer und Händler von KI-Systemen;
e)
aux fabricants de produits qui mettent sur le marché ou mettent en service un système d’IA en même temps que leur produit et sous leur propre nom ou leur propre marque;
e)
Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen;
f)
aux mandataires des fournisseurs qui ne sont pas établis dans l’Union;
f)
Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind;
g)
aux personnes concernées qui sont situées dans l’Union.
g)
betroffene Personen, die sich in der Union befinden.
2. En ce qui concerne les systèmes d’IA classés à haut risque conformément à l’article 6, paragraphe 1, liés aux produits couverts par la législation d’harmonisation de l’Union dont la liste figure à l’annexe I, section B, seuls l’article 6, paragraphe 1, les articles 102 à 109 et l’article 112 s’appliquent. L’article 57 ne s’applique que dans la mesure où les exigences applicables aux systèmes d’IA à haut risque au titre du présent règlement ont été intégrées dans ladite législation d’harmonisation de l’Union.
(2) Für KI-Systeme, die als Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 1 eingestuft sind und im Zusammenhang mit Produkten stehen, die unter die in Anhang I Abschnitt B aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, gelten nur Artikel 6 Absatz 1, die Artikel 102 bis 109 und Artikel 112. Artikel 57 gilt nur, soweit die Anforderungen an Hochrisiko-KI-Systeme gemäß dieser Verordnung im Rahmen der genannten Harmonisierungsrechtsvorschriften der Union eingebunden wurden.
3. Le présent règlement ne s’applique pas aux domaines qui ne relèvent pas du champ d’application du droit de l’Union et, en tout état de cause, ne porte pas atteinte aux compétences des États membres en matière de sécurité nationale, quel que soit le type d’entité chargée par les États membres d’exécuter des tâches liées à ces compétences.
(3) Diese Verordnung gilt nur in den unter das Unionsrecht fallenden Bereichen und berührt keinesfalls die Zuständigkeiten der Mitgliedstaaten in Bezug auf die nationale Sicherheit, unabhängig von der Art der Einrichtung, die von den Mitgliedstaaten mit der Wahrnehmung von Aufgaben im Zusammenhang mit diesen Zuständigkeiten betraut wurde.
Le présent règlement ne s’applique pas aux systèmes d’IA si et dans la mesure où ils sont mis sur le marché, mis en service ou utilisés avec ou sans modifications exclusivement à des fins militaires, de défense ou de sécurité nationale, quel que soit le type d’entité exerçant ces activités.
Diese Verordnung gilt nicht für KI-Systeme, wenn und soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt.
Le présent règlement ne s’applique pas aux systèmes d’IA qui ne sont pas mis sur le marché ou mis en service dans l’Union, lorsque les sorties sont utilisées dans l’Union exclusivement à des fins militaires, de défense ou de sécurité nationale, quel que soit le type d’entité exerçant ces activités.
Diese Verordnung gilt nicht für KI-Systeme, die nicht in der Union in Verkehr gebracht oder in Betrieb genommen werden, wenn die Ausgaben in der Union ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt.
4. Le présent règlement ne s’applique ni aux autorités publiques d’un pays tiers ni aux organisations internationales relevant du champ d’application du présent règlement en vertu du paragraphe 1, lorsque ces autorités ou organisations utilisent des systèmes d’IA dans le cadre de la coopération internationale ou d’accords internationaux de coopération des services répressifs et judiciaires avec l’Union ou avec un ou plusieurs États membres, à condition que ce pays tiers ou cette organisation internationale fournisse des garanties adéquates en ce qui concerne la protection des droits fondamentaux et des libertés des personnes.
(4) Diese Verordnung gilt weder für Behörden in Drittländern noch für internationale Organisationen, die gemäß Absatz 1 in den Anwendungsbereich dieser Verordnung fallen, soweit diese Behörden oder Organisationen KI-Systeme im Rahmen der internationalen Zusammenarbeit oder internationaler Übereinkünfte im Bereich der Strafverfolgung und justiziellen Zusammenarbeit mit der Union oder mit einem oder mehreren Mitgliedstaaten verwenden und sofern ein solches Drittland oder eine solche internationale Organisation angemessene Garantien hinsichtlich des Schutz der Privatsphäre, der Grundrechte und der Grundfreiheiten von Personen bietet.
5. Le présent règlement n’affecte pas l’application des dispositions relatives à la responsabilité des prestataires intermédiaires énoncées au chapitre II du règlement (UE) 2022/2065.
(5) Die Anwendung der Bestimmungen über die Haftung der Anbieter von Vermittlungsdiensten in Kapitel II der Verordnung 2022/2065 bleibt von dieser Verordnung unberührt.
6. Le présent règlement ne s’applique pas aux systèmes d’IA ou aux modèles d’IA spécifiquement développés et mis en service uniquement à des fins de recherche et développement scientifiques, ni à leurs sorties.
(6) Diese Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.
7. Le droit de l’Union en matière de protection des données à caractère personnel, de respect de la vie privée et de confidentialité des communications s’applique aux données à caractère personnel traitées en lien avec les droits et obligations énoncés dans le présent règlement. Le présent règlement n’a pas d’incidence sur le règlement (UE) 2016/679 ou le règlement (UE) 2018/1725, ni sur la directive 2002/58/CE ou la directive (UE) 2016/680, sans préjudice de l’article 10, paragraphe 5, et de l’article 59 du présent règlement.
(7) Die Rechtsvorschriften der Union zum Schutz personenbezogener Daten, der Privatsphäre und der Vertraulichkeit der Kommunikation gelten für die Verarbeitung personenbezogener Daten im Zusammenhang mit den in dieser Verordnung festgelegten Rechten und Pflichten. Diese Verordnung berührt nicht die Verordnung (EU) 2016/679 bzw. (EU) 2018/1725 oder die Richtlinie 2002/58/EG bzw. (EU) 2016/680, unbeschadet des Artikels 10 Absatz 5 und des Artikels 59 der vorliegenden Verordnung.
8. Le présent règlement ne s’applique pas aux activités de recherche, d’essai et de développement relatives aux systèmes d’IA ou modèles d’IA avant leur mise sur le marché ou leur mise en service. Ces activités sont menées conformément au droit de l’Union applicable. Les essais en conditions réelles ne sont pas couverts par cette exclusion.
(8) Diese Verordnung gilt nicht für Forschungs-, Test- und Entwicklungstätigkeiten zu KI-Systemen oder KI-Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden. Solche Tätigkeiten werden im Einklang mit dem geltenden Unionsrecht durchgeführt. Tests unter Realbedingungen fallen nicht unter diesen Ausschluss.
9. Le présent règlement s’entend sans préjudice des règles établies par d’autres actes juridiques de l’Union relatifs à la protection des consommateurs et à la sécurité des produits.
(9) Diese Verordnung berührt nicht die Vorschriften anderer Rechtsakte der Union zum Verbraucherschutz und zur Produktsicherheit.
10. Le présent règlement ne s’applique pas aux obligations incombant aux déployeurs qui sont des personnes physiques utilisant des systèmes d’IA dans le cadre d’une activité strictement personnelle à caractère non professionnel.
(10) Diese Verordnung gilt nicht für die Pflichten von Betreibern, die natürliche Personen sind und KI-Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden.
11. Le présent règlement n’empêche pas l’Union ou les États membres de maintenir ou d’introduire des dispositions législatives, réglementaires ou administratives plus favorables aux travailleurs quant à la protection de leurs droits en ce qui concerne l’utilisation de systèmes d’IA par les employeurs, ou d’encourager ou de permettre l’application de conventions collectives plus favorables aux travailleurs.
(11) Diese Verordnung hindert die Union oder die Mitgliedstaaten nicht daran, Rechts- oder Verwaltungsvorschriften beizubehalten oder einzuführen, die für die Arbeitnehmer im Hinblick auf den Schutz ihrer Rechte bei der Verwendung von KI-Systemen durch die Arbeitgeber vorteilhafter sind, oder die Anwendung von Kollektivvereinbarungen zu fördern oder zuzulassen, die für die Arbeitnehmer vorteilhafter sind.
12. Le présent règlement ne s’applique pas aux systèmes d’IA publiés dans le cadre de licences libres et ouvertes, sauf s’ils sont mis sur le marché ou mis en service en tant que systèmes d’IA à haut risque ou en tant que systèmes d’IA qui relèvent de l’article 5 ou de l’article 50.
(12) Diese Verordnung gilt nicht für KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, es sei denn, sie werden als Hochrisiko-KI-Systeme oder als ein KI-System, das unter Artikel 5 oder 50 fällt, in Verkehr gebracht oder in Betrieb genommen.
Pratiques interdites en matière d’IA
Verbotene Praktiken im KI-Bereich
1. Les pratiques en matière d’IA suivantes sont interdites:
(1) Folgende Praktiken im KI-Bereich sind verboten:
a)
la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui a recours à des techniques subliminales, au-dessous du seuil de conscience d’une personne, ou à des techniques délibérément manipulatrices ou trompeuses, avec pour objectif ou effet d’altérer substantiellement le comportement d’une personne ou d’un groupe de personnes en portant considérablement atteinte à leur capacité à prendre une décision éclairée, amenant ainsi la personne à prendre une décision qu’elle n’aurait pas prise autrement, d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne, à une autre personne ou à un groupe de personnes;
a)
das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken mit dem Ziel oder der Wirkung einsetzt, das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern, indem ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt wird, wodurch sie veranlasst wird, eine Entscheidung zu treffen, die sie andernfalls nicht getroffen hätte, und zwar in einer Weise, die dieser Person, einer anderen Person oder einer Gruppe von Personen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird.
b)
la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui exploite les éventuelles vulnérabilités dues à l’âge, au handicap ou à la situation sociale ou économique spécifique d’une personne physique ou d’un groupe de personnes donné avec pour objectif ou effet d’altérer substantiellement le comportement de cette personne ou d’un membre de ce groupe d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à un tiers;
b)
das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das eine Vulnerabilität oder Schutzbedürftigkeit einer natürlichen Person oder einer bestimmten Gruppe von Personen aufgrund ihres Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation mit dem Ziel oder der Wirkung ausnutzt, das Verhalten dieser Person oder einer dieser Gruppe angehörenden Person in einer Weise wesentlich zu verändern, die dieser Person oder einer anderen Person erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird;
c)
la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA pour l’évaluation ou la classification de personnes physiques ou de groupes de personnes au cours d’une période donnée en fonction de leur comportement social ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites, la note sociale conduisant à l’une ou l’autre des situations suivantes, ou aux deux:
c)
das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen zur Bewertung oder Einstufung von natürlichen Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale, wobei die soziale Bewertung zu einem oder beiden der folgenden Ergebnisse führt:
i)
le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes de personnes dans des contextes sociaux dissociés du contexte dans lequel les données ont été générées ou collectées à l’origine;
i)
Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder Gruppen von Personen in sozialen Zusammenhängen, die in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erhoben wurden;
ii)
le traitement préjudiciable ou défavorable de certaines personnes ou de groupes de personnes, qui est injustifié ou disproportionné par rapport à leur comportement social ou à la gravité de celui-ci;
ii)
Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder Gruppen von Personen in einer Weise, die im Hinblick auf ihr soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist;
d)
la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation d’un système d’IA pour mener des évaluations des risques des personnes physiques visant à évaluer ou à prédire le risque qu’une personne physique commette une infraction pénale, uniquement sur la base du profilage d’une personne physique ou de l’évaluation de ses traits de personnalité ou caractéristiques; cette interdiction ne s’applique pas aux systèmes d’IA utilisés pour étayer l’évaluation humaine de l’implication d’une personne dans une activité criminelle, qui est déjà fondée sur des faits objectifs et vérifiables, directement liés à une activité criminelle;
d)
das Inverkehrbringen, die Inbetriebnahme für diesen spezifischen Zweck oder die Verwendung eines KI-Systems zur Durchführung von Risikobewertungen in Bezug auf natürliche Personen, um das Risiko, dass eine natürliche Person eine Straftat begeht, ausschließlich auf der Grundlage des Profiling einer natürlichen Person oder der Bewertung ihrer persönlichen Merkmale und Eigenschaften zu bewerten oder vorherzusagen; dieses Verbot gilt nicht für KI-Systeme, die dazu verwendet werden, die durch Menschen durchgeführte Bewertung der Beteiligung einer Person an einer kriminellen Aktivität, die sich bereits auf objektive und überprüfbare Tatsachen stützt, die in unmittelbarem Zusammenhang mit einer kriminellen Aktivität stehen, zu unterstützen;
e)
la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA qui créent ou développent des bases de données de reconnaissance faciale par le moissonnage non ciblé d’images faciales provenant de l’internet ou de la vidéosurveillance;
e)
das Inverkehrbringen, die Inbetriebnahme für diesen spezifischen Zweck oder die Verwendung von KI-Systemen, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern;
f)
la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA pour inférer les émotions d’une personne physique sur le lieu de travail et dans les établissements d’enseignement, sauf lorsque l’utilisation du système d’IA est destinée à être mise en place ou mise sur le marché pour des raisons médicales ou de sécurité;
f)
das Inverkehrbringen, die Inbetriebnahme für diesen spezifischen Zweck oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, die Verwendung des KI-Systems soll aus medizinischen Gründen oder Sicherheitsgründen eingeführt oder auf den Markt gebracht werden;
g)
la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes de catégorisation biométrique qui catégorisent individuellement les personnes physiques sur la base de leurs données biométriques afin d’arriver à des déductions ou des inférences concernant leur race, leurs opinions politiques, leur affiliation à une organisation syndicale, leurs convictions religieuses ou philosophiques, leur vie sexuelle ou leur orientation sexuelle; cette interdiction ne couvre pas l’étiquetage ou le filtrage d’ensembles de données biométriques acquis légalement, tels que des images, fondés sur des données biométriques ou la catégorisation de données biométriques dans le domaine répressif;
g)
das Inverkehrbringen, die Inbetriebnahme für diesen spezifischen Zweck oder die Verwendung von Systemen zur biometrischen Kategorisierung, mit denen natürliche Personen individuell auf der Grundlage ihrer biometrischen Daten kategorisiert werden, um ihre Rasse, ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu erschließen oder abzuleiten; dieses Verbot gilt nicht für die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, wie z. B. Bilder auf der Grundlage biometrischer Daten oder die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung;
h)
l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives, sauf si et dans la mesure où cette utilisation est strictement nécessaire eu égard à l’un des objectifs suivants:
h)
die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, außer wenn und insoweit dies im Hinblick auf eines der folgenden Ziele unbedingt erforderlich ist:
i)
la recherche ciblée de victimes spécifiques d’enlèvement, de la traite ou de l’exploitation sexuelle d’êtres humains, ainsi que la recherche de personnes disparues;
i)
gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung sowie die Suche nach vermissten Personen;
ii)
la prévention d’une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique de personnes physiques ou d’une menace réelle et actuelle ou réelle et prévisible d’attaque terroriste;
ii)
Abwenden einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit natürlicher Personen oder einer tatsächlichen und bestehenden oder tatsächlichen und vorhersehbaren Gefahr eines Terroranschlags;
iii)
la localisation ou l’identification d’une personne soupçonnée d’avoir commis une infraction pénale, aux fins de mener une enquête pénale, d’engager des poursuites ou d’exécuter une sanction pénale pour des infractions visées à l’annexe II et punissables dans l’État membre concerné d’une peine ou d’une mesure de sûreté privatives de liberté d’une durée maximale d’au moins quatre ans.
iii)
Aufspüren oder Identifizieren einer Person, die der Begehung einer Straftat verdächtigt wird, zum Zwecke der Durchführung von strafrechtlichen Ermittlungen oder von Strafverfahren oder der Vollstreckung einer Strafe für die in Anhang II aufgeführten Straftaten, die in dem betreffenden Mitgliedstaat nach dessen Recht mit einer Freiheitsstrafe oder einer freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens vier Jahren bedroht ist.
Le premier alinéa, point h), est sans préjudice de l’article 9 du règlement (UE) 2016/679 pour le traitement des données biométriques à des fins autres que répressives.
Unterabsatz 1 Buchstabe h gilt unbeschadet des Artikels 9 der Verordnung (EU) 2016/679 für die Verarbeitung biometrischer Daten zu anderen Zwecken als der Strafverfolgung.
2. L’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives en vue de la réalisation de l’un des objectifs énumérés au paragraphe 1, premier alinéa, point h), n’est déployée aux fins énoncées audit point, que pour confirmer l’identité de la personne spécifiquement ciblée et tient compte des éléments suivants:
(2) Die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken im Hinblick auf die in Absatz 1 Unterabsatz 1 Buchstabe h genannten Ziele darf für die in jenem Buchstaben genannten Zwecke nur zur Bestätigung der Identität der speziell betroffenen Person erfolgen, wobei folgende Elemente berücksichtigt werden:
a)
la nature de la situation donnant lieu à un éventuel recours au système, en particulier la gravité, la probabilité et l’ampleur du préjudice qui serait causé si le système n’était pas utilisé;
a)
die Art der Situation, die der möglichen Verwendung zugrunde liegt, insbesondere die Schwere, die Wahrscheinlichkeit und das Ausmaß des Schadens, der entstehen würde, wenn das System nicht eingesetzt würde;
b)
les conséquences de l’utilisation du système sur les droits et libertés de toutes les personnes concernées, notamment la gravité, la probabilité et l’ampleur de ces conséquences.
b)
die Folgen der Verwendung des Systems für die Rechte und Freiheiten aller betroffenen Personen, insbesondere die Schwere, die Wahrscheinlichkeit und das Ausmaß solcher Folgen.
En outre, l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives en vue de la réalisation de l’un des objectifs énumérés au paragraphe 1, premier alinéa, point h), du présent article respecte les garanties et conditions nécessaires et proportionnées en ce qui concerne cette utilisation, conformément au droit national qui l’autorise, notamment eu égard aux limitations temporelles, géographiques et relatives aux personnes. L’utilisation du système d’identification biométrique à distance en temps réel dans des espaces accessibles au public n’est autorisée que si l’autorité répressive a réalisé une analyse d’impact sur les droits fondamentaux conformément à l’article 27 et a enregistré le système dans la base de données de l’UE prévue par l’article 49. Toutefois, dans des cas d’urgence dûment justifiés, il est possible de commencer à utiliser ces systèmes sans enregistrement dans la base de données de l’UE, à condition que cet enregistrement soit effectué sans retard injustifié.
Darüber hinaus sind bei der Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken im Hinblick auf die in Absatz 1 Unterabsatz 1 Buchstabe h des vorliegenden Artikels genannten Ziele notwendige und verhältnismäßige Schutzvorkehrungen und Bedingungen für die Verwendung im Einklang mit nationalem Recht über die Ermächtigung ihrer Verwendung einzuhalten, insbesondere in Bezug auf die zeitlichen, geografischen und personenbezogenen Beschränkungen. Die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen ist nur dann zu gestatten, wenn die Strafverfolgungsbehörde eine Folgenabschätzung im Hinblick auf die Grundrechte gemäß Artikel 27 abgeschlossen und das System gemäß Artikel 49 in der EU-Datenbank registriert hat. In hinreichend begründeten dringenden Fällen kann jedoch mit der Verwendung solcher Systeme zunächst ohne Registrierung in der EU-Datenbank begonnen werden, sofern diese Registrierung unverzüglich erfolgt.
3. Aux fins du paragraphe 1, premier alinéa, point h), et du paragraphe 2, chaque utilisation à des fins répressives d’un système d’identification biométrique à distance en temps réel dans des espaces accessibles au public est subordonnée à une autorisation préalable octroyée par une autorité judiciaire ou une autorité administrative indépendante dont la décision est contraignante de l’État membre dans lequel cette utilisation doit avoir lieu, délivrée sur demande motivée et conformément aux règles détaillées du droit national visées au paragraphe 5. Toutefois, dans une situation d’urgence dûment justifiée, il est possible de commencer à utiliser ce système sans autorisation à condition que cette autorisation soit demandée sans retard injustifié, au plus tard dans les 24 heures. Si cette autorisation est rejetée, il est mis fin à l’utilisation avec effet immédiat, et toutes les données, ainsi que les résultats et sorties de cette utilisation, sont immédiatement mis au rebut et supprimés.
(3) Für die Zwecke des Absatz 1 Unterabsatz 1 Buchstabe h und des Absatzes 2 ist für jede Verwendung eines biometrischen Echtzeit-Fernidentifizierungssystems in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken eine vorherige Genehmigung erforderlich, die von einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde des Mitgliedstaats, in dem die Verwendung erfolgen soll, auf begründeten Antrag und gemäß den in Absatz 5 genannten detaillierten nationalen Rechtsvorschriften erteilt wird, wobei deren Entscheidung bindend ist. In hinreichend begründeten dringenden Fällen kann jedoch mit der Verwendung eines solchen Systems zunächst ohne Genehmigung begonnen werden, sofern eine solche Genehmigung unverzüglich, spätestens jedoch innerhalb von 24 Stunden beantragt wird. Wird eine solche Genehmigung abgelehnt, so wird die Verwendung mit sofortiger Wirkung eingestellt und werden alle Daten sowie die Ergebnisse und Ausgaben dieser Verwendung unverzüglich verworfen und gelöscht.
L’autorité judiciaire compétente ou une autorité administrative indépendante dont la décision est contraignante n’accorde l’autorisation que si elle estime, sur la base d’éléments objectifs ou d’indications claires qui lui sont présentés, que l’utilisation du système d’identification biométrique à distance en temps réel concerné est nécessaire et proportionnée à la réalisation de l’un des objectifs énumérés au paragraphe 1, premier alinéa, point h), tels qu’indiqués dans la demande et, en particulier, que cette utilisation reste limitée au strict nécessaire dans le temps et du point de vue de la portée géographique et personnelle. Lorsqu’elle statue sur la demande, cette autorité tient compte des éléments visés au paragraphe 2. Aucune décision produisant des effets juridiques défavorables à l’égard d’une personne ne peut être prise sur la seule base de la sortie du système d’identification biométrique à distance «en temps réel».
Die zuständige Justizbehörde oder eine unabhängige Verwaltungsbehörde, deren Entscheidung bindend ist, erteilt die Genehmigung nur dann, wenn sie auf der Grundlage objektiver Nachweise oder eindeutiger Hinweise, die ihr vorgelegt werden, davon überzeugt ist, dass die Verwendung des betreffenden biometrischen Echtzeit-Fernidentifizierungssystems für das Erreichen eines der in Absatz 1 Unterabsatz 1 Buchstabe h genannten Ziele — wie im Antrag angegeben — notwendig und verhältnismäßig ist und insbesondere auf das in Bezug auf den Zeitraum sowie den geografischen und persönlichen Anwendungsbereich unbedingt erforderliche Maß beschränkt bleibt. Bei ihrer Entscheidung über den Antrag berücksichtigt diese Behörde die in Absatz 2 genannten Elemente. Eine Entscheidung, aus der sich eine nachteilige Rechtsfolge für eine Person ergibt, darf nicht ausschließlich auf der Grundlage der Ausgabe des biometrischen Echtzeit-Fernidentifizierungssystems getroffen werden.
4. Sans préjudice du paragraphe 3, toute utilisation d’un système d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives est notifiée à l’autorité de surveillance du marché concernée et à l’autorité nationale chargée de la protection des données, conformément aux règles nationales visées au paragraphe 5. Cette notification contient, au minimum, les informations visées au paragraphe 6 et n’inclut pas de données opérationnelles sensibles.
(4) Unbeschadet des Absatzes 3 wird jede Verwendung eines biometrischen Echtzeit-Fernidentifizierungssystems in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken der zuständigen Marktüberwachungsbehörde und der nationalen Datenschutzbehörde gemäß den in Absatz 5 genannten nationalen Vorschriften mitgeteilt. Die Mitteilung muss mindestens die in Absatz 6 genannten Angaben enthalten und darf keine sensiblen operativen Daten enthalten.
5. Un État membre peut décider de prévoir la possibilité d’autoriser totalement ou partiellement l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives, dans les limites et les conditions énumérées au paragraphe 1, premier alinéa, point h), et aux paragraphes 2 et 3. Les États membres concernés établissent dans leur droit national les règles détaillées nécessaires à la demande, à la délivrance et à l’exercice des autorisations visées au paragraphe 3, ainsi qu’à la surveillance et à l’établissement de rapports y afférents. Ces règles précisent également pour quels objectifs énumérés au paragraphe 1, premier alinéa, point h), et notamment pour quelles infractions pénales visées au point h), iii), les autorités compétentes peuvent être autorisées à utiliser ces systèmes à des fins répressives. Les États membres notifient ces règles à la Commission au plus tard 30 jours après leur adoption. Les États membres peuvent adopter, conformément au droit de l’Union, des lois plus restrictives sur l’utilisation de systèmes d’identification biométrique à distance.
(5) Ein Mitgliedstaat kann die Möglichkeit einer vollständigen oder teilweisen Ermächtigung zur Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken innerhalb der in Absatz 1 Unterabsatz 1 Buchstabe h sowie Absätze 2 und 3 aufgeführten Grenzen und unter den dort genannten Bedingungen vorsehen. Die betreffenden Mitgliedstaaten legen in ihrem nationalen Recht die erforderlichen detaillierten Vorschriften für die Beantragung, Erteilung und Ausübung der in Absatz 3 genannten Genehmigungen sowie für die entsprechende Beaufsichtigung und Berichterstattung fest. In diesen Vorschriften wird auch festgelegt, im Hinblick auf welche der in Absatz 1 Unterabsatz 1 Buchstabe h aufgeführten Ziele und welche der unter Buchstabe h Ziffer iii genannten Straftaten die zuständigen Behörden ermächtigt werden können, diese Systeme zu Strafverfolgungszwecken zu verwenden. Die Mitgliedstaaten teilen der Kommission diese Vorschriften spätestens 30 Tage nach ihrem Erlass mit. Die Mitgliedstaaten können im Einklang mit dem Unionsrecht strengere Rechtsvorschriften für die Verwendung biometrischer Fernidentifizierungssysteme erlassen.
6. Les autorités nationales de surveillance du marché et les autorités nationales chargées de la protection des données des États membres qui ont été notifiées de l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives, conformément au paragraphe 4, soumettent à la Commission des rapports annuels sur cette utilisation. À cette fin, la Commission fournit aux États membres et aux autorités nationales en matière de surveillance du marché et de protection des données un modèle comprenant des informations sur le nombre de décisions prises par les autorités judiciaires compétentes ou par une autorité administrative indépendante dont la décision est contraignante en ce qui concerne les demandes d’autorisation conformément au paragraphe 3, ainsi que sur leur résultat.
(6) Die nationalen Marktüberwachungsbehörden und die nationalen Datenschutzbehörden der Mitgliedstaaten, denen gemäß Absatz 4 die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken mitgeteilt wurden, legen der Kommission Jahresberichte über diese Verwendung vor. Zu diesem Zweck stellt die Kommission den Mitgliedstaaten und den nationalen Marktüberwachungs- und Datenschutzbehörden ein Muster zur Verfügung, das Angaben über die Anzahl der Entscheidungen der zuständigen Justizbehörden oder einer unabhängigen Verwaltungsbehörde, deren Entscheidung über Genehmigungsanträge gemäß Absatz 3 bindend ist, und deren Ergebnis enthält.
7. La Commission publie des rapports annuels sur l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives, fondés sur des données agrégées dans les États membres sur la base des rapports annuels visés au paragraphe 6. Ces rapports annuels n’incluent pas de données opérationnelles sensibles sur les activités répressives connexes.
(7) Die Kommission veröffentlicht Jahresberichte über die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, die auf aggregierten Daten aus den Mitgliedstaaten auf der Grundlage der in Absatz 6 genannten Jahresberichte beruhen. Diese Jahresberichte dürfen keine sensiblen operativen Daten im Zusammenhang mit den damit verbundenen Strafverfolgungsmaßnahmen enthalten.
8. Le présent article ne porte pas atteinte aux interdictions qui s’appliquent lorsqu’une pratique en matière d’IA enfreint d’autres dispositions du droit de l’Union.
(8) Dieser Artikel berührt nicht die Verbote, die gelten, wenn KI-Praktiken gegen andere Rechtsvorschriften der Union verstoßen.
Règles relatives à la classification de systèmes d’IA comme systèmes à haut risque
Einstufungsvorschriften für Hochrisiko-KI-Systeme
1. Un système d’IA mis sur le marché ou mis en service, qu’il soit ou non indépendant des produits visés aux points a) et b), est considéré comme étant à haut risque lorsque les deux conditions suivantes sont remplies:
(1) Ungeachtet dessen, ob ein KI-System unabhängig von den unter den Buchstaben a und b genannten Produkten in Verkehr gebracht oder in Betrieb genommen wird, gilt es als Hochrisiko-KI-System, wenn die beiden folgenden Bedingungen erfüllt sind:
a)
le système d’IA est destiné à être utilisé comme composant de sécurité d’un produit couvert par la législation d’harmonisation de l’Union dont la liste figure à l’annexe I, ou le système d’IA constitue lui-même un tel produit;
a)
das KI-System soll als Sicherheitsbauteil eines unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fallenden Produkts verwendet werden oder das KI-System ist selbst ein solches Produkt;
b)
le produit dont le composant de sécurité visé au point a) est le système d’IA, ou le système d’IA lui-même en tant que produit, est soumis à une évaluation de conformité par un tiers en vue de la mise sur le marché ou de la mise en service de ce produit conformément à la législation d’harmonisation de l’Union dont la liste figure à l’annexe I.
b)
das Produkt, dessen Sicherheitsbauteil gemäß Buchstabe a das KI-System ist, oder das KI-System selbst als Produkt muss einer Konformitätsbewertung durch Dritte im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme dieses Produkts gemäß den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union unterzogen werden.
2. Outre les systèmes d’IA à haut risque visés au paragraphe 1, les systèmes d’IA visés à l’annexe III sont considérés comme étant à haut risque.
(2) Zusätzlich zu den in Absatz 1 genannten Hochrisiko-KI-Systemen gelten die in Anhang III genannten KI-Systeme als hochriskant.
3. Par dérogation au paragraphe 2, un système d’IA visé à l’annexe III n’est pas considéré comme étant à haut risque lorsqu’il ne présente pas de risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes physiques, y compris en n’ayant pas d’incidence significative sur le résultat de la prise de décision.
(3) Abweichend von Absatz 2 gilt ein in Anhang III genanntes KI-System nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.
Le premier alinéa s’applique lorsqu’une des conditions suivantes est remplie:
Unterabsatz 1 gilt, wenn eine der folgenden Bedingungen erfüllt ist:
a)
le système d’IA est destiné à accomplir un tâche procédurale étroite;
a)
das KI-System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen;
b)
le système d’IA est destiné à améliorer le résultat d’une activité humaine préalablement réalisée;
b)
das KI-System ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern;
c)
le système d’IA est destiné à détecter les constantes en matière de prise de décision ou les écarts par rapport aux constantes habituelles antérieures et n’est pas destiné à se substituer à l’évaluation humaine préalablement réalisée, ni à influencer celle-ci, sans examen humain approprié; ou
c)
das KI-System ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder
d)
le système d’IA est destiné à exécuter une tâche préparatoire en vue d’une évaluation pertinente aux fins des cas d’utilisation visés à l’annexe III.
d)
das KI-System ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist.
Nonobstant le premier alinéa, un système d’IA visé à l’annexe III est toujours considéré comme étant à haut risque lorsqu’il effectue un profilage de personnes physiques.
Ungeachtet des Unterabsatzes 1 gilt ein in Anhang III aufgeführtes KI-System immer dann als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt.
4. Un fournisseur qui considère qu’un système d’IA visé à l’annexe III n’est pas à haut risque documente son évaluation avant que ce système ne soit mis sur le marché ou mis en service. Ce fournisseur est soumis à l’obligation d’enregistrement visée à l’article 49, paragraphe 2. À la demande des autorités nationales compétentes, le fournisseur fournit la documentation de l’évaluation.
(4) Ein Anbieter, der der Auffassung ist, dass ein in Anhang III aufgeführtes KI-System nicht hochriskant ist, dokumentiert seine Bewertung, bevor dieses System in Verkehr gebracht oder in Betrieb genommen wird. Dieser Anbieter unterliegt der Registrierungspflicht gemäß Artikel 49 Absatz 2. Auf Verlangen der zuständigen nationalen Behörden legt der Anbieter die Dokumentation der Bewertung vor.
5. Après consultation du Comité européen de l’intelligence artificielle (ci-après dénommé «Comité IA»), et au plus tard le 2 février 2026, la Commission fournit des lignes directrices précisant la mise en œuvre pratique du présent article, conformément à l’article 96, assorties d’une liste exhaustive d’exemples pratiques de cas d’utilisation de systèmes d’IA qui sont à haut risque et de cas d’utilisation qui ne le sont pas.
(5) Die Kommission stellt nach Konsultation des Europäischen Gremiums für Künstliche Intelligenz (im Folgenden „KI-Gremium“) spätestens bis zum 2. Februar 2026 Leitlinien zur praktischen Umsetzung dieses Artikels gemäß Artikel 96 und eine umfassende Liste praktischer Beispiele für Anwendungsfälle für KI-Systeme, die hochriskant oder nicht hochriskant sind, bereit.
6. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 pour modifier le paragraphe 3, deuxième alinéa, du présent article en ajoutant de nouvelles conditions à celles qui y sont énoncées, ou en les modifiant, lorsqu’il existe des preuves concrètes et fiables de l’existence de systèmes d’IA qui relèvent du champ d’application de l’annexe III, mais qui ne présentent pas de risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes physiques.
(6) Die Kommission ist befugt, gemäß Artikel 97 delegierte Rechtsakte zu erlassen, um Absatz 3 Unterabsatz 2 des vorliegenden Artikels zu ändern, indem neue Bedingungen zu den darin genannten Bedingungen hinzugefügt oder diese geändert werden, wenn konkrete und zuverlässige Beweise für das Vorhandensein von KI-Systemen vorliegen, die in den Anwendungsbereich von Anhang III fallen, jedoch kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen bergen.
7. La Commission adopte des actes délégués conformément à l’article 97 afin de modifier le paragraphe 3, deuxième alinéa, du présent article en supprimant l’une des conditions qui y est établie, lorsqu’il existe des preuves concrètes et fiables attestant que cela est nécessaire pour maintenir le niveau de protection de la santé, de la sécurité et des droits fondamentaux prévu par le présent règlement.
(7) Die Kommission erlässt gemäß Artikel 97 delegierte Rechtsakte, um Absatz 3 Unterabsatz 2 des vorliegenden Artikels zu ändern, indem eine der darin festgelegten Bedingungen gestrichen wird, wenn konkrete und zuverlässige Beweise dafür vorliegen, dass dies für die Aufrechterhaltung des Schutzniveaus in Bezug auf Gesundheit, Sicherheit und die in dieser Verordnung vorgesehenen Grundrechte erforderlich ist.
8. Toute modification des conditions établies au paragraphe 3, deuxième alinéa, adoptée conformément aux paragraphe 6 et 7 du présent article ne diminue pas le niveau global de protection de la santé, de la sécurité et des droits fondamentaux prévu par le présent règlement et veille à la cohérence avec les actes délégués adoptés conformément à l’article 7, paragraphe 1, et tient compte des évolutions du marché et des technologies.
(8) Eine Änderung der in Absatz 3 Unterabsatz 2 festgelegten Bedingungen, die gemäß den Absätzen 6 und 7 des vorliegenden Artikels erlassen wurde, darf das allgemeine Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in dieser Verordnung vorgesehenen Grundrechte nicht senken; dabei ist die Kohärenz mit den gemäß Artikel 7 Absatz 1 erlassenen delegierten Rechtsakten sicherzustellen und die Marktentwicklungen und die technologischen Entwicklungen sind zu berücksichtigen.
Système de gestion des risques
1. Un système de gestion des risques est établi, mis en œuvre, documenté et tenu à jour en ce qui concerne les systèmes d’IA à haut risque.
(1) Für Hochrisiko-KI-Systeme wird ein Risikomanagementsystem eingerichtet, angewandt, dokumentiert und aufrechterhalten.
2. Ce système de gestion des risques s’entend comme étant un processus itératif continu qui est planifié et se déroule sur l’ensemble du cycle de vie d’un système d’IA à haut risque et qui doit périodiquement faire l’objet d’un examen et d’une mise à jour méthodiques. Il comprend les étapes suivantes:
(2) Das Risikomanagementsystem versteht sich als ein kontinuierlicher iterativer Prozess, der während des gesamten Lebenszyklus eines Hochrisiko-KI-Systems geplant und durchgeführt wird und eine regelmäßige systematische Überprüfung und Aktualisierung erfordert. Es umfasst folgende Schritte:
a)
l’identification et l’analyse des risques connus et raisonnablement prévisibles que le système d’IA à haut risque peut poser pour la santé, la sécurité ou les droits fondamentaux lorsque le système d’IA à haut risque est utilisé conformément à sa destination;
a)
die Ermittlung und Analyse der bekannten und vernünftigerweise vorhersehbaren Risiken, die vom Hochrisiko-KI-System für die Gesundheit, Sicherheit oder Grundrechte ausgehen können, wenn es entsprechend seiner Zweckbestimmung verwendet wird;
b)
l’estimation et l’évaluation des risques susceptibles d’apparaître lorsque le système d’IA à haut risque est utilisé conformément à sa destination et dans des conditions de mauvaise utilisation raisonnablement prévisible;
b)
die Abschätzung und Bewertung der Risiken, die entstehen können, wenn das Hochrisiko-KI-System entsprechend seiner Zweckbestimmung oder im Rahmen einer vernünftigerweise vorhersehbaren Fehlanwendung verwendet wird;
c)
l’évaluation d’autres risques susceptibles d’apparaître, sur la base de l’analyse des données recueillies au moyen du système de surveillance après commercialisation visé à l’article 72;
c)
die Bewertung anderer möglicherweise auftretender Risiken auf der Grundlage der Auswertung der Daten aus dem in Artikel 72 genannten System zur Beobachtung nach dem Inverkehrbringen;
d)
l’adoption de mesures appropriées et ciblées de gestion des risques, conçues pour répondre aux risques identifiés en vertu du point a).
d)
die Ergreifung geeigneter und gezielter Risikomanagementmaßnahmen zur Bewältigung der gemäß Buchstabe a ermittelten Risiken.
3. Les risques visés au présent article ne concernent que ceux qui peuvent être raisonnablement atténués ou éliminés dans le cadre du développement ou de la conception du système d’IA à haut risque, ou par la fourniture d’informations techniques appropriées.
(3) Die in diesem Artikel genannten Risiken betreffen nur solche Risiken, die durch die Entwicklung oder Konzeption des Hochrisiko-KI-Systems oder durch die Bereitstellung ausreichender technischer Informationen angemessen gemindert oder behoben werden können.
4. Les mesures de gestion des risques visées au paragraphe 2, point d), tiennent dûment compte des effets et de l’interaction possibles résultant de l’application combinée des exigences énoncées dans la présente section, en vue de prévenir les risques plus efficacement tout en parvenant à un bon équilibre dans le cadre de la mise en œuvre des mesures visant à répondre à ces exigences.
(4) Bei den in Absatz 2 Buchstabe d genannten Risikomanagementmaßnahmen werden die Auswirkungen und möglichen Wechselwirkungen, die sich aus der kombinierten Anwendung der Anforderungen dieses Abschnitts ergeben, gebührend berücksichtigt, um die Risiken wirksamer zu minimieren und gleichzeitig ein angemessenes Gleichgewicht bei der Durchführung der Maßnahmen zur Erfüllung dieser Anforderungen sicherzustellen.
5. Les mesures de gestion des risques visées au paragraphe 2, point d), sont telles que le risque résiduel pertinent associé à chaque danger ainsi que le risque résiduel global lié aux systèmes d’IA à haut risque sont jugés acceptables.
(5) Die in Absatz 2 Buchstabe d genannten Risikomanagementmaßnahmen werden so gestaltet, dass jedes mit einer bestimmten Gefahr verbundene relevante Restrisiko sowie das Gesamtrestrisiko der Hochrisiko-KI-Systeme als vertretbar beurteilt wird.
Pour déterminer les mesures de gestion des risques les plus adaptées, il convient de veiller à:
Bei der Festlegung der am besten geeigneten Risikomanagementmaßnahmen ist Folgendes sicherzustellen:
a)
éliminer ou réduire les risques identifiés et évalués conformément au paragraphe 2 autant que la technologie le permet grâce à une conception et à un développement appropriés du système d’IA à haut risque;
a)
soweit technisch möglich, Beseitigung oder Verringerung der gemäß Absatz 2 ermittelten und bewerteten Risiken durch eine geeignete Konzeption und Entwicklung des Hochrisiko-KI-Systems;
b)
mettre en œuvre, le cas échéant, des mesures adéquates d’atténuation et de contrôle répondant aux risques impossibles à éliminer;
b)
gegebenenfalls Anwendung angemessener Minderungs- und Kontrollmaßnahmen zur Bewältigung nicht auszuschließender Risiken;
c)
fournir aux déployeurs les informations requises conformément à l’article 13 et, éventuellement, une formation.
c)
Bereitstellung der gemäß Artikel 13 erforderlichen Informationen und gegebenenfalls entsprechende Schulung der Betreiber.
En vue de l’élimination ou de la réduction des risques liés à l’utilisation du système d’IA à haut risque, il est dûment tenu compte des connaissances techniques, de l’expérience, de l’éducation et de la formation pouvant être attendues du déployeur, ainsi que du contexte prévisible dans lequel le système est destiné à être utilisé.
Zur Beseitigung oder Verringerung der Risiken im Zusammenhang mit der Verwendung des Hochrisiko-KI-Systems werden die technischen Kenntnisse, die Erfahrungen und der Bildungsstand, die vom Betreiber erwartet werden können, sowie der voraussichtliche Kontext, in dem das System eingesetzt werden soll, gebührend berücksichtigt.
6. Les systèmes d’IA à haut risque sont soumis à des essais afin de déterminer les mesures de gestion des risques les plus appropriées et les plus ciblées. Les essais garantissent que les systèmes d’IA à haut risque fonctionnent de manière conforme à leur destination et qu’ils sont conformes aux exigences énoncées dans la présente section.
(6) Hochrisiko-KI-Systeme müssen getestet werden, um die am besten geeigneten gezielten Risikomanagementmaßnahmen zu ermitteln. Durch das Testen wird sichergestellt, dass Hochrisiko-KI-Systeme stets im Einklang mit ihrer Zweckbestimmung funktionieren und die Anforderungen dieses Abschnitts erfüllen.
7. Les procédures d’essai peuvent comprendre des essais en conditions réelles conformément à l’article 60.
(7) Die Testverfahren können einen Test unter Realbedingungen gemäß Artikel 60 umfassen.
8. Les tests des systèmes d’IA à haut risque sont effectués, selon les besoins, à tout moment pendant le processus de développement et, en tout état de cause, avant leur mise sur le marché ou leur mise en service. Les tests sont effectués sur la base d’indicateurs et de seuils probabilistes préalablement définis, qui sont adaptés à la destination du système d’IA à haut risque.
(8) Das Testen von Hochrisiko-KI-Systemen erfolgt zu jedem geeigneten Zeitpunkt während des gesamten Entwicklungsprozesses und in jedem Fall vor ihrem Inverkehrbringen oder ihrer Inbetriebnahme. Das Testen erfolgt anhand vorab festgelegter Metriken und Wahrscheinlichkeitsschwellenwerte, die für die Zweckbestimmung des Hochrisiko-KI-Systems geeignet sind.
9. Lors de la mise en œuvre du système de gestion des risques prévu aux paragraphes 1 à 7, les fournisseurs prennent en considération la probabilité que, compte tenu de sa destination, le système d’IA à haut risque puisse avoir une incidence négative sur des personnes âgées de moins de 18 ans et, le cas échéant, sur d’autres groupes vulnérables.
(9) Bei der Umsetzung des in den Absätzen 1 bis 7 vorgesehenen Risikomanagementsystems berücksichtigen die Anbieter, ob angesichts seiner Zweckbestimmung das Hochrisiko-KI-System wahrscheinlich nachteilige Auswirkungen auf Personen unter 18 Jahren oder gegebenenfalls andere schutzbedürftige Gruppen haben wird.
10. En ce qui concerne les fournisseurs de systèmes d’IA à haut risque qui sont soumis à des exigences concernant les processus internes de gestion des risques en vertu d’autres dispositions pertinentes du droit de l’Union, les aspects présentés aux paragraphes 1 à 9 peuvent faire partie des procédures de gestion des risques établies conformément à ladite législation, ou être combinées à celles-ci.
(10) Bei Anbietern von Hochrisiko-KI-Systemen, die den Anforderungen an interne Risikomanagementprozesse gemäß anderen einschlägigen Bestimmungen des Unionsrechts unterliegen, können die in den Absätzen 1 bis 9 enthaltenen Aspekte Bestandteil der nach diesem Recht festgelegten Risikomanagementverfahren sein oder mit diesen Verfahren kombiniert werden.
Données et gouvernance des données
Daten und Daten-Governance
1. Les systèmes d’IA à haut risque faisant appel à des techniques qui impliquent l’entraînement de modèles d’IA au moyen de données sont développés sur la base de jeux de données d’entraînement, de validation et de test qui satisfont aux critères de qualité visés aux paragraphes 2 à 5 chaque fois que ces jeux de données sont utilisés.
(1) Hochrisiko-KI-Systeme, in denen Techniken eingesetzt werden, bei denen KI-Modelle mit Daten trainiert werden, müssen mit Trainings-, Validierungs- und Testdatensätzen entwickelt werden, die den in den Absätzen 2 bis 5 genannten Qualitätskriterien entsprechen, wenn solche Datensätze verwendet werden.
2. Les jeux de données d’entraînement, de validation et de test sont soumis à des pratiques en matière de gouvernance et de gestion des données appropriées à la destination du systèmes d’IA à haut risque. Ces pratiques concernent en particulier:
(2) Für Trainings-, Validierungs- und Testdatensätze gelten Daten-Governance- und Datenverwaltungsverfahren, die für die Zweckbestimmung des Hochrisiko-KI-Systems geeignet sind. Diese Verfahren betreffen insbesondere
a)
les choix de conception pertinents;
a)
die einschlägigen konzeptionellen Entscheidungen,
b)
les processus de collecte de données et l’origine des données, ainsi que, dans le cas des données à caractère personnel, la finalité initiale de la collecte de données;
b)
die Datenerhebungsverfahren und die Herkunft der Daten und im Falle personenbezogener Daten den ursprünglichen Zweck der Datenerhebung,
c)
les opérations de traitement pertinentes pour la préparation des données, telles que l’annotation, l’étiquetage, le nettoyage, la mise à jour, l’enrichissement et l’agrégation;
c)
relevante Datenaufbereitungsvorgänge wie Annotation, Kennzeichnung, Bereinigung, Aktualisierung, Anreicherung und Aggregierung,
d)
la formulation d’hypothèses, notamment en ce qui concerne les informations que les données sont censées mesurer et représenter;
d)
die Aufstellung von Annahmen, insbesondere in Bezug auf die Informationen, die mit den Daten erfasst und dargestellt werden sollen,
e)
une évaluation de la disponibilité, de la quantité et de l’adéquation des jeux de données nécessaires;
e)
eine Bewertung der Verfügbarkeit, Menge und Eignung der benötigten Datensätze,
f)
un examen permettant de repérer d’éventuels biais qui sont susceptibles de porter atteinte à la santé et à la sécurité des personnes, d’avoir une incidence négative sur les droits fondamentaux ou de se traduire par une discrimination interdite par le droit de l’Union, en particulier lorsque les données de sortie influencent les entrées pour les opérations futures;
f)
eine Untersuchung im Hinblick auf mögliche Verzerrungen (Bias), die die Gesundheit und Sicherheit von Personen beeinträchtigen, sich negativ auf die Grundrechte auswirken oder zu einer nach den Rechtsvorschriften der Union verbotenen Diskriminierung führen könnten, insbesondere wenn die Datenausgaben die Eingaben für künftige Operationen beeinflussen,
g)
les mesures appropriées visant à détecter, prévenir et atténuer les éventuels biais repérés conformément au point f);
g)
geeignete Maßnahmen zur Erkennung, Verhinderung und Abschwächung möglicher gemäß Buchstabe f ermittelter Verzerrungen,
h)
la détection de lacunes ou déficiences pertinentes dans les données qui empêchent l’application du présent règlement, et la manière dont ces lacunes ou déficiences peuvent être comblées.
h)
die Ermittlung relevanter Datenlücken oder Mängel, die der Einhaltung dieser Verordnung entgegenstehen, und wie diese Lücken und Mängel behoben werden können.
3. Les jeux de données d’entraînement, de validation et de test sont pertinents, suffisamment représentatifs et, dans toute la mesure possible, exempts d’erreurs et complets au regard de la destination. Ils possèdent les propriétés statistiques appropriées, y compris, le cas échéant, en ce qui concerne les personnes ou groupes de personnes à l’égard desquels le système d’IA à haut risque est destiné à être utilisé. Ces caractéristiques des jeux de données peuvent être remplies au niveau des jeux de données pris individuellement ou d’une combinaison de ceux-ci.
(3) Die Trainings-, Validierungs- und Testdatensätze müssen im Hinblick auf die Zweckbestimmung relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein. Sie müssen die geeigneten statistischen Merkmale, gegebenenfalls auch bezüglich der Personen oder Personengruppen, für die das Hochrisiko-KI-System bestimmungsgemäß verwendet werden soll, haben. Diese Merkmale der Datensätze können auf der Ebene einzelner Datensätze oder auf der Ebene einer Kombination davon erfüllt werden.
4. Les jeux de données tiennent compte, dans la mesure requise par la destination, des caractéristiques ou éléments propres au cadre géographique, contextuel, comportemental ou fonctionnel spécifique dans lequel le système d’IA à haut risque est destiné à être utilisé.
(4) Die Datensätze müssen, soweit dies für die Zweckbestimmung erforderlich ist, die entsprechenden Merkmale oder Elemente berücksichtigen, die für die besonderen geografischen, kontextuellen, verhaltensbezogenen oder funktionalen Rahmenbedingungen, unter denen das Hochrisiko-KI-System bestimmungsgemäß verwendet werden soll, typisch sind.
5. Dans la mesure où cela est strictement nécessaire aux fins de la détection et de la correction des biais en ce qui concerne les systèmes d’IA à haut risque, conformément au paragraphe 2, points f) et g), du présent article, les fournisseurs de ces systèmes peuvent exceptionnellement traiter des catégories particulières de données à caractère personnel, sous réserve de garanties appropriées pour les droits et libertés fondamentaux des personnes physiques. Outre les dispositions des règlements (UE) 2016/679 et (UE) 2018/1725 et de la directive (UE) 2016/680, toutes les conditions suivantes doivent être réunies pour que ce traitement puisse avoir lieu:
(5) Soweit dies für die Erkennung und Korrektur von Verzerrungen im Zusammenhang mit Hochrisiko-KI-Systemen im Einklang mit Absatz 2 Buchstaben f und g dieses Artikels unbedingt erforderlich ist, dürfen die Anbieter solcher Systeme ausnahmsweise besondere Kategorien personenbezogener Daten verarbeiten, wobei sie angemessene Vorkehrungen für den Schutz der Grundrechte und Grundfreiheiten natürlicher Personen treffen müssen. Zusätzlich zu den Bestimmungen der Verordnungen (EU) 2016/679 und (EU) 2018/1725 und der Richtlinie (EU) 2016/680 müssen alle folgenden Bedingungen erfüllt sein, damit eine solche Verarbeitung stattfinden kann:
a)
la détection et la correction des biais ne peuvent être satisfaites de manière efficace en traitant d’autres données, y compris des données synthétiques ou anonymisées;
a)
Die Erkennung und Korrektur von Verzerrungen kann durch die Verarbeitung anderer Daten, einschließlich synthetischer oder anonymisierter Daten, nicht effektiv durchgeführt werden;
b)
les catégories particulières de données à caractère personnel sont soumises à des limitations techniques relatives à la réutilisation des données à caractère personnel, ainsi qu’aux mesures les plus avancées en matière de sécurité et de protection de la vie privée, y compris la pseudonymisation;
b)
die besonderen Kategorien personenbezogener Daten unterliegen technischen Beschränkungen einer Weiterverwendung der personenbezogenen Daten und modernsten Sicherheits- und Datenschutzmaßnahmen, einschließlich Pseudonymisierung;
c)
les catégories particulières de données à caractère personnel font l’objet de mesures visant à garantir que les données à caractère personnel traitées sont sécurisées, protégées et soumises à des garanties appropriées, y compris des contrôles stricts et une documentation de l’accès, afin d’éviter toute mauvaise utilisation et de veiller à ce que seules les personnes autorisées ayant des obligations de confidentialité appropriées aient accès à ces données à caractère personnel;
c)
die besonderen Kategorien personenbezogener Daten unterliegen Maßnahmen, mit denen sichergestellt wird, dass die verarbeiteten personenbezogenen Daten gesichert, geschützt und Gegenstand angemessener Sicherheitsvorkehrungen sind, wozu auch strenge Kontrollen des Zugriffs und seine Dokumentation gehören, um Missbrauch zu verhindern und sicherzustellen, dass nur befugte Personen Zugang zu diesen personenbezogenen Daten mit angemessenen Vertraulichkeitspflichten haben;
d)
les catégories particulières de données à caractère personnel ne doivent pas être transmises, transférées ou consultées d’une autre manière par d’autres parties;
d)
die besonderen Kategorien personenbezogener Daten werden nicht an Dritte übermittelt oder übertragen, noch haben diese Dritten anderweitigen Zugang zu diesen Daten;
e)
les catégories particulières de données à caractère personnel sont supprimées une fois que le biais a été corrigé ou que la période de conservation des données à caractère personnel a expiré, selon celle de ces deux échéances qui arrive en premier;
e)
die besonderen Kategorien personenbezogener Daten werden gelöscht, sobald die Verzerrung korrigiert wurde oder das Ende der Speicherfrist für die personenbezogenen Daten erreicht ist, je nachdem, was zuerst eintritt;
f)
les registres des activités de traitement visés dans les règlements (UE) 2016/679 et (UE) 2018/1725 et dans la directive (UE) 2016/680 comprennent les raisons pour lesquelles le traitement des catégories particulières de données à caractère personnel était strictement nécessaire pour détecter et corriger les biais, ainsi que la raison pour laquelle cet objectif n’a pas pu être atteint par le traitement d’autres données.
f)
die Aufzeichnungen über Verarbeitungstätigkeiten gemäß den Verordnungen (EU) 2016/679 und (EU) 2018/1725 und der Richtlinie (EU) 2016/680 enthalten die Gründe, warum die Verarbeitung besonderer Kategorien personenbezogener Daten für die Erkennung und Korrektur von Verzerrungen unbedingt erforderlich war und warum dieses Ziel mit der Verarbeitung anderer Daten nicht erreicht werden konnte.
6. En ce qui concerne le développement de systèmes d’IA à haut risque qui ne font pas appel à des techniques qui impliquent l’entraînement de modèles d’IA, les paragraphes 2 à 5 s’appliquent uniquement aux jeux de données de test.
(6) Bei der Entwicklung von Hochrisiko-KI-Systemen, in denen keine Techniken eingesetzt werden, bei denen KI-Modelle trainiert werden, gelten die Absätze 2 bis 5 nur für Testdatensätze.
1. La documentation technique relative à un système d’IA à haut risque est établie avant que ce système ne soit mis sur le marché ou mis en service et est tenue à jour.
(1) Die technische Dokumentation eines Hochrisiko-KI-Systems wird erstellt, bevor dieses System in Verkehr gebracht oder in Betrieb genommen wird, und ist auf dem neuesten Stand zu halten.
La documentation technique est établie de manière à démontrer que le système d’IA à haut risque satisfait aux exigences énoncées dans la présente section et à fournir aux autorités nationales compétentes et aux organismes notifiés les informations nécessaires sous une forme claire et intelligible pour évaluer la conformité du système d’IA avec ces exigences. Elle contient, au minimum, les éléments énoncés à l’annexe IV. Les PME, y compris les jeunes pousses, peuvent fournir des éléments de la documentation technique spécifiée à l’annexe IV d’une manière simplifiée. À cette fin, la Commission établit un formulaire de documentation technique simplifié ciblant les besoins des petites entreprises et des microentreprises. Lorsqu’une PME, y compris une jeune pousse, choisit de fournir les informations requises à l’annexe IV de manière simplifiée, elle utilise le formulaire visé au présent paragraphe. Les organismes notifiés acceptent le formulaire aux fins de l’évaluation de la conformité.
Die technische Dokumentation wird so erstellt, dass aus ihr der Nachweis hervorgeht, wie das Hochrisiko-KI-System die Anforderungen dieses Abschnitts erfüllt, und dass den zuständigen nationalen Behörden und den notifizierten Stellen die Informationen in klarer und verständlicher Form zur Verfügung stehen, die erforderlich sind, um zu beurteilen, ob das KI-System diese Anforderungen erfüllt. Sie enthält zumindest die in Anhang IV genannten Angaben. KMU, einschließlich Start-up-Unternehmen, können die in Anhang IV aufgeführten Elemente der technischen Dokumentation in vereinfachter Weise bereitstellen. Zu diesem Zweck erstellt die Kommission ein vereinfachtes Formular für die technische Dokumentation, das auf die Bedürfnisse von kleinen Unternehmen und Kleinstunternehmen zugeschnitten ist. Entscheidet sich ein KMU, einschließlich Start-up-Unternehmen, für eine vereinfachte Bereitstellung der in Anhang IV vorgeschriebenen Angaben, so verwendet es das in diesem Absatz genannte Formular. Die notifizierten Stellen akzeptieren das Formular für die Zwecke der Konformitätsbewertung.
2. Lorsqu’un système d’IA à haut risque lié à un produit couvert par la législation d’harmonisation de l’Union dont la liste figure à la section A de l’annexe I est mis sur le marché ou mis en service, un seul ensemble de documentation technique est établi, contenant toutes les informations visées au paragraphe 1, ainsi que les informations requises en vertu de ces actes juridiques.
(2) Wird ein Hochrisiko-KI-System, das mit einem Produkt verbunden ist, das unter die in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fällt, in Verkehr gebracht oder in Betrieb genommen, so wird eine einzige technische Dokumentation erstellt, die alle in Absatz 1 genannten Informationen sowie die nach diesen Rechtsakten erforderlichen Informationen enthält.
3. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 pour modifier l’annexe IV, lorsque cela est nécessaire, afin de garantir que, compte tenu du progrès technique, la documentation technique fournit toutes les informations requises pour évaluer la conformité du système avec les exigences énoncées dans la présente section.
(3) Die Kommission ist befugt, wenn dies nötig ist, gemäß Artikel 97 delegierte Rechtsakte zur Änderung des Anhangs IV zu erlassen, damit die technische Dokumentation in Anbetracht des technischen Fortschritts stets alle Informationen enthält, die erforderlich sind, um zu beurteilen, ob das System die Anforderungen dieses Abschnitts erfüllt.
1. La conception et le développement des systèmes d’IA à haut risque permettent, notamment au moyen d’interfaces homme-machine appropriées, un contrôle effectif par des personnes physiques pendant leur période d’utilisation.
(1) Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass sie während der Dauer ihrer Verwendung — auch mit geeigneten Instrumenten einer Mensch-Maschine-Schnittstelle — von natürlichen Personen wirksam beaufsichtigt werden können.
2. Le contrôle humain vise à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent apparaître lorsqu’un système d’IA à haut risque est utilisé conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, en particulier lorsque de tels risques persistent malgré l’application d’autres exigences énoncées dans la présente section.
(2) Die menschliche Aufsicht dient der Verhinderung oder Minimierung der Risiken für Gesundheit, Sicherheit oder Grundrechte, die entstehen können, wenn ein Hochrisiko-KI-System im Einklang mit seiner Zweckbestimmung oder im Rahmen einer vernünftigerweise vorhersehbaren Fehlanwendung verwendet wird, insbesondere wenn solche Risiken trotz der Einhaltung anderer Anforderungen dieses Abschnitts fortbestehen.
3. Les mesures de contrôle sont proportionnées aux risques, au niveau d’autonomie et au contexte d’utilisation du système d’IA à haut risque, et sont assurées au moyen d’un ou des deux types de mesures suivants:
(3) Die Aufsichtsmaßnahmen müssen den Risiken, dem Grad der Autonomie und dem Kontext der Nutzung des Hochrisiko-KI-Systems angemessen sein und werden durch eine oder beide der folgenden Arten von Vorkehrungen gewährleistet:
a)
des mesures identifiées et, lorsque cela est techniquement possible, intégrées par le fournisseur dans le système d’IA à haut risque avant la mise sur le marché ou la mise en service de ce dernier;
a)
Vorkehrungen, die vor dem Inverkehrbringen oder der Inbetriebnahme vom Anbieter bestimmt und, sofern technisch machbar, in das Hochrisiko-KI-System eingebaut werden;
b)
des mesures identifiées par le fournisseur avant la mise sur le marché ou la mise en service du système d’IA à haut risque et qui se prêtent à une mise en œuvre par le déployeur.
b)
Vorkehrungen, die vor dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI-Systems vom Anbieter bestimmt werden und dazu geeignet sind, vom Betreiber umgesetzt zu werden.
4. Aux fins de la mise en œuvre des dispositions des paragraphes 1, 2 et 3, le système d’IA à haut risque est fourni au déployeur de telle manière que les personnes physiques chargées d’effectuer un contrôle humain, dans la mesure où cela est approprié et proportionné, ont la possibilité:
(4) Für die Zwecke der Durchführung der Absätze 1, 2 und 3 wird das Hochrisiko-KI-System dem Betreiber so zur Verfügung gestellt, dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, angemessen und verhältnismäßig in der Lage sind,
a)
de comprendre correctement les capacités et les limites pertinentes du système d’IA à haut risque et d’être en mesure de surveiller correctement son fonctionnement, y compris en vue de détecter et de traiter les anomalies, les dysfonctionnements et les performances inattendues;
a)
die einschlägigen Fähigkeiten und Grenzen des Hochrisiko-KI-Systems angemessen zu verstehen und seinen Betrieb ordnungsgemäß zu überwachen, einschließlich in Bezug auf das Erkennen und Beheben von Anomalien, Fehlfunktionen und unerwarteter Leistung;
b)
d’avoir conscience d’une éventuelle tendance à se fier automatiquement ou excessivement aux sorties produites par un système d’IA à haut risque (biais d’automatisation), en particulier pour les systèmes d’IA à haut risque utilisés pour fournir des informations ou des recommandations concernant les décisions à prendre par des personnes physiques;
b)
sich einer möglichen Neigung zu einem automatischen oder übermäßigen Vertrauen in die von einem Hochrisiko-KI-System hervorgebrachte Ausgabe („Automatisierungsbias“) bewusst zu bleiben, insbesondere wenn Hochrisiko-KI-Systeme Informationen oder Empfehlungen ausgeben, auf deren Grundlage natürliche Personen Entscheidungen treffen;
c)
d’interpréter correctement les sorties du système d’IA à haut risque, compte tenu par exemple des outils et méthodes d’interprétation disponibles;
c)
die Ausgabe des Hochrisiko-KI-Systems richtig zu interpretieren, wobei beispielsweise die vorhandenen Interpretationsinstrumente und -methoden zu berücksichtigen sind;
d)
de décider, dans une situation particulière, de ne pas utiliser le système d’IA à haut risque ou d’ignorer, remplacer ou inverser la sortie du système d’IA à haut risque;
d)
in einer bestimmten Situation zu beschließen, das Hochrisiko-KI-System nicht zu verwenden oder die Ausgabe des Hochrisiko-KI-Systems außer Acht zu lassen, außer Kraft zu setzen oder rückgängig zu machen;
e)
d’intervenir dans le fonctionnement du système d’IA à haut risque ou d’interrompre le système au moyen d’un bouton d’arrêt ou d’une procédure similaire permettant au système de s’arrêter de manière sécurisée.
e)
in den Betrieb des Hochrisiko-KI-Systems einzugreifen oder den Systembetrieb mit einer „Stopptaste“ oder einem ähnlichen Verfahren zu unterbrechen, was dem System ermöglicht, in einem sicheren Zustand zum Stillstand zu kommen.
5. Pour les systèmes d’IA à haut risque visés à l’annexe III, point 1 a), les mesures prévues au paragraphe 3 du présent article sont de nature à garantir que, en outre, aucune mesure ou décision n’est prise par le déployeur sur la base de l’identification résultant du système sans vérification et confirmation distinctes de cette identification par au moins deux personnes physiques disposant des compétences, de la formation et de l’autorité nécessaires.
(5) Bei den in Anhang III Nummer 1 Buchstabe a genannten Hochrisiko-KI-Systemen müssen die in Absatz 3 des vorliegenden Artikels genannten Vorkehrungen so gestaltet sein, dass außerdem der Betreiber keine Maßnahmen oder Entscheidungen allein aufgrund des vom System hervorgebrachten Identifizierungsergebnisses trifft, solange diese Identifizierung nicht von mindestens zwei natürlichen Personen, die die notwendige Kompetenz, Ausbildung und Befugnis besitzen, getrennt überprüft und bestätigt wurde.
L’exigence d’une vérification distincte par au moins deux personnes physiques ne s’applique pas aux systèmes d’IA à haut risque utilisés à des fins répressives ou dans les domaines de la migration, des contrôles aux frontières ou de l’asile, lorsque le droit de l’Union ou le droit national considère que l’application de cette exigence est disproportionnée.
Die Anforderung einer getrennten Überprüfung durch mindestens zwei natürliche Personen gilt nicht für Hochrisiko-KI-Systeme, die für Zwecke in den Bereichen Strafverfolgung, Migration, Grenzkontrolle oder Asyl verwendet werden, wenn die Anwendung dieser Anforderung nach Unionsrecht oder nationalem Recht unverhältnismäßig wäre.
Exactitude, robustesse et cybersécurité
Genauigkeit, Robustheit und Cybersicherheit
1. La conception et le développement des systèmes d’IA à haut risque sont tels qu’ils leur permettent d’atteindre un niveau approprié d’exactitude, de robustesse et de cybersécurité, et de fonctionner de façon constante à cet égard tout au long de leur cycle de vie.
(1) Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren.
2. Pour examiner les aspects techniques de la manière de mesurer les niveaux appropriés d’exactitude et de robustesse visés au paragraphe 1 et tout autre indicateur de performance pertinent, la Commission, en coopération avec les parties prenantes et organisations concernées, telles que les autorités de métrologie et d’étalonnage des performances, encourage, le cas échéant, l’élaboration de critères de référence et de méthodes de mesure.
(2) Um die technischen Aspekte der Art und Weise der Messung des angemessenen Maßes an Genauigkeit und Robustheit gemäß Absatz 1 und anderer einschlägiger Leistungsmetriken anzugehen, fördert die Kommission in Zusammenarbeit mit einschlägigen Interessenträgern und Organisationen wie Metrologie- und Benchmarking-Behörden gegebenenfalls die Entwicklung von Benchmarks und Messmethoden.
3. Les niveaux d’exactitude et les indicateurs de l’exactitude des systèmes d’IA à haut risque sont indiqués dans la notice d’utilisation jointe.
(3) Die Maße an Genauigkeit und die relevanten Genauigkeitsmetriken von Hochrisiko-KI-Systemen werden in den ihnen beigefügten Betriebsanleitungen angegeben.
4. Les systèmes d’IA à haut risque font preuve d’autant de résilience que possible en cas d’erreurs, de défaillances ou d’incohérences pouvant survenir au sein des systèmes eux-mêmes ou de l’environnement dans lequel ils fonctionnent, notamment en raison de leur interaction avec des personnes physiques ou d’autres systèmes. Des mesures techniques et organisationnelles sont prises à cet égard.
(4) Hochrisiko-KI-Systeme müssen so widerstandsfähig wie möglich gegenüber Fehlern, Störungen oder Unstimmigkeiten sein, die innerhalb des Systems oder der Umgebung, in der das System betrieben wird, insbesondere wegen seiner Interaktion mit natürlichen Personen oder anderen Systemen, auftreten können. In diesem Zusammenhang sind technische und organisatorische Maßnahmen zu ergreifen.
Des solutions techniques redondantes, telles que des plans de sauvegarde ou des mesures de sécurité après défaillance, peuvent permettre de garantir la robustesse des systèmes d’IA à haut risque.
Die Robustheit von Hochrisiko-KI-Systemen kann durch technische Redundanz erreicht werden, was auch Sicherungs- oder Störungssicherheitspläne umfassen kann.
Les systèmes d’IA à haut risque qui continuent leur apprentissage après leur mise sur le marché ou leur mise en service sont développés de manière à éliminer ou à réduire dans la mesure du possible le risque que des sorties éventuellement biaisées n’influencent les entrées pour les opérations futures (boucles de rétroaction) et à veiller à ce que ces boucles de rétroaction fassent l’objet d’un traitement adéquat au moyen de mesures d’atténuation appropriées.
Hochrisiko-KI-Systeme, die nach dem Inverkehrbringen oder der Inbetriebnahme weiterhin dazulernen, sind so zu entwickeln, dass das Risiko möglicherweise verzerrter Ausgaben, die künftige Vorgänge beeinflussen („Rückkopplungsschleifen“), beseitigt oder so gering wie möglich gehalten wird und sichergestellt wird, dass auf solche Rückkopplungsschleifen angemessen mit geeigneten Risikominderungsmaßnahmen eingegangen wird.
5. Les systèmes d’IA à haut risque résistent aux tentatives de tiers non autorisés visant à modifier leur utilisation, leurs sorties ou leur performance en exploitant les vulnérabilités du système.
(5) Hochrisiko-KI-Systeme müssen widerstandsfähig gegen Versuche unbefugter Dritter sein, ihre Verwendung, Ausgaben oder Leistung durch Ausnutzung von Systemschwachstellen zu verändern.
Les solutions techniques visant à garantir la cybersécurité des systèmes d’IA à haut risque sont adaptées aux circonstances pertinentes et aux risques.
Die technischen Lösungen zur Gewährleistung der Cybersicherheit von Hochrisiko-KI-Systemen müssen den jeweiligen Umständen und Risiken angemessen sein.
Les solutions techniques destinées à remédier aux vulnérabilités spécifiques à l’IA comprennent, au besoin, des mesures ayant pour but de prévenir, de détecter, de contrer, de résoudre et de maîtriser les attaques visant à manipuler le jeu de données d’entraînement (empoisonnement des données) ou les composants préentraînés utilisés en entraînement (empoisonnement de modèle), les entrées destinées à induire le modèle d’IA en erreur (exemples contradictoires ou invasion de modèle), les attaques visant la confidentialité ou les défauts du modèle.
Die technischen Lösungen für den Umgang mit KI-spezifischen Schwachstellen umfassen gegebenenfalls Maßnahmen, um Angriffe, mit denen versucht wird, eine Manipulation des Trainingsdatensatzes („data poisoning“) oder vortrainierter Komponenten, die beim Training verwendet werden („model poisoning“), vorzunehmen, Eingabedaten, die das KI-Modell zu Fehlern verleiten sollen („adversarial examples“ oder „model evasions“), Angriffe auf vertrauliche Daten oder Modellmängel zu verhüten, zu erkennen, darauf zu reagieren, sie zu beseitigen und zu kontrollieren.
Système de gestion de la qualité
Qualitätsmanagementsystem
1. Les fournisseurs de systèmes d’IA à haut risque mettent en place un système de gestion de la qualité garantissant le respect du présent règlement. Ce système est documenté de manière méthodique et ordonnée sous la forme de politiques, de procédures et d’instructions écrites, et comprend au moins les aspects suivants:
(1) Anbieter von Hochrisiko-KI-Systemen richten ein Qualitätsmanagementsystem ein, das die Einhaltung dieser Verordnung gewährleistet. Dieses System wird systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen dokumentiert und umfasst mindestens folgende Aspekte:
a)
une stratégie de respect de la réglementation, notamment le respect des procédures d’évaluation de la conformité et des procédures de gestion des modifications apportées aux systèmes d’IA à haut risque;
a)
ein Konzept zur Einhaltung der Regulierungsvorschriften, was die Einhaltung der Konformitätsbewertungsverfahren und der Verfahren für das Management von Änderungen an dem Hochrisiko-KI-System miteinschließt;
b)
des techniques, procédures et actions systématiques destinées à la conception des systèmes d’IA à haut risque ainsi qu’au contrôle et à la vérification de cette conception;
b)
Techniken, Verfahren und systematische Maßnahmen für den Entwurf, die Entwurfskontrolle und die Entwurfsprüfung des Hochrisiko-KI-Systems;
c)
des techniques, procédures et actions systématiques destinées au développement des systèmes d’IA à haut risque ainsi qu’au contrôle et à l’assurance de leur qualité;
c)
Techniken, Verfahren und systematische Maßnahmen für die Entwicklung, Qualitätskontrolle und Qualitätssicherung des Hochrisiko-KI-Systems;
d)
des procédures d’examen, de test et de validation à exécuter avant, pendant et après le développement du système d’IA à haut risque, ainsi que la fréquence à laquelle elles doivent être réalisées;
d)
Untersuchungs-, Test- und Validierungsverfahren, die vor, während und nach der Entwicklung des Hochrisiko-KI-Systems durchzuführen sind, und die Häufigkeit der Durchführung;
e)
des spécifications techniques, notamment des normes, à appliquer et, lorsque les normes harmonisées pertinentes ne sont pas appliquées intégralement, ou ne couvrent pas toutes les exigences pertinentes énoncées à la section 2, les moyens à utiliser pour faire en sorte que le système d’IA à haut risque satisfasse auxdites exigences;
e)
die technischen Spezifikationen und Normen, die anzuwenden sind und, falls die einschlägigen harmonisierten Normen nicht vollständig angewandt werden oder sie nicht alle relevanten Anforderungen gemäß Abschnitt 2 abdecken, die Mittel, mit denen gewährleistet werden soll, dass das Hochrisiko-KI-System diese Anforderungen erfüllt;
f)
les systèmes et procédures de gestion des données, notamment l’acquisition, la collecte, l’analyse, l’étiquetage, le stockage, la filtration, l’exploration, l’agrégation, la conservation des données et toute autre opération concernant les données qui est effectuée avant la mise sur le marché ou la mise en service de systèmes d’IA à haut risque et aux fins de celles-ci;
f)
Systeme und Verfahren für das Datenmanagement, einschließlich Datengewinnung, Datenerhebung, Datenanalyse, Datenkennzeichnung, Datenspeicherung, Datenfilterung, Datenauswertung, Datenaggregation, Vorratsdatenspeicherung und sonstiger Vorgänge in Bezug auf die Daten, die im Vorfeld und für die Zwecke des Inverkehrbringens oder der Inbetriebnahme von Hochrisiko-KI-Systemen durchgeführt werden;
g)
le système de gestion des risques prévu à l’article 9;
g)
das in Artikel 9 genannte Risikomanagementsystem;
h)
l’élaboration, la mise en œuvre et le fonctionnement d’un système de surveillance après commercialisation conformément à l’article 72;
h)
die Einrichtung, Anwendung und Aufrechterhaltung eines Systems zur Beobachtung nach dem Inverkehrbringen gemäß Artikel 72;
i)
les procédures relatives au signalement d’un incident grave conformément à l’article 73;
i)
Verfahren zur Meldung eines schwerwiegenden Vorfalls gemäß Artikel 73;
j)
la gestion des communications avec les autorités nationales compétentes, les autres autorités compétentes, y compris celles fournissant ou facilitant l’accès aux données, les organismes notifiés, les autres opérateurs, les clients ou d’autres parties intéressées;
j)
die Handhabung der Kommunikation mit zuständigen nationalen Behörden, anderen einschlägigen Behörden, auch Behörden, die den Zugang zu Daten gewähren oder erleichtern, notifizierten Stellen, anderen Akteuren, Kunden oder sonstigen interessierten Kreisen;
k)
les systèmes et procédures de conservation de tous les documents et informations pertinents;
k)
Systeme und Verfahren für die Aufzeichnung sämtlicher einschlägigen Dokumentation und Informationen;
l)
la gestion des ressources, y compris les mesures liées à la sécurité d’approvisionnement;
l)
Ressourcenmanagement, einschließlich Maßnahmen im Hinblick auf die Versorgungssicherheit;
m)
un cadre de responsabilisation définissant les responsabilités de l’encadrement et des autres membres du personnel en ce qui concerne tous les aspects énumérés dans le présent paragraphe.
m)
einen Rechenschaftsrahmen, der die Verantwortlichkeiten der Leitung und des sonstigen Personals in Bezug auf alle in diesem Absatz aufgeführten Aspekte regelt.
2. La mise en œuvre des aspects visés au paragraphe 1 est proportionnée à la taille de l’organisation du fournisseur. Les fournisseurs respectent, en tout état de cause, le degré de rigueur et le niveau de protection requis afin de garantir que leurs systèmes d’IA à haut risque sont conformes au présent règlement.
(2) Die Umsetzung der in Absatz 1 genannten Aspekte erfolgt in einem angemessenen Verhältnis zur Größe der Organisation des Anbieters. Die Anbieter müssen in jedem Fall den Grad der Strenge und das Schutzniveau einhalten, die erforderlich sind, um die Übereinstimmung ihrer Hochrisiko-KI-Systeme mit dieser Verordnung sicherzustellen.
3. Les fournisseurs de systèmes d’IA à haut risque qui sont soumis à des obligations relatives aux systèmes de gestion de la qualité, ou liées à l’exercice d’une fonction équivalente en vertu de la législation sectorielle pertinente de l’Union peuvent inclure les aspects énumérés au paragraphe 1 dans les systèmes de gestion de la qualité conformément à ladite législation.
(3) Anbieter von Hochrisiko-KI-Systemen, die Pflichten in Bezug auf Qualitätsmanagementsysteme oder eine gleichwertige Funktion gemäß den sektorspezifischen Rechtsvorschriften der Union unterliegen, können die in Absatz 1 aufgeführten Aspekte als Bestandteil der nach den genannten Rechtsvorschriften festgelegten Qualitätsmanagementsysteme einbeziehen.
4. Si les fournisseurs sont des établissements financiers soumis à des exigences relatives à leur gouvernance, à leurs dispositifs ou à leurs processus internes prévues par la législation de l’Union sur les services financiers, la conformité avec les règles relatives à leur gouvernance, à leurs dispositifs ou à leurs processus internes prévues dans la législation pertinente de l’Union sur les services financiers vaut respect de l’obligation de mettre en place un système de gestion de la qualité, à l’exception du paragraphe 1, points g), h) et i) du présent article. À cette fin, toute norme harmonisée visée à l’article 40 est prise en considération.
(4) Bei Anbietern, die Finanzinstitute sind und gemäß den Rechtsvorschriften der Union über Finanzdienstleistungen Anforderungen in Bezug auf ihre Regelungen oder Verfahren der internen Unternehmensführung unterliegen, gilt die Pflicht zur Einrichtung eines Qualitätsmanagementsystems — mit Ausnahme des Absatzes 1 Buchstaben g, h und i des vorliegenden Artikels — als erfüllt, wenn die Vorschriften über Regelungen oder Verfahren der internen Unternehmensführung gemäß dem einschlägigen Unionsrecht über Finanzdienstleistungen eingehalten werden. Zu diesem Zweck werden die in Artikel 40 genannten harmonisierten Normen berücksichtigt.
Mandataires des fournisseurs de systèmes d’IA à haut risque
Bevollmächtigte der Anbieter von Hochrisiko-KI-Systemen
1. Avant de mettre leurs systèmes d’IA à haut risque à disposition sur le marché de l’Union, les fournisseurs établis dans des pays tiers désignent, par mandat écrit, un mandataire établi dans l’Union.
(1) Anbieter, die in Drittländern niedergelassen sind, benennen vor der Bereitstellung ihrer Hochrisiko-KI-Systeme auf dem Unionsmarkt schriftlich einen in der Union niedergelassenen Bevollmächtigten.
2. Le fournisseur autorise son mandataire à exécuter les tâches indiquées dans le mandat que lui a confié le fournisseur.
(2) Der Anbieter muss seinem Bevollmächtigten ermöglichen, die Aufgaben wahrzunehmen, die im vom Anbieter erhaltenen Auftrag festgelegt sind.
3. Le mandataire exécute les tâches indiquées dans le mandat que lui a confié le fournisseur. Il fournit une copie du mandat aux autorités de surveillance du marché à leur demande, dans l’une des langues officielles des institutions de l’Union, indiquée par l’autorité compétente. Aux fins du présent règlement, le mandat habilite le mandataire à exécuter les tâches suivantes:
(3) Der Bevollmächtigte nimmt die Aufgaben wahr, die in seinem vom Anbieter erhaltenen Auftrag festgelegt sind. Er stellt den Marktüberwachungsbehörden auf Anfrage eine Kopie des Auftrags in einer von der zuständigen Behörde angegebenen Amtssprache der Institutionen der Union bereit. Für die Zwecke dieser Verordnung ermächtigt der Auftrag den Bevollmächtigten zumindest zur Wahrnehmung folgender Aufgaben:
a)
vérifier que la déclaration UE de conformité visée à l’article 47 et la documentation technique visée à l’article 11 ont été établies et que le fournisseur a suivi une procédure appropriée d’évaluation de la conformité;
a)
Überprüfung, ob die in Artikel 47 genannte EU-Konformitätserklärung und die technische Dokumentation gemäß Artikel 11 erstellt wurden und ob der Anbieter ein angemessenes Konformitätsbewertungsverfahren durchgeführt hat;
b)
tenir à la disposition des autorités compétentes et des autorités ou organismes nationaux visés à l’article 74, paragraphe 10, pendant une période de dix ans après la mise sur le marché ou la mise en service du système d’IA à haut risque, les coordonnées du fournisseur ayant désigné le mandataire, une copie de la déclaration UE de conformité visée à l’article 47, la documentation technique et, le cas échéant, le certificat délivré par l’organisme notifié;
b)
Bereithaltung — für einen Zeitraum von zehn Jahren ab dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI-Systems — der Kontaktdaten des Anbieters, der den Bevollmächtigten benannt hat, eines Exemplars der in Artikel 47 genannten EU-Konformitätserklärung, der technischen Dokumentation und gegebenenfalls der von der notifizierten Stelle ausgestellten Bescheinigung für die zuständigen Behörden und die in Artikel 74 Absatz 10 genannten nationalen Behörden oder Stellen;
c)
à la demande motivée d’une autorité compétente, communiquer à cette dernière toutes les informations et tous les documents, y compris ceux visés au point b) du présent alinéa, nécessaires pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées à la section 2, et notamment lui donner accès aux journaux générés automatiquement par le système d’IA à haut risque, visés à l’article 12, paragraphe 1, dans la mesure où ces journaux se trouvent sous le contrôle du fournisseur;
c)
Übermittlung sämtlicher — auch der unter Buchstabe b dieses Unterabsatzes genannten — Informationen und Dokumentation, die erforderlich sind, um die Konformität eines Hochrisiko-KI-Systems mit den in Abschnitt 2 festgelegten Anforderungen nachzuweisen, an eine zuständige Behörde auf deren begründete Anfrage, einschließlich der Gewährung des Zugangs zu den vom Hochrisiko-KI-System automatisch erzeugten Protokollen gemäß Artikel 12 Absatz 1, soweit diese Protokolle der Kontrolle des Anbieters unterliegen;
d)
à la demande motivée des autorités compétentes, coopérer avec elles à toute mesure prise par ces dernières à l’égard du système d’IA à haut risque, en particulier pour réduire et atténuer les risques posés par le système d’IA à haut risque;
d)
Zusammenarbeit mit den zuständigen Behörden auf deren begründete Anfrage bei allen Maßnahmen, die Letztere im Zusammenhang mit dem Hochrisiko-KI-System ergreifen, um insbesondere die von dem Hochrisiko-KI-System ausgehenden Risiken zu verringern und abzumildern;
e)
le cas échéant, respecter les obligations en matière d’enregistrement visées à l’article 49, paragraphe 1, ou, si l’enregistrement est effectué par le fournisseur lui-même, vérifier que les informations visées à l’annexe VIII, section A, point 3, sont correctes.
e)
gegebenenfalls die Einhaltung der Registrierungspflichten gemäß Artikel 49 Absatz 1 oder, falls die Registrierung vom Anbieter selbst vorgenommen wird, Sicherstellung der Richtigkeit der in Anhang VIII Abschnitt A Nummer 3 aufgeführten Informationen.
Le mandat habilite le mandataire à servir d’interlocuteur, en plus ou à la place du fournisseur, aux autorités compétentes, pour toutes les questions liées au respect du présent règlement.
Mit dem Auftrag wird der Bevollmächtigte ermächtigt, neben oder anstelle des Anbieters als Ansprechpartner für die zuständigen Behörden in allen Fragen zu dienen, die die Gewährleistung der Einhaltung dieser Verordnung betreffen.
4. Le mandataire met fin au mandat s’il considère ou a des raisons de considérer que le fournisseur agit de manière contraire aux obligations qui lui incombent en vertu du présent règlement. Dans ce cas, il informe immédiatement l’autorité de surveillance du marché concernée et, selon le cas, l’organisme notifié pertinent de la cessation du mandat et des motifs qui la sous-tendent.
(4) Der Bevollmächtigte beendet den Auftrag, wenn er der Auffassung ist oder Grund zu der Annahme hat, dass der Anbieter gegen seine Pflichten gemäß dieser Verordnung verstößt. In diesem Fall informiert er unverzüglich die betreffende Marktüberwachungsbehörde und gegebenenfalls die betreffende notifizierte Stelle über die Beendigung des Auftrags und deren Gründe.
Obligations des importateurs
1. Avant de mettre sur le marché un système d’IA à haut risque, les importateurs s’assurent que le système est conforme au présent règlement en vérifiant que:
(1) Bevor sie ein Hochrisiko-KI-System in Verkehr bringen, stellen die Einführer sicher, dass das System dieser Verordnung entspricht, indem sie überprüfen, ob
a)
le fournisseur du système d’IA à haut risque a suivi la procédure pertinente d’évaluation de la conformité visée à l’article 43;
a)
der Anbieter des Hochrisiko-KI-Systems das entsprechende Konformitätsbewertungsverfahren gemäß Artikel 43 durchgeführt hat;
b)
le fournisseur a établi la documentation technique conformément à l’article 11 et à l’annexe IV;
b)
der Anbieter die technische Dokumentation gemäß Artikel 11 und Anhang IV erstellt hat;
c)
le système porte le marquage CE requis et est accompagné de la déclaration UE de conformité visée à l’article 47 et de la notice d’utilisation;
c)
das System mit der erforderlichen CE-Kennzeichnung versehen ist und ihm die in Artikel 47 genannte EU-Konformitätserklärung und Betriebsanleitungen beigefügt sind;
d)
le fournisseur a désigné un mandataire conformément à l’article 22, paragraphe 1.
d)
der Anbieter einen Bevollmächtigten gemäß Artikel 22 Absatz 1 benannt hat.
2. Lorsqu’un importateur a des raisons suffisantes de considérer qu’un système d’IA à haut risque n’est pas conforme au présent règlement, ou a été falsifié ou s’accompagne de documents falsifiés, il ne met le système sur le marché qu’après sa mise en conformité. Lorsque le système d’IA à haut risque présente un risque au sens de l’article 79, paragraphe 1, l’importateur en informe le fournisseur du système, les mandataires et les autorités de surveillance du marché.
(2) Hat ein Einführer hinreichenden Grund zu der Annahme, dass ein Hochrisiko-KI-System nicht dieser Verordnung entspricht oder gefälscht ist oder diesem eine gefälschte Dokumentation beigefügt ist, so bringt er das System erst in Verkehr, nachdem dessen Konformität hergestellt wurde. Birgt das Hochrisiko-KI-System ein Risiko im Sinne des Artikels 79 Absatz 1, so informiert der Einführer den Anbieter des Systems, die Bevollmächtigten und die Marktüberwachungsbehörden darüber.
3. Les importateurs indiquent leur nom, raison sociale ou marque déposée, ainsi que l’adresse à laquelle ils peuvent être contactés, sur le système d’IA à haut risque et sur son emballage ou dans la documentation l’accompagnant, selon le cas.
(3) Die Einführer geben ihren Namen, ihren eingetragenen Handelsnamen oder ihre eingetragene Handelsmarke und die Anschrift, unter der sie in Bezug auf das Hochrisiko-KI-System kontaktiert werden können, auf der Verpackung oder gegebenenfalls in der beigefügten Dokumentation an.
4. Les importateurs s’assurent, lorsqu’un système d’IA à haut risque est sous leur responsabilité, que les conditions de stockage ou de transport, le cas échéant, ne compromettent pas sa conformité avec les exigences énoncées à la section 2.
(4) Solange sich ein Hochrisiko-KI-System in ihrer Verantwortung befindet, gewährleisten Einführer, dass — soweit zutreffend — die Lagerungs- oder Transportbedingungen seine Konformität mit den in Abschnitt 2 festgelegten Anforderungen nicht beeinträchtigen.
5. Pendant une période de dix ans après la mise sur le marché ou la mise en service du système d’IA à haut risque, les importateurs conservent une copie du certificat délivré par l’organisme notifié, selon le cas, de la notice d’utilisation et de la déclaration UE de conformité visée à l’article 47.
(5) Die Einführer halten für einen Zeitraum von zehn Jahren ab dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI-Systems ein Exemplar der von der notifizierten Stelle ausgestellten Bescheinigung sowie gegebenenfalls die Betriebsanleitungen und die in Artikel 47 genannte EU-Konformitätserklärung bereit.
6. À la demande motivée des autorités compétentes concernées, les importateurs communiquent à ces dernières toutes les informations et tous les documents nécessaires, y compris ceux visés au paragraphe 5, pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées à la section 2, dans une langue aisément compréhensible par les autorités nationales compétentes. À cette fin, ils veillent également à ce que la documentation technique puisse être mise à la disposition de ces autorités.
(6) Die Einführer übermitteln den betreffenden nationalen Behörden auf deren begründete Anfrage sämtliche — auch die in Absatz 5 genannten — Informationen und Dokumentation, die erforderlich sind, um die Konformität des Hochrisiko-KI-Systems mit den in Abschnitt 2 festgelegten Anforderungen nachzuweisen, und zwar in einer Sprache, die für jene leicht verständlich ist. Zu diesem Zweck stellen sie auch sicher, dass diesen Behörden die technische Dokumentation zur Verfügung gestellt werden kann.
7. Les importateurs coopèrent avec les autorités compétentes concernées à toute mesure prise par ces autorités à l’égard d’un système d’IA à haut risque mis sur le marché par les importateurs, en particulier pour réduire et atténuer les risques qu’il présente.
(7) Die Einführer arbeiten mit den betreffenden nationalen Behörden bei allen Maßnahmen zusammen, die diese Behörden im Zusammenhang mit einem von den Einführern in Verkehr gebrachten Hochrisiko-KI-System ergreifen, um insbesondere die von diesem System ausgehenden Risiken zu verringern und abzumildern.
Obligations des distributeurs
1. Avant de mettre un système d’IA à haut risque à disposition sur le marché, les distributeurs vérifient qu’il porte le marquage CE requis, qu’il est accompagné d’une copie de la déclaration UE de conformité visée à l’article 47 et de la notice d’utilisation, et que le fournisseur et l’importateur dudit système, selon le cas, ont respecté leurs obligations respectives en vertu de l’article 16, points b) et c), et de l’article 23, paragraphe 3.
(1) Bevor Händler ein Hochrisiko-KI-System auf dem Markt bereitstellen, überprüfen sie, ob es mit der erforderlichen CE-Kennzeichnung versehen ist, ob ihm eine Kopie der in Artikel 47 genannten EU-Konformitätserklärung und Betriebsanleitungen beigefügt sind und ob der Anbieter und gegebenenfalls der Einführer dieses Systems ihre in Artikel 16 Buchstaben b und c sowie Artikel 23 Absatz 3 festgelegten jeweiligen Pflichten erfüllt haben.
2. Lorsqu’un distributeur considère ou a des raisons de considérer, sur la base des informations en sa possession, qu’un système d’IA à haut risque n’est pas conforme aux exigences énoncées à la section 2, il ne met le système à disposition sur le marché qu’après la mise en conformité de celui-ci avec lesdites exigences. De plus, lorsque le système d’IA à haut risque présente un risque au sens de l’article 79, paragraphe 1, le distributeur en informe le fournisseur ou l’importateur du système, selon le cas.
(2) Ist ein Händler der Auffassung oder hat er aufgrund von Informationen, die ihm zur Verfügung stehen, Grund zu der Annahme, dass ein Hochrisiko-KI-System nicht den Anforderungen in Abschnitt 2 entspricht, so stellt er das Hochrisiko-KI-System erst auf dem Markt bereit, nachdem die Konformität des Systems mit den Anforderungen hergestellt wurde. Birgt das Hochrisiko-IT-System zudem ein Risiko im Sinne des Artikels 79 Absatz 1, so informiert der Händler den Anbieter bzw. den Einführer des Systems darüber.
3. Les distributeurs s’assurent, lorsqu’un système d’IA à haut risque est sous leur responsabilité, que les conditions de stockage ou de transport, le cas échéant, ne compromettent pas sa conformité avec les exigences énoncées à la section 2.
(3) Solange sich ein Hochrisiko-KI-System in ihrer Verantwortung befindet, gewährleisten Händler, dass — soweit zutreffend — die Lagerungs- oder Transportbedingungen die Konformität des Systems mit den in Abschnitt 2 festgelegten Anforderungen nicht beeinträchtigen.
4. Lorsqu’un distributeur considère ou a des raisons de considérer, sur la base des informations en sa possession, qu’un système d’IA à haut risque qu’il a mis à disposition sur le marché n’est pas conforme aux exigences énoncées à la section 2, il prend les mesures correctives nécessaires pour mettre ce système en conformité avec lesdites exigences, le retirer ou le rappeler ou veille à ce que le fournisseur, l’importateur ou tout opérateur concerné, selon le cas, prenne ces mesures correctives. Lorsque le système d’IA à haut risque présente un risque au sens de l’article 79, paragraphe 1, le distributeur en informe immédiatement le fournisseur ou l’importateur du système ainsi que les autorités compétentes pour le système d’IA à haut risque concerné et précise, notamment, le cas de non-conformité et les éventuelles mesures correctives prises.
(4) Ein Händler, der aufgrund von Informationen, die ihm zur Verfügung stehen, der Auffassung ist oder Grund zu der Annahme hat, dass ein von ihm auf dem Markt bereitgestelltes Hochrisiko-KI-System nicht den Anforderungen in Abschnitt 2 entspricht, ergreift die erforderlichen Korrekturmaßnahmen, um die Konformität dieses Systems mit diesen Anforderungen herzustellen, es zurückzunehmen oder zurückzurufen, oder er stellt sicher, dass der Anbieter, der Einführer oder gegebenenfalls jeder relevante Akteur diese Korrekturmaßnahmen ergreift. Birgt das Hochrisiko-KI-System ein Risiko im Sinne des Artikels 79 Absatz 1, so informiert der Händler unverzüglich den Anbieter bzw. den Einführer des Systems sowie die für das betroffene Hochrisiko-KI-System zuständigen Behörden und macht dabei ausführliche Angaben, insbesondere zur Nichtkonformität und zu bereits ergriffenen Korrekturmaßnahmen.
5. À la demande motivée d’une autorité compétente concernée, les distributeurs d’un système d’IA à haut risque communiquent à cette autorité toutes les informations et tous les documents concernant les mesures qu’ils ont prises en vertu des paragraphes 1 à 4, nécessaires pour démontrer la conformité de ce système avec les exigences énoncées à la section 2.
(5) Auf begründete Anfrage einer betreffenden zuständigen Behörde übermitteln die Händler eines Hochrisiko-KI-Systems dieser Behörde sämtliche Informationen und Dokumentation in Bezug auf ihre Maßnahmen gemäß den Absätzen 1 bis 4, die erforderlich sind, um die Konformität dieses Systems mit den in Abschnitt 2 festgelegten Anforderungen nachzuweisen.
6. Les distributeurs coopèrent avec les autorités compétentes concernées à toute mesure prise par ces autorités à l’égard d’un système d’IA à haut risque mis à disposition sur le marché par les distributeurs, en particulier pour réduire et atténuer les risques qu’il présente.
(6) Die Händler arbeiten mit den betreffenden zuständigen Behörden bei allen Maßnahmen zusammen, die diese Behörden im Zusammenhang mit einem von den Händlern auf dem Markt bereitgestellten Hochrisiko-KI-System ergreifen, um insbesondere das von diesem System ausgehende Risiko zu verringern oder abzumildern.
Responsabilités tout au long de la chaîne de valeur de l’IA
Verantwortlichkeiten entlang der KI-Wertschöpfungskette
1. Tout distributeur, importateur, déployeur ou autre tiers est considéré comme un fournisseur d’un système d’IA à haut risque aux fins du présent règlement et est soumis aux obligations incombant au fournisseur au titre de l’article 16 dans toutes les circonstances suivantes:
(1) In den folgenden Fällen gelten Händler, Einführer, Betreiber oder sonstige Dritte als Anbieter eines Hochrisiko-KI-Systems für die Zwecke dieser Verordnung und unterliegen den Anbieterpflichten gemäß Artikel 16:
a)
il commercialise sous son propre nom ou sa propre marque un système d’IA à haut risque déjà mis sur le marché ou mis en service, sans préjudice des dispositions contractuelles prévoyant une autre répartition des obligations;
a)
wenn sie ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System mit ihrem Namen oder ihrer Handelsmarke versehen, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen;
b)
il apporte une modification substantielle à un système d’IA à haut risque qui a déjà été mis sur le marché ou a déjà été mis en service de telle manière qu’il reste un système d’IA à haut risque en application de l’article 6;
b)
wenn sie eine wesentliche Veränderung eines Hochrisiko-KI-Systems, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornehmen, dass es weiterhin ein Hochrisiko-KI-System gemäß Artikel 6 bleibt;
c)
il modifie la destination d’un système d’IA, y compris un système d’IA à usage général, qui n’a pas été classé à haut risque et a déjà été mis sur le marché ou mis en service de telle manière que le système d’IA concerné devient un système d’IA à haut risque conformément l’article 6.
c)
wenn sie die Zweckbestimmung eines KI-Systems, einschließlich eines KI-Systems mit allgemeinem Verwendungszweck, das nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so verändern, dass das betreffende KI-System zu einem Hochrisiko-KI-System im Sinne von Artikel 6 wird.
2. Lorsque les circonstances visées au paragraphe 1, se produisent, le fournisseur qui a initialement mis sur le marché ou mis en service le système d’IA n’est plus considéré comme un fournisseur de ce système d’IA spécifique aux fins du présent règlement. Ce fournisseur initial coopère étroitement avec les nouveaux fournisseurs et met à disposition les informations nécessaires et fournit l’accès technique raisonnablement attendu et toute autre assistance nécessaire au respect des obligations énoncées dans le présent règlement, en particulier en ce qui concerne la conformité avec l’évaluation de la conformité des systèmes d’IA à haut risque. Le présent paragraphe ne s’applique pas dans les cas où le fournisseur initial a clairement précisé que son système d’IA ne doit pas être transformé en un système d’IA à haut risque et ne relève donc pas de l’obligation relative à la remise de la documentation.
(2) Unter den in Absatz 1 genannten Umständen gilt der Anbieter, der das KI-System ursprünglich in Verkehr gebracht oder in Betrieb genommen hatte, nicht mehr als Anbieter dieses spezifischen KI-Systems für die Zwecke dieser Verordnung. Dieser Erstanbieter arbeitet eng mit neuen Anbietern zusammen, stellt die erforderlichen Informationen zur Verfügung und sorgt für den vernünftigerweise zu erwartenden technischen Zugang und sonstige Unterstützung, die für die Erfüllung der in dieser Verordnung festgelegten Pflichten, insbesondere in Bezug auf die Konformitätsbewertung von Hochrisiko-KI-Systemen, erforderlich sind. Dieser Absatz gilt nicht in Fällen, in denen der Erstanbieter eindeutig festgelegt hat, dass sein KI-System nicht in ein Hochrisiko-KI-System umgewandelt werden darf und daher nicht der Pflicht zur Übergabe der Dokumentation unterliegt.
3. Lorsque des systèmes d’IA à haut risque constituent des composants de sécurité de produits couverts par la législation d’harmonisation de l’Union dont la liste figure à l’annexe I, section A, le fabricant de ces produits est considéré comme étant le fournisseur du système d’IA à haut risque et est soumis aux obligations visées à l’article 16 dans l’un des deux cas suivants:
(3) Im Falle von Hochrisiko-KI-Systemen, bei denen es sich um Sicherheitsbauteile von Produkten handelt, die unter die in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, gilt der Produkthersteller als Anbieter des Hochrisiko-KI-Systems und unterliegt in den beiden nachfolgenden Fällen den Pflichten nach Artikel 16:
a)
le système d’IA à haut risque est mis sur le marché avec le produit sous le nom ou la marque du fabricant du produit;
a)
Das Hochrisiko-KI-System wird zusammen mit dem Produkt unter dem Namen oder der Handelsmarke des Produktherstellers in Verkehr gebracht;
b)
le système d’IA à haut risque est mis en service sous le nom ou la marque du fabricant du produit après que le produit a été mis sur le marché.
b)
das Hochrisiko-KI-System wird unter dem Namen oder der Handelsmarke des Produktherstellers in Betrieb genommen, nachdem das Produkt in Verkehr gebracht wurde.
4. Le fournisseur d’un système d’IA à haut risque et le tiers qui fournit un système d’IA, des outils, services, composants ou processus qui sont utilisés ou intégrés dans un système d’IA à haut risque précisent, par accord écrit, les informations, les capacités, l’accès technique et toute autre assistance nécessaire, sur la base de l’état de la technique généralement reconnu, pour permettre au fournisseur du système d’IA à haut risque de se conformer pleinement aux obligations prévues dans le présent règlement. Le présent paragraphe ne s’applique pas aux tiers qui rendent accessibles au public des outils, services, processus ou composants, autres que des modèles d’IA à usage général, dans le cadre d’une licence libre et ouverte.
(4) Der Anbieter eines Hochrisiko-KI-Systems und der Dritte, der ein KI-System, Instrumente, Dienste, Komponenten oder Verfahren bereitstellt, die in einem Hochrisiko-KI-System verwendet oder integriert werden, legen in einer schriftlichen Vereinbarung die Informationen, die Fähigkeiten, den technischen Zugang und die sonstige Unterstützung nach dem allgemein anerkannten Stand der Technik fest, die erforderlich sind, damit der Anbieter des Hochrisiko-KI-Systems die in dieser Verordnung festgelegten Pflichten vollständig erfüllen kann. Dieser Absatz gilt nicht für Dritte, die Instrumente, Dienste, Verfahren oder Komponenten, bei denen es sich nicht um KI-Modelle mit allgemeinem Verwendungszweck handelt, im Rahmen einer freien und quelloffenen Lizenz öffentlich zugänglich machen.
Le Bureau de l’IA peut élaborer et recommander des clauses types volontaires pour les contrats entre les fournisseurs de systèmes d’IA à haut risque et les tiers qui fournissent des outils, des services, des composants ou des processus qui sont utilisés ou intégrés dans les systèmes d’IA à haut risque. Lorsqu’il élabore des clauses types volontaires, le Bureau de l’IA tient compte des éventuelles exigences contractuelles applicables dans des secteurs ou des activités spécifiques. Les clauses types volontaires sont publiées et mises à disposition gratuitement dans un format électronique facile d’utilisation.
Das Büro für Künstliche Intelligenz kann freiwillige Musterbedingungen für Verträge zwischen Anbietern von Hochrisiko-KI-Systemen und Dritten, die Instrumente, Dienste, Komponenten oder Verfahren bereitstellen, die für Hochrisiko-KI-Systeme verwendet oder in diese integriert werden, ausarbeiten und empfehlen. Bei der Ausarbeitung dieser freiwilligen Musterbedingungen berücksichtigt das Büro für Künstliche Intelligenz mögliche vertragliche Anforderungen, die in bestimmten Sektoren oder Geschäftsfällen gelten. Die freiwilligen Musterbedingungen werden veröffentlicht und sind kostenlos in einem leicht nutzbaren elektronischen Format verfügbar.
5. Les paragraphes 2 et 3 sont sans préjudice de la nécessité de respecter et de protéger les droits de propriété intellectuelle, les informations confidentielles de nature commerciale et les secrets d’affaires conformément au droit de l’Union et au droit national.
(5) Die Absätze 2 und 3 berühren nicht die Notwendigkeit, Rechte des geistigen Eigentums, vertrauliche Geschäftsinformationen und Geschäftsgeheimnisse im Einklang mit dem Unionsrecht und dem nationalen Recht zu achten und zu schützen.
Obligations incombant aux déployeurs de systèmes d’IA à haut risque
Pflichten der Betreiber von Hochrisiko-KI-Systemen
1. Les déployeurs de systèmes d’IA à haut risque prennent des mesures techniques et organisationnelles appropriées afin de garantir qu’ils utilisent ces systèmes conformément aux notices d’utilisation accompagnant les systèmes, conformément aux paragraphes 3 et 6.
(1) Die Betreiber von Hochrisiko-KI-Systemen treffen geeignete technische und organisatorische Maßnahmen, um sicherzustellen, dass sie solche Systeme entsprechend der den Systemen beigefügten Betriebsanleitungen und gemäß den Absätzen 3 und 6 verwenden.
2. Les déployeurs confient le contrôle humain à des personnes physiques qui disposent des compétences, de la formation et de l’autorité nécessaires ainsi que du soutien nécessaire.
(2) Die Betreiber übertragen natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, die menschliche Aufsicht und lassen ihnen die erforderliche Unterstützung zukommen.
3. Les obligations énoncées aux paragraphes 1 et 2 sont sans préjudice des autres obligations du déployeur prévues par le droit de l’Union ou le droit national et de la faculté du déployeur d’organiser ses propres ressources et activités aux fins de la mise en œuvre des mesures de contrôle humain indiquées par le fournisseur.
(3) Die Pflichten nach den Absätzen 1 und 2 lassen sonstige Pflichten der Betreiber nach Unionsrecht oder nationalem Recht sowie die Freiheit der Betreiber bei der Organisation ihrer eigenen Ressourcen und Tätigkeiten zur Wahrnehmung der vom Anbieter angegebenen Maßnahmen der menschlichen Aufsicht unberührt.
4. Sans préjudice des paragraphes 1 et 2, pour autant que le déployeur exerce un contrôle sur les données d’entrée, il veille à ce que ces dernières soient pertinentes et suffisamment représentatives au regard de la destination du système d’IA à haut risque.
(4) Unbeschadet der Absätze 1 und 2 und soweit die Eingabedaten ihrer Kontrolle unterliegen, sorgen die Betreiber dafür, dass die Eingabedaten der Zweckbestimmung des Hochrisiko-KI-Systems entsprechen und ausreichend repräsentativ sind.
5. Les déployeurs surveillent le fonctionnement du système d’IA à haut risque sur la base de la notice d’utilisation et, le cas échéant, informent les fournisseurs conformément à l’article 72. Lorsque les déployeurs ont des raisons de considérer que l’utilisation du système d’IA à haut risque conformément à la notice d’utilisation pourrait conduire à ce que le système d’IA présente un risque au sens de l’article 79, paragraphe 1, ils en informent, sans retard injustifié, le fournisseur ou le distributeur ainsi que l’autorité de surveillance du marché concernée, et suspendent l’utilisation de ce système. Lorsque les déployeurs ont détecté un incident grave, ils informent également immédiatement d’abord le fournisseur, puis l’importateur ou le distributeur et les autorités de surveillance du marché concernées de cet incident. Si le déployeur n’est pas en mesure de joindre le fournisseur, l’article 73 s’applique mutatis mutandis. Cette obligation ne couvre pas les données opérationnelles sensibles des déployeurs de systèmes d’IA qui sont des autorités répressives.
(5) Die Betreiber überwachen den Betrieb des Hochrisiko-KI-Systems anhand der Betriebsanleitung und informieren gegebenenfalls die Anbieter gemäß Artikel 72. Haben Betreiber Grund zu der Annahme, dass die Verwendung gemäß der Betriebsanleitung dazu führen kann, dass dieses Hochrisiko-KI-System ein Risiko im Sinne des Artikels 79 Absatz 1 birgt, so informieren sie unverzüglich den Anbieter oder Händler und die zuständige Marktüberwachungsbehörde und setzen die Verwendung dieses Systems aus. Haben die Betreiber einen schwerwiegenden Vorfall festgestellt, informieren sie auch unverzüglich zuerst den Anbieter und dann den Einführer oder Händler und die zuständigen Marktüberwachungsbehörden über diesen Vorfall. Kann der Betreiber den Anbieter nicht erreichen, so gilt Artikel 73 entsprechend. Diese Pflicht gilt nicht für sensible operative Daten von Betreibern von KI-Systemen, die Strafverfolgungsbehörden sind.
Si les déployeurs sont des établissements financiers soumis à des exigences relatives à leur gouvernance, à leurs dispositifs ou à leurs processus internes prévues par la législation de l’Union sur les services financiers, la conformité avec les règles relatives à la gouvernance, aux dispositifs, aux processus et aux mécanismes internes prévues dans la législation sur les services financiers vaut respect de l’obligation de surveillance énoncée au premier alinéa.
Bei Betreibern, die Finanzinstitute sind und gemäß den Rechtsvorschriften der Union über Finanzdienstleistungen Anforderungen in Bezug auf ihre Regelungen oder Verfahren der internen Unternehmensführung, unterliegen, gilt die in Unterabsatz 1 festgelegte Überwachungspflicht als erfüllt, wenn die Vorschriften über Regelungen, Verfahren oder Mechanismen der internen Unternehmensführung gemäß einschlägigem Recht über Finanzdienstleistungen eingehalten werden.
6. Les déployeurs de systèmes d’IA à haut risque assurent la tenue des journaux générés automatiquement par ce système d’IA à haut risque dans la mesure où ces journaux se trouvent sous leur contrôle, pendant une période adaptée à la destination du système d’IA à haut risque, d’au moins six mois, sauf disposition contraire dans le droit de l’Union ou le droit national applicable, en particulier dans le droit de l’Union sur la protection des données à caractère personnel.
(6) Betreiber von Hochrisiko-KI-Systemen bewahren die von ihrem Hochrisiko-KI-System automatisch erzeugten Protokolle, soweit diese Protokolle ihrer Kontrolle unterliegen, für einen der Zweckbestimmung des Hochrisiko-KI-Systems angemessenen Zeitraum von mindestens sechs Monaten auf, sofern im geltenden Unionsrecht, insbesondere im Unionsrecht über den Schutz personenbezogener Daten, oder im geltenden nationalen Recht nichts anderes bestimmt ist.
Si les déployeurs sont des établissements financiers soumis à des exigences relatives à leur gouvernance, à leurs dispositifs ou à leurs processus internes prévues par la législation de l’Union sur les services financiers, ils tiennent à jour les journaux dans le cadre de la documentation conservée en vertu de la législation pertinente de l’Union sur les services financiers.
Betreiber, die Finanzinstitute sind und gemäß den Rechtsvorschriften der Union über Finanzdienstleistungen Anforderungen in Bezug auf ihre Regelungen oder Verfahren der internen Unternehmensführung unterliegen, bewahren die Protokolle als Teil der gemäß einschlägigem Unionsecht über Finanzdienstleistungen aufzubewahrenden Dokumentation auf.
7. Avant de mettre en service ou d’utiliser un système d’IA à haut risque sur le lieu de travail, les déployeurs qui sont des employeurs informent les représentants des travailleurs et les travailleurs concernés qu’ils seront soumis à l’utilisation du système d’IA à haut risque. Ces informations sont fournies, le cas échéant, conformément aux règles et procédures prévues par le droit de l’Union et le droit national et aux pratiques en matière d’information des travailleurs et de leurs représentants.
(7) Vor der Inbetriebnahme oder Verwendung eines Hochrisiko-KI-Systems am Arbeitsplatz informieren Betreiber, die Arbeitgeber sind, die Arbeitnehmervertreter und die betroffenen Arbeitnehmer darüber, dass sie der Verwendung des Hochrisiko-KI-Systems unterliegen werden. Diese Informationen werden gegebenenfalls im Einklang mit den Vorschriften und Gepflogenheiten auf Unionsebene und nationaler Ebene in Bezug auf die Unterrichtung der Arbeitnehmer und ihrer Vertreter bereitgestellt.
8. Les déployeurs de systèmes d’IA à haut risque qui sont des autorités publiques ou des institutions, organes ou organismes de l’Union, respectent les obligations en matière d’enregistrement prévues à l’article 49. Dans le cas où ces déployeurs constatent que le système d’IA à haut risque qu’ils envisagent d’utiliser n’a pas été enregistré dans la base de données de l’UE visée à l’article 71, ils n’utilisent pas ce système et informent le fournisseur ou le distributeur.
(8) Betreiber von Hochrisiko-KI-Systemen, bei denen es sich um Organe, Einrichtungen oder sonstige Stellen der Union handelt, müssen den Registrierungspflichten gemäß Artikel 49 nachkommen. Stellen diese Betreiber fest, dass das Hochrisiko-KI-System, dessen Verwendung sie planen, nicht in der in Artikel 71 genannten EU-Datenbank registriert wurde, sehen sie von der Verwendung dieses Systems ab und informieren den Anbieter oder den Händler.
9. Le cas échéant, les déployeurs de systèmes d’IA à haut risque utilisent les informations fournies en application de l’article 13 du présent règlement pour se conformer à leur obligation de procéder à une analyse d’impact relative à la protection des données en vertu de l’article 35 du règlement (UE) 2016/679 ou de l’article 27 de la directive (UE) 2016/680.
(9) Die Betreiber von Hochrisiko-KI-Systemen verwenden gegebenenfalls die gemäß Artikel 13 der vorliegenden Verordnung bereitgestellten Informationen, um ihrer Pflicht zur Durchführung einer Datenschutz-Folgenabschätzung gemäß Artikel 35 der Verordnung (EU) 2016/679 oder Artikel 27 der Richtlinie (EU) 2016/680 nachzukommen.
10. Sans préjudice de la directive (UE) 2016/680, dans le cadre d’une enquête en vue de la recherche ciblée d’une personne soupçonnée d’avoir commis une infraction pénale ou condamnée pour avoir commis une infraction pénale, le déployeur d’un système d’IA à haut risque pour l’identification biométrique à distance a posteriori demande l’autorisation, ex ante ou sans retard injustifié et au plus tard dans les 48 heures, d’une autorité judiciaire ou administrative dont la décision est contraignante et soumise à un contrôle juridictionnel, pour l’utilisation de ce système, sauf lorsqu’il est utilisé pour l’identification initiale d’un suspect potentiel sur la base de faits objectifs et vérifiables directement liés à l’infraction. Chaque utilisation est limitée à ce qui est strictement nécessaire pour enquêter sur une infraction pénale spécifique.
(10) Unbeschadet der Richtlinie (EU) 2016/680 beantragt der Betreiber eines Hochrisiko-KI-Systems zur nachträglichen biometrischen Fernfernidentifizierung im Rahmen von Ermittlungen zur gezielten Suche einer Person, die der Begehung einer Straftat verdächtigt wird oder aufgrund einer solchen verurteilt wurde, vorab oder unverzüglich, spätestens jedoch binnen 48 Stunden bei einer Justizbehörde oder einer Verwaltungsbehörde, deren Entscheidung bindend ist und einer justiziellen Überprüfung unterliegt, die Genehmigung für die Nutzung dieses Systems, es sei denn, es wird zur erstmaligen Identifizierung eines potenziellen Verdächtigen auf der Grundlage objektiver und nachprüfbarer Tatsachen, die in unmittelbarem Zusammenhang mit der Straftat stehen, verwendet. Jede Verwendung ist auf das für die Ermittlung einer bestimmten Straftat unbedingt erforderliche Maß zu beschränken.
Si l’autorisation demandée en application du premier alinéa est rejetée, l’utilisation du système d’identification biométrique à distance a posteriori lié à l’autorisation demandée est interrompue avec effet immédiat et les données à caractère personnel liées à l’utilisation du système d’IA à haut risque pour lequel l’autorisation a été demandée sont supprimées.
Wird die gemäß Unterabsatz 1 beantragte Genehmigung abgelehnt, so wird die Verwendung des mit dieser beantragten Genehmigung verbundenen Systems zur nachträglichen biometrischen Fernidentifizierung mit sofortiger Wirkung eingestellt und werden die personenbezogenen Daten, die im Zusammenhang mit der Verwendung des Hochrisiko-KI-Systems stehen, für die die Genehmigung beantragt wurde, gelöscht.
En aucun cas, ce système d’IA à haut risque pour l’identification biométrique à distance a posteriori ne peut être utilisé à des fins répressives de manière non ciblée, sans aucun lien avec une infraction pénale, une procédure pénale, une menace réelle et actuelle ou réelle et prévisible d’une infraction pénale, ou la recherche d’une personne disparue spécifique. Il convient d’assurer qu’aucune décision produisant des effets juridiques défavorables à l’égard d’une personne ne puisse être prise par les autorités répressives sur la seule base des sorties de tels systèmes d’identification biométrique à distance a posteriori.
In keinem Fall darf ein solches Hochrisiko-KI-System zur nachträglichen biometrischen Fernidentifizierung zu Strafverfolgungszwecken in nicht zielgerichteter Weise und ohne jeglichen Zusammenhang mit einer Straftat, einem Strafverfahren, einer tatsächlichen und bestehenden oder tatsächlichen und vorhersehbaren Gefahr einer Straftat oder der Suche nach einer bestimmten vermissten Person verwendet werden. Es muss sichergestellt werden, dass die Strafverfolgungsbehörden keine ausschließlich auf der Grundlage der Ausgabe solcher Systeme zur nachträglichen biometrischen Fernidentifizierung beruhende Entscheidung, aus der sich eine nachteilige Rechtsfolge für eine Person ergibt, treffen.
Le présent paragraphe est sans préjudice de l’article 9 du règlement (UE) 2016/679 et de l’article 10 de la directive (UE) 2016/680 pour le traitement des données biométriques.
Dieser Absatz gilt unbeschadet des Artikels 9 der Verordnung (EU) 2016/679 und des Artikels 10 der Richtlinie (EU) 2016/680 für die Verarbeitung biometrischer Daten.
Indépendamment de la finalité ou du déployeur, chaque utilisation de ces systèmes d’IA à haut risque est documentée dans le dossier de police pertinent et est mise à la disposition de l’autorité de surveillance du marché concernée et de l’autorité nationale chargée de la protection des données sur demande, à l’exclusion de la divulgation de données opérationnelles sensibles liées aux services répressifs. Le présent alinéa est sans préjudice des pouvoirs conférés par la directive (UE) 2016/680 aux autorités de contrôle.
Unabhängig vom Zweck oder Betreiber wird jede Verwendung solcher Hochrisiko-KI-Systeme in der einschlägigen Polizeiakte dokumentiert und der zuständigen Marktüberwachungsbehörde und der nationalen Datenschutzbehörde auf Anfrage zur Verfügung gestellt, wovon die Offenlegung sensibler operativer Daten im Zusammenhang mit der Strafverfolgung ausgenommen ist. Dieser Unterabsatz berührt nicht die den Aufsichtsbehörden durch die Richtlinie (EU) 2016/680 übertragenen Befugnisse.
Les déployeurs soumettent aux autorités de surveillance du marché concernées et aux autorités nationales chargées de la protection des données des rapports annuels sur leur utilisation de systèmes d’identification biométrique à distance a posteriori, à l’exclusion de la divulgation de données opérationnelles sensibles liées aux services répressifs. Les rapports peuvent être agrégés pour couvrir plus d’un déploiement.
Die Betreiber legen den zuständigen Marktüberwachungsbehörden und den nationalen Datenschutzbehörden Jahresberichte über ihre Verwendung von Systemen zur nachträglichen biometrischen Fernidentifizierung vor, wovon die Offenlegung sensibler operativer Daten im Zusammenhang mit der Strafverfolgung ausgenommen ist. Die Berichte können eine Zusammenfassung sein, damit sie mehr als einen Einsatz abdecken.
Les États membres peuvent adopter, conformément au droit de l’Union, des lois plus restrictives sur l’utilisation de systèmes d’identification biométrique à distance a posteriori.
Die Mitgliedstaaten können im Einklang mit dem Unionsrecht strengere Rechtsvorschriften für die Verwendung von Systemen zur nachträglichen biometrischen Fernidentifizierung erlassen.
11. Sans préjudice de l’article 50 du présent règlement, les déployeurs de systèmes d’IA à haut risque visés à l’annexe III, qui prennent des décisions ou facilitent les prises de décision concernant des personnes physiques, informent lesdites personnes physiques qu’elles sont soumises à l’utilisation du système d’IA à haut risque. Pour les systèmes d’IA à haut risque utilisés à des fins répressives, l’article 13 de la directive (UE) 2016/680 s’applique.
(11) Unbeschadet des Artikels 50 der vorliegenden Verordnung informieren die Betreiber der in Anhang III aufgeführten Hochrisiko-KI-Systeme, die natürliche Personen betreffende Entscheidungen treffen oder bei solchen Entscheidungen Unterstützung leisten, die natürlichen Personen darüber, dass sie der Verwendung des Hochrisiko-KI-Systems unterliegen. Für Hochrisiko-KI-Systeme, die zu Strafverfolgungszwecken verwendet werden, gilt Artikel 13 der Richtlinie (EU) 2016/680.
12. Les déployeurs coopèrent avec les autorités compétentes concernées à toute mesure prise par ces autorités à l’égard du système d’IA à haut risque en vue de mettre en œuvre le présent règlement.
(12) Die Betreiber arbeiten mit den zuständigen Behörden bei allen Maßnahmen zusammen, die diese Behörden im Zusammenhang mit dem Hochrisiko-KI-System zur Umsetzung dieser Verordnung ergreifen.
Analyse d’impact des systèmes d’IA à haut risque sur les droits fondamentaux
Grundrechte-Folgenabschätzung für Hochrisiko-KI-Systeme
1. Avant le déploiement d’un système d’IA à haut risque visé à l’article 6, paragraphe 2, à l’exception des systèmes d’IA à haut risque destinés à être utilisés dans le domaine visé à l’annexe III, point 2, les déployeurs qui sont des organismes de droit public ou des entités privées fournissant des services publics et les déployeurs de systèmes d’IA à haut risque visés à l’annexe III, points 5), b) et c), effectuent une analyse de l’impact sur les droits fondamentaux que l’utilisation de ce système peut produire. À cette fin, les déployeurs effectuent une analyse comprenant:
(1) Vor der Inbetriebnahme eines Hochrisiko-KI-Systems gemäß Artikel 6 Absatz 2 — mit Ausnahme von Hochrisiko-KI-Systemen, die in dem in Anhang III Nummer 2 aufgeführten Bereich verwendet werden sollen — führen Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt, und Betreiber von Hochrisiko-KI-Systemen gemäß Anhang III Nummer 5 Buchstaben b und c eine Abschätzung der Auswirkungen, die die Verwendung eines solchen Systems auf die Grundrechte haben kann, durch. Zu diesem Zweck führen die Betreiber eine Abschätzung durch, die Folgendes umfasst:
a)
une description des processus du déployeur dans lesquels le système d’IA à haut risque sera utilisé conformément à sa destination;
a)
eine Beschreibung der Verfahren des Betreibers, bei denen das Hochrisiko-KI-System im Einklang mit seiner Zweckbestimmung verwendet wird;
b)
une description de la période pendant laquelle et de la fréquence à laquelle chaque système d’IA à haut risque est destiné à être utilisé;
b)
eine Beschreibung des Zeitraums und der Häufigkeit, innerhalb dessen bzw. mit der jedes Hochrisiko-KI-System verwendet werden soll;
c)
les catégories de personnes physiques et les groupes susceptibles d’être concernés par son utilisation dans le contexte spécifique;
c)
die Kategorien der natürlichen Personen und Personengruppen, die von seiner Verwendung im spezifischen Kontext betroffen sein könnten;
d)
les risques spécifiques de préjudice susceptibles d’avoir une incidence sur les catégories de personnes physiques ou groupes de personnes identifiés en vertu du point c) du présent paragraphe, compte tenu des informations fournies par le fournisseur conformément à l’article 13;
d)
die spezifischen Schadensrisiken, die sich auf die gemäß Buchstabe c dieses Absatzes ermittelten Kategorien natürlicher Personen oder Personengruppen auswirken könnten, unter Berücksichtigung der vom Anbieter gemäß Artikel 13 bereitgestellten Informationen;
e)
une description de la mise en œuvre des mesures de contrôle humain, conformément à la notice d’utilisation;
e)
eine Beschreibung der Umsetzung von Maßnahmen der menschlichen Aufsicht entsprechend den Betriebsanleitungen;
f)
les mesures à prendre en cas de matérialisation de ces risques, y compris les dispositifs relatifs à la gouvernance interne et aux mécanismes de plainte internes.
f)
die Maßnahmen, die im Falle des Eintretens dieser Risiken zu ergreifen sind, einschließlich der Regelungen für die interne Unternehmensführung und Beschwerdemechanismen.
2. L’obligation établie au paragraphe 1 s’applique à la première utilisation du système d’IA à haut risque. Le déployeur peut, dans des cas similaires, s’appuyer sur des analyses d’impact sur les droits fondamentaux effectuées précédemment ou sur des analyses d’impact existantes réalisées par le fournisseur. Si, au cours de l’utilisation du système d’IA à haut risque, le déployeur estime qu’un des éléments énumérés au paragraphe 1 a changé ou n’est plus à jour, il prend les mesures nécessaires pour mettre à jour les informations.
(2) Die in Absatz 1 festgelegte Pflicht gilt für die erste Verwendung eines Hochrisiko-KI-Systems. Der Betreiber kann sich in ähnlichen Fällen auf zuvor durchgeführte Grundrechte-Folgenabschätzungen oder bereits vorhandene Folgenabschätzungen, die vom Anbieter durchgeführt wurden, stützen. Gelangt der Betreiber während der Verwendung des Hochrisiko-KI-Systems zur Auffassung, dass sich eines der in Absatz 1 aufgeführten Elemente geändert hat oder nicht mehr auf dem neuesten Stand ist, so unternimmt der Betreiber die erforderlichen Schritte, um die Informationen zu aktualisieren.
3. Une fois l’analyse visée au paragraphe 1 du présent article effectuée, le déployeur en notifie les résultats à l’autorité de surveillance du marché, et soumet le modèle visé au paragraphe 5 du présent article, rempli, dans le cadre de la notification. Dans le cas visé à l’article 46, paragraphe 1, les déployeurs peuvent être exemptés de cette obligation de notification.
(3) Sobald die Abschätzung gemäß Absatz 1 des vorliegenden Artikels durchgeführt wurde, teilt der Betreiber der Marktüberwachungsbehörde ihre Ergebnisse mit, indem er das ausgefüllte, in Absatz 5 des vorliegenden Artikels genannte Muster als Teil der Mitteilung übermittelt. In dem in Artikel 46 Absatz 1 genannten Fall können die Betreiber von der Mitteilungspflicht befreit werden.
4. Si l’une des obligations prévues au présent article est déjà remplie au moyen de l’analyse d’impact relative à la protection des données réalisée en application de l’article 35 du règlement (UE) 2016/679 ou de l’article 27 de la directive (UE) 2016/680, l’analyse d’impact sur les droits fondamentaux visée au paragraphe 1 du présent article complète ladite analyse d’impact relative à la protection des données.
(4) Wird eine der in diesem Artikel festgelegten Pflichten bereits infolge einer gemäß Artikel 35 der Verordnung (EU) 2016/679 oder Artikel 27 der Richtlinie (EU) 2016/680 durchgeführten Datenschutz-Folgenabschätzung erfüllt, so ergänzt die Grundrechte-Folgenabschätzung gemäß Absatz 1 des vorliegenden Artikels diese Datenschutz-Folgenabschätzung.
5. Le Bureau de l’IA élabore un modèle de questionnaire, y compris au moyen d’un outil automatisé, afin d’aider les déployeurs à se conformer de manière simplifiée aux obligations qui leur incombent en vertu du présent article.
(5) Das Büro für Künstliche Intelligenz arbeitet ein Muster für einen Fragebogen — auch mithilfe eines automatisierten Instruments — aus, um die Betreiber in die Lage zu versetzen, ihren Pflichten gemäß diesem Artikel in vereinfachter Weise nachzukommen.
1. Chaque État membre désigne ou établit au moins une autorité notifiante chargée de mettre en place et d’accomplir les procédures nécessaires à l’évaluation, à la désignation et à la notification des organismes d’évaluation de la conformité et à leur contrôle. Ces procédures sont élaborées en coopération entre les autorités notifiantes de tous les États membres.
(1) Jeder Mitgliedstaat sorgt für die Benennung oder Schaffung mindestens einer notifizierenden Behörde, die für die Einrichtung und Durchführung der erforderlichen Verfahren zur Bewertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig ist. Diese Verfahren werden in Zusammenarbeit zwischen den notifizierenden Behörden aller Mitgliedstaaten entwickelt.
2. Les États membres peuvent décider que l’évaluation et le contrôle visés au paragraphe 1 doivent être effectués par un organisme national d’accréditation au sens du règlement (CE) no 765/2008 et conformément à ses dispositions.
(2) Die Mitgliedstaaten können entscheiden, dass die Bewertung und Überwachung nach Absatz 1 von einer nationalen Akkreditierungsstelle im Sinne und gemäß der Verordnung (EG) Nr. 765/2008 durchzuführen ist.
3. Les autorités notifiantes sont établies, organisées et gérées de manière à éviter tout conflit d’intérêts avec les organismes d’évaluation de la conformité et à garantir l’objectivité et l’impartialité de leurs activités.
(3) Notifizierende Behörden werden so eingerichtet, organisiert und geführt, dass jegliche Interessenkonflikte mit Konformitätsbewertungsstellen vermieden werden und die Objektivität und die Unparteilichkeit ihrer Tätigkeiten gewährleistet sind.
4. Les autorités notifiantes sont organisées de telle sorte que les décisions concernant la notification des organismes d’évaluation de la conformité soient prises par des personnes compétentes différentes de celles qui ont réalisé l’évaluation de ces organismes.
(4) Notifizierende Behörden werden so organisiert, dass Entscheidungen über die Notifizierung von Konformitätsbewertungsstellen von kompetenten Personen getroffen werden, die nicht mit den Personen identisch sind, die die Bewertung dieser Stellen durchgeführt haben.
5. Les autorités notifiantes ne proposent ni ne fournissent aucune des activités réalisées par les organismes d’évaluation de la conformité, ni aucun service de conseil sur une base commerciale ou concurrentielle.
(5) Notifizierende Behörden dürfen weder Tätigkeiten, die Konformitätsbewertungsstellen durchführen, noch Beratungsleistungen auf einer gewerblichen oder wettbewerblichen Basis anbieten oder erbringen.
6. Les autorités notifiantes garantissent la confidentialité des informations qu’elles obtiennent conformément à l’article 78.
(6) Notifizierende Behörden gewährleisten gemäß Artikel 78 die Vertraulichkeit der von ihnen erlangten Informationen.
7. Les autorités notifiantes disposent d’un personnel compétent en nombre suffisant pour la bonne exécution de leurs tâches. Le personnel compétent possède l’expertise nécessaire, le cas échéant, pour sa fonction, dans des domaines tels que les technologies de l’information, l’IA et le droit, y compris le contrôle du respect des droits fondamentaux.
(7) Notifizierende Behörden verfügen über eine angemessene Anzahl kompetenter Mitarbeiter, sodass sie ihre Aufgaben ordnungsgemäß wahrnehmen können. Die kompetenten Mitarbeiter verfügen — wo erforderlich — über das für ihre Funktion erforderliche Fachwissen in Bereichen wie Informationstechnologie sowie KI und Recht, einschließlich der Überwachung der Grundrechte.
Demande de notification d’un organisme d’évaluation de la conformité
Antrag einer Konformitätsbewertungsstelle auf Notifizierung
1. Les organismes d’évaluation de la conformité soumettent une demande de notification à l’autorité notifiante de l’État membre dans lequel ils sont établis.
(1) Konformitätsbewertungsstellen beantragen ihre Notifizierung bei der notifizierenden Behörde des Mitgliedstaats, in dem sie niedergelassen sind.
2. La demande de notification est accompagnée d’une description des activités d’évaluation de la conformité, du ou des modules d’évaluation de la conformité et des types de systèmes d’IA pour lesquels l’organisme d’évaluation de la conformité se déclare compétent, ainsi que d’un certificat d’accréditation, lorsqu’il existe, délivré par un organisme national d’accréditation qui atteste que l’organisme d’évaluation de la conformité remplit les exigences énoncées à l’article 31.
(2) Dem Antrag auf Notifizierung legen sie eine Beschreibung der Konformitätsbewertungstätigkeiten, des bzw. der Konformitätsbewertungsmodule und der Art der KI-Systeme, für die diese Konformitätsbewertungsstelle Kompetenz beansprucht, sowie, falls vorhanden, eine Akkreditierungsurkunde bei, die von einer nationalen Akkreditierungsstelle ausgestellt wurde und in der bescheinigt wird, dass die Konformitätsbewertungsstelle die Anforderungen des Artikels 31 erfüllt.
Tout document en cours de validité relatif à des désignations existantes de l’organisme notifié demandeur en vertu de toute autre législation d’harmonisation de l’Union est ajouté.
Sonstige gültige Dokumente in Bezug auf bestehende Benennungen der antragstellenden notifizierten Stelle im Rahmen anderer Harmonisierungsrechtsvorschriften der Union sind ebenfalls beizufügen.
3. Lorsque l’organisme d’évaluation de la conformité ne peut pas produire de certificat d’accréditation, il présente à l’autorité notifiante toutes les preuves documentaires nécessaires à la vérification, à la reconnaissance et au contrôle régulier de sa conformité avec les exigences définies à l’article 31.
(3) Kann die betreffende Konformitätsbewertungsstelle keine Akkreditierungsurkunde vorweisen, so legt sie der notifizierenden Behörde als Nachweis alle Unterlagen vor, die erforderlich sind, um zu überprüfen, festzustellen und regelmäßig zu überwachen, ob sie die Anforderungen des Artikels 31 erfüllt.
4. Quant aux organismes notifiés désignés en vertu de toute autre législation d’harmonisation de l’Union, tous les documents et certificats liés à ces désignations peuvent être utilisés à l’appui de leur procédure de désignation au titre du présent règlement, le cas échéant. L’organisme notifié met à jour la documentation visée aux paragraphes 2 et 3 du présent article dès que des changements pertinents interviennent afin de permettre à l’autorité responsable des organismes notifiés de contrôler et de vérifier que toutes les exigences énoncées à l’article 31 demeurent observées.
(4) Bei notifizierten Stellen, die im Rahmen anderer Harmonisierungsrechtsvorschriften der Union benannt wurden, können alle Unterlagen und Bescheinigungen im Zusammenhang mit solchen Benennungen zur Unterstützung ihres Benennungsverfahrens nach dieser Verordnung verwendet werden. Die notifizierte Stelle aktualisiert die in den Absätzen 2 und 3 des vorliegenden Artikels genannte Dokumentation immer dann, wenn sich relevante Änderungen ergeben, damit die für notifizierte Stellen zuständige Behörde überwachen und überprüfen kann, ob die Anforderungen des Artikels 31 kontinuierlich erfüllt sind.
Procédure de notification
1. Les autorités notifiantes ne peuvent notifier que les organismes d’évaluation de la conformité qui ont satisfait aux exigences énoncées à l’article 31.
(1) Die notifizierenden Behörden dürfen nur Konformitätsbewertungsstellen notifizieren, die die Anforderungen des Artikels 31 erfüllen.
2. Les autorités notifiantes informent la Commission et les autres États membres à l’aide de l’outil de notification électronique mis au point et géré par la Commission quant à chaque organisme d’évaluation de la conformité visé au paragraphe 1.
(2) Die notifizierenden Behörden unterrichten die Kommission und die übrigen Mitgliedstaaten mithilfe des elektronischen Notifizierungsinstruments, das von der Kommission entwickelt und verwaltet wird, über jede Konformitätsbewertungsstelle gemäß Absatz 1.
3. La notification visée au paragraphe 2 du présent article comprend des informations complètes sur les activités d’évaluation de la conformité, le ou les modules d’évaluation de la conformité et les types de systèmes d’IA concernés, ainsi que l’attestation de compétence correspondante. Lorsqu’une notification n’est pas fondée sur le certificat d’accréditation visé à l’article 29, paragraphe 2, l’autorité notifiante fournit à la Commission et aux autres États membres les preuves documentaires attestant de la compétence de l’organisme d’évaluation de la conformité et des dispositions prises pour faire en sorte que cet organisme soit régulièrement contrôlé et continue à satisfaire aux exigences énoncées à l’article 31.
(3) Die Notifizierung gemäß Absatz 2 des vorliegenden Artikels enthält vollständige Angaben zu den Konformitätsbewertungstätigkeiten, dem betreffenden Konformitätsbewertungsmodul oder den betreffenden Konformitätsbewertungsmodulen, den betreffenden Arten der KI-Systeme und der einschlägigen Bestätigung der Kompetenz. Beruht eine Notifizierung nicht auf einer Akkreditierungsurkunde gemäß Artikel 29 Absatz 2, so legt die notifizierende Behörde der Kommission und den anderen Mitgliedstaaten die Unterlagen vor, die die Kompetenz der Konformitätsbewertungsstelle und die Vereinbarungen nachweisen, die getroffen wurden, um sicherzustellen, dass die Stelle regelmäßig überwacht wird und weiterhin die Anforderungen des Artikels 31 erfüllt.
4. L’organisme d’évaluation de la conformité concerné ne peut effectuer les activités propres à un organisme notifié que si aucune objection n’est émise par la Commission ou les autres États membres dans les deux semaines suivant la notification par une autorité notifiante, si cette notification comprend le certificat d’accréditation visé à l’article 29, paragraphe 2, ou dans les deux mois suivant la notification par une autorité notifiante si cette notification comprend les preuves documentaires visées à l’article 29, paragraphe 3.
(4) Die betreffende Konformitätsbewertungsstelle darf die Tätigkeiten einer notifizierten Stelle nur dann wahrnehmen, wenn weder die Kommission noch die anderen Mitgliedstaaten innerhalb von zwei Wochen nach einer Notifizierung durch eine notifizierende Behörde, falls eine Akkreditierungsurkunde gemäß Artikel 29 Absatz 2 vorgelegt wird, oder innerhalb von zwei Monaten nach einer Notifizierung durch eine notifizierende Behörde, falls als Nachweis Unterlagen gemäß Artikel 29 Absatz 3 vorgelegt werden, Einwände erhoben haben.
5. En cas d’objections, la Commission entame sans tarder des consultations avec les États membres et l’organisme d’évaluation de la conformité concernés. Au vu de ces consultations, la Commission décide si l’autorisation est justifiée ou non. La Commission adresse sa décision à l’État membre et à l’organisme d’évaluation de la conformité concernés.
(5) Werden Einwände erhoben, konsultiert die Kommission unverzüglich die betreffenden Mitgliedstaaten und die Konformitätsbewertungsstelle. Im Hinblick darauf entscheidet die Kommission, ob die Genehmigung gerechtfertigt ist. Die Kommission richtet ihren Beschluss an die betroffenen Mitgliedstaaten und an die zuständige Konformitätsbewertungsstelle.
Exigences concernant les organismes notifiés
Anforderungen an notifizierte Stellen
1. Un organisme notifié est constitué en vertu du droit national d’un État membre et a la personnalité juridique.
(1) Eine notifizierte Stelle wird nach dem nationalen Recht eines Mitgliedstaats gegründet und muss mit Rechtspersönlichkeit ausgestattet sein.
2. Les organismes notifiés se conforment aux exigences en matière d’organisation, de gestion de la qualité, de ressources et de procédures qui sont nécessaires à l’exécution de leurs tâches, ainsi qu’aux exigences appropriées en matière de cybersécurité.
(2) Die notifizierten Stellen müssen die zur Wahrnehmung ihrer Aufgaben erforderlichen Anforderungen an die Organisation, das Qualitätsmanagement, die Ressourcenausstattung und die Verfahren sowie angemessene Cybersicherheitsanforderungen erfüllen.
3. La structure organisationnelle, la répartition des responsabilités, les liens hiérarchiques et le fonctionnement des organismes notifiés garantissent la confiance dans leurs activités et la fiabilité des résultats des activités d’évaluation de la conformité menées par les organismes notifiés.
(3) Die Organisationsstruktur, die Zuweisung der Zuständigkeiten, die Berichtslinien und die Funktionsweise der notifizierten Stellen müssen das Vertrauen in ihre Leistung und in die Ergebnisse der von ihnen durchgeführten Konformitätsbewertungstätigkeiten gewährleisten.
4. Les organismes notifiés sont indépendants du fournisseur du système d’IA à haut risque pour lequel ils mènent les activités d’évaluation de la conformité. Les organismes notifiés sont également indépendants de tout autre opérateur ayant un intérêt économique dans les systèmes d’IA à haut risque qui font l’objet de l’évaluation, ainsi que de tout concurrent du fournisseur. Cela n’exclut pas l’utilisation de systèmes d’IA à haut risque évalués qui sont nécessaires au fonctionnement de l’organisme d’évaluation de la conformité ou l’utilisation de ces systèmes d’IA à haut risque à des fins personnelles.
(4) Die notifizierten Stellen müssen von dem Anbieter eines Hochrisiko-KI-Systems, zu dem sie Konformitätsbewertungstätigkeiten durchführen, unabhängig sein. Außerdem müssen die notifizierten Stellen von allen anderen Akteuren, die ein wirtschaftliches Interesse an den bewerteten Hochrisiko-KI-Systemen haben, und von allen Wettbewerbern des Anbieters unabhängig sein. Dies schließt die Verwendung von bewerteten Hochrisiko-KI-Systemen, die für die Tätigkeit der Konformitätsbewertungsstelle nötig sind, oder die Verwendung solcher Hochrisiko-KI-Systeme zum persönlichen Gebrauch nicht aus.
5. L’organisme d’évaluation de la conformité, ses cadres supérieurs et le personnel chargé d’exécuter ses tâches d’évaluation de la conformité ne participent pas directement à la conception, au développement, à la commercialisation ou à l’utilisation de systèmes d’IA à haut risque, pas plus qu’ils ne représentent les parties engagées dans ces activités. Ils n’exercent aucune activité susceptible d’entrer en conflit avec leur indépendance de jugement ou leur intégrité en ce qui concerne les activités d’évaluation de la conformité pour lesquelles ils sont notifiés. Cela s’applique en particulier aux services de conseil.
(5) Weder die Konformitätsbewertungsstelle, ihre oberste Leitungsebene noch die für die Erfüllung ihrer Konformitätsbewertungsaufgaben zuständigen Mitarbeiter dürfen direkt an Entwurf, Entwicklung, Vermarktung oder Verwendung von Hochrisiko-KI-Systemen beteiligt sein oder die an diesen Tätigkeiten beteiligten Parteien vertreten. Sie dürfen sich nicht mit Tätigkeiten befassen, die ihre Unabhängigkeit bei der Beurteilung oder ihre Integrität im Zusammenhang mit den Konformitätsbewertungstätigkeiten, für die sie notifiziert sind, beeinträchtigen könnten. Dies gilt besonders für Beratungsdienstleistungen.
6. Les organismes notifiés sont organisés et fonctionnent de façon à garantir l’indépendance, l’objectivité et l’impartialité de leurs activités. Les organismes notifiés documentent et appliquent une structure et des procédures visant à garantir l’impartialité et à encourager et appliquer les principes d’impartialité dans l’ensemble de leur organisation, du personnel et des activités d’évaluation.
(6) Notifizierte Stellen werden so organisiert und geführt, dass bei der Ausübung ihrer Tätigkeit Unabhängigkeit, Objektivität und Unparteilichkeit gewahrt sind. Von den notifizierten Stellen werden eine Struktur und Verfahren dokumentiert und umgesetzt, die ihre Unparteilichkeit gewährleisten und sicherstellen, dass die Grundsätze der Unparteilichkeit in ihrer gesamten Organisation, von allen Mitarbeitern und bei allen Bewertungstätigkeiten gefördert und angewandt werden.
7. Les organismes notifiés disposent de procédures documentées pour veiller à ce que leur personnel, leurs comités, leurs filiales, leurs sous-traitants et tout organisme associé ou le personnel d’organismes externes préservent, conformément à l’article 78, la confidentialité des informations auxquelles ils accèdent durant l’exercice de leurs activités d’évaluation de la conformité, sauf lorsque leur divulgation est requise par la loi. Le personnel des organismes notifiés est lié par le secret professionnel pour toutes les informations dont il a connaissance dans l’exercice de ses fonctions au titre du présent règlement, sauf à l’égard des autorités notifiantes de l’État membre où il exerce ses activités.
(7) Die notifizierten Stellen gewährleisten durch dokumentierte Verfahren, dass ihre Mitarbeiter, Ausschüsse, Zweigstellen, Unterauftragnehmer sowie alle zugeordneten Stellen oder Mitarbeiter externer Einrichtungen die Vertraulichkeit der Informationen, die bei der Durchführung der Konformitätsbewertungstätigkeiten in ihren Besitz gelangen, im Einklang mit Artikel 78 wahren, außer wenn ihre Offenlegung gesetzlich vorgeschrieben ist. Informationen, von denen Mitarbeiter der notifizierten Stellen bei der Durchführung ihrer Aufgaben gemäß dieser Verordnung Kenntnis erlangen, unterliegen der beruflichen Schweigepflicht, außer gegenüber den notifizierenden Behörden des Mitgliedstaats, in dem sie ihre Tätigkeiten ausüben.
8. Les organismes notifiés disposent de procédures pour accomplir leurs activités qui tiennent dûment compte de la taille des fournisseurs, du secteur dans lequel ils exercent leurs activités, de leur structure et du degré de complexité du système d’IA concerné.
(8) Die notifizierten Stellen verfügen über Verfahren zur Durchführung ihrer Tätigkeiten unter gebührender Berücksichtigung der Größe eines Betreibers, des Sektors, in dem er tätig ist, seiner Struktur sowie der Komplexität des betreffenden KI-Systems.
9. Les organismes notifiés souscrivent, pour leurs activités d’évaluation de la conformité, une assurance de responsabilité civile appropriée à moins que cette responsabilité ne soit couverte par l’État membre dans lequel ils sont établis sur la base du droit national ou que l’État membre soit lui-même responsable de l’évaluation de la conformité.
(9) Die notifizierten Stellen schließen eine angemessene Haftpflichtversicherung für ihre Konformitätsbewertungstätigkeiten ab, es sei denn, diese Haftpflicht wird aufgrund nationalen Rechts von dem Mitgliedstaat, in dem sie niedergelassen sind, gedeckt oder dieser Mitgliedstaat ist selbst unmittelbar für die Konformitätsbewertung zuständig.
10. Les organismes notifiés sont en mesure d’accomplir toutes leurs tâches au titre du présent règlement avec la plus haute intégrité professionnelle et la compétence requise dans le domaine spécifique, qu’ils exécutent eux-mêmes ces tâches ou que celles-ci soient exécutées pour leur compte et sous leur responsabilité.
(10) Die notifizierten Stellen müssen in der Lage sein, ihre Aufgaben gemäß dieser Verordnung mit höchster beruflicher Integrität und der erforderlichen Fachkompetenz in dem betreffenden Bereich auszuführen, gleichgültig, ob diese Aufgaben von den notifizierten Stellen selbst oder in ihrem Auftrag und in ihrer Verantwortung durchgeführt werden.
11. Les organismes notifiés disposent de compétences internes suffisantes pour pouvoir évaluer efficacement les tâches effectuées pour leur compte par des parties extérieures. L’organisme notifié dispose en permanence d’un personnel administratif, technique, juridique et scientifique en nombre suffisant et doté d’une expérience et de connaissances liées aux données, au traitement des données et aux types de systèmes d’IA en cause et aux exigences énoncées à la section 2.
(11) Die notifizierten Stellen müssen über ausreichende interne Kompetenzen verfügen, um die von externen Stellen in ihrem Namen wahrgenommen Aufgaben wirksam beurteilen zu können. Die notifizierten Stellen müssen ständig über ausreichendes administratives, technisches, juristisches und wissenschaftliches Personal verfügen, das Erfahrungen und Kenntnisse in Bezug auf einschlägige Arten der KI-Systeme, Daten und Datenverarbeitung sowie die in Abschnitt 2 festgelegten Anforderungen besitzt.
12. Les organismes notifiés prennent part aux activités de coordination visées à l’article 38. Ils participent également, directement ou par l’intermédiaire d’un représentant, aux activités des organisations européennes de normalisation, ou font en sorte de se tenir informés des normes applicables et de leur état.
(12) Die notifizierten Stellen wirken an den in Artikel 38 genannten Koordinierungstätigkeiten mit. Sie wirken außerdem unmittelbar oder mittelbar an der Arbeit der europäischen Normungsorganisationen mit oder stellen sicher, dass sie stets über den Stand der einschlägigen Normen unterrichtet sind.
Modifications apportées aux notifications
Änderungen der Notifizierungen
1. L’autorité notifiante notifie à la Commission et aux autres États membres toute modification pertinente apportée à la notification d’un organisme notifié au moyen de l’outil de notification électronique visé à l’article 30, paragraphe 2.
(1) Die notifizierende Behörde unterrichtet die Kommission und die anderen Mitgliedstaaten mithilfe des in Artikel 30 Absatz 2 genannten elektronischen Notifizierungsinstruments über alle relevanten Änderungen der Notifizierung einer notifizierten Stelle.
2. Les procédures établies aux articles 29 et 30 s’appliquent en cas d’extension de la portée de la notification.
(2) Für Erweiterungen des Anwendungsbereichs der Notifizierung gelten die in den Artikeln 29 und 30 festgelegten Verfahren.
En cas de modification de la notification autre qu’une extension de sa portée, les procédures prévues aux paragraphes 3 à 9 s’appliquent.
Für andere Änderungen der Notifizierung als Erweiterungen ihres Anwendungsbereichs gelten die in den Absätzen 3 bis 9 dargelegten Verfahren.
3. Lorsqu’un organisme notifié décide de cesser ses activités d’évaluation de la conformité, il informe l’autorité notifiante et les fournisseurs concernés dès que possible et, dans le cas d’un arrêt prévu de ses activités, au moins un an avant de mettre un terme à ses activités. Les certificats de l’organisme notifié peuvent rester valables pendant une période de neuf mois après l’arrêt des activités de l’organisme notifié, à condition qu’un autre organisme notifié confirme par écrit qu’il assumera la responsabilité des systèmes d’IA à haut risque concernés par ces certificats. Cet autre organisme notifié procède à une évaluation complète des systèmes d’IA à haut risque concernés avant la fin de cette période de neuf mois, avant de délivrer de nouveaux certificats pour les systèmes en question. Lorsque l’organisme notifié a mis un terme à ses activités, l’autorité notifiante retire la désignation.
(3) Beschließt eine notifizierte Stelle die Einstellung ihrer Konformitätsbewertungstätigkeiten, so informiert sie die betreffende notifizierende Behörde und die betreffenden Anbieter so bald wie möglich und im Falle einer geplanten Einstellung ihrer Tätigkeiten mindestens ein Jahr vor deren Einstellung darüber. Die Bescheinigungen der notifizierten Stelle können für einen Zeitraum von neun Monaten nach Einstellung der Tätigkeiten der notifizierten Stelle gültig bleiben, sofern eine andere notifizierte Stelle schriftlich bestätigt hat, dass sie die Verantwortung für die von diesen Bescheinigungen abgedeckten Hochrisiko-KI-Systeme übernimmt. Die letztgenannte notifizierte Stelle führt vor Ablauf dieser Frist von neun Monaten eine vollständige Bewertung der betroffenen Hochrisiko-KI-Systeme durch, bevor sie für diese neue Bescheinigungen ausstellt. Stellt die notifizierte Stelle ihre Tätigkeit ein, so widerruft die notifizierende Behörde die Benennung.
4. Lorsqu’une autorité notifiante a des raisons suffisantes de considérer qu’un organisme notifié ne répond plus aux exigences définies à l’article 31, ou qu’il ne s’acquitte pas de ses obligations, l’autorité notifiante procède sans retard à une enquête avec la plus grande diligence. Dans ce contexte, elle informe l’organisme notifié concerné des objections soulevées et lui donne la possibilité de faire connaître son point de vue. Si l’autorité notifiante conclut que l’organisme notifié ne répond plus aux exigences définies à l’article 31, ou qu’il ne s’acquitte pas de ses obligations, elle soumet la désignation à des restrictions, la suspend ou la retire, selon le cas, en fonction de la gravité du manquement. Elle en informe immédiatement la Commission et les autres États membres.
(4) Hat eine notifizierende Behörde hinreichenden Grund zu der Annahme, dass eine notifizierte Stelle die in Artikel 31 festgelegten Anforderungen nicht mehr erfüllt oder dass sie ihren Pflichten nicht nachkommt, so untersucht die notifizierende Behörde den Sachverhalt unverzüglich und mit äußerster Sorgfalt. In diesem Zusammenhang teilt sie der betreffenden notifizierten Stelle die erhobenen Einwände mit und gibt ihr die Möglichkeit, dazu Stellung zu nehmen. Kommt die notifizierende Behörde zu dem Schluss, dass die notifizierte Stelle die in Artikel 31 festgelegten Anforderungen nicht mehr erfüllt oder dass sie ihren Pflichten nicht nachkommt, schränkt sie die Benennung gegebenenfalls ein, setzt sie aus oder widerruft sie, je nach Schwere der Nichterfüllung dieser Anforderungen oder Pflichtverletzung. Sie informiert die Kommission und die anderen Mitgliedstaaten unverzüglich darüber.
5. Lorsque sa désignation a été suspendue, restreinte ou révoquée en tout ou en partie, l’organisme notifié en informe les fournisseurs concernés dans un délai de dix jours.
(5) Wird die Benennung einer notifizierten Stelle ausgesetzt, eingeschränkt oder vollständig oder teilweise widerrufen, so informiert die notifizierte Stelle die betreffenden Anbieter innerhalb von zehn Tagen darüber.
6. En cas de restriction, de suspension ou de retrait d’une désignation, l’autorité notifiante prend les mesures nécessaires pour que les dossiers de l’organisme notifié en question soient conservés et pour qu’ils soient mis à la disposition des autorités notifiantes d’autres États membres et des autorités de surveillance du marché, à leur demande.
(6) Wird eine Benennung eingeschränkt, ausgesetzt oder widerrufen, so ergreift die notifizierende Behörde geeignete Maßnahmen, um sicherzustellen, dass die Akten der betreffenden notifizierten Stelle für die notifizierenden Behörden in anderen Mitgliedstaaten und die Marktüberwachungsbehörden bereitgehalten und ihnen auf deren Anfrage zur Verfügung gestellt werden.
7. En cas de restriction, de suspension ou de retrait d’une désignation, l’autorité notifiante:
(7) Wird eine Benennung eingeschränkt, ausgesetzt oder widerrufen, so geht die notifizierende Behörde wie folgt vor:
a)
évalue l’incidence sur les certificats délivrés par l’organisme notifié;
a)
Sie bewertet die Auswirkungen auf die von der notifizierten Stelle ausgestellten Bescheinigungen;
b)
transmet un rapport sur ses conclusions à la Commission et aux autres États membres dans un délai de trois mois après avoir signalé les modifications apportées à la désignation;
b)
sie legt der Kommission und den anderen Mitgliedstaaten innerhalb von drei Monaten nach Notifizierung der Änderungen der Benennung einen Bericht über ihre diesbezüglichen Ergebnisse vor;
c)
exige de l’organisme notifié qu’il suspende ou retire, dans un délai raisonnable qu’elle détermine, tous les certificats délivrés à tort afin d’assurer la conformité constante des systèmes d’IA à haut risque sur le marché;
c)
sie weist die notifizierte Stelle zur Gewährleistung der fortlaufenden Konformität der im Verkehr befindlichen Hochrisiko-KI-Systeme an, sämtliche nicht ordnungsgemäß ausgestellten Bescheinigungen innerhalb einer von der Behörde festgelegten angemessenen Frist auszusetzen oder zu widerrufen;
d)
informe la Commission et les États membres des certificats dont elle a demandé la suspension ou le retrait;
d)
sie informiert die Kommission und die Mitgliedstaaten über Bescheinigungen, deren Aussetzung oder Widerruf sie angewiesen hat;
e)
fournit aux autorités nationales compétentes de l’État membre dans lequel le fournisseur a son siège social toutes les informations pertinentes sur les certificats dont elle a demandé la suspension ou le retrait; cette autorité prend les mesures appropriées si cela est nécessaire pour éviter un risque potentiel pour la santé, la sécurité ou les droits fondamentaux.
e)
sie stellt den zuständigen nationalen Behörden des Mitgliedstaats, in dem der Anbieter seine eingetragene Niederlassung hat, alle relevanten Informationen über Bescheinigungen, deren Aussetzung oder Widerruf sie angewiesen hat, zur Verfügung; diese Behörde ergreift erforderlichenfalls geeignete Maßnahmen, um ein mögliches Risiko für Gesundheit, Sicherheit oder Grundrechte zu verhindern.
8. À l’exception des certificats délivrés à tort, et lorsqu’une désignation a été suspendue ou restreinte, les certificats restent valables dans l’un des cas suivants:
(8) Abgesehen von den Fällen, in denen Bescheinigungen nicht ordnungsgemäß ausgestellt wurden und in denen eine Benennung ausgesetzt oder eingeschränkt wurde, bleiben die Bescheinigungen unter einem der folgenden Umstände gültig:
a)
l’autorité notifiante a confirmé, dans un délai d’un mois suivant la suspension ou la restriction, qu’il n’y a pas de risque pour la santé, la sécurité ou les droits fondamentaux en lien avec les certificats concernés par la suspension ou la restriction, et l’autorité notifiante a défini un calendrier de mesures pour remédier à la suspension ou à la restriction; ou
a)
Die notifizierende Behörde hat innerhalb eines Monats nach der Aussetzung oder Einschränkung bestätigt, dass im Zusammenhang mit den von der Aussetzung oder Einschränkung betroffenen Bescheinigungen kein Risiko für Gesundheit, Sicherheit oder Grundrechte besteht, und die notifizierende Behörde hat einen Zeitplan für Maßnahmen zur Aufhebung der Aussetzung oder Einschränkung genannt oder
b)
l’autorité notifiante a confirmé qu’aucun certificat ayant trait à la suspension ne sera délivré, modifié ou délivré à nouveau pendant la période de suspension ou de restriction et elle indique si l’organisme notifié est en mesure de continuer à contrôler les certificats existants délivrés et à en être responsable pour la durée de la suspension ou de la restriction. Si l’autorité notifiante considère que l’organisme notifié n’est pas en mesure de se charger des certificats existants délivrés, le fournisseur du système faisant l’objet du certificat confirme par écrit aux autorités nationales compétentes de l’État membre dans lequel il a son siège social, dans un délai de trois mois suivant la suspension ou la restriction, qu’un autre organisme notifié qualifié assume temporairement les fonctions de surveillance de l’organisme notifié et continue d’assumer la responsabilité des certificats pour la durée de la suspension ou de la restriction.
b)
die notifizierende Behörde hat bestätigt, dass keine von der Aussetzung betroffenen Bescheinigungen während der Dauer der Aussetzung oder Einschränkung ausgestellt, geändert oder erneut ausgestellt werden, und gibt an, ob die notifizierte Stelle in der Lage ist, bestehende ausgestellte Bescheinigungen während der Dauer der Aussetzung oder Einschränkung weiterhin zu überwachen und die Verantwortung dafür zu übernehmen; falls die notifizierende Behörde feststellt, dass die notifizierte Stelle nicht in der Lage ist, bestehende ausgestellte Bescheinigungen weiterzuführen, so bestätigt der Anbieter des von der Bescheinigung abgedeckten Systems den zuständigen nationalen Behörden des Mitgliedstaats, in dem er seine eingetragene Niederlassung hat, innerhalb von drei Monaten nach der Aussetzung oder Einschränkung schriftlich, dass eine andere qualifizierte notifizierte Stelle vorübergehend die Aufgaben der notifizierten Stelle zur Überwachung der Bescheinigung übernimmt und dass sie während der Dauer der Aussetzung oder Einschränkung für die Bescheinigung verantwortlich bleibt.
9. À l’exception des certificats délivrés à tort, et lorsqu’une désignation a été retirée, les certificats restent valables pendant une durée de neuf mois dans les cas suivants:
(9) Abgesehen von den Fällen, in denen Bescheinigungen nicht ordnungsgemäß ausgestellt wurden und in denen eine Benennung widerrufen wurde, bleiben die Bescheinigungen unter folgenden Umständen für eine Dauer von neun Monaten gültig:
a)
l’autorité nationale compétente de l’État membre dans lequel le fournisseur du système d’IA à haut risque faisant l’objet du certificat a son siège social a confirmé que les systèmes d’IA à haut risque en question ne présentent pas de risque pour la santé, la sécurité ou les droits fondamentaux; et
a)
Die zuständige nationale Behörde des Mitgliedstaats, in dem der Anbieter des von der Bescheinigung abgedeckten Hochrisiko-KI-Systems seine eingetragene Niederlassung hat, hat bestätigt, dass im Zusammenhang mit den betreffenden Hochrisiko-KI-Systemen kein Risiko für Gesundheit, Sicherheit oder Grundrechte besteht, und
b)
un autre organisme notifié a confirmé par écrit qu’il assumera la responsabilité immédiate de ces systèmes d’IA et achèvera son évaluation dans un délai de douze mois à compter du retrait de la désignation.
b)
eine andere notifizierte Stelle hat schriftlich bestätigt, dass sie die unmittelbare Verantwortung für diese KI-Systeme übernehmen und deren Bewertung innerhalb von 12 Monaten ab dem Widerruf der Benennung abgeschlossen haben wird.
Dans le cas visé au premier alinéa, l’autorité nationale compétente de l’État membre dans lequel le fournisseur du système faisant l’objet du certificat a son siège peut prolonger à plusieurs reprises la durée de validité provisoire des certificats de trois mois supplémentaires, pour une durée totale maximale de douze mois.
Unter den in Unterabsatz 1 genannten Umständen kann die zuständige nationale Behörde des Mitgliedstaats, in dem der Anbieter des von der Bescheinigung abgedeckten Systems seine Niederlassung hat, die vorläufige Gültigkeit der Bescheinigungen um zusätzliche Zeiträume von je drei Monaten, jedoch nicht um insgesamt mehr als 12 Monate, verlängern.
L’autorité nationale compétente ou l’organisme notifié assumant les fonctions de l’organisme notifié concerné par la modification de la désignation en informe immédiatement la Commission, les autres États membres et les autres organismes notifiés.
Die zuständige nationale Behörde oder die notifizierte Stelle, die die Aufgaben der von der Benennungsänderung betroffenen notifizierten Stelle übernimmt, informiert unverzüglich die Kommission, die anderen Mitgliedstaaten und die anderen notifizierten Stellen darüber.
Contestation de la compétence des organismes notifiés
Anfechtungen der Kompetenz notifizierter Stellen
1. La Commission enquête, s’il y a lieu, sur tous les cas où il existe des raisons de douter de la compétence d’un organisme notifié ou du respect continu, par un organisme notifié, des exigences établies à l’article 31 et de ses responsabilités applicables.
(1) Die Kommission untersucht erforderlichenfalls alle Fälle, in denen begründete Zweifel an der Kompetenz einer notifizierten Stelle oder daran bestehen, dass eine notifizierte Stelle die in Artikel 31 festgelegten Anforderungen und ihre geltenden Pflichten weiterhin erfüllt.
2. L’autorité notifiante fournit à la Commission, sur demande, toutes les informations utiles relatives à la notification ou au maintien de la compétence de l’organisme notifié concerné.
(2) Die notifizierende Behörde stellt der Kommission auf Anfrage alle Informationen über die Notifizierung oder die Aufrechterhaltung der Kompetenz der betreffenden notifizierten Stelle zur Verfügung.
3. La Commission veille à ce que toutes les informations sensibles obtenues au cours des enquêtes qu’elle mène au titre du présent article soient traitées de manière confidentielle conformément à l’article 78.
(3) Die Kommission stellt sicher, dass alle im Verlauf ihrer Untersuchungen gemäß diesem Artikel erlangten sensiblen Informationen gemäß Artikel 78 vertraulich behandelt werden.
4. Lorsque la Commission établit qu’un organisme notifié ne répond pas ou ne répond plus aux exigences relatives à sa notification, elle informe l’État membre notifiant en conséquence et lui demande de prendre les mesures correctives qui s’imposent, y compris la suspension ou le retrait de la notification si nécessaire. Si l’État membre ne prend pas les mesures correctives qui s’imposent, la Commission peut, au moyen d’un acte d’exécution, suspendre, restreindre ou retirer la désignation. Cet acte d’exécution est adopté en conformité avec la procédure d’examen visée à l’article 98, paragraphe 2.
(4) Stellt die Kommission fest, dass eine notifizierte Stelle die Anforderungen für ihre Notifizierung nicht oder nicht mehr erfüllt, so informiert sie den notifizierenden Mitgliedstaat entsprechend und fordert ihn auf, die erforderlichen Abhilfemaßnahmen zu treffen, einschließlich einer Aussetzung oder eines Widerrufs der Notifizierung, sofern dies nötig ist. Versäumt es ein Mitgliedstaat, die erforderlichen Abhilfemaßnahmen zu ergreifen, kann die Kommission die Benennung im Wege eines Durchführungsrechtsakts aussetzen, einschränken oder widerrufen. Dieser Durchführungsrechtsakt wird gemäß dem in Artikel 98 Absatz 2 genannten Prüfverfahren erlassen.
Normes harmonisées et travaux de normalisation
Harmonisierte Normen und Normungsdokumente
1. Les systèmes d’IA à haut risque ou les modèles d’IA à usage général conformes à des normes harmonisées ou à des parties de normes harmonisées dont les références ont été publiées au Journal officiel de l’Union européenne conformément au règlement (UE) no 1025/2012 sont présumés conformes aux exigences visées à la section 2 du présent chapitre ou, le cas échéant, aux obligations énoncées au chapitre V, sections 2 et 3, du présent règlement, dans la mesure où ces exigences ou obligations sont couvertes par ces normes.
(1) Bei Hochrisiko-KI-Systemen oder KI-Modellen mit allgemeinem Verwendungszweck, die mit harmonisierten Normen oder Teilen davon, deren Fundstellen gemäß der Verordnung (EU) Nr. 1025/2012 im Amtsblatt der Europäischen Union veröffentlicht wurden, übereinstimmen, wird eine Konformität mit den Anforderungen gemäß Abschnitt 2 des vorliegenden Kapitels oder gegebenenfalls mit den Pflichten gemäß Kapitel V Abschnitte 2 und 3 der vorliegenden Verordnung vermutet, soweit diese Anforderungen oder Verpflichtungen von den Normen abgedeckt sind.
2. Conformément à l’article 10 du règlement (UE) no 1025/2012, la Commission présente sans retard injustifié des demandes de normalisation couvrant toutes les exigences énoncées à la section 2 du présent chapitre et, le cas échéant, les demandes de normalisation couvrant les obligations énoncées au chapitre V, sections 2 et 3, du présent règlement. La demande de normalisation inclut également une demande de livrables sur les processus de déclaration et de documentation afin d’améliorer les performances des systèmes d’IA en matière de ressources, telles que la réduction de la consommation d’énergie et d’autres ressources par le système d’IA à haut risque au cours de son cycle de vie, et sur le développement économe en énergie de modèles d’IA à usage général. Lors de la préparation d’une demande de normalisation, la Commission consulte le Comité IA et les parties prenantes concernées, y compris le forum consultatif.
(2) Gemäß Artikel 10 der Verordnung (EU) Nr. 1025/2012 erteilt die Kommission unverzüglich Normungsaufträge, die alle Anforderungen gemäß Abschnitt 2 des vorliegenden Kapitels abdecken und gegebenenfalls Normungsaufträge, die Pflichten gemäß Kapitel V Abschnitte 2 und 3 der vorliegenden Verordnung abdecken. In dem Normungsauftrag werden auch Dokumente zu den Berichterstattungs- und Dokumentationsverfahren im Hinblick auf die Verbesserung der Ressourcenleistung von KI-Systemen z. B. durch die Verringerung des Energie- und sonstigen Ressourcenverbrauchs des Hochrisiko-KI-Systems während seines gesamten Lebenszyklus und zu der energieeffizienten Entwicklung von KI-Modellen mit allgemeinem Verwendungszweck verlangt. Bei der Ausarbeitung des Normungsauftrags konsultiert die Kommission das KI-Gremium und die einschlägigen Interessenträger, darunter das Beratungsforum.
Lorsqu’elle présente une demande de normalisation aux organisations européennes de normalisation, la Commission précise que les normes doivent être claires, cohérentes, y compris avec les normes développées dans les différents secteurs pour les produits relevant de la législation d’harmonisation de l’Union existante dont la liste figure à l’annexe I, et visant à veiller à ce que les systèmes d’IA à haut risque ou les modèles d’IA à usage général mis sur le marché ou mis en service dans l’Union satisfont aux exigences ou obligations pertinentes énoncées dans le présent règlement.
Bei der Erteilung eines Normungsauftrags an die europäischen Normungsorganisationen gibt die Kommission an, dass die Normen klar und — u. a. mit den Normen, die in den verschiedenen Sektoren für Produkte entwickelt wurden, die unter die in Anhang I aufgeführten geltenden Harmonisierungsrechtsvorschriften der Union fallen — konsistent sein müssen und sicherstellen sollen, dass die in der Union in Verkehr gebrachten oder in Betrieb genommenen Hochrisiko-KI-Systeme oder KI-Modelle mit allgemeinem Verwendungszweck die in dieser Verordnung festgelegten einschlägigen Anforderungen oder Pflichten erfüllen.
La Commission demande aux organisations européennes de normalisation de fournir la preuve qu’elles mettent tout en œuvre pour atteindre les objectifs visés aux premier et deuxième alinéas du présent paragraphe, conformément à l’article 24 du règlement (UE) no 1025/2012.
Die Kommission fordert die europäischen Normungsorganisationen auf, Nachweise dafür vorzulegen, dass sie sich nach besten Kräften bemühen, die in den Unterabsätzen 1 und 2 dieses Absatzes genannten Ziele im Einklang mit Artikel 24 der Verordnung (EU) Nr. 1025/2012 zu erreichen.
3. Les participants au processus de normalisation s’efforcent de favoriser les investissements et l’innovation dans le domaine de l’IA, y compris en renforçant la sécurité juridique, ainsi que la compétitivité et la croissance du marché de l’Union, de contribuer à renforcer la coopération mondiale en faveur d’une normalisation en tenant compte des normes internationales existantes dans le domaine de l’IA qui sont conformes aux valeurs et aux intérêts de l’Union et aux droits fondamentaux, et de renforcer la gouvernance multipartite en veillant à une représentation équilibrée des intérêts et à la participation effective de toutes les parties prenantes concernées conformément aux articles 5, 6 et 7 du règlement (UE) no 1025/2012.
(3) Die am Normungsprozess Beteiligten bemühen sich, Investitionen und Innovationen im Bereich der KI, u. a. durch Erhöhung der Rechtssicherheit, sowie der Wettbewerbsfähigkeit und des Wachstums des Unionsmarktes zu fördern und zur Stärkung der weltweiten Zusammenarbeit bei der Normung und zur Berücksichtigung bestehender internationaler Normen im Bereich der KI, die mit den Werten, Grundrechten und Interessen der Union im Einklang stehen, beizutragen und die Multi-Stakeholder-Governance zu verbessern, indem eine ausgewogene Vertretung der Interessen und eine wirksame Beteiligung aller relevanten Interessenträger gemäß den Artikeln 5, 6 und 7 der Verordnung (EU) Nr. 1025/2012 sichergestellt werden.
Gemeinsame Spezifikationen
1. La Commission peut adopter des actes d’exécution établissant des spécifications communes pour les exigences énoncées à la section 2 du présent chapitre ou, le cas échéant, pour les obligations énoncées au chapitre V, sections 2 et 3, lorsque les conditions suivantes sont remplies:
(1) Die Kommission kann Durchführungsrechtsakte zur Festlegung gemeinsamer Spezifikationen für die Anforderungen gemäß Abschnitt 2 dieses Kapitels oder gegebenenfalls die Pflichten gemäß Kapitel V Abschnitte 2 und 3 erlassen, wenn die folgenden Bedingungen erfüllt sind:
a)
la Commission, en vertu de l’article 10, paragraphe 1, du règlement (UE) no 1025/2012, a demandé à une ou plusieurs organisations européennes de normalisation d’élaborer une norme harmonisée pour les exigences énoncées à la section 2 du présent chapitre ou, le cas échéant, pour les obligations énoncées au chapitre V, sections 2 et 3, et:
a)
Die Kommission hat gemäß Artikel 10 Absatz 1 der Verordnung (EU) Nr. 1025/2012 eine oder mehrere europäische Normungsorganisationen damit beauftragt, eine harmonisierte Norm für die in Abschnitt 2 dieses Kapitels festgelegten Anforderungen oder gegebenenfalls für die in Kapitel V Abschnitte 2 und 3 festgelegten Pflichten zu erarbeiten, und
i)
la demande n’a été acceptée par aucune des organisations européennes de normalisation; ou
i)
der Auftrag wurde von keiner der europäischen Normungsorganisationen angenommen oder
ii)
les normes harmonisées faisant l’objet de cette demande n’ont pas été présentées dans le délai fixé conformément à l’article 10, paragraphe 1, du règlement (UE) no 1025/2012; ou
ii)
die harmonisierten Normen, die Gegenstand dieses Auftrags sind, werden nicht innerhalb der gemäß Artikel 10 Absatz 1 der Verordnung (EU) Nr. 1025/2012 festgelegten Frist erarbeitet oder
iii)
les normes harmonisées pertinentes ne répondent pas suffisamment aux préoccupations en matière de droits fondamentaux; ou
iii)
die einschlägigen harmonisierten Normen tragen den Bedenken im Bereich der Grundrechte nicht ausreichend Rechnung oder
iv)
les normes harmonisées ne sont pas conformes à la demande; et
iv)
die harmonisierten Normen entsprechen nicht dem Auftrag und
b)
aucune référence à des normes harmonisées couvrant les exigences visées à la section 2 du chapitre ou, le cas échéant, les obligations énoncées au chapitre V, sections 2 et 3, n’a été publiée au Journal officiel de l’Union européenne conformément au règlement (UE) no 1025/2012, et aucune référence de ce type ne devrait être publiée dans un délai raisonnable.
b)
im Amtsblatt der Europäischen Union sind keine Fundstellen zu harmonisierten Normen gemäß der Verordnung (EU) Nr. 1025/2012 veröffentlicht, die den in Abschnitt 2 dieses Kapitels aufgeführten Anforderungen oder gegebenenfalls den in Kapitel V Abschnitte 2 und 3 aufgeführten Pflichten genügen, und es ist nicht zu erwarten, dass eine solche Fundstelle innerhalb eines angemessenen Zeitraums veröffentlicht wird.
Lors de la rédaction des spécifications communes, la Commission consulte le forum consultatif visé à l’article 67.
Bei der Verfassung der gemeinsamen Spezifikationen konsultiert die Kommission das in Artikel 67 genannte Beratungsforum.
Les actes d’exécution visés au premier alinéa du présent paragraphe sont adoptés en conformité avec la procédure d’examen visée à l’article 98, paragraphe 2.
Die in Unterabsatz 1 des vorliegenden Absatzes genannten Durchführungsrechtsakte werden gemäß dem in Artikel 98 Absatz 2 genannten Prüfverfahren erlassen.
2. Avant d’élaborer un projet d’acte d’exécution, la Commission informe le comité visé à l’article 22 du règlement (UE) no 1025/2012 qu’elle considère que les conditions énoncées au paragraphe 1 du présent article sont remplies.
(2) Vor der Ausarbeitung eines Entwurfs eines Durchführungsrechtsakts informiert die Kommission den in Artikel 22 der Verordnung (EU) Nr. 1025/2012 genannten Ausschuss darüber, dass sie die in Absatz 1 des vorliegenden Artikels festgelegten Bedingungen als erfüllt erachtet.
3. Les systèmes d’IA à haut risque ou les modèles d’IA à usage général conformes aux spécifications communes visées au paragraphe 1, ou à des parties de ces spécifications, sont présumés conformes aux exigences visées à la section 2 du présent chapitre ou, le cas échéant pour se conformer aux obligations visées au chapitre V, sections 2 et 3, dans la mesure où ces exigences ou obligations sont couvertes par ces spécifications communes.
(3) Bei Hochrisiko-KI-Systemen oder KI-Modellen mit allgemeinem Verwendungszweck, die mit den in Absatz 1 genannten gemeinsamen Spezifikationen oder Teilen dieser Spezifikationen übereinstimmen, wird eine Konformität mit den Anforderungen in Abschnitt 2 dieses Kapitels oder gegebenenfalls die Einhaltung der in Kapitel V Abschnitte 2 und 3 genannten Pflichten vermutet, soweit diese Anforderungen oder diese Pflichten von den gemeinsamen Spezifikationen abgedeckt sind.
4. Lorsqu’une norme harmonisée est adoptée par une organisation européenne de normalisation et proposée à la Commission en vue de la publication de sa référence au Journal officiel de l’Union européenne, la Commission procède à l’évaluation de cette norme harmonisée conformément au règlement (UE) no 1025/2012. Lorsque la référence à une norme harmonisée est publiée au Journal officiel de l’Union européenne, la Commission abroge les actes d’exécution visés au paragraphe 1, ou les parties de ces actes qui couvrent les mêmes exigences que celles énoncées à la section 2 du présent chapitre ou, le cas échéant les mêmes obligations que celles énoncées au chapitre V, sections 2 et 3.
(4) Wird eine harmonisierte Norm von einer europäischen Normungsorganisation angenommen und der Kommission zur Veröffentlichung ihrer Fundstelle im Amtsblatt der Europäischen Union vorgeschlagen, so bewertet die Kommission die harmonisierte Norm gemäß der Verordnung (EU) Nr. 1025/2012. Wird die Fundstelle zu einer harmonisierten Norm im Amtsblatt der Europäischen Union veröffentlicht, so werden die in Absatz 1 genannten Durchführungsrechtsakte, die dieselben Anforderungen gemäß Abschnitt 2 dieses Kapitels oder gegebenenfalls dieselben Pflichten gemäß Kapitel V Abschnitte 2 und 3 erfassen, von der Kommission ganz oder teilweise aufgehoben.
5. Lorsque les fournisseurs de systèmes d’IA à haut risque ou de modèles d’IA à usage général ne respectent pas les spécifications communes visées au paragraphe 1, ils justifient dûment avoir adopté des solutions techniques qui satisfont aux exigences visées à la section 2 du présent chapitre ou, le cas échéant, aux obligations énoncées au chapitre V, sections 2 et 3, à un niveau au moins équivalent auxdites spécifications.
(5) Wenn Anbieter von Hochrisiko-KI-Systemen oder KI-Modellen mit allgemeinem Verwendungszweck die in Absatz 1 genannten gemeinsamen Spezifikationen nicht befolgen, müssen sie hinreichend nachweisen, dass sie technische Lösungen verwenden, die die in Abschnitt 2 dieses Kapitels aufgeführten Anforderungen oder gegebenenfalls die Pflichten gemäß Kapitel V Abschnitte 2 und 3 zumindest in gleichem Maße erfüllen;
6. Lorsqu’un État membre considère qu’une spécification commune ne satisfait pas entièrement aux exigences énoncées à la section 2 ou, le cas échéant aux obligations énoncées au chapitre V, sections 2 et 3, il en informe la Commission au moyen d’une explication détaillée. La Commission évalue ces informations et, le cas échéant, modifie l’acte d’exécution établissant la spécification commune concernée.
(6) Ist ein Mitgliedstaat der Auffassung, dass eine gemeinsame Spezifikation den Anforderungen gemäß Abschnitt 2 nicht vollständig entspricht oder gegebenenfalls die Pflichten gemäß Kapitel V Abschnitte 2 und 3 nicht vollständig erfüllt, so setzt er die Kommission im Rahmen einer ausführlichen Erläuterung davon in Kenntnis. Die Kommission bewertet die betreffende Information und ändert gegebenenfalls den Durchführungsrechtsakt, durch den die betreffende gemeinsame Spezifikation festgelegt wurde.
Évaluation de la conformité
1. Pour les systèmes d’IA à haut risque énumérés à l’annexe III, point 1, lorsque, pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées à la section 2, le fournisseur a appliqué les normes harmonisées visées à l’article 40 ou, le cas échéant, les spécifications communes visées à l’article 41, il choisit l’une des procédures d’évaluation de la conformité suivantes sur la base:
(1) Hat ein Anbieter zum Nachweis, dass ein in Anhang III Nummer 1 aufgeführtes Hochrisiko-KI-System die in Abschnitt 2 festgelegten Anforderungen erfüllt, harmonisierte Normen gemäß Artikel 40 oder gegebenenfalls gemeinsame Spezifikationen gemäß Artikel 41 angewandt, so entscheidet er sich für eines der folgenden Konformitätsbewertungsverfahren auf der Grundlage
a)
du contrôle interne visé à l’annexe VI; ou
a)
der internen Kontrolle gemäß Anhang VI oder
b)
de l’évaluation du système de gestion de la qualité et de l’évaluation de la documentation technique, avec l’intervention d’un organisme notifié, visée à l’annexe VII.
b)
der Bewertung des Qualitätsmanagementsystems und der Bewertung der technischen Dokumentation unter Beteiligung einer notifizierten Stelle gemäß Anhang VII.
Pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées à la section 2, le fournisseur suit la procédure d’évaluation de la conformité prévue à l’annexe VII dans les cas suivants:
Zum Nachweis, dass sein Hochrisiko-KI-System die in Abschnitt 2 festgelegten Anforderungen erfüllt, befolgt der Anbieter das Konformitätsbewertungsverfahren gemäß Anhang VII, wenn
a)
les normes harmonisées visées à l’article 40 n’existent pas et les spécifications communes visées à l’article 41 font défaut;
a)
es harmonisierte Normen gemäß Artikel 40 nicht gibt und keine gemeinsamen Spezifikationen gemäß Artikel 41 vorliegen,
b)
le fournisseur n’a pas appliqué la norme harmonisée ou ne l’a appliquée que partiellement;
b)
der Anbieter die harmonisierte Norm nicht oder nur teilweise angewandt hat;
c)
les spécifications communes visées au point a) existent, mais le fournisseur ne les a pas appliquées;
c)
die unter Buchstabe a genannten gemeinsamen Spezifikationen zwar vorliegen, der Anbieter sie jedoch nicht angewandt hat;
d)
une ou plusieurs des normes harmonisées visées au point a), ont été publiées assorties d’une restriction et seulement sur la partie de la norme qui a été soumise à une restriction.
d)
eine oder mehrere der unter Buchstabe a genannten harmonisierten Normen mit einer Einschränkung und nur für den eingeschränkten Teil der Norm veröffentlicht wurden.
Aux fins de la procédure d’évaluation de la conformité visée à l’annexe VII, le fournisseur peut choisir n’importe lequel des organismes notifiés. Toutefois, lorsque le système d’IA à haut risque est destiné à être mis en service par les autorités répressives, les services de l’immigration ou les autorités compétentes en matière d’asile ou par les institutions, organes ou organismes de l’UE, l’autorité de surveillance du marché visée à l’article 74, paragraphe 8 ou 9, selon le cas, agit en tant qu’organisme notifié.
Für die Zwecke des Konformitätsbewertungsverfahrens gemäß Anhang VII kann der Anbieter eine der notifizierten Stellen auswählen. Soll das Hochrisiko-KI-System jedoch von Strafverfolgungs-, Einwanderungs- oder Asylbehörden oder von Organen, Einrichtungen oder sonstigen Stellen der Union in Betrieb genommen werden, so übernimmt die in Artikel 74 Absatz 8 bzw. 9 genannte Marktüberwachungsbehörde die Funktion der notifizierten Stelle.
2. Pour les systèmes d’IA à haut risque visés à l’annexe III, points 2 à 8, les fournisseurs suivent la procédure d’évaluation de la conformité fondée sur le contrôle interne visée à l’annexe VI, qui ne prévoit pas d’intervention d’un organisme notifié.
(2) Bei den in Anhang III Nummern 2 bis 8 aufgeführten Hochrisiko-KI-Systemen befolgen die Anbieter das Konformitätsbewertungsverfahren auf der Grundlage einer internen Kontrolle gemäß Anhang VI, das keine Beteiligung einer notifizierten Stelle vorsieht.
3. Pour les systèmes d’IA à haut risque couverts par la législation d’harmonisation de l’Union dont la liste figure à l’annexe I, section A, le fournisseur suit la procédure d’évaluation de la conformité pertinente selon les modalités requises par ces actes juridiques. Les exigences énoncées à la section 2 du présent chapitre s’appliquent à ces systèmes d’IA à haut risque et font partie de cette évaluation. Les points 4.3, 4.4 et 4.5 de l’annexe VII ainsi que le point 4.6, cinquième alinéa, de ladite annexe s’appliquent également.
(3) Bei den Hochrisiko-KI-Systemen, die unter die in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsakte der Union fallen, befolgt der Anbieter die einschlägigen Konformitätsbewertungsverfahren, die nach diesen Rechtsakten erforderlich sind. Die in Abschnitt 2 dieses Kapitels festgelegten Anforderungen gelten für diese Hochrisiko-KI-Systeme und werden in diese Bewertung einbezogen. Anhang VII Nummern 4.3, 4.4 und 4.5 sowie Nummer 4.6 Absatz 5 finden ebenfalls Anwendung.
Aux fins de ces évaluations, les organismes notifiés qui ont été notifiés en vertu de ces actes juridiques sont habilités à contrôler la conformité des systèmes d’IA à haut risque avec les exigences énoncées à la section 2, à condition que le respect, par ces organismes notifiés, des exigences énoncées à l’article 31, paragraphes 4, 5, 10 et 11, ait été évalué dans le cadre de la procédure de notification prévue par ces actes juridiques.
Für die Zwecke dieser Bewertung sind die notifizierten Stellen, die gemäß diesen Rechtsakten notifiziert wurden, berechtigt, die Konformität der Hochrisiko-KI-Systeme mit den in Abschnitt 2 festgelegten Anforderungen zu kontrollieren, sofern im Rahmen des gemäß diesen Rechtsakten durchgeführten Notifizierungsverfahrens geprüft wurde, dass diese notifizierten Stellen die in Artikel 31 Absätze 4, 5, 10 und 11 festgelegten Anforderungen erfüllen.
Lorsqu’un acte juridique énuméré à l’annexe I, section A, confère au fabricant du produit la faculté de ne pas faire procéder à une évaluation de la conformité par un tiers, à condition que ce fabricant ait appliqué toutes les normes harmonisées couvrant toutes les exigences pertinentes, ce fabricant ne peut faire usage de cette faculté que s’il a également appliqué les normes harmonisées ou, le cas échéant, les spécifications communes visées à l’article 41 couvrant toutes les exigences énoncées à la section 2 du présent chapitre.
Wenn ein in Anhang I Abschnitt A aufgeführter Rechtsakte es dem Hersteller des Produkts ermöglicht, auf eine Konformitätsbewertung durch Dritte zu verzichten, sofern dieser Hersteller alle harmonisierten Normen, die alle einschlägigen Anforderungen abdecken, angewandt hat, so darf dieser Hersteller nur dann von dieser Möglichkeit Gebrauch machen, wenn er auch harmonisierte Normen oder gegebenenfalls gemeinsame Spezifikationen gemäß Artikel 41, die alle in Abschnitt 2 dieses Kapitels festgelegten Anforderungen abdecken, angewandt hat.
4. Les systèmes d’IA à haut risque qui ont déjà été soumis à une procédure d’évaluation de la conformité sont soumis à une nouvelle procédure d’évaluation de la conformité lorsqu’ils font l’objet de modifications substantielles, que le système modifié soit destiné à être distribué plus largement ou reste utilisé par le déployeur actuel.
(4) Hochrisiko-KI-Systeme, die bereits Gegenstand eines Konformitätsbewertungsverfahren gewesen sind, werden im Falle einer wesentlichen Änderung einem neuen Konformitätsbewertungsverfahren unterzogen, unabhängig davon, ob das geänderte System noch weiter in Verkehr gebracht oder vom derzeitigen Betreiber weitergenutzt werden soll.
Pour les systèmes d’IA à haut risque qui continuent leur apprentissage après avoir été mis sur le marché ou mis en service, les modifications apportées au système d’IA à haut risque et à sa performance qui ont été déterminées au préalable par le fournisseur au moment de l’évaluation initiale de la conformité et font partie des informations contenues dans la documentation technique visée à l’annexe IV, point 2), f), ne constituent pas une modification substantielle.
Bei Hochrisiko-KI-Systemen, die nach dem Inverkehrbringen oder der Inbetriebnahme weiterhin dazulernen, gelten Änderungen des Hochrisiko-KI-Systems und seiner Leistung, die vom Anbieter zum Zeitpunkt der ursprünglichen Konformitätsbewertung vorab festgelegt wurden und in den Informationen der technischen Dokumentation gemäß Anhang IV Nummer 2 Buchstabe f enthalten sind, nicht als wesentliche Veränderung;
5. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 pour modifier les annexes VI et VII afin de les mettre à jour compte tenu du progrès technique.
(5) Die Kommission ist befugt, gemäß Artikel 97 delegierte Rechtsakte zu erlassen, um die Anhänge VI und VII zu ändern, indem sie sie angesichts des technischen Fortschritts aktualisiert.
6. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 pour modifier les paragraphes 1 et 2 du présent article afin de soumettre les systèmes d’IA à haut risque visés à l’annexe III, points 2 à 8, à tout ou partie de la procédure d’évaluation de la conformité visée à l’annexe VII. La Commission adopte ces actes délégués en tenant compte de l’efficacité de la procédure d’évaluation de la conformité fondée sur le contrôle interne visée à l’annexe VI pour prévenir ou réduire au minimum les risques que ces systèmes font peser sur la santé et la sécurité et sur la protection des droits fondamentaux, ainsi que de la disponibilité de capacités et de ressources suffisantes au sein des organismes notifiés.
(6) Die Kommission ist befugt, gemäß Artikel 97 delegierte Rechtsakte zur Änderung der Absätze 1 und 2 des vorliegenden Artikels zu erlassen, um die in Anhang III Nummern 2 bis 8 genannten Hochrisiko-KI-Systeme dem Konformitätsbewertungsverfahren gemäß Anhang VII oder Teilen davon zu unterwerfen. Die Kommission erlässt solche delegierten Rechtsakte unter Berücksichtigung der Wirksamkeit des Konformitätsbewertungsverfahrens auf der Grundlage einer internen Kontrolle gemäß Anhang VI hinsichtlich der Vermeidung oder Minimierung der von solchen Systemen ausgehenden Risiken für die Gesundheit und Sicherheit und den Schutz der Grundrechte sowie hinsichtlich der Verfügbarkeit angemessener Kapazitäten und Ressourcen in den notifizierten Stellen.