Dziennik Urzędowy
Unii Europejskiej
PL
Official Journal
of the European Union
EN
ROZPORZĄDZENIE PARLAMENTU EUROPEJSKIEGO I RADY (UE) 2024/1689
REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL
z dnia 13 czerwca 2024 r.
w sprawie ustanowienia zharmonizowanych przepisów dotyczących sztucznej inteligencji oraz zmiany rozporządzeń (WE) nr 300/2008, (UE) nr 167/2013, (UE) nr 168/2013, (UE) 2018/858, (UE) 2018/1139 i (UE) 2019/2144 oraz dyrektyw 2014/90/UE, (UE) 2016/797 i (UE) 2020/1828 (akt w sprawie sztucznej inteligencji)
laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act)
(Tekst mający znaczenie dla EOG)
(Text with EEA relevance)
PARLAMENT EUROPEJSKI I RADA UNII EUROPEJSKIEJ,
THE EUROPEAN PARLIAMENT AND THE COUNCIL OF THE EUROPEAN UNION,
uwzględniając Traktat o funkcjonowaniu Unii Europejskiej, w szczególności jego art. 16 i 114,
Having regard to the Treaty on the Functioning of the European Union, and in particular Articles 16 and 114 thereof,
uwzględniając wniosek Komisji Europejskiej,
Having regard to the proposal from the European Commission,
po przekazaniu projektu aktu ustawodawczego parlamentom narodowym,
After transmission of the draft legislative act to the national parliaments,
uwzględniając opinię Europejskiego Komitetu Ekonomiczno-Społecznego (1),
Having regard to the opinion of the European Economic and Social Committee (1),
uwzględniając opinię Europejskiego Banku Centralnego (2),
Having regard to the opinion of the European Central Bank (2),
uwzględniając opinię Komitetu Regionów (3),
Having regard to the opinion of the Committee of the Regions (3),
stanowiąc zgodnie ze zwykłą procedurą ustawodawczą (4),
Acting in accordance with the ordinary legislative procedure (4),
a także mając na uwadze, co następuje:
(1)
Celem niniejszego rozporządzenia jest poprawa funkcjonowania rynku wewnętrznego przez ustanowienie jednolitych ram prawnych, w szczególności w zakresie rozwoju, wprowadzania do obrotu, oddawania do użytku i wykorzystywania systemów sztucznej inteligencji (zwanych dalej „systemami AI”) w Unii, zgodnie z wartościami Unii, w celu promowania upowszechniania zorientowanej na człowieka i godnej zaufania sztucznej inteligencji (AI) przy jednoczesnym zapewnieniu wysokiego poziomu ochrony zdrowia, bezpieczeństwa, praw podstawowych zapisanych w Karcie praw podstawowych Unii Europejskiej (zwanej „Kartą”), w tym demokracji, praworządności i ochrony środowiska, ochrony przed szkodliwymi skutkami systemów AI w Unii, a także wspierania innowacji. Niniejsze rozporządzenie zapewnia swobodny transgraniczny przepływ towarów i usług opartych na AI, uniemożliwiając tym samym państwom członkowskim nakładanie ograniczeń na rozwój, wprowadzanie do obrotu i wykorzystywanie systemów AI, chyba że jest to wyraźnie dozwolone w niniejszym rozporządzeniu.
(1)
The purpose of this Regulation is to improve the functioning of the internal market by laying down a uniform legal framework in particular for the development, the placing on the market, the putting into service and the use of artificial intelligence systems (AI systems) in the Union, in accordance with Union values, to promote the uptake of human centric and trustworthy artificial intelligence (AI) while ensuring a high level of protection of health, safety, fundamental rights as enshrined in the Charter of Fundamental Rights of the European Union (the ‘Charter’), including democracy, the rule of law and environmental protection, to protect against the harmful effects of AI systems in the Union, and to support innovation. This Regulation ensures the free movement, cross-border, of AI-based goods and services, thus preventing Member States from imposing restrictions on the development, marketing and use of AI systems, unless explicitly authorised by this Regulation.
(2)
Niniejsze rozporządzenie należy stosować zgodnie z wartościami Unii zapisanymi w Karcie, ułatwiając ochronę osób fizycznych, przedsiębiorstw, demokracji, praworządności oraz ochronę środowiska, a jednocześnie pobudzając innowacje i zatrudnienie oraz czyniąc Unię liderem w upowszechnianiu godnej zaufania AI.
(2)
This Regulation should be applied in accordance with the values of the Union enshrined as in the Charter, facilitating the protection of natural persons, undertakings, democracy, the rule of law and environmental protection, while boosting innovation and employment and making the Union a leader in the uptake of trustworthy AI.
(3)
Systemy AI mogą być łatwo wdrażane w wielu różnych sektorach gospodarki i obszarach życia społecznego, w tym w wymiarze transgranicznym, i mogą w łatwy sposób być przedmiotem obrotu w całej Unii. Niektóre państwa członkowskie zastanawiają się już nad przyjęciem przepisów krajowych w celu zapewnienia, aby AI była godna zaufania i bezpieczna oraz rozwijana i wykorzystywana w sposób zgodny z obowiązkami wynikającymi z praw podstawowych. Zróżnicowane przepisy krajowe mogą prowadzić do rozdrobnienia rynku wewnętrznego i mogą zmniejszyć pewność prawa dla operatorów, którzy rozwijają, importują lub wykorzystują systemy AI. Aby zatem AI stałą się godna zaufania, należy zapewnić spójny i wysoki poziom ochrony w całej Unii poprzez ustanowienie jednolitych obowiązków dla operatorów i zagwarantowanie jednolitej ochrony nadrzędnego interesu publicznego i praw osób na całym rynku wewnętrznym na podstawie art. 114 Traktatu o funkcjonowaniu Unii Europejskiej (TFUE), zapobiegając jednocześnie rozbieżnościom, które utrudniają swobodny obrót systemami AI oraz powiązanymi produktami i usługami na rynku wewnętrznym, a także utrudniają innowacje w ich zakresie oraz ich wdrażanie i rozpowszechnianie. W zakresie, w jakim niniejsze rozporządzenie zawiera przepisy szczególne dotyczące ochrony osób fizycznych w związku z przetwarzaniem danych osobowych w odniesieniu do ograniczenia wykorzystywania systemów AI do zdalnej identyfikacji biometrycznej do celów ścigania przestępstw, ograniczenia wykorzystywania systemów AI do oceny ryzyka w odniesieniu do osób fizycznych do celów ścigania przestępstw i ograniczenia wykorzystywania systemów AI kategoryzacji biometrycznej do celów ścigania przestępstw, podstawą niniejszego rozporządzenia w zakresie takich przepisów szczególnych powinien być art. 16 TFUE. W świetle tych przepisów szczególnych i skorzystania z art. 16 TFUE należy skonsultować się z Europejską Radą Ochrony Danych.
(3)
AI systems can be easily deployed in a large variety of sectors of the economy and many parts of society, including across borders, and can easily circulate throughout the Union. Certain Member States have already explored the adoption of national rules to ensure that AI is trustworthy and safe and is developed and used in accordance with fundamental rights obligations. Diverging national rules may lead to the fragmentation of the internal market and may decrease legal certainty for operators that develop, import or use AI systems. A consistent and high level of protection throughout the Union should therefore be ensured in order to achieve trustworthy AI, while divergences hampering the free circulation, innovation, deployment and the uptake of AI systems and related products and services within the internal market should be prevented by laying down uniform obligations for operators and guaranteeing the uniform protection of overriding reasons of public interest and of rights of persons throughout the internal market on the basis of Article 114 of the Treaty on the Functioning of the European Union (TFEU). To the extent that this Regulation contains specific rules on the protection of individuals with regard to the processing of personal data concerning restrictions of the use of AI systems for remote biometric identification for the purpose of law enforcement, of the use of AI systems for risk assessments of natural persons for the purpose of law enforcement and of the use of AI systems of biometric categorisation for the purpose of law enforcement, it is appropriate to base this Regulation, in so far as those specific rules are concerned, on Article 16 TFEU. In light of those specific rules and the recourse to Article 16 TFEU, it is appropriate to consult the European Data Protection Board.
(4)
AI to szybko rozwijająca się grupa technologii, która przyczynia się do wielu różnych korzyści ekonomicznych, środowiskowych i społecznych we wszystkich gałęziach przemysłu i obszarach działalności społecznej. Ponieważ wykorzystywanie AI umożliwia lepsze prognozowanie, optymalizację operacji i przydzielania zasobów oraz personalizację rozwiązań cyfrowych dostępnych dla osób fizycznych i organizacji, może ono zapewnić przedsiębiorstwom kluczową przewagę konkurencyjną i wzmacniać korzyści społeczne i środowiskowe, na przykład w zakresie opieki zdrowotnej, rolnictwa, bezpieczeństwa żywności, kształcenia i szkolenia, mediów, sportu, kultury, zarządzania infrastrukturą, energetyki, transportu i logistyki, usług publicznych, bezpieczeństwa, wymiaru sprawiedliwości, zasobooszczędności i efektywności energetycznej, monitorowania środowiska, ochrony i odtwarzania różnorodności biologicznej i ekosystemów oraz łagodzenia zmiany klimatu i przystosowywania się do niej.
(4)
AI is a fast evolving family of technologies that contributes to a wide array of economic, environmental and societal benefits across the entire spectrum of industries and social activities. By improving prediction, optimising operations and resource allocation, and personalising digital solutions available for individuals and organisations, the use of AI can provide key competitive advantages to undertakings and support socially and environmentally beneficial outcomes, for example in healthcare, agriculture, food safety, education and training, media, sports, culture, infrastructure management, energy, transport and logistics, public services, security, justice, resource and energy efficiency, environmental monitoring, the conservation and restoration of biodiversity and ecosystems and climate change mitigation and adaptation.
(5)
Jednocześnie AI może stwarzać zagrożenia i wyrządzać szkody dla interesu publicznego i praw podstawowych chronionych przepisami prawa Unii, w zależności od okoliczności jej konkretnego zastosowania, wykorzystania oraz od poziomu rozwoju technologicznego. Szkody te mogą być materialne lub niematerialne, w tym fizyczne, psychiczne, społeczne lub ekonomiczne.
(5)
At the same time, depending on the circumstances regarding its specific application, use, and level of technological development, AI may generate risks and cause harm to public interests and fundamental rights that are protected by Union law. Such harm might be material or immaterial, including physical, psychological, societal or economic harm.
(6)
Biorąc pod uwagę istotny wpływ, jaki AI może mieć na społeczeństwo, oraz potrzebę budowania zaufania, AI i jej ramy regulacyjne należy rozwijać zgodnie z wartościami Unii zapisanymi w art. 2 Traktatu o Unii Europejskiej (TUE), podstawowymi prawami i wolnościami zapisanymi w traktatach oraz, zgodnie z art. 6 TUE – w Karcie. Warunkiem wstępnym jest to, by AI była technologią zorientowaną na człowieka. Powinna ona służyć jako narzędzie dla ludzi, którego ostatecznym celem jest zwiększenie dobrostanu człowieka.
(6)
Given the major impact that AI can have on society and the need to build trust, it is vital for AI and its regulatory framework to be developed in accordance with Union values as enshrined in Article 2 of the Treaty on European Union (TEU), the fundamental rights and freedoms enshrined in the Treaties and, pursuant to Article 6 TEU, the Charter. As a prerequisite, AI should be a human-centric technology. It should serve as a tool for people, with the ultimate aim of increasing human well-being.
(7)
W celu zapewnienia spójnego i wysokiego poziomu ochrony interesów publicznych w dziedzinie zdrowia, bezpieczeństwa i praw podstawowych należy ustanowić wspólne przepisy dotyczące systemów AI wysokiego ryzyka. Przepisy te powinny być zgodne z Kartą, niedyskryminacyjne i zgodne z międzynarodowymi zobowiązaniami handlowymi Unii. Przepisy te powinny również uwzględniać Europejską deklarację praw i zasad cyfrowych w cyfrowej dekadzie oraz Wytyczne w zakresie etyki dotyczące godnej zaufania AI grupy ekspertów wysokiego szczebla ds. AI.
(7)
In order to ensure a consistent and high level of protection of public interests as regards health, safety and fundamental rights, common rules for high-risk AI systems should be established. Those rules should be consistent with the Charter, non-discriminatory and in line with the Union’s international trade commitments. They should also take into account the European Declaration on Digital Rights and Principles for the Digital Decade and the Ethics guidelines for trustworthy AI of the High-Level Expert Group on Artificial Intelligence (AI HLEG).
(8)
Unijne ramy prawne określające zharmonizowane przepisy dotyczące AI są zatem niezbędne, by wspierać rozwój, wykorzystywanie i upowszechnianie AI na rynku wewnętrznym, przy jednoczesnym zapewnieniu wysokiego poziomu ochrony interesów publicznych, takich jak zdrowie i bezpieczeństwo oraz ochrona praw podstawowych, w tym demokracji, praworządności i ochrony środowiska, uznanych i chronionych przez prawo Unii. Aby osiągnąć ten cel, należy ustanowić przepisy regulujące wprowadzanie do obrotu, oddawanie do użytku i wykorzystywanie niektórych systemów AI, zapewniając w ten sposób sprawne funkcjonowanie rynku wewnętrznego i obejmując te systemy zasadą swobodnego przepływu towarów i usług. Przepisy te powinny być jasne i solidne, aby chronić prawa podstawowe, sprzyjać nowym innowacyjnym rozwiązaniom, umożliwiać tworzenie europejskiego ekosystemu podmiotów publicznych i prywatnych tworzących systemy AI zgodnie z wartościami Unii oraz pozwalać realizować potencjał transformacji cyfrowej we wszystkich regionach Unii. Ustanawiając te przepisy, a także środki wspierające innowacje, ze szczególnym uwzględnieniem małych i średnich przedsiębiorstw (MŚP), w tym przedsiębiorstw typu start-up, niniejsze rozporządzenie wspiera realizację celu, jakim jest promowanie europejskiego zorientowanego na człowieka podejścia do AI i znalezienie się przez Unię w światowej czołówce, jeśli chodzi o rozwój bezpiecznej, godnej zaufania i etycznej AI, zgodnie z konkluzjami Rady Europejskiej (5), oraz zapewnia ochronę zasad etycznych, zgodnie z wyraźnym wnioskiem Parlamentu Europejskiego (6).
(8)
A Union legal framework laying down harmonised rules on AI is therefore needed to foster the development, use and uptake of AI in the internal market that at the same time meets a high level of protection of public interests, such as health and safety and the protection of fundamental rights, including democracy, the rule of law and environmental protection as recognised and protected by Union law. To achieve that objective, rules regulating the placing on the market, the putting into service and the use of certain AI systems should be laid down, thus ensuring the smooth functioning of the internal market and allowing those systems to benefit from the principle of free movement of goods and services. Those rules should be clear and robust in protecting fundamental rights, supportive of new innovative solutions, enabling a European ecosystem of public and private actors creating AI systems in line with Union values and unlocking the potential of the digital transformation across all regions of the Union. By laying down those rules as well as measures in support of innovation with a particular focus on small and medium enterprises (SMEs), including startups, this Regulation supports the objective of promoting the European human-centric approach to AI and being a global leader in the development of secure, trustworthy and ethical AI as stated by the European Council (5), and it ensures the protection of ethical principles, as specifically requested by the European Parliament (6).
(9)
Zharmonizowane przepisy mające zastosowanie do wprowadzania do obrotu, oddawania do użytku i wykorzystywania systemów AI wysokiego ryzyka należy ustanowić zgodnie z rozporządzeniem Parlamentu Europejskiego i Rady (WE) nr 765/2008 (7), decyzją Parlamentu Europejskiego i Rady nr 768/2008/WE (8) oraz rozporządzeniem Parlamentu Europejskiego i Rady (UE) 2019/1020 (9) (zwanymi dalej „nowymi ramami prawnymi”). Zharmonizowane przepisy ustanowione w niniejszym rozporządzeniu powinny mieć zastosowanie we wszystkich sektorach i – zgodnie z nowymi ramami prawnymi – powinny pozostawać bez uszczerbku dla obowiązującego prawa Unii, w szczególności w zakresie ochrony danych, ochrony konsumentów, praw podstawowych, zatrudnienia i ochrony pracowników oraz bezpieczeństwa produktów, wobec którego to prawa niniejsze rozporządzenie ma charakter uzupełniający. W związku z tym wszystkie prawa i środki ochrony prawnej przysługujące na mocy prawa Unii konsumentom i innym osobom, na które systemy AI mogą mieć negatywny wpływ, w tym w odniesieniu do odszkodowania za ewentualne szkody zgodnie z dyrektywą Rady 85/374/EWG (10), pozostają nienaruszone i mają pełne zastosowanie. Ponadto w kontekście zatrudnienia i ochrony pracowników niniejsze rozporządzenie nie powinno zatem mieć wpływu na prawo Unii w dziedzinie polityki społecznej oraz na krajowe prawo pracy zgodne z prawem Unii dotyczące warunków zatrudnienia i pracy, w tym bezpieczeństwa i higieny pracy, oraz stosunków między pracodawcami a pracownikami. Niniejsze rozporządzenie nie powinno mieć też wpływu na korzystanie z praw podstawowych uznanych w państwach członkowskich i na poziomie Unii, w tym z prawa do strajku czy swobody prowadzenia strajku lub innych działań objętych szczególnymi systemami stosunków pracy w państwach członkowskich, ani na korzystanie z prawa do negocjowania, zawierania i egzekwowania układów zbiorowych lub podejmowania działań zbiorowych zgodnie z prawem krajowym. Niniejsze rozporządzenie nie powinno mieć wpływu na przepisy mające na celu poprawę warunków pracy świadczonej za pośrednictwem platform internetowych ustanowione w dyrektywie Parlamentu Europejskiego i Rady w sprawie poprawy warunków pracy za pośrednictwem platform internetowych. Ponadto niniejsze rozporządzenie ma na celu zwiększenie skuteczności takich istniejących praw i środków ochrony prawnej poprzez ustanowienie szczególnych wymogów i obowiązków, w tym w zakresie przejrzystości, dokumentacji technicznej i rejestrowania zdarzeń w ramach systemów AI. Co więcej obowiązki nałożone na mocy niniejszego rozporządzenia na różnych operatorów uczestniczących w łańcuchu wartości AI powinny mieć zastosowanie bez uszczerbku dla prawa krajowego zgodnego z prawem Unii, skutkującego ograniczeniem wykorzystania określonych systemów AI, gdy prawo to nie wchodzi w zakres stosowania niniejszego rozporządzenia lub służy uzasadnionym celom interesu publicznego innym niż cele niniejszego rozporządzenia. Na przykład niniejsze rozporządzenie nie powinno mieć wpływu na krajowe prawo pracy i przepisy dotyczące ochrony małoletnich, tj. osób poniżej 18. roku życia, uwzględniające komentarz ogólny nr 25 z 2021 r. w sprawie praw dziecka w środowisku cyfrowym zamieszczony w Konwencji ONZ o prawach dziecka, w zakresie w jakim prawo to i te przepisy nie dotyczą konkretnie systemów AI i służą innym uzasadnionym celom interesu publicznego.
(9)
Harmonised rules applicable to the placing on the market, the putting into service and the use of high-risk AI systems should be laid down consistently with Regulation (EC) No 765/2008 of the European Parliament and of the Council (7), Decision No 768/2008/EC of the European Parliament and of the Council (8) and Regulation (EU) 2019/1020 of the European Parliament and of the Council (9) (New Legislative Framework). The harmonised rules laid down in this Regulation should apply across sectors and, in line with the New Legislative Framework, should be without prejudice to existing Union law, in particular on data protection, consumer protection, fundamental rights, employment, and protection of workers, and product safety, to which this Regulation is complementary. As a consequence, all rights and remedies provided for by such Union law to consumers, and other persons on whom AI systems may have a negative impact, including as regards the compensation of possible damages pursuant to Council Directive 85/374/EEC (10) remain unaffected and fully applicable. Furthermore, in the context of employment and protection of workers, this Regulation should therefore not affect Union law on social policy and national labour law, in compliance with Union law, concerning employment and working conditions, including health and safety at work and the relationship between employers and workers. This Regulation should also not affect the exercise of fundamental rights as recognised in the Member States and at Union level, including the right or freedom to strike or to take other action covered by the specific industrial relations systems in Member States as well as the right to negotiate, to conclude and enforce collective agreements or to take collective action in accordance with national law. This Regulation should not affect the provisions aiming to improve working conditions in platform work laid down in a Directive of the European Parliament and of the Council on improving working conditions in platform work. Moreover, this Regulation aims to strengthen the effectiveness of such existing rights and remedies by establishing specific requirements and obligations, including in respect of the transparency, technical documentation and record-keeping of AI systems. Furthermore, the obligations placed on various operators involved in the AI value chain under this Regulation should apply without prejudice to national law, in compliance with Union law, having the effect of limiting the use of certain AI systems where such law falls outside the scope of this Regulation or pursues legitimate public interest objectives other than those pursued by this Regulation. For example, national labour law and law on the protection of minors, namely persons below the age of 18, taking into account the UNCRC General Comment No 25 (2021) on children’s rights in relation to the digital environment, insofar as they are not specific to AI systems and pursue other legitimate public interest objectives, should not be affected by this Regulation.
(10)
Podstawowe prawo do ochrony danych osobowych jest gwarantowane w szczególności przez rozporządzenia Parlamentu Europejskiego i Rady (UE) 2016/679 (11) i (UE) 2018/1725 (12) oraz dyrektywę Parlamentu Europejskiego i Rady (UE) 2016/680 (13). Dyrektywa Parlamentu Europejskiego i Rady 2002/58/WE (14) dodatkowo chroni życie prywatne i poufność komunikacji, w tym określając warunki dotyczące przechowywania danych osobowych i nieosobowych w urządzeniach końcowych oraz warunki uzyskiwania dostępu do tych danych z urządzeń końcowych. Te unijne akty prawne stanowią podstawę zrównoważonego i odpowiedzialnego przetwarzania danych, w tym w przypadku gdy zbiory danych zawierają połączenie danych osobowych i nieosobowych. Celem niniejszego rozporządzenia nie jest wpływanie na stosowanie obowiązującego prawa Unii regulującego przetwarzanie danych osobowych, w tym na zadania i uprawnienia niezależnych organów nadzoru właściwych do monitorowania zgodności z tymi instrumentami. W zakresie, w jakim projektowanie, rozwój lub wykorzystywanie systemów AI wiąże się z przetwarzaniem danych osobowych, niniejsze rozporządzenie nie wpływa też na wynikające z prawa Unii lub prawa krajowego obowiązki w dziedzinie ochrony danych osobowych spoczywające na dostawcach i podmiotach stosujących systemy AI, którzy pełnią funkcję administratorów danych lub podmiotów przetwarzających. Należy również wyjaśnić, że osoby, których dane dotyczą, zachowują wszystkie prawa i gwarancje przyznane im na mocy takiego prawa Unii, w tym prawa związane z całkowicie zautomatyzowanym podejmowaniem decyzji w indywidualnych sprawach, w tym z profilowaniem. Ustanowione w niniejszym rozporządzeniu zharmonizowane przepisy dotyczące wprowadzania do obrotu, oddawania do użytku i wykorzystywania systemów AI powinny ułatwiać skuteczne wdrażanie i umożliwiać korzystanie przez osoby, których dane dotyczą, z praw i innych środków ochrony prawnej zagwarantowanych na podstawie prawa Unii dotyczącego ochrony danych osobowych i innych praw podstawowych.
(10)
The fundamental right to the protection of personal data is safeguarded in particular by Regulations (EU) 2016/679 (11) and (EU) 2018/1725 (12) of the European Parliament and of the Council and Directive (EU) 2016/680 of the European Parliament and of the Council (13). Directive 2002/58/EC of the European Parliament and of the Council (14) additionally protects private life and the confidentiality of communications, including by way of providing conditions for any storing of personal and non-personal data in, and access from, terminal equipment. Those Union legal acts provide the basis for sustainable and responsible data processing, including where data sets include a mix of personal and non-personal data. This Regulation does not seek to affect the application of existing Union law governing the processing of personal data, including the tasks and powers of the independent supervisory authorities competent to monitor compliance with those instruments. It also does not affect the obligations of providers and deployers of AI systems in their role as data controllers or processors stemming from Union or national law on the protection of personal data in so far as the design, the development or the use of AI systems involves the processing of personal data. It is also appropriate to clarify that data subjects continue to enjoy all the rights and guarantees awarded to them by such Union law, including the rights related to solely automated individual decision-making, including profiling. Harmonised rules for the placing on the market, the putting into service and the use of AI systems established under this Regulation should facilitate the effective implementation and enable the exercise of the data subjects’ rights and other remedies guaranteed under Union law on the protection of personal data and of other fundamental rights.
(11)
Niniejsze rozporządzenie powinno pozostawać bez uszczerbku dla przepisów dotyczących odpowiedzialności dostawców usług pośrednich, określonych w rozporządzeniu Parlamentu Europejskiego i Rady (UE) 2022/2065 (15).
(11)
This Regulation should be without prejudice to the provisions regarding the liability of providers of intermediary services as set out in Regulation (EU) 2022/2065 of the European Parliament and of the Council (15).
(12)
Pojęcie „systemu AI” w niniejszym rozporządzeniu powinno być jasno zdefiniowane i ściśle powiązane z pracami organizacji międzynarodowych zajmujących się AI, aby zapewnić pewność prawa, ułatwiać międzynarodową konwergencję i szeroką akceptację, przy jednoczesnym zapewnieniu swobody umożliwiającej dostosowanie się do szybkiego rozwoju technologicznego w tej dziedzinie. Ponadto pojęcie to powinno opierać się na kluczowych cechach systemów AI, które odróżniają je od prostszych tradycyjnych systemów oprogramowania lub założeń programistycznych, i nie powinno obejmować systemów opartych na zasadach określonych wyłącznie przez osoby fizyczne w celu automatycznego wykonywania operacji. Jedną z kluczowych cech systemów AI jest ich zdolność do wnioskowania. Ta zdolność do wnioskowania odnosi się do procesu uzyskiwania wyników, takich jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne i wirtualne, oraz do zdolności systemów AI do tworzenia modeli lub algorytmów na podstawie informacji wejściowych lub danych. Techniki, które umożliwiają wnioskowanie podczas tworzenia systemu AI, obejmują mechanizmy uczenia maszynowego, które na podstawie danych uczą się, jak osiągnąć określone cele, oraz podejścia oparte na logice i wiedzy, które polegają na wnioskowaniu na podstawie zakodowanej wiedzy lub symbolicznego przedstawienia zadania, które należy rozwiązać. Zdolność systemu AI do wnioskowania wykracza poza podstawowe przetwarzanie danych w wyniku umożliwiania uczenia się, rozumowania lub modelowania. Termin „maszynowy” odnosi się do faktu, że systemy AI działają z wykorzystaniem maszyn. Odniesienie do wyraźnych lub dorozumianych celów podkreśla, że systemy AI mogą działać według jasno określonych lub dorozumianych celów. Cele systemu AI mogą różnić się od przeznaczenia systemu AI w określonym kontekście. Na potrzeby niniejszego rozporządzenia środowiska należy rozumieć jako konteksty, w których działają systemy AI, natomiast wyniki generowane przez system AI odzwierciedlają różne funkcje wykonywane przez systemy AI i obejmują predykcje, treści, zalecenia lub decyzje. Systemy AI są zaprojektowane tak, aby działały z różnym poziomem autonomii, co oznacza, że są w pewnym stopniu niezależne od zaangażowania ze strony człowieka i zdolne do działania bez interwencji człowieka. Zdolność adaptacji, jaką system AI może wykazać po jego wdrożeniu, odnosi się do zdolności do samouczenia się, która umożliwia zmianę systemu w czasie jego wykorzystywania. Systemy AI mogą być wykorzystywane jako samodzielne rozwiązania lub jako element produktu, niezależnie od tego, czy system jest fizycznie zintegrowany z produktem (wbudowany), czy też służy realizacji funkcji produktu, choć nie jest z nim zintegrowany (niewbudowany).
(12)
The notion of ‘AI system’ in this Regulation should be clearly defined and should be closely aligned with the work of international organisations working on AI to ensure legal certainty, facilitate international convergence and wide acceptance, while providing the flexibility to accommodate the rapid technological developments in this field. Moreover, the definition should be based on key characteristics of AI systems that distinguish it from simpler traditional software systems or programming approaches and should not cover systems that are based on the rules defined solely by natural persons to automatically execute operations. A key characteristic of AI systems is their capability to infer. This capability to infer refers to the process of obtaining the outputs, such as predictions, content, recommendations, or decisions, which can influence physical and virtual environments, and to a capability of AI systems to derive models or algorithms, or both, from inputs or data. The techniques that enable inference while building an AI system include machine learning approaches that learn from data how to achieve certain objectives, and logic- and knowledge-based approaches that infer from encoded knowledge or symbolic representation of the task to be solved. The capacity of an AI system to infer transcends basic data processing by enabling learning, reasoning or modelling. The term ‘machine-based’ refers to the fact that AI systems run on machines. The reference to explicit or implicit objectives underscores that AI systems can operate according to explicit defined objectives or to implicit objectives. The objectives of the AI system may be different from the intended purpose of the AI system in a specific context. For the purposes of this Regulation, environments should be understood to be the contexts in which the AI systems operate, whereas outputs generated by the AI system reflect different functions performed by AI systems and include predictions, content, recommendations or decisions. AI systems are designed to operate with varying levels of autonomy, meaning that they have some degree of independence of actions from human involvement and of capabilities to operate without human intervention. The adaptiveness that an AI system could exhibit after deployment, refers to self-learning capabilities, allowing the system to change while in use. AI systems can be used on a stand-alone basis or as a component of a product, irrespective of whether the system is physically integrated into the product (embedded) or serves the functionality of the product without being integrated therein (non-embedded).
(13)
Pojęcie „podmiotu stosującego”, o którym mowa w niniejszym rozporządzeniu, należy interpretować jako osobę fizyczną lub prawną, w tym organ publiczny, agencję lub inny podmiot, która wykorzystuje system AI, nad którym sprawuje kontrolę, oprócz przypadków gdy wykorzystywanie systemu AI odbywa się w ramach osobistej działalności pozazawodowej. W zależności od rodzaju systemu AI korzystanie z takiego systemu może mieć wpływ na osoby inne niż podmiot stosujący.
(13)
The notion of ‘deployer’ referred to in this Regulation should be interpreted as any natural or legal person, including a public authority, agency or other body, using an AI system under its authority, except where the AI system is used in the course of a personal non-professional activity. Depending on the type of AI system, the use of the system may affect persons other than the deployer.
(14)
Pojęcie „danych biometrycznych” stosowane w niniejszym rozporządzeniu należy interpretować w świetle pojęcia danych biometrycznych zdefiniowanego w art. 4 pkt 14 rozporządzenia (UE) 2016/679, art. 3 pkt 18 rozporządzenia (UE) 2018/1725 i art. 3 pkt 13 dyrektywy (UE) 2016/680. Dane biometryczne mogą umożliwiać uwierzytelnianie, identyfikację lub kategoryzację osób fizycznych oraz rozpoznawanie emocji osób fizycznych.
(14)
The notion of ‘biometric data’ used in this Regulation should be interpreted in light of the notion of biometric data as defined in Article 4, point (14) of Regulation (EU) 2016/679, Article 3, point (18) of Regulation (EU) 2018/1725 and Article 3, point (13) of Directive (EU) 2016/680. Biometric data can allow for the authentication, identification or categorisation of natural persons and for the recognition of emotions of natural persons.
(15)
Pojęcie „identyfikacji biometrycznej”, o którym mowa w niniejszym rozporządzeniu, należy zdefiniować jako zautomatyzowane rozpoznawanie fizycznych, fizjologicznych i behawioralnych cech człowieka, takich jak twarz, ruch gałek ocznych, kształt ciała, głos, właściwości mowy, chód, postawa, tętno, ciśnienie krwi, zapach, sposób pisania na klawiaturze, w celu ustalenia tożsamości osoby fizycznej przez porównanie danych biometrycznych tej osoby z przechowywanymi w referencyjnej bazie danych danymi biometrycznymi osób fizycznych, niezależnie od tego, czy osoba ta wyraziła na to zgodę. Do tej kategorii nie należą systemy AI przeznaczone do weryfikacji biometrycznej, która obejmuje uwierzytelnianie, prowadzonej jedynie w celu potwierdzenia, że dana osoba fizyczna jest osobą, za którą się podaje, oraz potwierdzenia tożsamości osoby fizycznej wyłącznie w celu uzyskania dostępu do usługi, uruchomienia urządzenia lub uzyskania bezpiecznego dostępu do pomieszczeń.
(15)
The notion of ‘biometric identification’ referred to in this Regulation should be defined as the automated recognition of physical, physiological and behavioural human features such as the face, eye movement, body shape, voice, prosody, gait, posture, heart rate, blood pressure, odour, keystrokes characteristics, for the purpose of establishing an individual’s identity by comparing biometric data of that individual to stored biometric data of individuals in a reference database, irrespective of whether the individual has given its consent or not. This excludes AI systems intended to be used for biometric verification, which includes authentication, whose sole purpose is to confirm that a specific natural person is the person he or she claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having security access to premises.
(16)
Pojęcie „kategoryzacji biometrycznej”, o którym mowa w niniejszym rozporządzeniu, należy zdefiniować jako przypisywanie osób fizycznych do określonych kategorii na podstawie danych biometrycznych tych osób. Takie szczególne kategorie mogą odnosić się do takich aspektów jak płeć, wiek, kolor włosów, kolor oczu, tatuaże, cechy behawioralne bądź osobowości, język, religia, przynależność do mniejszości narodowej, orientacja seksualna lub poglądy polityczne. Nie obejmuje to systemów kategoryzacji biometrycznej, które pełnią jedynie funkcję pomocniczą nieodłącznie związaną z inną usługą komercyjną, co oznacza, że z obiektywnych względów technicznych funkcja ta nie może być wykorzystywana bez usługi głównej, a włączenie takiej funkcji lub funkcjonalności nie jest sposobem na obejście stosowania przepisów niniejszego rozporządzenia. Przykładem pełnienia takiej funkcji pomocniczej mogą być filtry klasyfikujące cechy twarzy lub ciała wykorzystywane na internetowych platformach handlowych, ponieważ można je stosować wyłącznie w powiązaniu z usługą główną, która polega na sprzedaży produktu przy jednoczesnym umożliwieniu konsumentowi uzyskania wyobrażenia, jak produkt będzie się na nim prezentował, aby pomóc mu w podjęciu decyzji o zakupie. Filtry stosowane w internetowych serwisach społecznościowych, które kategoryzują cechy twarzy lub ciała, aby umożliwić użytkownikom dodawanie lub modyfikowanie zdjęć lub filmów wideo, można również uznać za funkcję pomocniczą, ponieważ filtry takie nie mogą być stosowane bez usługi głównej polegającej na udostępnianiu treści online w ramach serwisu społecznościowego.
(16)
The notion of ‘biometric categorisation’ referred to in this Regulation should be defined as assigning natural persons to specific categories on the basis of their biometric data. Such specific categories can relate to aspects such as sex, age, hair colour, eye colour, tattoos, behavioural or personality traits, language, religion, membership of a national minority, sexual or political orientation. This does not include biometric categorisation systems that are a purely ancillary feature intrinsically linked to another commercial service, meaning that the feature cannot, for objective technical reasons, be used without the principal service, and the integration of that feature or functionality is not a means to circumvent the applicability of the rules of this Regulation. For example, filters categorising facial or body features used on online marketplaces could constitute such an ancillary feature as they can be used only in relation to the principal service which consists in selling a product by allowing the consumer to preview the display of the product on him or herself and help the consumer to make a purchase decision. Filters used on online social network services which categorise facial or body features to allow users to add or modify pictures or videos could also be considered to be ancillary feature as such filter cannot be used without the principal service of the social network services consisting in the sharing of content online.
(17)
Pojęcie „systemu zdalnej identyfikacji biometrycznej”, o którym mowa w niniejszym rozporządzeniu, należy zdefiniować funkcjonalnie jako system AI służący do identyfikacji osób fizycznych bez aktywnego udziału tych osób, co do zasady na odległość, poprzez porównanie danych biometrycznych danej osoby z danymi biometrycznymi zawartymi w referencyjnej bazie danych, niezależnie od konkretnej stosowanej technologii oraz konkretnych wykorzystywanych procesów lub rodzajów danych biometrycznych. Takie systemy zdalnej identyfikacji biometrycznej są zwykle wykorzystywane do jednoczesnego obserwowania wielu osób lub ich zachowania w celu znacznego ułatwienia identyfikacji osób fizycznych bez ich aktywnego udziału. Do tej kategorii nie należą systemy AI przeznaczone do weryfikacji biometrycznej, która obejmuje uwierzytelnianie, prowadzonej jedynie w celu potwierdzenia, że dana osoba fizyczna jest osobą, za którą się podaje, oraz potwierdzenia tożsamości osoby fizycznej wyłącznie w celu uzyskania dostępu do usługi, uruchomienia urządzenia lub uzyskania bezpiecznego dostępu do pomieszczeń. Wyłączenie to jest uzasadnione faktem, że takie systemy w niewielkim stopniu mogą wpływać na prawa podstawowe osób fizycznych w porównaniu z systemami zdalnej identyfikacji biometrycznej, które mogą być wykorzystywane do przetwarzania danych biometrycznych dużej liczby osób bez ich aktywnego udziału. W przypadku systemów działających „w czasie rzeczywistym” zbieranie danych biometrycznych, porównanie i identyfikacja następują natychmiast, niemal natychmiast lub w każdym razie bez znacznego opóźnienia. W związku z tym nie powinno być możliwości obchodzenia przepisów niniejszego rozporządzenia dotyczących stosowania systemów AI „w czasie rzeczywistym” poprzez wprowadzanie niewielkich opóźnień. Systemy identyfikacji „w czasie rzeczywistym” obejmują wykorzystanie materiału rejestrowanego „na żywo” lub „niemal na żywo”, takiego jak materiał wideo generowany przez kamerę lub inne urządzenie o podobnej funkcjonalności. Natomiast w przypadku systemów identyfikacji post factum dane biometryczne zostały już zebrane, a porównanie i identyfikacja następują ze znacznym opóźnieniem. Dotyczy to materiałów, takich jak zdjęcia lub materiały wideo generowane przez kamery telewizji przemysłowej lub urządzenia prywatne, które to materiały zostały wygenerowane, zanim użyto systemu identyfikacji w stosunku do danej osoby fizycznej.
(17)
The notion of ‘remote biometric identification system’ referred to in this Regulation should be defined functionally, as an AI system intended for the identification of natural persons without their active involvement, typically at a distance, through the comparison of a person’s biometric data with the biometric data contained in a reference database, irrespectively of the particular technology, processes or types of biometric data used. Such remote biometric identification systems are typically used to perceive multiple persons or their behaviour simultaneously in order to facilitate significantly the identification of natural persons without their active involvement. This excludes AI systems intended to be used for biometric verification, which includes authentication, the sole purpose of which is to confirm that a specific natural person is the person he or she claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having security access to premises. That exclusion is justified by the fact that such systems are likely to have a minor impact on fundamental rights of natural persons compared to the remote biometric identification systems which may be used for the processing of the biometric data of a large number of persons without their active involvement. In the case of ‘real-time’ systems, the capturing of the biometric data, the comparison and the identification occur all instantaneously, near-instantaneously or in any event without a significant delay. In this regard, there should be no scope for circumventing the rules of this Regulation on the ‘real-time’ use of the AI systems concerned by providing for minor delays. ‘Real-time’ systems involve the use of ‘live’ or ‘near-live’ material, such as video footage, generated by a camera or other device with similar functionality. In the case of ‘post’ systems, in contrast, the biometric data has already been captured and the comparison and identification occur only after a significant delay. This involves material, such as pictures or video footage generated by closed circuit television cameras or private devices, which has been generated before the use of the system in respect of the natural persons concerned.
(18)
Pojęcie „systemu rozpoznawania emocji”, o którym mowa w niniejszym rozporządzeniu, należy zdefiniować jako system AI służący do rozpoznawania emocji lub zamiarów osób fizycznych na podstawie danych biometrycznych tych osób, lub wyciągania wniosków odnośnie do tych emocji lub zamiarów. Pojęcie to dotyczy emocji lub zamiarów, takich jak radość, smutek, złość, zdziwienie, obrzydzenie, zakłopotanie, podekscytowanie, wstyd, pogarda, satysfakcja i rozbawienie. Nie obejmuje ono stanów fizycznych, takich jak ból lub zmęczenie; w tym na przykład systemów stosowanych do wykrywania poziomu zmęczenia zawodowych pilotów lub kierowców w celu zapobiegania wypadkom. Nie obejmuje ono również samego wykrywania łatwych do zauważenia form wyrazu, gestów lub ruchów, chyba że wykorzystuje się je do identyfikacji lub wnioskowania na temat emocji. Te formy wyrazu mogą obejmować podstawowe rodzaje wyrazu twarzy, takie jak grymas lub uśmiech, gesty, takie jak ruch rąk, ramion lub głowy, lub cechy głosu danej osoby, takie jak podniesiony ton lub szept.
(18)
The notion of ‘emotion recognition system’ referred to in this Regulation should be defined as an AI system for the purpose of identifying or inferring emotions or intentions of natural persons on the basis of their biometric data. The notion refers to emotions or intentions such as happiness, sadness, anger, surprise, disgust, embarrassment, excitement, shame, contempt, satisfaction and amusement. It does not include physical states, such as pain or fatigue, including, for example, systems used in detecting the state of fatigue of professional pilots or drivers for the purpose of preventing accidents. This does also not include the mere detection of readily apparent expressions, gestures or movements, unless they are used for identifying or inferring emotions. Those expressions can be basic facial expressions, such as a frown or a smile, or gestures such as the movement of hands, arms or head, or characteristics of a person’s voice, such as a raised voice or whispering.
(19)
Do celów niniejszego rozporządzenia pojęcie „przestrzeni publicznej” należy rozumieć jako odnoszące się do każdej przestrzeni fizycznej, która jest dostępna dla nieokreślonej liczby osób fizycznych, niezależnie od tego, czy dana przestrzeń jest własnością prywatną czy publiczną, a także niezależnie od rodzaju działalności, dla której się ją wykorzystuje, takiej jak działalność handlowa (na przykład sklepy, restauracje, kawiarnie), działalność usługowa (na przykład banki, działalność zawodowa, hotelarstwo), działalność sportowa (na przykład baseny, sale do ćwiczeń, stadiony), działalność transportowa (na przykład dworce autobusowe i kolejowe, stacje metra, lotniska, środki transportu), działalność rozrywkowa (na przykład kina, teatry, muzea, sale koncertowe i konferencyjne) lub przestrzenie służące wypoczynkowi lub innym celom (na przykład drogi publiczne i place, parki, lasy i place zabaw). Przestrzeń należy uznać za przestrzeń publiczną również wtedy, gdy niezależnie od potencjalnych ograniczeń w zakresie pojemności lub bezpieczeństwa, dostęp do niej podlega pewnym określonym z góry warunkom, które mogą zostać spełnione przez nieokreśloną liczbę osób, takich jak zakup biletu wstępu lub biletu na przejazd, uprzednia rejestracja lub osiągnięcie określonego wieku. Danej przestrzeni nie należy natomiast uznawać za przestrzeń publiczną, jeśli dostęp do niej ograniczony jest do konkretnych i określonych osób fizycznych na mocy prawa Unii lub prawa krajowego bezpośrednio związanego z bezpieczeństwem publicznym lub ochroną publiczną lub w wyniku wyraźnego wyrażenia woli przez osobę posiadającą odpowiednie uprawnienia związane z taką przestrzenią. Faktyczna możliwość samego dostępu (taka jak niezamknięte drzwi, otwarta bramka w ogrodzeniu) nie oznacza, że dana przestrzeń stanowi przestrzeń publiczną, jeśli istnieją wskazania lub okoliczności sugerujące inaczej (takie jak znaki zakazujące dostępu lub go ograniczające). Tereny przedsiębiorstw i fabryk, a także biura i miejsca pracy, do których dostęp powinni mieć wyłącznie odpowiedni pracownicy i usługodawcy, to przestrzenie, które nie stanowią przestrzeni publicznej. Do przestrzeni publicznej nie zaliczają się więzienia ani strefy kontroli granicznej. Niektóre przestrzenie mogą zawierać zarówno przestrzenie publiczne, jak i niepubliczne, takie jak hol w prywatnym budynku mieszkalnym prowadzący do gabinetu lekarskiego lub lotnisko. Przestrzenie internetowe również nie są objęte tym pojęciem, ponieważ nie są to przestrzenie fizyczne. To, czy dana przestrzeń jest dostępna publicznie, powinno być jednak ustalane indywidualnie w każdym przypadku, z uwzględnieniem specyfiki danej sytuacji.
(19)
For the purposes of this Regulation the notion of ‘publicly accessible space’ should be understood as referring to any physical space that is accessible to an undetermined number of natural persons, and irrespective of whether the space in question is privately or publicly owned, irrespective of the activity for which the space may be used, such as for commerce, for example, shops, restaurants, cafés; for services, for example, banks, professional activities, hospitality; for sport, for example, swimming pools, gyms, stadiums; for transport, for example, bus, metro and railway stations, airports, means of transport; for entertainment, for example, cinemas, theatres, museums, concert and conference halls; or for leisure or otherwise, for example, public roads and squares, parks, forests, playgrounds. A space should also be classified as being publicly accessible if, regardless of potential capacity or security restrictions, access is subject to certain predetermined conditions which can be fulfilled by an undetermined number of persons, such as the purchase of a ticket or title of transport, prior registration or having a certain age. In contrast, a space should not be considered to be publicly accessible if access is limited to specific and defined natural persons through either Union or national law directly related to public safety or security or through the clear manifestation of will by the person having the relevant authority over the space. The factual possibility of access alone, such as an unlocked door or an open gate in a fence, does not imply that the space is publicly accessible in the presence of indications or circumstances suggesting the contrary, such as. signs prohibiting or restricting access. Company and factory premises, as well as offices and workplaces that are intended to be accessed only by relevant employees and service providers, are spaces that are not publicly accessible. Publicly accessible spaces should not include prisons or border control. Some other spaces may comprise both publicly accessible and non-publicly accessible spaces, such as the hallway of a private residential building necessary to access a doctor’s office or an airport. Online spaces are not covered, as they are not physical spaces. Whether a given space is accessible to the public should however be determined on a case-by-case basis, having regard to the specificities of the individual situation at hand.
(20)
Dostawców, podmioty stosujące i osoby, na które AI ma wpływ, należy wyposażyć w niezbędne kompetencje w zakresie AI umożliwiające im podejmowanie świadomych decyzji w odniesieniu do systemów AI, co pozwoli czerpać największe korzyści z systemów AI, a jednocześnie chronić prawa podstawowe, zdrowie i bezpieczeństwo oraz sprawować kontrolę demokratyczną. Kompetencje te mogą różnić się w zależności od danego kontekstu i mogą obejmować rozumienie prawidłowego stosowania elementów technicznych na etapie rozwoju systemu AI, rozumienie środków, które mają być stosowane podczas jego wykorzystywania, odpowiednich sposobów interpretacji wyników działania systemu AI oraz, w przypadku osób, na które AI ma wpływ – wiedzę niezbędną do zrozumienia, jaki wpływ będą miały na nie decyzje podejmowane przy pomocy AI. W kontekście stosowania niniejszego rozporządzenia kompetencje w zakresie AI powinny oznaczać, że wszystkie odpowiednie podmioty w łańcuchu wartości AI będą posiadać wiedzę konieczną do zapewnienia odpowiedniej zgodności z przepisami niniejszego rozporządzenia i ich prawidłowego egzekwowania. Ponadto szerokie wdrażanie środków rozwijających kompetencje w zakresie AI oraz wprowadzanie odpowiednich działań następczych mogłyby przyczynić się do poprawy warunków pracy, a w ostatecznym rozrachunku wsparłyby konsolidację i innowacyjną ścieżkę godnej zaufania AI w Unii. Europejska Rada ds. Sztucznej Inteligencji (zwana dalej „Radą ds. AI”) powinna wspierać Komisję w promowaniu narzędzi rozwijających kompetencje w zakresie AI, świadomości społecznej oraz zrozumienia korzyści, ryzyka, zabezpieczeń, praw i obowiązków związanych z wykorzystaniem systemów AI. We współpracy z odpowiednimi zainteresowanymi stronami Komisja i państwa członkowskie powinny ułatwiać opracowywanie dobrowolnych kodeksów postępowania w celu podnoszenia kompetencji w zakresie AI wśród osób zajmujących się rozwojem, działaniem i wykorzystywaniem AI.
(20)
In order to obtain the greatest benefits from AI systems while protecting fundamental rights, health and safety and to enable democratic control, AI literacy should equip providers, deployers and affected persons with the necessary notions to make informed decisions regarding AI systems. Those notions may vary with regard to the relevant context and can include understanding the correct application of technical elements during the AI system’s development phase, the measures to be applied during its use, the suitable ways in which to interpret the AI system’s output, and, in the case of affected persons, the knowledge necessary to understand how decisions taken with the assistance of AI will have an impact on them. In the context of the application this Regulation, AI literacy should provide all relevant actors in the AI value chain with the insights required to ensure the appropriate compliance and its correct enforcement. Furthermore, the wide implementation of AI literacy measures and the introduction of appropriate follow-up actions could contribute to improving working conditions and ultimately sustain the consolidation, and innovation path of trustworthy AI in the Union. The European Artificial Intelligence Board (the ‘Board’) should support the Commission, to promote AI literacy tools, public awareness and understanding of the benefits, risks, safeguards, rights and obligations in relation to the use of AI systems. In cooperation with the relevant stakeholders, the Commission and the Member States should facilitate the drawing up of voluntary codes of conduct to advance AI literacy among persons dealing with the development, operation and use of AI.
(21)
W celu zapewnienia równych szans oraz skutecznej ochrony praw i wolności osób fizycznych w całej Unii przepisy ustanowione niniejszym rozporządzeniem powinny mieć zastosowanie do dostawców systemów AI w sposób niedyskryminacyjny, niezależnie od tego, czy mają oni siedzibę w Unii, czy w państwie trzecim, oraz do podmiotów stosujących systemy AI mających siedzibę w Unii.
(21)
In order to ensure a level playing field and an effective protection of rights and freedoms of individuals across the Union, the rules established by this Regulation should apply to providers of AI systems in a non-discriminatory manner, irrespective of whether they are established within the Union or in a third country, and to deployers of AI systems established within the Union.
(22)
Ze względu na swój cyfrowy charakter niektóre systemy AI powinny zostać objęte zakresem stosowania niniejszego rozporządzenia, nawet jeśli nie zostały wprowadzane do obrotu, oddane do użytku ani są wykorzystywane w Unii. Dotyczy to na przykład operatora mającego siedzibę w Unii, który zleca operatorowi mającemu siedzibę w państwie trzecim określone usługi w związku z działaniem, które ma być wykonywane przez system AI, który zostałby zakwalifikowany jako system wysokiego ryzyka. W takich okolicznościach system AI wykorzystywany w państwie trzecim przez operatora mógłby przetwarzać dane, które legalnie zgromadzono w Unii i przekazano poza Unię, oraz przekazywać zlecającemu operatorowi z Unii wynik przetwarzania tych danych przez system AI, natomiast sam system AI nie byłby wprowadzony do obrotu lub oddany do użytku w Unii ani nie byłby w Unii wykorzystywany. Aby zapobiec obchodzeniu przepisów niniejszego rozporządzenia oraz zapewnić skuteczną ochronę osób fizycznych znajdujących się w Unii, niniejsze rozporządzenie powinno mieć również zastosowanie do dostawców i podmiotów stosujących systemy AI, którzy mają siedzibę lub miejsce zamieszkania w państwie trzecim, w zakresie, w jakim wyniki wytworzone przez te systemy są przeznaczone do wykorzystywania w Unii. Aby uwzględnić jednak istniejące ustalenia i szczególne potrzeby w zakresie przyszłej współpracy z partnerami zagranicznymi, z którymi wymienia się informacje i dowody, niniejszego rozporządzenia nie powinno się stosować do organów publicznych państwa trzeciego i organizacji międzynarodowych działających w ramach współpracy lub na mocy zawartych na poziomie Unii lub poziomie krajowym umów międzynarodowych o współpracy organów ścigania i wymiarów sprawiedliwości z Unią lub państwami członkowskimi, pod warunkiem zapewnienia przez to państwo trzecie lub organizację międzynarodową odpowiednich zabezpieczeń w odniesieniu do ochrony podstawowych praw i wolności osób fizycznych. W stosownych przypadkach może to obejmować działania podmiotów, którym państwa trzecie powierzyły wykonywanie szczególnych zadań w ramach wsparcia ścigania przestępstw i współpracy wymiarów sprawiedliwości. Takie ramy współpracy lub umowy zostały ustanowione dwustronnie między państwami członkowskimi a państwami trzecimi lub między Unią Europejską, Europolem i innymi agencjami Unii a państwami trzecimi i organizacjami międzynarodowymi. Organy właściwe do sprawowania nadzoru nad organami ścigania i organami wymiaru sprawiedliwości na mocy niniejszego rozporządzenia powinny ocenić, czy te ramy współpracy lub umowy międzynarodowe zawierają odpowiednie zabezpieczenia w odniesieniu do ochrony podstawowych praw i wolności osób fizycznych. Będące odbiorcami organy krajowe oraz instytucje, organy i jednostki organizacyjne Unii korzystające z takich wyników w Unii pozostają odpowiedzialne za zapewnienie zgodności ich stosowania z prawem Unii. W przypadku zmiany takich umów międzynarodowych lub zawarcia nowych w przyszłości umawiające się strony powinny dołożyć wszelkich starań, by dostosować takie umowy do wymogów niniejszego rozporządzenia.
(22)
In light of their digital nature, certain AI systems should fall within the scope of this Regulation even when they are not placed on the market, put into service, or used in the Union. This is the case, for example, where an operator established in the Union contracts certain services to an operator established in a third country in relation to an activity to be performed by an AI system that would qualify as high-risk. In those circumstances, the AI system used in a third country by the operator could process data lawfully collected in and transferred from the Union, and provide to the contracting operator in the Union the output of that AI system resulting from that processing, without that AI system being placed on the market, put into service or used in the Union. To prevent the circumvention of this Regulation and to ensure an effective protection of natural persons located in the Union, this Regulation should also apply to providers and deployers of AI systems that are established in a third country, to the extent the output produced by those systems is intended to be used in the Union. Nonetheless, to take into account existing arrangements and special needs for future cooperation with foreign partners with whom information and evidence is exchanged, this Regulation should not apply to public authorities of a third country and international organisations when acting in the framework of cooperation or international agreements concluded at Union or national level for law enforcement and judicial cooperation with the Union or the Member States, provided that the relevant third country or international organisation provides adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals. Where relevant, this may cover activities of entities entrusted by the third countries to carry out specific tasks in support of such law enforcement and judicial cooperation. Such framework for cooperation or agreements have been established bilaterally between Member States and third countries or between the European Union, Europol and other Union agencies and third countries and international organisations. The authorities competent for supervision of the law enforcement and judicial authorities under this Regulation should assess whether those frameworks for cooperation or international agreements include adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals. Recipient national authorities and Union institutions, bodies, offices and agencies making use of such outputs in the Union remain accountable to ensure their use complies with Union law. When those international agreements are revised or new ones are concluded in the future, the contracting parties should make utmost efforts to align those agreements with the requirements of this Regulation.
(23)
Niniejsze rozporządzenie powinno być również stosowane do instytucji, organów i jednostek organizacyjnych Unii, gdy działają one jako dostawca systemu AI lub podmiot stosujący system AI.
(23)
This Regulation should also apply to Union institutions, bodies, offices and agencies when acting as a provider or deployer of an AI system.
(24)
Jeżeli i w zakresie, w jakim systemy AI wprowadza się do obrotu, oddaje do użytku lub wykorzystuje się je ze zmianami lub bez zmian – do celów wojskowych, obronnych lub celów bezpieczeństwa narodowego, systemy te należy wyłączyć z zakresu stosowania niniejszego rozporządzenia niezależnie od tego, jaki podmiot wykonuje te działania – nie ma znaczenia na przykład, czy jest on podmiotem publicznym czy prywatnym. W przypadku celów wojskowych i obronnych, takie wyłączenie jest uzasadnione zarówno art. 4 ust. 2 TUE, jak i specyfiką polityki obronnej państw członkowskich i wspólnej polityki obronnej Unii objętej tytułem V rozdział 2 TUE, które podlegają prawu międzynarodowemu publicznemu stanowiącemu zatem bardziej odpowiednie ramy prawne dla regulacji systemów AI w kontekście stosowania śmiercionośnej siły i innych systemów AI w kontekście działań wojskowych i obronnych. W przypadku celów bezpieczeństwa narodowego wyłączenie to jest uzasadnione zarówno faktem, że za bezpieczeństwo narodowe wyłączną odpowiedzialność ponoszą państwa członkowskie zgodnie z art. 4 ust. 2 TUE, jak i faktem, że działania w zakresie bezpieczeństwa narodowego mają szczególny charakter, wiążą się ze szczególnymi potrzebami operacyjnymi i że stosuje się do nich szczególne przepisy krajowe. Jeżeli jednak system AI rozwinięty, wprowadzony do obrotu, oddany do użytku lub wykorzystywany do celów wojskowych, obronnych lub celów bezpieczeństwa narodowego jest tymczasowo lub na stałe wykorzystywany do innych celów, na przykład do celów cywilnych lub humanitarnych, do celów ścigania przestępstw lub bezpieczeństwa publicznego, system taki objęty zostanie zakresem stosowania niniejszego rozporządzenia. W takim przypadku podmiot wykorzystujący system AI do celów inne niż cele wojskowe, obronne lub cele bezpieczeństwa narodowego powinien zapewnić zgodność systemu AI z niniejszym rozporządzeniem, chyba że system ten jest już z nim zgodny. Systemy AI wprowadzane do obrotu lub oddawane do użytku do celu stanowiącego podstawę wyłączenia, tzn. celu wojskowego, obronnego lub celu bezpieczeństwa narodowego, oraz do jednego lub kilku celów niestanowiących podstawy wyłączenia, takich jak cele cywilne lub ściganie przestępstw, są objęte zakresem stosowania niniejszego rozporządzenia, a dostawcy tych systemów powinni zapewnić zgodność z niniejszym rozporządzeniem. W takich przypadkach fakt, że system AI może wchodzić w zakres stosowania niniejszego rozporządzenia, nie powinien mieć wpływu na możliwość wykorzystywania – przez podmioty prowadzące działania dotyczące bezpieczeństwa narodowego, działania obronne i wojskowe, bez względu na rodzaj podmiotu prowadzącego te działania – systemów AI do celów bezpieczeństwa narodowego, celów wojskowych i obronnych, których wykorzystanie jest wyłączone z zakresu stosowania niniejszego rozporządzenia. System AI wprowadzany do obrotu do celów cywilnych lub w celu ścigania przestępstw, który jest wykorzystywany ze zmianami lub bez zmian do celów wojskowych, obronnych lub do celów bezpieczeństwa narodowego, nie powinien być objęty zakresem stosowania niniejszego rozporządzenia, bez względu na rodzaj podmiotu prowadzącego działania związane z tymi celami.
(24)
If, and insofar as, AI systems are placed on the market, put into service, or used with or without modification of such systems for military, defence or national security purposes, those should be excluded from the scope of this Regulation regardless of which type of entity is carrying out those activities, such as whether it is a public or private entity. As regards military and defence purposes, such exclusion is justified both by Article 4(2) TEU and by the specificities of the Member States’ and the common Union defence policy covered by Chapter 2 of Title V TEU that are subject to public international law, which is therefore the more appropriate legal framework for the regulation of AI systems in the context of the use of lethal force and other AI systems in the context of military and defence activities. As regards national security purposes, the exclusion is justified both by the fact that national security remains the sole responsibility of Member States in accordance with Article 4(2) TEU and by the specific nature and operational needs of national security activities and specific national rules applicable to those activities. Nonetheless, if an AI system developed, placed on the market, put into service or used for military, defence or national security purposes is used outside those temporarily or permanently for other purposes, for example, civilian or humanitarian purposes, law enforcement or public security purposes, such a system would fall within the scope of this Regulation. In that case, the entity using the AI system for other than military, defence or national security purposes should ensure the compliance of the AI system with this Regulation, unless the system is already compliant with this Regulation. AI systems placed on the market or put into service for an excluded purpose, namely military, defence or national security, and one or more non-excluded purposes, such as civilian purposes or law enforcement, fall within the scope of this Regulation and providers of those systems should ensure compliance with this Regulation. In those cases, the fact that an AI system may fall within the scope of this Regulation should not affect the possibility of entities carrying out national security, defence and military activities, regardless of the type of entity carrying out those activities, to use AI systems for national security, military and defence purposes, the use of which is excluded from the scope of this Regulation. An AI system placed on the market for civilian or law enforcement purposes which is used with or without modification for military, defence or national security purposes should not fall within the scope of this Regulation, regardless of the type of entity carrying out those activities.
(25)
Niniejsze rozporządzenie powinno wspierać innowacje, szanować wolność nauki i nie powinno osłabiać działalności badawczo-rozwojowej. Należy zatem wyłączyć z jego zakresu stosowania systemy i modele AI rozwinięte i oddane do użytku wyłącznie do celów badań naukowych i rozwojowych. Ponadto należy zapewnić, aby niniejsze rozporządzenie nie wpływało w żaden inny sposób na działalność badawczo-rozwojową dotyczącą systemów lub modeli AI przed wprowadzeniem tych systemów lub modeli do obrotu lub oddaniem ich do użytku. Przepisów niniejszego rozporządzenia nie powinno się również stosować do zorientowanej na produkty działalności badawczej, testowej i rozwojowej dotyczącej systemów lub modeli AI przed oddaniem tych systemów i modeli do użytku lub wprowadzaniem ich do obrotu. Wyłączenie to pozostaje to bez uszczerbku dla obowiązku zapewnienia zgodności z niniejszym rozporządzeniem, gdy system AI objęty zakresem stosowania niniejszego rozporządzenia jest wprowadzany do obrotu lub oddawany do użytku w wyniku takiej działalności badawczo-rozwojowej, oraz dla stosowania przepisów dotyczących piaskownic regulacyjnych w zakresie AI i testów w warunkach rzeczywistych. Ponadto bez uszczerbku dla wyłączenia systemów AI rozwiniętych i oddanych do użytku wyłącznie do celów badań naukowych i rozwojowych, wszelkie inne systemy AI, które mogą być wykorzystywane do prowadzenia wszelkiej działalności badawczo-rozwojowej, powinny podlegać przepisom niniejszego rozporządzenia. W każdym przypadku wszelka działalność badawczo-rozwojowa powinna być prowadzona zgodnie z uznanymi normami etycznymi i zawodowymi dotyczącymi badań naukowych oraz zgodnie z mającym zastosowanie prawem Unii.
(25)
This Regulation should support innovation, should respect freedom of science, and should not undermine research and development activity. It is therefore necessary to exclude from its scope AI systems and models specifically developed and put into service for the sole purpose of scientific research and development. Moreover, it is necessary to ensure that this Regulation does not otherwise affect scientific research and development activity on AI systems or models prior to being placed on the market or put into service. As regards product-oriented research, testing and development activity regarding AI systems or models, the provisions of this Regulation should also not apply prior to those systems and models being put into service or placed on the market. That exclusion is without prejudice to the obligation to comply with this Regulation where an AI system falling into the scope of this Regulation is placed on the market or put into service as a result of such research and development activity and to the application of provisions on AI regulatory sandboxes and testing in real world conditions. Furthermore, without prejudice to the exclusion of AI systems specifically developed and put into service for the sole purpose of scientific research and development, any other AI system that may be used for the conduct of any research and development activity should remain subject to the provisions of this Regulation. In any event, any research and development activity should be carried out in accordance with recognised ethical and professional standards for scientific research and should be conducted in accordance with applicable Union law.
(26)
Aby wprowadzić proporcjonalny i skuteczny zbiór wiążących przepisów dotyczących systemów AI, należy zastosować jasno określone podejście oparte na analizie ryzyka. Takie podejście powinno polegać na dostosowywaniu rodzaju i treści takich przepisów do intensywności i zakresu ryzyka, jakie mogą powodować systemy AI. Konieczne jest zatem wprowadzenie zakazu stosowania niektórych niedopuszczalnych praktyk w zakresie AI, ustanowienie wymogów dotyczących systemów AI wysokiego ryzyka i obowiązków spoczywających na odpowiednich operatorach oraz ustanowienie obowiązków w zakresie przejrzystości w odniesieniu do niektórych systemów AI.
(26)
In order to introduce a proportionate and effective set of binding rules for AI systems, a clearly defined risk-based approach should be followed. That approach should tailor the type and content of such rules to the intensity and scope of the risks that AI systems can generate. It is therefore necessary to prohibit certain unacceptable AI practices, to lay down requirements for high-risk AI systems and obligations for the relevant operators, and to lay down transparency obligations for certain AI systems.
(27)
Chociaż podstawą proporcjonalnego i skutecznego zbioru wiążących przepisów jest podejście oparte na analizie ryzyka, należy przypomnieć Wytyczne w zakresie etyki dotyczące godnej zaufania sztucznej inteligencji z 2019 r. opracowane przez niezależną grupę ekspertów wysokiego szczebla ds. AI powołaną przez Komisję. W tych wytycznych grupa ekspertów wysokiego szczebla ds. AI opracowała siedem niewiążących zasad etycznych dotyczących AI, które mają pomóc zapewnić, aby AI była godna zaufania i zgodna z normami etycznymi. Te siedem zasad to: przewodnia i nadzorcza rola człowieka; solidność techniczna i bezpieczeństwo; ochrona prywatności i zarządzanie danymi; przejrzystość; różnorodność, niedyskryminacja i sprawiedliwość; dobrostan społeczny i środowiskowy oraz odpowiedzialność. Bez uszczerbku dla prawnie wiążących wymogów niniejszego rozporządzenia i wszelkich innych mających zastosowanie przepisów prawa Unii, wytyczne te przyczyniają się do zaprojektowania spójnej, wiarygodnej i zorientowanej na człowieka AI, zgodnie z Kartą i wartościami, na których opiera się Unia. Zgodnie z wytycznymi grupy ekspertów wysokiego szczebla ds. AI przewodnia i nadzorcza rola człowieka oznacza, że systemy AI rozwija się i wykorzystuje jako narzędzia służące ludziom, szanujące godność ludzką i autonomię osobistą oraz działające w sposób, który może być odpowiednio kontrolowany i nadzorowany przez człowieka. Solidność techniczna i bezpieczeństwo oznaczają, że systemy AI rozwija się i wykorzystuje w taki sposób, by okazały się wytrzymałe w przypadku wystąpienia problemów oraz odporne na próby zmiany ich wykorzystania lub skuteczności działania, co pozwoli zapobiec bezprawnemu wykorzystaniu przez osoby trzecie i zminimalizować niezamierzone szkody. Ochrona prywatności i zarządzanie danymi oznaczają, że systemy AI rozwija się i wykorzystuje zgodnie z przepisami dotyczącymi prywatności i ochrony danych, przy czym przetwarzanie danych spełnia wysokie standardy pod względem jakości i integralności. Przejrzystość oznacza, że systemy AI rozwija się i wykorzystuje w sposób umożliwiający odpowiednią identyfikowalność i wytłumaczalność, jednocześnie informując ludzi o tym, że komunikują się z systemem AI lub podejmują z nim interakcję, a także należycie informując podmioty stosujące o zdolnościach i ograniczeniach tego systemu AI, a osoby, na które AI ma wpływ, o przysługujących im prawach. Różnorodność, niedyskryminacja i sprawiedliwość oznaczają, że systemy AI rozwija się i wykorzystuje w sposób, który angażuje różne podmioty i propaguje równy dostęp, równouprawnienie płci i różnorodność kulturową, jednocześnie unikając dyskryminujących skutków i niesprawiedliwej stronniczości, których zakazują prawo Unii lub prawo krajowe. Dobrostan społeczny i środowiskowy oznacza, że systemy AI rozwija się i wykorzystuje w sposób zrównoważony, przyjazny dla środowiska i przynoszący korzyści wszystkim ludziom, jednocześnie monitorując i oceniając długoterminowy wpływ tych systemów na osoby fizyczne, społeczeństwo i demokrację. Stosowanie tych zasad powinno w miarę możliwości znaleźć odzwierciedlenie w projektowaniu i wykorzystywaniu modeli AI. Zasady te powinny w każdym przypadku stanowić fundament przy opracowywaniu kodeksów postępowania na podstawie niniejszego rozporządzenia. Wszystkie zainteresowane strony, w tym przedstawicieli przemysłu, środowisko akademickie, społeczeństwo obywatelskie i organizacje normalizacyjne, zachęca się, by przy opracowywaniu dobrowolnych najlepszych praktyk i norm uwzględniali odpowiednio przedmiotowe zasady etyczne.
(27)
While the risk-based approach is the basis for a proportionate and effective set of binding rules, it is important to recall the 2019 Ethics guidelines for trustworthy AI developed by the independent AI HLEG appointed by the Commission. In those guidelines, the AI HLEG developed seven non-binding ethical principles for AI which are intended to help ensure that AI is trustworthy and ethically sound. The seven principles include human agency and oversight; technical robustness and safety; privacy and data governance; transparency; diversity, non-discrimination and fairness; societal and environmental well-being and accountability. Without prejudice to the legally binding requirements of this Regulation and any other applicable Union law, those guidelines contribute to the design of coherent, trustworthy and human-centric AI, in line with the Charter and with the values on which the Union is founded. According to the guidelines of the AI HLEG, human agency and oversight means that AI systems are developed and used as a tool that serves people, respects human dignity and personal autonomy, and that is functioning in a way that can be appropriately controlled and overseen by humans. Technical robustness and safety means that AI systems are developed and used in a way that allows robustness in the case of problems and resilience against attempts to alter the use or performance of the AI system so as to allow unlawful use by third parties, and minimise unintended harm. Privacy and data governance means that AI systems are developed and used in accordance with privacy and data protection rules, while processing data that meets high standards in terms of quality and integrity. Transparency means that AI systems are developed and used in a way that allows appropriate traceability and explainability, while making humans aware that they communicate or interact with an AI system, as well as duly informing deployers of the capabilities and limitations of that AI system and affected persons about their rights. Diversity, non-discrimination and fairness means that AI systems are developed and used in a way that includes diverse actors and promotes equal access, gender equality and cultural diversity, while avoiding discriminatory impacts and unfair biases that are prohibited by Union or national law. Social and environmental well-being means that AI systems are developed and used in a sustainable and environmentally friendly manner as well as in a way to benefit all human beings, while monitoring and assessing the long-term impacts on the individual, society and democracy. The application of those principles should be translated, when possible, in the design and use of AI models. They should in any case serve as a basis for the drafting of codes of conduct under this Regulation. All stakeholders, including industry, academia, civil society and standardisation organisations, are encouraged to take into account, as appropriate, the ethical principles for the development of voluntary best practices and standards.
(28)
Oprócz wielu korzystnych zastosowań AI może ona być również wykorzystywana niewłaściwie i może dostarczać nowych i potężnych narzędzi do praktyk manipulacji, wyzyskiwania i kontroli społecznej. Takie praktyki są szczególnie szkodliwe i stanowią nadużycie i powinny być zakazane, ponieważ są sprzeczne z unijnymi wartościami dotyczącymi poszanowania godności ludzkiej, wolności, równości, demokracji i praworządności oraz z prawami podstawowymi zapisanymi w Karcie, w tym z prawem do niedyskryminacji, ochrony danych i prywatności oraz z prawami dziecka.
(28)
Aside from the many beneficial uses of AI, it can also be misused and provide novel and powerful tools for manipulative, exploitative and social control practices. Such practices are particularly harmful and abusive and should be prohibited because they contradict Union values of respect for human dignity, freedom, equality, democracy and the rule of law and fundamental rights enshrined in the Charter, including the right to non-discrimination, to data protection and to privacy and the rights of the child.
(29)
Techniki manipulacyjne oparte na AI mogą być wykorzystywane w celu nakłaniania osób do niepożądanych zachowań lub w celu wprowadzania ich w błąd poprzez skłanianie ich do podejmowania decyzji w sposób, który podważa i ogranicza ich autonomię, decyzyjność i swobodę wyboru. Wprowadzanie do obrotu, oddawanie do użytku lub wykorzystywanie niektórych systemów AI, których celem lub skutkiem jest znacząca zmiana ludzkiego zachowania, w związku z czym mogą wystąpić poważne szkody, w szczególności mające wystarczająco istotny niepożądany wpływ na zdrowie fizyczne, psychiczne lub na interesy finansowe, są szczególnie niebezpieczne i w związku z tym powinny być zakazane. Takie systemy AI wykorzystują elementy działające podprogowo, takie jak bodźce dźwiękowe, bodźce będące obrazami lub materiałami wideo, których nie można dostrzec, ponieważ bodźce takie wykraczają poza świadomą ludzką percepcję, lub stosują inne techniki manipulacyjne lub wprowadzające w błąd, które podważają lub ograniczają autonomię człowieka, decyzyjność lub swobodę wyboru w taki sposób, że osoby nie są świadome takich technik lub nawet jeśli są ich świadome, mogą zostać wprowadzone w błąd lub nie są w stanie sprawować nad nimi kontroli ani im się sprzeciwić. Przyczyniać się do tego mogą na przykład interfejsy maszyna-mózg lub rzeczywistość wirtualna, ponieważ pozwalają one na większą kontrolę nad tym, jakim bodźcom są poddawane osoby, do tego stopnia, że mogą one znacząco zmieniać zachowanie tych osób w sposób znacząco szkodliwy. Ponadto systemy AI mogą również w inny sposób wykorzystywać słabości danej osoby lub określonej grupy osób ze względu na ich wiek, niepełnosprawność w rozumieniu dyrektywy Parlamentu Europejskiego i Rady (UE) 2019/882 (16) lub szczególną sytuację społeczną lub ekonomiczną, która może sprawić, że osoby te, takie jak osoby żyjące w skrajnym ubóstwie, osoby z mniejszości etnicznych lub religijnych, będą bardziej narażone na ich wykorzystanie. Takie systemy AI mogą być wprowadzane do obrotu, oddawane do użytku lub wykorzystywane w celu lub ze skutkiem znaczącej zmiany zachowania danej osoby, oraz w sposób, który wyrządza lub może z uzasadnionym prawdopodobieństwem wyrządzić poważną szkodę tej osoby lub innej osoby lub grupy osób, w tym szkody kumulujące się z biegiem czasu, i w związku z tym powinny być zakazane. Nie można zakładać, że zaistniał zamiar dokonania zmiany zachowania, jeżeli zmiana ta wynika z czynników, które mają charakter zewnętrzny w stosunku do systemu AI i które są poza kontrolą dostawcy lub podmiotu stosującego, a zatem ani dostawca ani podmiot stosujący AI nie mogą ich racjonalnie przewidzieć ani im przeciwdziałać. W każdym razie nie ma znaczenia, czy dostawca lub podmiot stosujący mieli zamiar wyrządzić poważną szkodę, istotny jest fakt, że szkoda wynika z praktyk manipulacyjnych opartych na AI lub ich wykorzystywania. Zakazy dotyczące takich praktyk w zakresie AI stanowią uzupełnienie przepisów zawartych w dyrektywie Parlamentu Europejskiego i Rady 2005/29/WE (17), w szczególności przepisu zakazującego stosowania we wszelkich okolicznościach nieuczciwych praktyk handlowych powodujących dla konsumentów szkody ekonomiczne lub finansowe, niezależnie od tego, czy praktyki te stosuje się za pomocą systemów AI czy w innym kontekście. Zawarty w niniejszym rozporządzeniu zakaz praktyk polegających na manipulacji lub wykorzystywaniu nie powinien mieć wpływu na zgodne z prawem praktyki w kontekście leczenia, takie jak terapia psychologiczna w związku z chorobą psychiczną lub rehabilitacja fizyczna, gdy praktyki te są prowadzone zgodnie z mającymi zastosowanie prawem i normami medycznymi, na przykład za wyraźną zgodą danej osoby fizycznej lub jej przedstawiciela prawnego. Ponadto powszechne i zasadne praktyki handlowe, na przykład w dziedzinie reklamy, które są zgodne z mającym zastosowanie prawem, nie powinny być same w sobie uznawane za szkodliwe praktyki manipulacyjne oparte na AI.
(29)
AI-enabled manipulative techniques can be used to persuade persons to engage in unwanted behaviours, or to deceive them by nudging them into decisions in a way that subverts and impairs their autonomy, decision-making and free choices. The placing on the market, the putting into service or the use of certain AI systems with the objective to or the effect of materially distorting human behaviour, whereby significant harms, in particular having sufficiently important adverse impacts on physical, psychological health or financial interests are likely to occur, are particularly dangerous and should therefore be prohibited. Such AI systems deploy subliminal components such as audio, image, video stimuli that persons cannot perceive, as those stimuli are beyond human perception, or other manipulative or deceptive techniques that subvert or impair person’s autonomy, decision-making or free choice in ways that people are not consciously aware of those techniques or, where they are aware of them, can still be deceived or are not able to control or resist them. This could be facilitated, for example, by machine-brain interfaces or virtual reality as they allow for a higher degree of control of what stimuli are presented to persons, insofar as they may materially distort their behaviour in a significantly harmful manner. In addition, AI systems may also otherwise exploit the vulnerabilities of a person or a specific group of persons due to their age, disability within the meaning of Directive (EU) 2019/882 of the European Parliament and of the Council (16), or a specific social or economic situation that is likely to make those persons more vulnerable to exploitation such as persons living in extreme poverty, ethnic or religious minorities. Such AI systems can be placed on the market, put into service or used with the objective to or the effect of materially distorting the behaviour of a person and in a manner that causes or is reasonably likely to cause significant harm to that or another person or groups of persons, including harms that may be accumulated over time and should therefore be prohibited. It may not be possible to assume that there is an intention to distort behaviour where the distortion results from factors external to the AI system which are outside the control of the provider or the deployer, namely factors that may not be reasonably foreseeable and therefore not possible for the provider or the deployer of the AI system to mitigate. In any case, it is not necessary for the provider or the deployer to have the intention to cause significant harm, provided that such harm results from the manipulative or exploitative AI-enabled practices. The prohibitions for such AI practices are complementary to the provisions contained in Directive 2005/29/EC of the European Parliament and of the Council (17), in particular unfair commercial practices leading to economic or financial harms to consumers are prohibited under all circumstances, irrespective of whether they are put in place through AI systems or otherwise. The prohibitions of manipulative and exploitative practices in this Regulation should not affect lawful practices in the context of medical treatment such as psychological treatment of a mental disease or physical rehabilitation, when those practices are carried out in accordance with the applicable law and medical standards, for example explicit consent of the individuals or their legal representatives. In addition, common and legitimate commercial practices, for example in the field of advertising, that comply with the applicable law should not, in themselves, be regarded as constituting harmful manipulative AI-enabled practices.
(30)
Należy zakazać stosowania systemów kategoryzacji biometrycznej, które opierają się na danych biometrycznych osób fizycznych, takich jak twarz lub odciski palców danej osoby, w celu wydedukowania lub wywnioskowania informacji na temat opinii politycznych, przynależności do związków zawodowych, przekonań religijnych lub filozoficznych, rasy, życia seksualnego lub orientacji seksualnej danej osoby. Zakaz ten nie powinien obejmować zgodnego z prawem etykietowania, filtrowania lub kategoryzacji zbiorów danych biometrycznych, pozyskanych zgodnie z prawem Unii lub prawem krajowym, według danych biometrycznych, takiego jak sortowanie obrazów według koloru włosów lub koloru oczu, które można na przykład wykorzystać w obszarze ścigania przestępstw.
(30)
Biometric categorisation systems that are based on natural persons’ biometric data, such as an individual person’s face or fingerprint, to deduce or infer an individuals’ political opinions, trade union membership, religious or philosophical beliefs, race, sex life or sexual orientation should be prohibited. That prohibition should not cover the lawful labelling, filtering or categorisation of biometric data sets acquired in line with Union or national law according to biometric data, such as the sorting of images according to hair colour or eye colour, which can for example be used in the area of law enforcement.
(31)
Systemy AI, które umożliwiają prowadzenie przez podmioty publiczne lub prywatne scoringu społecznego, mogą prowadzić do wyników stanowiących dyskryminację i do wykluczenia pewnych grup. Mogą one naruszać prawo do godności i niedyskryminacji oraz wartości, jakimi są równość i sprawiedliwość. Takie systemy AI oceniają lub klasyfikują osoby fizyczne lub grupy osób fizycznych na podstawie wielu punktów danych dotyczących ich zachowań społecznych w wielu kontekstach lub na podstawie znanych, wywnioskowanych lub przewidywanych cech osobistych lub cech osobowości w określonych przedziałach czasowych. Scoring społeczny uzyskany w rezultacie działania takich systemów AI może prowadzić do krzywdzącego lub niekorzystnego traktowania osób fizycznych lub całych grup osób fizycznych w kontekstach społecznych, które nie są związane z kontekstem, w którym pierwotnie wygenerowano lub zgromadzono dane, lub do krzywdzącego traktowania, które jest nieproporcjonalne lub nieuzasadnione w stosunku do wagi ich zachowań społecznych. Należy zatem zakazać systemów AI, w których stosuje się takie niedopuszczalne praktyki scoringu, które przynoszą takie krzywdzące lub niekorzystne wyniki. Zakaz ten nie powinien mieć wpływu na zgodne z prawem praktyki oceny osób fizycznych, które są stosowane w konkretnym celu zgodnie z prawem Unii i prawem krajowym.
(31)
AI systems providing social scoring of natural persons by public or private actors may lead to discriminatory outcomes and the exclusion of certain groups. They may violate the right to dignity and non-discrimination and the values of equality and justice. Such AI systems evaluate or classify natural persons or groups thereof on the basis of multiple data points related to their social behaviour in multiple contexts or known, inferred or predicted personal or personality characteristics over certain periods of time. The social score obtained from such AI systems may lead to the detrimental or unfavourable treatment of natural persons or whole groups thereof in social contexts, which are unrelated to the context in which the data was originally generated or collected or to a detrimental treatment that is disproportionate or unjustified to the gravity of their social behaviour. AI systems entailing such unacceptable scoring practices and leading to such detrimental or unfavourable outcomes should therefore be prohibited. That prohibition should not affect lawful evaluation practices of natural persons that are carried out for a specific purpose in accordance with Union and national law.
(32)
Wykorzystanie systemów AI do zdalnej identyfikacji biometrycznej osób fizycznych w czasie rzeczywistym w przestrzeni publicznej w celu ścigania przestępstw szczególnie ingeruje w prawa i wolności zainteresowanych osób, do tego stopnia że może ono wpływać na życie prywatne dużej części społeczeństwa, wywoływać poczucie stałego nadzoru i pośrednio zniechęcać do korzystania z wolności zgromadzeń i innych praw podstawowych. Techniczne niedokładności systemów AI przeznaczonych do zdalnej identyfikacji biometrycznej osób fizycznych mogą prowadzić do nieobiektywnych wyników i wywoływać skutki w postaci dyskryminacji. Takie ewentualne nieobiektywne wyniki i skutki w postaci dyskryminacji są szczególnie istotne w odniesieniu do wieku, pochodzenia etnicznego, rasy, płci lub niepełnosprawności. Ponadto bezpośredniość oddziaływania i ograniczone możliwości późniejszej kontroli lub korekty wykorzystania takich systemów działających w czasie rzeczywistym niosą ze sobą zwiększone ryzyko dla praw i wolności osób zainteresowanych w związku z działaniami organów ścigania lub na które działania te miały wpływ.
(32)
The use of AI systems for ‘real-time’ remote biometric identification of natural persons in publicly accessible spaces for the purpose of law enforcement is particularly intrusive to the rights and freedoms of the concerned persons, to the extent that it may affect the private life of a large part of the population, evoke a feeling of constant surveillance and indirectly dissuade the exercise of the freedom of assembly and other fundamental rights. Technical inaccuracies of AI systems intended for the remote biometric identification of natural persons can lead to biased results and entail discriminatory effects. Such possible biased results and discriminatory effects are particularly relevant with regard to age, ethnicity, race, sex or disabilities. In addition, the immediacy of the impact and the limited opportunities for further checks or corrections in relation to the use of such systems operating in real-time carry heightened risks for the rights and freedoms of the persons concerned in the context of, or impacted by, law enforcement activities.
(33)
Wykorzystanie tych systemów w celu ścigania przestępstw powinno zatem być zabronione, z wyjątkiem wyczerpującej listy wąsko zdefiniowanych sytuacji, w których wykorzystanie to jest bezwzględnie konieczne do realizacji istotnego interesu publicznego, którego waga przeważa nad ryzykiem. Sytuacje te obejmują poszukiwanie określonych ofiar przestępstw, w tym osób zaginionych; zapobieganie niektórym zagrożeniom życia lub bezpieczeństwa fizycznego osób fizycznych lub atakowi terrorystycznemu; oraz lokalizowanie lub identyfikowanie sprawców przestępstw lub podejrzanych o popełnienie przestępstw wymienionych w załączniku do niniejszego rozporządzenia, w przypadku gdy przestępstwa te podlegają w danym państwie członkowskim karze pozbawienia wolności lub środkowi polegającemu na pozbawieniu wolności przez okres, którego górna granica wynosi co najmniej cztery lata, zgodnie z ich definicją w prawie tego państwa członkowskiego. Taki próg kary pozbawienia wolności lub środka polegającego na pozbawieniu wolności zgodnie z prawem krajowym pozwala zapewnić, aby przestępstwo było na tyle poważne, by potencjalnie uzasadniać wykorzystanie systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym. Ponadto wykaz przestępstw przedstawiony w załączniku do niniejszego rozporządzenia opiera się na 32 przestępstwach wymienionych w decyzji ramowej Rady 2002/584/WSiSW (18), biorąc pod uwagę, że niektóre z tych przestępstw mogą w praktyce mieć większe znaczenie niż inne, ponieważ można przewidzieć, że korzystanie ze zdalnej identyfikacji biometrycznej w czasie rzeczywistym może być w bardzo różnym stopniu konieczne i proporcjonalne do praktycznych celów lokalizowania lub identyfikowania sprawcy poszczególnych wymienionych przestępstw lub podejrzanego o popełnienie tych przestępstw, przy uwzględnieniu prawdopodobnych różnic w odniesieniu do powagi, prawdopodobieństwa i skali szkody lub ewentualnych negatywnych konsekwencji. Bezpośrednie zagrożenie życia lub bezpieczeństwa fizycznego osób fizycznych może również wynikać z poważnego zakłócenia funkcjonowania infrastruktury krytycznej zdefiniowanej w art. 2 pkt 4 dyrektywy Parlamentu Europejskiego i Rady (UE) 2022/2557 (19), w przypadku gdy zakłócenie lub zniszczenie takiej infrastruktury krytycznej spowodowałoby bezpośrednie zagrożenie życia lub bezpieczeństwa fizycznego osoby, w tym poprzez poważną szkodę w dostarczaniu podstawowych dostaw dla ludności lub w wykonywaniu podstawowych funkcji państwa. Ponadto niniejsze rozporządzenie powinno utrzymać możliwość przeprowadzania przez organy ścigania, organy kontroli granicznej, organy imigracyjne lub organy azylowe kontroli tożsamości w obecności danej osoby zgodnie z warunkami określonymi w prawie Unii i prawie krajowym w odniesieniu do takich kontroli. W szczególności organy ścigania, organy kontroli granicznej, organy imigracyjne lub organy azylowe powinny mieć możliwość korzystania z systemów informacyjnych, zgodnie z prawem Unii lub prawem krajowym, w celu zidentyfikowania osób, które podczas kontroli tożsamości odmawiają identyfikacji lub nie są w stanie podać lub dowieść swojej tożsamości – bez konieczności uzyskiwania uprzedniego zezwolenia na podstawie niniejszego rozporządzenia. Może to na przykład dotyczyć osoby mającej związek z przestępstwem, która nie chce lub – w wyniku wypadku lub z powodu stanu zdrowia – nie jest w stanie ujawnić swojej tożsamości organom ścigania.
(33)
The use of those systems for the purpose of law enforcement should therefore be prohibited, except in exhaustively listed and narrowly defined situations, where the use is strictly necessary to achieve a substantial public interest, the importance of which outweighs the risks. Those situations involve the search for certain victims of crime including missing persons; certain threats to the life or to the physical safety of natural persons or of a terrorist attack; and the localisation or identification of perpetrators or suspects of the criminal offences listed in an annex to this Regulation, where those criminal offences are punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years and as they are defined in the law of that Member State. Such a threshold for the custodial sentence or detention order in accordance with national law contributes to ensuring that the offence should be serious enough to potentially justify the use of ‘real-time’ remote biometric identification systems. Moreover, the list of criminal offences provided in an annex to this Regulation is based on the 32 criminal offences listed in the Council Framework Decision 2002/584/JHA (18), taking into account that some of those offences are, in practice, likely to be more relevant than others, in that the recourse to ‘real-time’ remote biometric identification could, foreseeably, be necessary and proportionate to highly varying degrees for the practical pursuit of the localisation or identification of a perpetrator or suspect of the different criminal offences listed and having regard to the likely differences in the seriousness, probability and scale of the harm or possible negative consequences. An imminent threat to life or the physical safety of natural persons could also result from a serious disruption of critical infrastructure, as defined in Article 2, point (4) of Directive (EU) 2022/2557 of the European Parliament and of the Council (19), where the disruption or destruction of such critical infrastructure would result in an imminent threat to life or the physical safety of a person, including through serious harm to the provision of basic supplies to the population or to the exercise of the core function of the State. In addition, this Regulation should preserve the ability for law enforcement, border control, immigration or asylum authorities to carry out identity checks in the presence of the person concerned in accordance with the conditions set out in Union and national law for such checks. In particular, law enforcement, border control, immigration or asylum authorities should be able to use information systems, in accordance with Union or national law, to identify persons who, during an identity check, either refuse to be identified or are unable to state or prove their identity, without being required by this Regulation to obtain prior authorisation. This could be, for example, a person involved in a crime, being unwilling, or unable due to an accident or a medical condition, to disclose their identity to law enforcement authorities.
(34)
W celu zapewnienia, aby systemy te były wykorzystywane w sposób odpowiedzialny i proporcjonalny, należy również zastrzec, że w każdej z tych wąsko zdefiniowanych sytuacji z wyczerpującej listy należy uwzględniać pewne elementy, w szczególności charakter sytuacji, która skutkowała złożeniem wniosku, wpływ wykorzystania takich systemów na prawa i wolności wszystkich zainteresowanych osób, a także zabezpieczenia i warunki przewidziane na potrzeby wykorzystania takich systemów. Ponadto wykorzystanie systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej w celu ścigania przestępstw powinno mieć miejsce jedynie, by potwierdzić tożsamość konkretnej poszukiwanej osoby, i nie powinno wykraczać poza to, co jest bezwzględnie konieczne w odniesieniu do przedziału czasowego, a także zakresu geograficznego i podmiotowego, z uwzględnieniem w szczególności dowodów lub wskazówek dotyczących zagrożeń, ofiar lub sprawcy. Wykorzystanie systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej powinno być dozwolone tylko wtedy, gdy odpowiedni organ ścigania przeprowadził ocenę skutków dla praw podstawowych oraz, o ile niniejsze rozporządzenie nie stanowi inaczej, zarejestrował system w bazie danych, jak określono w niniejszym rozporządzeniu. Referencyjna baza danych osób powinna być odpowiednia dla każdego przypadku wykorzystania w każdej z wyżej wymienionych sytuacji.
(34)
In order to ensure that those systems are used in a responsible and proportionate manner, it is also important to establish that, in each of those exhaustively listed and narrowly defined situations, certain elements should be taken into account, in particular as regards the nature of the situation giving rise to the request and the consequences of the use for the rights and freedoms of all persons concerned and the safeguards and conditions provided for with the use. In addition, the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement should be deployed only to confirm the specifically targeted individual’s identity and should be limited to what is strictly necessary concerning the period of time, as well as the geographic and personal scope, having regard in particular to the evidence or indications regarding the threats, the victims or perpetrator. The use of the real-time remote biometric identification system in publicly accessible spaces should be authorised only if the relevant law enforcement authority has completed a fundamental rights impact assessment and, unless provided otherwise in this Regulation, has registered the system in the database as set out in this Regulation. The reference database of persons should be appropriate for each use case in each of the situations mentioned above.
(35)
Każde wykorzystanie systemu zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej w celu ścigania przestępstw powinno wymagać wyraźnego i szczególnego zezwolenia wydanego przez organ wymiaru sprawiedliwości lub niezależny organ administracyjny państwa członkowskiego, którego decyzje są wiążące. Takie zezwolenie należy co do zasady uzyskać przed wykorzystaniem systemu AI w celu zidentyfikowania osoby lub osób. Wyjątki od tej zasady powinny być dozwolone w należycie uzasadnionych sytuacjach nadzwyczajnych, to znaczy w sytuacjach, w których potrzeba wykorzystania danego systemu jest na tyle duża, że uzyskanie zezwolenia przed rozpoczęciem korzystania z tego systemu AI jest faktycznie i obiektywnie niemożliwe. W takich sytuacjach nadzwyczajnych wykorzystanie systemu AI powinno być ograniczone do bezwzględnie niezbędnego minimum i powinno podlegać odpowiednim zabezpieczeniom i warunkom określonym w prawie krajowym i sprecyzowanym przez sam organ ścigania w kontekście każdego przypadku nadzwyczajnego wykorzystania. Ponadto organ ścigania powinien w takich sytuacjach wystąpić o takie zezwolenie, podając powody, dla których nie był w stanie wystąpić o nie wcześniej, bez zbędnej zwłoki i nie później niż w ciągu 24 godzin. W przypadku odmowy udzielenia takiego zezwolenia wykorzystywanie systemów identyfikacji biometrycznej w czasie rzeczywistym powiązanych z tym zezwoleniem powinno zostać wstrzymane ze skutkiem natychmiastowym, a wszystkie dane związane z takim wykorzystaniem powinny zostać odrzucone i usunięte. Dane takie obejmują dane wejściowe uzyskane bezpośrednio przez system AI w trakcie korzystania z takiego systemu, a także związane z tym zezwoleniem rezultaty i wyniki uzyskane podczas tego wykorzystania. Powyższe nie powinno mieć zastosowania do danych wejściowych uzyskanych legalnie zgodnie z innymi przepisami prawa Unii lub prawa krajowego. W każdym przypadku żadnej decyzji wywołującej niepożądane skutki prawne dla osoby nie należy podejmować wyłącznie na podstawie wyników uzyskanych z systemu zdalnej identyfikacji biometrycznej.
(35)
Each use of a ‘real-time’ remote biometric identification system in publicly accessible spaces for the purpose of law enforcement should be subject to an express and specific authorisation by a judicial authority or by an independent administrative authority of a Member State whose decision is binding. Such authorisation should, in principle, be obtained prior to the use of the AI system with a view to identifying a person or persons. Exceptions to that rule should be allowed in duly justified situations on grounds of urgency, namely in situations where the need to use the systems concerned is such as to make it effectively and objectively impossible to obtain an authorisation before commencing the use of the AI system. In such situations of urgency, the use of the AI system should be restricted to the absolute minimum necessary and should be subject to appropriate safeguards and conditions, as determined in national law and specified in the context of each individual urgent use case by the law enforcement authority itself. In addition, the law enforcement authority should in such situations request such authorisation while providing the reasons for not having been able to request it earlier, without undue delay and at the latest within 24 hours. If such an authorisation is rejected, the use of real-time biometric identification systems linked to that authorisation should cease with immediate effect and all the data related to such use should be discarded and deleted. Such data includes input data directly acquired by an AI system in the course of the use of such system as well as the results and outputs of the use linked to that authorisation. It should not include input that is legally acquired in accordance with another Union or national law. In any case, no decision producing an adverse legal effect on a person should be taken based solely on the output of the remote biometric identification system.
(36)
Aby umożliwić odpowiednim organom nadzoru rynku i krajowym organom ochrony danych wykonywanie ich zadań zgodnie z wymogami ustanowionymi w niniejszym rozporządzeniu oraz w przepisach krajowych, należy powiadamiać je o każdym wykorzystaniu systemu identyfikacji biometrycznej w czasie rzeczywistym. Organy nadzoru rynku i krajowe organy ochrony danych, które otrzymały powiadomienie, powinny przedkładać Komisji roczne sprawozdanie na temat wykorzystania systemów identyfikacji biometrycznej w czasie rzeczywistym.
(36)
In order to carry out their tasks in accordance with the requirements set out in this Regulation as well as in national rules, the relevant market surveillance authority and the national data protection authority should be notified of each use of the real-time biometric identification system. Market surveillance authorities and the national data protection authorities that have been notified should submit to the Commission an annual report on the use of real-time biometric identification systems.
(37)
Ponadto należy zapewnić, z zastosowaniem wyczerpujących ram określonych w niniejszym rozporządzeniu, aby takie wykorzystanie na terytorium państwa członkowskiego zgodnie z niniejszym rozporządzeniem było możliwe tylko wówczas, gdy – i w zakresie, w jakim – dane państwo członkowskie postanowiło wyraźnie przewidzieć możliwość zezwolenia na takie wykorzystanie w swoich szczegółowych przepisach prawa krajowego. W związku z tym państwa członkowskie mogą na mocy niniejszego rozporządzenia w ogóle nie przewidywać takiej możliwości lub przewidzieć ją jedynie w odniesieniu do niektórych celów mogących uzasadniać dozwolone wykorzystanie, określonych w niniejszym rozporządzeniu. Komisja powinna zostać powiadomiona o takich przepisach krajowych w terminie 30 dni od ich przyjęcia.
(37)
Furthermore, it is appropriate to provide, within the exhaustive framework set by this Regulation that such use in the territory of a Member State in accordance with this Regulation should only be possible where and in as far as the Member State concerned has decided to expressly provide for the possibility to authorise such use in its detailed rules of national law. Consequently, Member States remain free under this Regulation not to provide for such a possibility at all or to only provide for such a possibility in respect of some of the objectives capable of justifying authorised use identified in this Regulation. Such national rules should be notified to the Commission within 30 days of their adoption.
(38)
Wykorzystanie systemów AI do zdalnej identyfikacji biometrycznej osób fizycznych w czasie rzeczywistym w przestrzeni publicznej w celu ścigania przestępstw nieuchronnie wiąże się z przetwarzaniem danych biometrycznych. Przepisy niniejszego rozporządzenia zakazujące, z zastrzeżeniem pewnych wyjątków, takiego wykorzystywania, a których podstawę stanowi art. 16 TFUE, powinny mieć zastosowanie jako lex specialis w odniesieniu do przepisów dotyczących przetwarzania danych biometrycznych zawartych w art. 10 dyrektywy (UE) 2016/680, regulując tym samym w sposób wyczerpujący takie wykorzystywanie i przetwarzanie wspomnianych danych biometrycznych. W związku z tym takie wykorzystywanie i przetwarzanie powinno być możliwe wyłącznie w zakresie, w jakim jest zgodne z ramami określonymi w niniejszym rozporządzeniu, przy czym wykorzystywanie takich systemów i przetwarzanie takich danych przez właściwe organy – gdy działają w celu ścigania przestępstw – w oparciu o przesłanki wymienione w art. 10 dyrektywy (UE) 2016/680 może mieć miejsce wyłącznie w granicach wyznaczonych przez te ramy. W tym kontekście niniejsze rozporządzenie nie ma na celu ustanowienia podstawy prawnej do przetwarzania danych osobowych na podstawie art. 8 dyrektywy (UE) 2016/680. Wykorzystywanie systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów innych niż ściganie przestępstw, w tym przez właściwe organy, nie powinno być jednak objęte szczególnymi ramami dotyczącymi takiego wykorzystywania w celu ścigania przestępstw, określonymi w niniejszym rozporządzeniu. Takie wykorzystywanie do celów innych niż ściganie przestępstw nie powinno zatem podlegać wymogowi uzyskania zezwolenia na mocy niniejszego rozporządzenia ani obowiązującym szczegółowym przepisom prawa krajowego, które mogą stanowić podstawę ubiegania się o takie zezwolenie.
(38)
The use of AI systems for real-time remote biometric identification of natural persons in publicly accessible spaces for the purpose of law enforcement necessarily involves the processing of biometric data. The rules of this Regulation that prohibit, subject to certain exceptions, such use, which are based on Article 16 TFEU, should apply as lex specialis in respect of the rules on the processing of biometric data contained in Article 10 of Directive (EU) 2016/680, thus regulating such use and the processing of biometric data involved in an exhaustive manner. Therefore, such use and processing should be possible only in as far as it is compatible with the framework set by this Regulation, without there being scope, outside that framework, for the competent authorities, where they act for purpose of law enforcement, to use such systems and process such data in connection thereto on the grounds listed in Article 10 of Directive (EU) 2016/680. In that context, this Regulation is not intended to provide the legal basis for the processing of personal data under Article 8 of Directive (EU) 2016/680. However, the use of real-time remote biometric identification systems in publicly accessible spaces for purposes other than law enforcement, including by competent authorities, should not be covered by the specific framework regarding such use for the purpose of law enforcement set by this Regulation. Such use for purposes other than law enforcement should therefore not be subject to the requirement of an authorisation under this Regulation and the applicable detailed rules of national law that may give effect to that authorisation.
(39)
Wszelkie przetwarzanie danych biometrycznych i innych danych osobowych związane z wykorzystaniem systemów AI do identyfikacji biometrycznej, inne niż w związku z wykorzystywaniem systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej w celu ścigania przestępstw zgodnie z przepisami niniejszego rozporządzenia, powinno pozostawać zgodne z wymogami wynikającymi z art. 10 dyrektywy (UE) 2016/680. Do celów innych niż ściganie przestępstw art. 9 ust. 1 rozporządzenia (UE) 2016/679 i art. 10 ust. 1 rozporządzenia (UE) 2018/1725 zakazują przetwarzania danych biometrycznych z uwzględnieniem ograniczonej liczby wyjątków określonych w tych artykułach. W ramach stosowania art. 9 ust. 1 rozporządzenia (UE) 2016/679 wykorzystywanie zdalnej identyfikacji biometrycznej do celów innych niż ściganie przestępstw było już przedmiotem decyzji zakazujących takiego wykorzystywania, wydawanych przez krajowe organy ochrony danych.
(39)
Any processing of biometric data and other personal data involved in the use of AI systems for biometric identification, other than in connection to the use of real-time remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement as regulated by this Regulation, should continue to comply with all requirements resulting from Article 10 of Directive (EU) 2016/680. For purposes other than law enforcement, Article 9(1) of Regulation (EU) 2016/679 and Article 10(1) of Regulation (EU) 2018/1725 prohibit the processing of biometric data subject to limited exceptions as provided in those Articles. In the application of Article 9(1) of Regulation (EU) 2016/679, the use of remote biometric identification for purposes other than law enforcement has already been subject to prohibition decisions by national data protection authorities.
(40)
Zgodnie z art. 6a Protokołu nr 21 w sprawie stanowiska Zjednoczonego Królestwa i Irlandii w odniesieniu do przestrzeni wolności, bezpieczeństwa i sprawiedliwości, załączonego do TUE i TFUE, Irlandia nie jest związana przepisami ustanowionymi w art. 5 ust. 1 akapit pierwszy lit. g) – w takim zakresie, w jakim dotyczy on wykorzystania systemów kategoryzacji biometrycznej w odniesieniu do działań w obszarze współpracy policyjnej i współpracy wymiarów sprawiedliwości w sprawach karnych, w art. 5 ust. 1 akapit pierwszy lit. d) – w takim zakresie, w jakim dotyczy on wykorzystania systemów AI objętych tym przepisem, w art. 5 ust. 1 akapit pierwszy lit. h), art. 5 ust. 2–6 i art. 26 ust. 10 niniejszego rozporządzenia przyjętymi na podstawie art. 16 TFUE, dotyczącymi przetwarzania danych osobowych przez państwa członkowskie w wykonywaniu działań wchodzących w zakres stosowania części trzeciej tytuł V rozdziały 4 lub 5 TFUE, jeśli Irlandia nie jest związana przepisami Unii w dziedzinie współpracy wymiarów sprawiedliwości w sprawach karnych lub współpracy policyjnej, w ramach której należy zapewnić zgodność z przepisami ustanowionymi na podstawie art. 16 TFUE.
(40)
In accordance with Article 6a of Protocol No 21 on the position of the United Kingdom and Ireland in respect of the area of freedom, security and justice, as annexed to the TEU and to the TFEU, Ireland is not bound by the rules laid down in Article 5(1), first subparagraph, point (g), to the extent it applies to the use of biometric categorisation systems for activities in the field of police cooperation and judicial cooperation in criminal matters, Article 5(1), first subparagraph, point (d), to the extent it applies to the use of AI systems covered by that provision, Article 5(1), first subparagraph, point (h), Article 5(2) to (6) and Article 26(10) of this Regulation adopted on the basis of Article 16 TFEU which relate to the processing of personal data by the Member States when carrying out activities falling within the scope of Chapter 4 or Chapter 5 of Title V of Part Three of the TFEU, where Ireland is not bound by the rules governing the forms of judicial cooperation in criminal matters or police cooperation which require compliance with the provisions laid down on the basis of Article 16 TFEU.
(41)
Zgodnie z art. 2 i 2a Protokołu nr 22 w sprawie stanowiska Danii, załączonego do TUE i TFUE, Dania nie jest związana przepisami określonymi w art. 5 ust. 1 akapit pierwszy lit. g) – w takim zakresie, w jakim dotyczy on wykorzystania systemów kategoryzacji biometrycznej w odniesieniu do działań w obszarze współpracy policyjnej i współpracy wymiarów sprawiedliwości w sprawach karnych, w art. 5 ust. 1 akapit pierwszy lit. d) – w takim zakresie, w jakim dotyczy on wykorzystania systemów AI objętych tym przepisem, w art. 5 ust. 1 lit. h), art. 5 ust. 2–6 i art. 26 ust. 10 niniejszego rozporządzenia przyjętymi na podstawie art. 16 TFUE, które dotyczą przetwarzania danych osobowych przez państwa członkowskie w wykonywaniu działań wchodzących w zakres zastosowania części trzeciej tytuł V rozdziały 4 lub 5 TFUE, ani przepisy te nie mają do niej zastosowania.
(41)
In accordance with Articles 2 and 2a of Protocol No 22 on the position of Denmark, annexed to the TEU and to the TFEU, Denmark is not bound by rules laid down in Article 5(1), first subparagraph, point (g), to the extent it applies to the use of biometric categorisation systems for activities in the field of police cooperation and judicial cooperation in criminal matters, Article 5(1), first subparagraph, point (d), to the extent it applies to the use of AI systems covered by that provision, Article 5(1), first subparagraph, point (h), (2) to (6) and Article 26(10) of this Regulation adopted on the basis of Article 16 TFEU, or subject to their application, which relate to the processing of personal data by the Member States when carrying out activities falling within the scope of Chapter 4 or Chapter 5 of Title V of Part Three of the TFEU.
(42)
Zgodnie z domniemaniem niewinności osoby fizyczne w Unii powinny być zawsze oceniane na podstawie ich faktycznego zachowania. Osoby fizyczne nigdy nie powinny być oceniane na podstawie zachowań prognozowanych przez AI wyłącznie na podstawie poddania ich profilowaniu, na podstawie ich cech osobowości lub cech charakterystycznych, takich jak narodowość, miejsce urodzenia, miejsce zamieszkania, liczba dzieci, poziom zadłużenia lub rodzaj samochodu, bez uzasadnionego podejrzenia, że osoba ta uczestniczy w działalności przestępczej w oparciu o obiektywne możliwe do zweryfikowania fakty i bez ich oceny przez człowieka. W związku z tym należy zakazać ocen ryzyka przeprowadzanych w odniesieniu do osób fizycznych w celu oceny prawdopodobieństwa popełnienia przez te osoby przestępstwa lub przewidywania wystąpienia faktycznego lub potencjalnego przestępstwa wyłącznie na podstawie przeprowadzonego wobec nich profilowania lub oceny ich cech osobistych i charakterystycznych. W każdym razie zakaz ten nie odnosi się do ani nie dotyczy analizy ryzyka, która nie opiera się na profilowaniu osób fizycznych ani na cechach osobistych i charakterystycznych osób fizycznych, w takich przypadkach jak wykorzystywanie przez systemy AI analizy ryzyka w celu oceny prawdopodobieństwa nadużyć finansowych przez przedsiębiorstwa na podstawie podejrzanych transakcji lub narzędzi analizy ryzyka w celu przewidywania przez organy celne prawdopodobnej lokalizacji środków odurzających lub nielegalnych towarów, na przykład na podstawie znanych szlaków przemytu.
(42)
In line with the presumption of innocence, natural persons in the Union should always be judged on their actual behaviour. Natural persons should never be judged on AI-predicted behaviour based solely on their profiling, personality traits or characteristics, such as nationality, place of birth, place of residence, number of children, level of debt or type of car, without a reasonable suspicion of that person being involved in a criminal activity based on objective verifiable facts and without human assessment thereof. Therefore, risk assessments carried out with regard to natural persons in order to assess the likelihood of their offending or to predict the occurrence of an actual or potential criminal offence based solely on profiling them or on assessing their personality traits and characteristics should be prohibited. In any case, that prohibition does not refer to or touch upon risk analytics that are not based on the profiling of individuals or on the personality traits and characteristics of individuals, such as AI systems using risk analytics to assess the likelihood of financial fraud by undertakings on the basis of suspicious transactions or risk analytic tools to predict the likelihood of the localisation of narcotics or illicit goods by customs authorities, for example on the basis of known trafficking routes.
(43)
Należy zakazać wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów AI, które tworzą lub rozbudowują bazy danych służące rozpoznawaniu twarzy poprzez nieukierunkowane pozyskiwanie (ang. untargeted scraping) wizerunków twarzy z internetu lub nagrań z telewizji przemysłowej, ponieważ praktyka ta zwiększa poczucie masowego nadzoru i może prowadzić do poważnych naruszeń praw podstawowych, w tym prawa do prywatności.
(43)
The placing on the market, the putting into service for that specific purpose, or the use of AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage, should be prohibited because that practice adds to the feeling of mass surveillance and can lead to gross violations of fundamental rights, including the right to privacy.
(44)
Istnieją poważne obawy co do podstaw naukowych systemów AI mających na celu rozpoznawanie emocji lub wyciąganie wniosków na temat emocji, zwłaszcza że wyrażanie emocji znacznie się różni w zależności od kultur i sytuacji, a nawet w przypadku pojedynczej osoby. Wśród głównych wad takich systemów znajdują się ograniczona wiarygodność, nieprecyzyjność i ograniczona możliwość uogólnienia. W związku z tym systemy AI rozpoznające emocje lub zamiary osób fizycznych lub wyciągające wnioski na temat emocji lub zamiarów na podstawie danych biometrycznych tych osób mogą prowadzić do dyskryminacyjnych wyników i mogą naruszać prawa i wolności zainteresowanych osób. Biorąc pod uwagę brak równowagi sił w kontekście pracy lub edukacji, w połączeniu z inwazyjnym charakterem tych systemów, systemy takie mogą prowadzić do krzywdzącego lub niekorzystnego traktowania niektórych osób fizycznych lub całych ich grup. W związku z tym należy zakazać wprowadzania do obrotu, oddawania do użytku lub wykorzystywania systemów AI przeznaczonych do wykrywania stanu emocjonalnego osób fizycznych w sytuacjach związanych z miejscem pracy i edukacją. Zakaz ten nie powinien obejmować systemów AI wprowadzanych do obrotu wyłącznie ze względów medycznych lub bezpieczeństwa, takich jak systemy przeznaczone do użytku terapeutycznego.
(44)
There are serious concerns about the scientific basis of AI systems aiming to identify or infer emotions, particularly as expression of emotions vary considerably across cultures and situations, and even within a single individual. Among the key shortcomings of such systems are the limited reliability, the lack of specificity and the limited generalisability. Therefore, AI systems identifying or inferring emotions or intentions of natural persons on the basis of their biometric data may lead to discriminatory outcomes and can be intrusive to the rights and freedoms of the concerned persons. Considering the imbalance of power in the context of work or education, combined with the intrusive nature of these systems, such systems could lead to detrimental or unfavourable treatment of certain natural persons or whole groups thereof. Therefore, the placing on the market, the putting into service, or the use of AI systems intended to be used to detect the emotional state of individuals in situations related to the workplace and education should be prohibited. That prohibition should not cover AI systems placed on the market strictly for medical or safety reasons, such as systems intended for therapeutical use.
(45)
Niniejsze rozporządzenie nie powinno mieć wpływu na praktyki, które są zakazane na mocy prawa Unii, w tym prawa o ochronie danych, prawa o niedyskryminacji, prawa o ochronie konsumentów i prawa konkurencji.
(45)
Practices that are prohibited by Union law, including data protection law, non-discrimination law, consumer protection law, and competition law, should not be affected by this Regulation.
(46)
Systemy AI wysokiego ryzyka powinny być wprowadzane do obrotu w Unii, oddawane do użytku lub wykorzystywane wyłącznie wówczas, gdy są zgodne z określonymi obowiązkowymi wymogami. Wymogi te powinny zapewniać, aby systemy AI wysokiego ryzyka dostępne w Unii lub takie, których wyniki są w inny sposób wykorzystywane w Unii, nie stwarzały niedopuszczalnego ryzyka dla istotnych interesów publicznych Unii uznanych w prawie Unii i przez to prawo chronionych. W oparciu o nowe ramy prawne, jak wyjaśniono w zawiadomieniu Komisji „Niebieski przewodnik – wdrażanie unijnych przepisów dotyczących produktów 2022” (20), ogólna zasada stanowi, że do jednego produktu można stosować więcej niż jeden akt prawny unijnego prawodawstwa harmonizacyjnego, taki jak rozporządzenie Parlamentu Europejskiego i Rady (UE) 2017/745 (21), rozporządzenie Parlamentu Europejskiego i Rady (UE) 2017/746 (22) lub dyrektywa 2006/42/WE Parlamentu Europejskiego i Rady (23), ponieważ udostępnianie lub oddawanie do użytku może mieć miejsce tylko wtedy, gdy produkt jest zgodny z całością obowiązującego unijnego prawodawstwa harmonizacyjnego. Aby zapewnić spójność i uniknąć niepotrzebnych obciążeń administracyjnych lub kosztów, dostawcy produktu, który zawiera co najmniej jeden system AI wysokiego ryzyka, do którego stosuje się wymogi niniejszego rozporządzenia oraz unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku do niniejszego rozporządzenia, powinni mieć swobodę w zakresie decyzji operacyjnych dotyczących sposobu zapewnienia w optymalny sposób zgodności produktu zawierającego co najmniej jeden system AI ze wszystkimi mającymi zastosowanie wymogami unijnego prawodawstwa harmonizacyjnego. Jako systemy AI wysokiego ryzyka należy uznawać jedynie te systemy AI, które mają znaczący szkodliwy wpływ na zdrowie, bezpieczeństwo i prawa podstawowe osób w Unii, przy czym takie ograniczenie powinno minimalizować wszelkie potencjalne przeszkody w handlu międzynarodowym.
(46)
High-risk AI systems should only be placed on the Union market, put into service or used if they comply with certain mandatory requirements. Those requirements should ensure that high-risk AI systems available in the Union or whose output is otherwise used in the Union do not pose unacceptable risks to important Union public interests as recognised and protected by Union law. On the basis of the New Legislative Framework, as clarified in the Commission notice ‘The “Blue Guide” on the implementation of EU product rules 2022’ (20), the general rule is that more than one legal act of Union harmonisation legislation, such as Regulations (EU) 2017/745 (21) and (EU) 2017/746 (22) of the European Parliament and of the Council or Directive 2006/42/EC of the European Parliament and of the Council (23), may be applicable to one product, since the making available or putting into service can take place only when the product complies with all applicable Union harmonisation legislation. To ensure consistency and avoid unnecessary administrative burdens or costs, providers of a product that contains one or more high-risk AI systems, to which the requirements of this Regulation and of the Union harmonisation legislation listed in an annex to this Regulation apply, should have flexibility with regard to operational decisions on how to ensure compliance of a product that contains one or more AI systems with all applicable requirements of the Union harmonisation legislation in an optimal manner. AI systems identified as high-risk should be limited to those that have a significant harmful impact on the health, safety and fundamental rights of persons in the Union and such limitation should minimise any potential restriction to international trade.
(47)
Systemy AI mogą mieć niepożądany wpływ na zdrowie i bezpieczeństwo osób, w szczególności w przypadku gdy takie systemy funkcjonują jako związane z bezpieczeństwem elementy produktów. Zgodnie z celami unijnego prawodawstwa harmonizacyjnego, polegającymi na ułatwieniu swobodnego przepływu produktów na rynku wewnętrznym oraz zapewnieniu, aby na rynek trafiały wyłącznie produkty bezpieczne i zgodne w pozostałym zakresie, istotne jest odpowiednie zapobieganie ryzyku dla bezpieczeństwa, które mogą być powodowane przez produkt jako całość ze względu na jego elementy cyfrowe, w tym systemy AI, a także ograniczanie tych zagrożeń. Na przykład coraz bardziej autonomiczne roboty, zarówno w kontekście działalności produkcyjnej, jak i świadczenia pomocy oraz opieki osobistej, powinny być w stanie bezpiecznie funkcjonować i wykonywać swoje funkcje w złożonych środowiskach. Podobnie w sektorze opieki zdrowotnej, w którym chodzi o szczególnie wysoką stawkę, jaką jest życie i zdrowie, coraz bardziej zaawansowane systemy diagnostyczne i systemy wspomagające decyzje podejmowane przez człowieka powinny być niezawodne i dokładne.
(47)
AI systems could have an adverse impact on the health and safety of persons, in particular when such systems operate as safety components of products. Consistent with the objectives of Union harmonisation legislation to facilitate the free movement of products in the internal market and to ensure that only safe and otherwise compliant products find their way into the market, it is important that the safety risks that may be generated by a product as a whole due to its digital components, including AI systems, are duly prevented and mitigated. For instance, increasingly autonomous robots, whether in the context of manufacturing or personal assistance and care should be able to safely operate and performs their functions in complex environments. Similarly, in the health sector where the stakes for life and health are particularly high, increasingly sophisticated diagnostics systems and systems supporting human decisions should be reliable and accurate.
(48)
Przy klasyfikowaniu systemu AI jako systemu wysokiego ryzyka zasadnicze znaczenie ma to, w jakim stopniu system AI wywiera niepożądany wpływ na prawa podstawowe chronione na mocy Karty. Do praw tych należą prawo do godności człowieka, poszanowanie życia prywatnego i rodzinnego, ochrona danych osobowych, wolność wypowiedzi i informacji, wolność zgromadzania się i stowarzyszania się oraz prawo do niedyskryminacji, prawo do edukacji, ochrona konsumentów, prawa pracownicze, prawa osób z niepełnosprawnościami, równość płci, prawa własności intelektualnej, prawo do skutecznego środka prawnego i dostępu do bezstronnego sądu, prawo do obrony i domniemania niewinności, a także prawo do dobrej administracji. Oprócz tych praw należy podkreślić, że dzieciom przysługują szczególne prawa zapisane w art. 24 Karty oraz w Konwencji ONZ o prawach dziecka, szerzej rozwinięte w komentarzu ogólnym nr 25 w sprawie praw dziecka w środowisku cyfrowym zamieszczony w Konwencji ONZ o prawach dziecka, które to prawa wymagają uwzględnienia szczególnej wrażliwości dzieci oraz zapewnienia im takiej ochrony i opieki, jaka jest konieczna dla ich dobra. Podstawowe prawo do wysokiego poziomu ochrony środowiska zapisane w Karcie i wdrażane w strategiach politycznych Unii również należy uwzględnić w ocenie dotkliwości szkody, jaką może wyrządzić system AI, w tym w odniesieniu do zdrowia i bezpieczeństwa osób.
(48)
The extent of the adverse impact caused by the AI system on the fundamental rights protected by the Charter is of particular relevance when classifying an AI system as high risk. Those rights include the right to human dignity, respect for private and family life, protection of personal data, freedom of expression and information, freedom of assembly and of association, the right to non-discrimination, the right to education, consumer protection, workers’ rights, the rights of persons with disabilities, gender equality, intellectual property rights, the right to an effective remedy and to a fair trial, the right of defence and the presumption of innocence, and the right to good administration. In addition to those rights, it is important to highlight the fact that children have specific rights as enshrined in Article 24 of the Charter and in the United Nations Convention on the Rights of the Child, further developed in the UNCRC General Comment No 25 as regards the digital environment, both of which require consideration of the children’s vulnerabilities and provision of such protection and care as necessary for their well-being. The fundamental right to a high level of environmental protection enshrined in the Charter and implemented in Union policies should also be considered when assessing the severity of the harm that an AI system can cause, including in relation to the health and safety of persons.
(49)
W odniesieniu do systemów AI wysokiego ryzyka, które są związanymi z bezpieczeństwem elementami produktów lub systemów objętych zakresem stosowania rozporządzenia Parlamentu Europejskiego i Rady (WE) nr 300/2008 (24), rozporządzenia Parlamentu Europejskiego i Rady (UE) nr 167/2013 (25), rozporządzenia Parlamentu Europejskiego i Rady (UE) nr 168/2013 (26), dyrektywy Parlamentu Europejskiego i Rady 2014/90/UE (27), dyrektywy Parlamentu Europejskiego i Rady (UE) 2016/797 (28), rozporządzenia Parlamentu Europejskiego i Rady (UE) 2018/858 (29), rozporządzenia Parlamentu Europejskiego i Rady (UE) 2018/1139 (30) oraz rozporządzenia Parlamentu Europejskiego i Rady (UE) 2019/2144 (31) lub które same są takimi produktami lub systemami, wskazane jest dokonanie zmian tych aktów w celu zapewnienia, aby Komisja, przyjmując wszelkie stosowne akty delegowane lub wykonawcze na podstawie wspomnianych aktów, uwzględniła – w oparciu o techniczną i regulacyjną charakterystykę każdego sektora oraz bez ingerowania w istniejące mechanizmy zarządzania, oceny zgodności i egzekwowania oraz w powołane na mocy tych aktów organy – obowiązkowe wymogi dotyczące systemów AI wysokiego ryzyka ustanowione w niniejszym rozporządzeniu.
(49)
As regards high-risk AI systems that are safety components of products or systems, or which are themselves products or systems falling within the scope of Regulation (EC) No 300/2008 of the European Parliament and of the Council (24), Regulation (EU) No 167/2013 of the European Parliament and of the Council (25), Regulation (EU) No 168/2013 of the European Parliament and of the Council (26), Directive 2014/90/EU of the European Parliament and of the Council (27), Directive (EU) 2016/797 of the European Parliament and of the Council (28), Regulation (EU) 2018/858 of the European Parliament and of the Council (29), Regulation (EU) 2018/1139 of the European Parliament and of the Council (30), and Regulation (EU) 2019/2144 of the European Parliament and of the Council (31), it is appropriate to amend those acts to ensure that the Commission takes into account, on the basis of the technical and regulatory specificities of each sector, and without interfering with existing governance, conformity assessment and enforcement mechanisms and authorities established therein, the mandatory requirements for high-risk AI systems laid down in this Regulation when adopting any relevant delegated or implementing acts on the basis of those acts.
(50)
W przypadku systemów AI, które są związanymi z bezpieczeństwem elementami produktów objętych zakresem stosowania niektórych przepisów unijnego prawodawstwa harmonizacyjnego wymienionych w załączniku do niemniejszego rozporządzenia lub które same są takimi produktami, systemy te należy klasyfikować jako systemy wysokiego ryzyka zgodnie z niniejszym rozporządzeniem, jeżeli dany produkt jest poddawany procedurze oceny zgodności przez jednostkę oceniającą zgodność będącą stroną trzecią na podstawie tych stosownych przepisów unijnego prawodawstwa harmonizacyjnego. W szczególności produktami takimi są maszyny, zabawki, dźwigi, urządzenia i systemy ochronne przeznaczone do użytku w atmosferze potencjalnie wybuchowej, urządzenia radiowe, urządzenia ciśnieniowe, wyposażenie rekreacyjnych jednostek pływających, urządzenia kolei linowych, urządzenia spalające paliwa gazowe, wyroby medyczne, wyroby medyczne do diagnostyki in vitro, motoryzacja i lotnictwo.
(50)
As regards AI systems that are safety components of products, or which are themselves products, falling within the scope of certain Union harmonisation legislation listed in an annex to this Regulation, it is appropriate to classify them as high-risk under this Regulation if the product concerned undergoes the conformity assessment procedure with a third-party conformity assessment body pursuant to that relevant Union harmonisation legislation. In particular, such products are machinery, toys, lifts, equipment and protective systems intended for use in potentially explosive atmospheres, radio equipment, pressure equipment, recreational craft equipment, cableway installations, appliances burning gaseous fuels, medical devices, in vitro diagnostic medical devices, automotive and aviation.
(51)
Klasyfikacja systemu AI jako systemu wysokiego ryzyka na podstawie niniejszego rozporządzenia nie powinna koniecznie oznaczać, że produkt, którego związanym z bezpieczeństwem elementem jest system AI, lub sam system AI jako produkt uznaje się za produkt „wysokiego ryzyka” zgodnie z kryteriami ustanowionymi w stosownym unijnym prawodawstwie harmonizacyjnym, które stosuje się do tego produktu. Dotyczy to w szczególności rozporządzeń (UE) 2017/745 i (UE) 2017/746, w przypadku gdy ocenę zgodności przeprowadza strona trzecia w odniesieniu do produktów średniego i wysokiego ryzyka.
(51)
The classification of an AI system as high-risk pursuant to this Regulation should not necessarily mean that the product whose safety component is the AI system, or the AI system itself as a product, is considered to be high-risk under the criteria established in the relevant Union harmonisation legislation that applies to the product. This is, in particular, the case for Regulations (EU) 2017/745 and (EU) 2017/746, where a third-party conformity assessment is provided for medium-risk and high-risk products.
(52)
W odniesieniu do samodzielnych systemów AI, a mianowicie systemów AI wysokiego ryzyka inne niż te, które są związanymi z bezpieczeństwem elementami produktów lub które same są produktami, należy je klasyfikować jako systemy wysokiego ryzyka, jeżeli w związku z ich przeznaczeniem stwarzają one wysokie ryzyko szkody dla zdrowia i bezpieczeństwa lub praw podstawowych osób, biorąc pod uwagę zarówno dotkliwość potencjalnych szkód, jak i prawdopodobieństwo ich wystąpienia, oraz jeżeli są one wykorzystywane w szeregu ściśle określonych z góry obszarów wskazanych w niniejszym rozporządzeniu. Identyfikacja tych systemów opiera się na tej samej metodyce i kryteriach przewidzianych również w odniesieniu do wszelkich przyszłych zmian w wykazie systemów AI wysokiego ryzyka, do przyjmowania których – w drodze aktów delegowanych – powinna być uprawniona Komisja, aby uwzględniać szybkie tempo rozwoju technologicznego, a także potencjalne zmiany w wykorzystaniu systemów AI.
(52)
As regards stand-alone AI systems, namely high-risk AI systems other than those that are safety components of products, or that are themselves products, it is appropriate to classify them as high-risk if, in light of their intended purpose, they pose a high risk of harm to the health and safety or the fundamental rights of persons, taking into account both the severity of the possible harm and its probability of occurrence and they are used in a number of specifically pre-defined areas specified in this Regulation. The identification of those systems is based on the same methodology and criteria envisaged also for any future amendments of the list of high-risk AI systems that the Commission should be empowered to adopt, via delegated acts, to take into account the rapid pace of technological development, as well as the potential changes in the use of AI systems.
(53)
Ważne jest również wyjaśnienie, że mogą istnieć szczególne przypadki, w których systemy AI odnoszące się do z góry określonych obszarów wskazanych w niniejszym rozporządzeniu nie prowadzą do znaczącego ryzyka szkody dla interesów prawnych chronionych w tych obszarach, ponieważ nie mają istotnego wpływu na proces decyzyjny lub nie szkodzą tym interesom w istotny sposób. Do celów niniejszego rozporządzenia system AI, który nie ma istotnego wpływu na wynik procesu decyzyjnego, należy rozumieć jako system AI, który nie ma wpływu na istotę, a tym samym na wynik procesu decyzyjnego, zarówno przeprowadzanego przez człowieka, jak i w sposób zautomatyzowany. System AI, który nie ma istotnego wpływu na wynik procesu decyzyjnego, może obejmować sytuacje, w których spełniony jest co najmniej jeden z poniższych warunków. Pierwszym takim warunkiem powinno być to, aby system AI miał na celu wykonywanie wąsko określonych zadań proceduralnych – jak np. system AI, który przekształca nieustrukturyzowane dane w dane ustrukturyzowane, system AI kategoryzujący przychodzące dokumenty lub system AI wykorzystywany do wykrywania duplikatów w dużej liczbie zastosowań. Zadania te mają tak wąski i ograniczony charakter, że stwarzają jedynie ograniczone ryzyko, które nie wzrasta w wyniku wykorzystania systemu AI w kontekście wymienionym w wykazie przypadków wykorzystania wysokiego ryzyka zamieszczonym w załączniku do niniejszego rozporządzenia. Drugim warunkiem powinno być to, aby zadanie wykonywane przez system AI miało na celu poprawę wyników już zakończonego działania przeprowadzonego przez człowieka, które może być istotne w kontekście celów przypadków wykorzystania wysokiego ryzyka, wymienionych w załączniku do niniejszego rozporządzenia. Biorąc pod uwagę te cechy, system AI uzupełnia jedynie działanie człowieka, co w konsekwencji wiąże się z niższym ryzykiem. Warunek ten miałby zastosowanie na przykład do systemów AI, które mają na celu językową korektę przygotowanych wcześniej dokumentów, na przykład by wprowadzić profesjonalny ton, styl akademicki lub by dostosować tekst do określonego przekazu marki. Trzecim warunkiem powinno być to, aby system AI miał na celu wykrywanie wzorców podejmowania decyzji lub odstępstw od wzorców podjętych uprzednio decyzji. W tym przypadku ryzyko byłoby mniejsze, ponieważ system AI wykorzystuje się po przeprowadzeniu oceny przez człowieka i nie służy on temu, by ją zastąpić lub na nią wpłynąć bez przeprowadzenia właściwej weryfikacji przez człowieka. Takie systemy AI obejmują na przykład te, które – uwzględniając określony wzorzec oceniania stosowany przez nauczyciela – mogą być wykorzystywane ex post, by sprawdzić, czy nauczyciel nie odszedł od stosowanego wzorca, i w ten sposób wskazać potencjalne niespójności lub nieprawidłowości. Czwartym warunkiem powinno być to, by system AI był przeznaczony jedynie do wykonywania zadań przygotowawczych w kontekście oceny istotnej z punktu widzenia systemów AI wymienionych w załączniku do niniejszego rozporządzenia, co sprawi, że podczas mającej nastąpić oceny prawdopodobieństwo stwierdzenia ryzyka w kontekście wyników systemu będzie bardzo niskie. Mowa tu między innymi o inteligentnych rozwiązaniach w zakresie zarządzania plikami, które obejmują różne funkcje, takie jak indeksowanie, przeszukiwanie, przetwarzanie tekstów i mowy lub łączenie danych z innymi źródłami danych, lub o systemach AI wykorzystywanych do tłumaczenia dokumentów wstępnych. W każdym przypadku systemy AI wykorzystywane w przypadkach wykorzystania wysokiego ryzyka, wymienionych w załączniku do niniejszego rozporządzenia, należy uznać za stwarzające znaczące ryzyko szkody dla zdrowia, bezpieczeństwa lub praw podstawowych, jeżeli dany system AI wiąże się z profilowaniem w rozumieniu art. 4 pkt 4 rozporządzenia (UE) 2016/679 lub art. 3 pkt 4 dyrektywy (UE) 2016/680 lub art. 3 pkt 5 rozporządzenia (UE) 2018/1725. Aby zapewnić identyfikowalność i przejrzystość, dostawca, który na podstawie warunków, o których mowa powyżej, uważa, że system AI nie jest systemem wysokiego ryzyka, powinien sporządzić dokumentację oceny przed wprowadzeniem tego systemu do obrotu lub oddaniem go do użytku i przekazać tę dokumentację na wniosek właściwym organom krajowym. Taki dostawca powinien być zobowiązany do zarejestrowania systemu AI w bazie danych UE ustanowionej na mocy niniejszego rozporządzenia. By zapewnić dalsze wskazówki dotyczące praktycznego wdrażania warunków, na jakich systemy AI wymienione w załączniku do niniejszego rozporządzenia są, w drodze wyjątku, uznawane za niebędące systemami wysokiego ryzyka, Komisja powinna, po konsultacji z Radą ds. AI, przedstawić wytyczne w sprawie tego praktycznego wdrażania, uzupełnione wyczerpującym wykazem praktycznych przypadków wykorzystania systemów AI, które stanowią przypadki wykorzystania wysokiego ryzyka oraz które nie stanowią przypadków takiego wykorzystania.
(53)
It is also important to clarify that there may be specific cases in which AI systems referred to in pre-defined areas specified in this Regulation do not lead to a significant risk of harm to the legal interests protected under those areas because they do not materially influence the decision-making or do not harm those interests substantially. For the purposes of this Regulation, an AI system that does not materially influence the outcome of decision-making should be understood to be an AI system that does not have an impact on the substance, and thereby the outcome, of decision-making, whether human or automated. An AI system that does not materially influence the outcome of decision-making could include situations in which one or more of the following conditions are fulfilled. The first such condition should be that the AI system is intended to perform a narrow procedural task, such as an AI system that transforms unstructured data into structured data, an AI system that classifies incoming documents into categories or an AI system that is used to detect duplicates among a large number of applications. Those tasks are of such narrow and limited nature that they pose only limited risks which are not increased through the use of an AI system in a context that is listed as a high-risk use in an annex to this Regulation. The second condition should be that the task performed by the AI system is intended to improve the result of a previously completed human activity that may be relevant for the purposes of the high-risk uses listed in an annex to this Regulation. Considering those characteristics, the AI system provides only an additional layer to a human activity with consequently lowered risk. That condition would, for example, apply to AI systems that are intended to improve the language used in previously drafted documents, for example in relation to professional tone, academic style of language or by aligning text to a certain brand messaging. The third condition should be that the AI system is intended to detect decision-making patterns or deviations from prior decision-making patterns. The risk would be lowered because the use of the AI system follows a previously completed human assessment which it is not meant to replace or influence, without proper human review. Such AI systems include for instance those that, given a certain grading pattern of a teacher, can be used to check ex post whether the teacher may have deviated from the grading pattern so as to flag potential inconsistencies or anomalies. The fourth condition should be that the AI system is intended to perform a task that is only preparatory to an assessment relevant for the purposes of the AI systems listed in an annex to this Regulation, thus making the possible impact of the output of the system very low in terms of representing a risk for the assessment to follow. That condition covers, inter alia, smart solutions for file handling, which include various functions from indexing, searching, text and speech processing or linking data to other data sources, or AI systems used for translation of initial documents. In any case, AI systems used in high-risk use-cases listed in an annex to this Regulation should be considered to pose significant risks of harm to the health, safety or fundamental rights if the AI system implies profiling within the meaning of Article 4, point (4) of Regulation (EU) 2016/679 or Article 3, point (4) of Directive (EU) 2016/680 or Article 3, point (5) of Regulation (EU) 2018/1725. To ensure traceability and transparency, a provider who considers that an AI system is not high-risk on the basis of the conditions referred to above should draw up documentation of the assessment before that system is placed on the market or put into service and should provide that documentation to national competent authorities upon request. Such a provider should be obliged to register the AI system in the EU database established under this Regulation. With a view to providing further guidance for the practical implementation of the conditions under which the AI systems listed in an annex to this Regulation are, on an exceptional basis, non-high-risk, the Commission should, after consulting the Board, provide guidelines specifying that practical implementation, completed by a comprehensive list of practical examples of use cases of AI systems that are high-risk and use cases that are not.
(54)
Ponieważ dane biometryczne stanowią szczególną kategorię danych osobowych, kilka krytycznych przypadków wykorzystania systemów biometrycznych należy zaklasyfikować jako obarczone wysokim ryzykiem, o ile ich wykorzystywanie jest dozwolone na mocy odpowiednich przepisów prawa Unii i prawa krajowego. Techniczne niedokładności systemów AI przeznaczonych do zdalnej identyfikacji biometrycznej osób fizycznych mogą prowadzić do nieobiektywnych wyników i wywoływać skutki w postaci dyskryminacji. Ryzyko wystąpienia takich nieobiektywnych wyników i skutków w postaci dyskryminacji jest szczególnie istotne w odniesieniu do wieku, pochodzenia etnicznego, rasy, płci lub niepełnosprawności. Systemy zdalnej identyfikacji biometrycznej należy zatem zaklasyfikować jako systemy wysokiego ryzyka ze względu na ryzyko, jakie stwarzają. Do tej kategorii nie należą systemy AI przeznaczone do weryfikacji biometrycznej, w tym uwierzytelniania, prowadzonej jedynie w celu potwierdzenia, że dana osoba fizyczna jest tą osobą, za którą się podaje, oraz potwierdzenia tożsamości osoby fizycznej wyłącznie w celu uzyskania dostępu do usługi, uruchomienia urządzenia lub uzyskania bezpiecznego dostępu do pomieszczeń. Ponadto jako systemy wysokiego ryzyka należy zaklasyfikować systemy AI przeznaczone do kategoryzacji biometrycznej na podstawie danych biometrycznych według wrażliwych atrybutów lub cech chronionych na podstawie art. 9 ust. 1 rozporządzenia (UE) 2016/679, o ile nie są one zakazane na mocy niniejszego rozporządzenia, oraz systemy rozpoznawania emocji, które nie są zakazane na mocy niniejszego rozporządzenia. Za systemy AI wysokiego ryzyka nie należy uznawać systemów biometrycznych, które są przeznaczone wyłącznie do tego, by umożliwić stosowanie środków na rzecz cyberbezpieczeństwa i ochrony danych osobowych.
(54)
As biometric data constitutes a special category of personal data, it is appropriate to classify as high-risk several critical-use cases of biometric systems, insofar as their use is permitted under relevant Union and national law. Technical inaccuracies of AI systems intended for the remote biometric identification of natural persons can lead to biased results and entail discriminatory effects. The risk of such biased results and discriminatory effects is particularly relevant with regard to age, ethnicity, race, sex or disabilities. Remote biometric identification systems should therefore be classified as high-risk in view of the risks that they pose. Such a classification excludes AI systems intended to be used for biometric verification, including authentication, the sole purpose of which is to confirm that a specific natural person is who that person claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having secure access to premises. In addition, AI systems intended to be used for biometric categorisation according to sensitive attributes or characteristics protected under Article 9(1) of Regulation (EU) 2016/679 on the basis of biometric data, in so far as these are not prohibited under this Regulation, and emotion recognition systems that are not prohibited under this Regulation, should be classified as high-risk. Biometric systems which are intended to be used solely for the purpose of enabling cybersecurity and personal data protection measures should not be considered to be high-risk AI systems.
(55)
W odniesieniu do zarządzania infrastrukturą krytyczną i jej działania jako systemy wysokiego ryzyka należy klasyfikować systemy AI, które są przeznaczone do wykorzystania jako związane z bezpieczeństwem elementy procesów zarządzania i działania w przypadku krytycznej infrastruktury cyfrowej wymienionej w pkt 8 załącznika do dyrektywy (UE) 2022/2557, ruchu drogowego i zaopatrzenia w wodę, gaz, ciepło i energię elektryczną, ponieważ ich awaria lub nieprawidłowe działanie mogą stworzyć ryzyko dla życia i zdrowia osób na dużą skalę i prowadzić do znacznych zakłóceń w zwykłym prowadzeniu działalności społecznej i gospodarczej. Związane z bezpieczeństwem elementy infrastruktury krytycznej, w tym krytycznej infrastruktury cyfrowej, to systemy, które są wykorzystywane do bezpośredniej ochrony fizycznej integralności infrastruktury krytycznej lub zdrowia i bezpieczeństwa osób i mienia, ale które nie są konieczne do funkcjonowania systemu. Awaria lub nieprawidłowe działanie takich elementów mogą bezpośrednio prowadzić do ryzyka dla fizycznej integralności infrastruktury krytycznej, a co za tym idzie, do ryzyka dla zdrowia i bezpieczeństwa osób i mienia. Elementów przeznaczonych wyłącznie do celów cyberbezpieczeństwa nie należy kwalifikować jako związanych z bezpieczeństwem elementów. Przykładami związanych z bezpieczeństwem elementów takiej infrastruktury krytycznej są systemy monitorowania ciśnienia wody lub systemy sterowania alarmem przeciwpożarowym w centrach przetwarzania danych w chmurze (ang. cloud computing centres).
(55)
As regards the management and operation of critical infrastructure, it is appropriate to classify as high-risk the AI systems intended to be used as safety components in the management and operation of critical digital infrastructure as listed in point (8) of the Annex to Directive (EU) 2022/2557, road traffic and the supply of water, gas, heating and electricity, since their failure or malfunctioning may put at risk the life and health of persons at large scale and lead to appreciable disruptions in the ordinary conduct of social and economic activities. Safety components of critical infrastructure, including critical digital infrastructure, are systems used to directly protect the physical integrity of critical infrastructure or the health and safety of persons and property but which are not necessary in order for the system to function. The failure or malfunctioning of such components might directly lead to risks to the physical integrity of critical infrastructure and thus to risks to health and safety of persons and property. Components intended to be used solely for cybersecurity purposes should not qualify as safety components. Examples of safety components of such critical infrastructure may include systems for monitoring water pressure or fire alarm controlling systems in cloud computing centres.
(56)
Wdrażanie systemów AI w edukacji jest ważne, by promować wysokiej jakości kształcenie i szkolenie cyfrowe oraz by umożliwić wszystkim osobom uczącym się i nauczycielom zdobywanie niezbędnych umiejętności i kompetencji cyfrowych, w tym umiejętności korzystania z mediów, i krytycznego myślenia oraz dzielenie się tymi umiejętnościami i kompetencjami, z myślą o aktywnym udziale w gospodarce, społeczeństwie i procesach demokratycznych. Jako systemy AI wysokiego ryzyka należy natomiast zaklasyfikować systemy AI wykorzystywane w obszarze edukacji lub szkolenia zawodowego – w szczególności przeznaczone do celów podejmowania decyzji o dostępie lub przyjęciu do instytucji edukacyjnych i instytucji szkolenia zawodowego lub programów edukacyjnych lub szkolenia zawodowego na wszystkich poziomach lub do przydzielania osób do tych instytucji lub programów, do oceniania wyników nauki osób, do oceniania odpowiedniego poziomu wykształcenia i istotnego oddziaływania na poziom wykształcenia i szkolenia, jaki dana osoba fizyczna otrzyma lub do jakiego będzie mogła mieć dostęp, lub do monitorowania i wykrywania zabronionego zachowania uczniów podczas testów – ponieważ systemy te mogą decydować o przebiegu kształcenia i kariery zawodowej danej osoby, a tym samym mogą wpływać na jej zdolność do zapewnienia sobie źródła utrzymania. Takie systemy, jeżeli są niewłaściwie zaprojektowane i wykorzystywane, mogą być szczególnie inwazyjne i naruszać prawo do kształcenia i szkolenia, a także prawo do niedyskryminacji oraz mogą utrwalać historyczne wzorce dyskryminacji, na przykład wobec kobiet, niektórych grup wiekowych, osób z niepełnosprawnościami lub osób o określonym pochodzeniu rasowym lub etnicznym bądź określonej orientacji seksualnej.
(56)
The deployment of AI systems in education is important to promote high-quality digital education and training and to allow all learners and teachers to acquire and share the necessary digital skills and competences, including media literacy, and critical thinking, to take an active part in the economy, society, and in democratic processes. However, AI systems used in education or vocational training, in particular for determining access or admission, for assigning persons to educational and vocational training institutions or programmes at all levels, for evaluating learning outcomes of persons, for assessing the appropriate level of education for an individual and materially influencing the level of education and training that individuals will receive or will be able to access or for monitoring and detecting prohibited behaviour of students during tests should be classified as high-risk AI systems, since they may determine the educational and professional course of a person’s life and therefore may affect that person’s ability to secure a livelihood. When improperly designed and used, such systems may be particularly intrusive and may violate the right to education and training as well as the right not to be discriminated against and perpetuate historical patterns of discrimination, for example against women, certain age groups, persons with disabilities, or persons of certain racial or ethnic origins or sexual orientation.
(57)
Systemy AI wykorzystywane w obszarze zatrudnienia, zarządzania pracownikami i dostępu do samozatrudnienia, w szczególności do rekrutacji i wyboru kandydatów, do podejmowania decyzji mających wpływ na warunki stosunków pracy, decyzji o awansie i rozwiązaniu umownego stosunku pracy, do spersonalizowanego przydzielania zadań w oparciu o indywidualne zachowania, cechy osobowości lub charakter i do monitorowania lub oceny osób pozostających w umownych stosunkach pracy, należy również zaklasyfikować jako systemy wysokiego ryzyka, ponieważ systemy te mogą w znacznym stopniu wpływać na przyszłe perspektywy zawodowe, źródła utrzymania tych osób i prawa pracownicze. Odpowiednie umowne stosunki pracy powinny w znaczący sposób obejmować pracowników i osoby pracujące za pośrednictwem platform internetowych, o czym mowa w programie prac Komisji na 2021 r. W całym procesie rekrutacji oraz w ramach oceniania, awansowania lub utrzymywania na stanowisku osób pozostających w umownych stosunkach pracy systemy takie mogą utrwalać historyczne wzorce dyskryminacji, na przykład wobec kobiet, niektórych grup wiekowych, osób z niepełnosprawnościami lub osób o określonym pochodzeniu rasowym lub etnicznym lub o określonej orientacji seksualnej. Systemy AI wykorzystywane do monitorowania wydajności i zachowania takich osób mogą również podważać ich prawa podstawowe w zakresie ochrony danych i prywatności.
(57)
AI systems used in employment, workers management and access to self-employment, in particular for the recruitment and selection of persons, for making decisions affecting terms of the work-related relationship, promotion and termination of work-related contractual relationships, for allocating tasks on the basis of individual behaviour, personal traits or characteristics and for monitoring or evaluation of persons in work-related contractual relationships, should also be classified as high-risk, since those systems may have an appreciable impact on future career prospects, livelihoods of those persons and workers’ rights. Relevant work-related contractual relationships should, in a meaningful manner, involve employees and persons providing services through platforms as referred to in the Commission Work Programme 2021. Throughout the recruitment process and in the evaluation, promotion, or retention of persons in work-related contractual relationships, such systems may perpetuate historical patterns of discrimination, for example against women, certain age groups, persons with disabilities, or persons of certain racial or ethnic origins or sexual orientation. AI systems used to monitor the performance and behaviour of such persons may also undermine their fundamental rights to data protection and privacy.
(58)
Innym obszarem, w którym wykorzystanie systemów AI wymaga szczególnej uwagi, jest dostęp do niektórych podstawowych usług i świadczeń prywatnych i publicznych niezbędnych ludziom do pełnego uczestnictwa w życiu społecznym lub do poprawy poziomu życia oraz korzystanie z tych usług i świadczeń. W szczególności osoby fizyczne ubiegające się o podstawowe świadczenia i usługi w ramach pomocy publicznej lub korzystające z takich świadczeń i usług zapewnianych przez organy publiczne, a mianowicie usług opieki zdrowotnej, świadczeń z zabezpieczenia społecznego, usług społecznych zapewniających ochronę w przypadkach takich jak macierzyństwo, choroba, wypadki przy pracy, zależność lub podeszły wiek oraz utrata zatrudnienia, a także z pomocy społecznej i mieszkaniowej, są zazwyczaj zależne od tych świadczeń i usług oraz znajdują się w słabszym położeniu względem odpowiedzialnych organów. Jeżeli systemy AI są wykorzystywane do ustalenia, czy organy powinny przyznać takie świadczenia i usługi, odmówić ich, ograniczyć je, cofnąć lub odzyskać, w tym do stwierdzenia, czy świadczeniobiorcy są w świetle prawa uprawnieni do takich świadczeń lub usług, systemy te mogą mieć znaczący wpływ na źródła utrzymania osób i mogą naruszać ich prawa podstawowe, takie jak prawo do ochrony socjalnej, niedyskryminacji, godności człowieka lub skutecznego środka prawnego i w związku z tym systemy te należy zaklasyfikować jako systemy wysokiego ryzyka. Niniejsze rozporządzenie nie powinno jednak utrudniać rozwoju i stosowania innowacyjnych rozwiązań w administracji publicznej, która może odnieść korzyści z powszechniejszego wykorzystywania zgodnych i bezpiecznych systemów AI, pod warunkiem że systemy te nie stwarzają wysokiego ryzyka dla osób prawnych i fizycznych. Ponadto jako systemy wysokiego ryzyka należy zaklasyfikować systemy AI wykorzystywane do przeprowadzania scoringu kredytowego lub oceny zdolności kredytowej osób fizycznych, ponieważ systemy te decydują o dostępie tych osób do zasobów finansowych lub podstawowych usług, takich jak mieszkalnictwo, energia elektryczna i usługi telekomunikacyjne. Systemy AI wykorzystywane do tych celów mogą prowadzić do dyskryminacji osób lub grup i mogą utrwalać historyczne wzorce dyskryminacji, takie jak dyskryminacja ze względu na pochodzenie rasowe lub etniczne, płeć, niepełnosprawność, wiek, orientację seksualną, lub mogą powodować powstawanie nowych rodzajów dyskryminacji. Za systemy wysokiego ryzyka na mocy niniejszego rozporządzenia nie należy jednak uznawać systemów AI przewidzianych w prawie Unii do celów wykrywania oszustw w ramach oferowania usług finansowych oraz do celów ostrożnościowych do obliczania wymogów kapitałowych instytucji kredytowych i zakładów ubezpieczeń. Ponadto systemy AI przeznaczone do przeprowadzania oceny ryzyka w przypadku ubezpieczenia zdrowotnego i na życie dla osób fizycznych i ustalania cen tych ubezpieczeń mogą mieć również znaczący wpływ na źródła utrzymania osób, a jeżeli nie są odpowiednio zaprojektowane, rozwinięte i wykorzystywane, mogą naruszać ich prawa podstawowe i prowadzić do poważnych konsekwencji dla życia i zdrowia ludzi, w tym wykluczenia finansowego i dyskryminacji. Wreszcie systemy AI przeznaczone do przeprowadzania oceny i klasyfikowania zgłoszeń alarmowych dokonywanych przez osoby fizyczne lub do wysyłania lub ustalania priorytetów w wysyłaniu służb pierwszej pomocy, w tym policji, straży pożarnej i pomocy medycznej, a także w ramach systemów oceny stanu zdrowia pacjentów w nagłych wypadkach, należy zaklasyfikować jako systemy wysokiego ryzyka, ponieważ służą one do podejmowania decyzji o krytycznym znaczeniu dla życia i zdrowia osób oraz ich mienia.
(58)
Another area in which the use of AI systems deserves special consideration is the access to and enjoyment of certain essential private and public services and benefits necessary for people to fully participate in society or to improve one’s standard of living. In particular, natural persons applying for or receiving essential public assistance benefits and services from public authorities namely healthcare services, social security benefits, social services providing protection in cases such as maternity, illness, industrial accidents, dependency or old age and loss of employment and social and housing assistance, are typically dependent on those benefits and services and in a vulnerable position in relation to the responsible authorities. If AI systems are used for determining whether such benefits and services should be granted, denied, reduced, revoked or reclaimed by authorities, including whether beneficiaries are legitimately entitled to such benefits or services, those systems may have a significant impact on persons’ livelihood and may infringe their fundamental rights, such as the right to social protection, non-discrimination, human dignity or an effective remedy and should therefore be classified as high-risk. Nonetheless, this Regulation should not hamper the development and use of innovative approaches in the public administration, which would stand to benefit from a wider use of compliant and safe AI systems, provided that those systems do not entail a high risk to legal and natural persons. In addition, AI systems used to evaluate the credit score or creditworthiness of natural persons should be classified as high-risk AI systems, since they determine those persons’ access to financial resources or essential services such as housing, electricity, and telecommunication services. AI systems used for those purposes may lead to discrimination between persons or groups and may perpetuate historical patterns of discrimination, such as that based on racial or ethnic origins, gender, disabilities, age or sexual orientation, or may create new forms of discriminatory impacts. However, AI systems provided for by Union law for the purpose of detecting fraud in the offering of financial services and for prudential purposes to calculate credit institutions’ and insurance undertakings’ capital requirements should not be considered to be high-risk under this Regulation. Moreover, AI systems intended to be used for risk assessment and pricing in relation to natural persons for health and life insurance can also have a significant impact on persons’ livelihood and if not duly designed, developed and used, can infringe their fundamental rights and can lead to serious consequences for people’s life and health, including financial exclusion and discrimination. Finally, AI systems used to evaluate and classify emergency calls by natural persons or to dispatch or establish priority in the dispatching of emergency first response services, including by police, firefighters and medical aid, as well as of emergency healthcare patient triage systems, should also be classified as high-risk since they make decisions in very critical situations for the life and health of persons and their property.
(59)
Ze względu na rolę i odpowiedzialność organów ścigania ich działania związane z niektórymi rodzajami wykorzystania systemów AI charakteryzują się znacznym brakiem równowagi sił i mogą prowadzić do objęcia osoby fizycznej nadzorem, do jej aresztowania lub pozbawienia wolności, jak również do zaistnienia innego niepożądanego wpływu na prawa podstawowe zagwarantowane w Karcie. W szczególności jeżeli system AI nie jest trenowany z wykorzystaniem danych wysokiej jakości, nie spełnia odpowiednich wymogów pod względem skuteczności jego działania, dokładności lub solidności lub nie został odpowiednio zaprojektowany i przetestowany przed wprowadzeniem do obrotu lub oddaniem do użytku w inny sposób, może on wskazywać osoby w sposób dyskryminacyjny lub w inny nieprawidłowy lub niesprawiedliwy sposób. Ponadto korzystanie z istotnych procesowych praw podstawowych, takich jak prawo do skutecznego środka prawnego i dostępu do bezstronnego sądu, jak również prawo do obrony i domniemania niewinności, może być utrudnione, w szczególności w przypadku gdy takie systemy AI nie są w wystarczającym stopniu przejrzyste, wyjaśnialne i udokumentowane. W związku z tym szereg systemów AI przeznaczonych do wykorzystania w kontekście ścigania przestępstw, w którym dokładność, wiarygodność i przejrzystość są szczególnie ważne dla uniknięcia niepożądanego wpływu, zachowania zaufania publicznego oraz zapewnienia odpowiedzialności i skutecznego dochodzenia roszczeń, należy klasyfikować jako systemy wysokiego ryzyka, o ile ich wykorzystanie jest dozwolone zgodnie z właściwymi przepisami prawa Unii i prawa krajowego. Ze względu na charakter działań i związane z nimi ryzyko do takich systemów AI wysokiego ryzyka należy zaliczyć w szczególności systemy AI przeznaczone do wykorzystywania przez organy ścigania lub w ich imieniu lub przez instytucje, organy i jednostki organizacyjne Unii w ramach wsparcia udzielanego organom ścigania w zakresie oceny ryzyka, że osoba fizyczna stanie się ofiarą przestępstwa, takie jak wariografy i podobne narzędzia, do oceny wiarygodności dowodów podczas prowadzenia postępowań przygotowawczych w sprawie przestępstw lub ich ścigania oraz, o ile nie jest to zakazane na mocy niniejszego rozporządzenia, do oceny ryzyka popełnienia przestępstwa lub ponownego popełnienia przestępstwa przez osobę fizyczną niewyłącznie na podstawie profilowania osób fizycznych lub oceny cech osobowości i charakteru lub wcześniejszego zachowania przestępnego osób fizycznych lub grup, do profilowania w trakcie wykrywania przestępstw, prowadzenia postępowań przygotowawczych w ich sprawie lub ich ścigania. Systemów AI przeznaczonych specjalnie do wykorzystania w postępowaniach administracyjnych prowadzonych przez organy podatkowe i celne, jak również przez jednostki analityki finansowej wykonujące zadania administracyjne dotyczące analizy informacji na podstawie przepisów prawa Unii dotyczących przeciwdziałania praniu pieniędzy, nie należy zaklasyfikować jako systemów AI wysokiego ryzyka wykorzystywanych przez organy ścigania do celów zapobiegania przestępstwom, ich wykrywania, prowadzenia postępowań przygotowawczych w ich sprawie i ich ścigania. Wykorzystanie narzędzi sztucznej inteligencji przez organy ścigania i inne odpowiednie organy nie powinno stać się czynnikiem powodującym nierówności lub wykluczenie. Nie należy ignorować wpływu wykorzystania narzędzi AI na prawo podejrzanych do obrony, w szczególności na trudności w uzyskaniu istotnych informacji na temat funkcjonowania tych systemów oraz wynikające z tego trudności w kwestionowaniu dostarczanych przez nie wyników przed sądem, w szczególności przez osoby fizyczne objęte postępowaniem przygotowawczym.
(59)
Given their role and responsibility, actions by law enforcement authorities involving certain uses of AI systems are characterised by a significant degree of power imbalance and may lead to surveillance, arrest or deprivation of a natural person’s liberty as well as other adverse impacts on fundamental rights guaranteed in the Charter. In particular, if the AI system is not trained with high-quality data, does not meet adequate requirements in terms of its performance, its accuracy or robustness, or is not properly designed and tested before being put on the market or otherwise put into service, it may single out people in a discriminatory or otherwise incorrect or unjust manner. Furthermore, the exercise of important procedural fundamental rights, such as the right to an effective remedy and to a fair trial as well as the right of defence and the presumption of innocence, could be hampered, in particular, where such AI systems are not sufficiently transparent, explainable and documented. It is therefore appropriate to classify as high-risk, insofar as their use is permitted under relevant Union and national law, a number of AI systems intended to be used in the law enforcement context where accuracy, reliability and transparency is particularly important to avoid adverse impacts, retain public trust and ensure accountability and effective redress. In view of the nature of the activities and the risks relating thereto, those high-risk AI systems should include in particular AI systems intended to be used by or on behalf of law enforcement authorities or by Union institutions, bodies, offices, or agencies in support of law enforcement authorities for assessing the risk of a natural person to become a victim of criminal offences, as polygraphs and similar tools, for the evaluation of the reliability of evidence in in the course of investigation or prosecution of criminal offences, and, insofar as not prohibited under this Regulation, for assessing the risk of a natural person offending or reoffending not solely on the basis of the profiling of natural persons or the assessment of personality traits and characteristics or the past criminal behaviour of natural persons or groups, for profiling in the course of detection, investigation or prosecution of criminal offences. AI systems specifically intended to be used for administrative proceedings by tax and customs authorities as well as by financial intelligence units carrying out administrative tasks analysing information pursuant to Union anti-money laundering law should not be classified as high-risk AI systems used by law enforcement authorities for the purpose of prevention, detection, investigation and prosecution of criminal offences. The use of AI tools by law enforcement and other relevant authorities should not become a factor of inequality, or exclusion. The impact of the use of AI tools on the defence rights of suspects should not be ignored, in particular the difficulty in obtaining meaningful information on the functioning of those systems and the resulting difficulty in challenging their results in court, in particular by natural persons under investigation.
(60)
Systemy AI wykorzystywane w zarządzaniu migracją, azylem i kontrolą graniczną mają wpływ na osoby, które często znajdują się w szczególnie trudnej sytuacji i które są zależne od rezultatów działań właściwych organów publicznych. Dokładność, niedyskryminujący charakter i przejrzystość systemów AI wykorzystywanych w tych kontekstach są zatem szczególnie istotne w celu zapewnienia poszanowania praw podstawowych osób, na które AI ma wpływ, w szczególności ich prawa do swobodnego przemieszczania się, niedyskryminacji, ochrony życia prywatnego i danych osobowych, ochrony międzynarodowej i dobrej administracji. O ile wykorzystanie systemów AI jest dozwolone zgodnie z właściwymi przepisami prawa Unii i prawa krajowego, za systemy wysokiego ryzyka należy zatem uznać systemy AI przeznaczone do wykorzystywania przez właściwe organy publiczne lub w ich imieniu lub przez instytucje, organy i jednostki organizacyjne Unii odpowiedzialne za wykonywanie zadań w dziedzinach zarządzania migracją, azylem i kontrolą graniczną, takie jak wariografy i podobne narzędzia, gdy systemy te stosuje się do oceny niektórych rodzajów ryzyka stwarzanych przez osoby fizyczne wjeżdżające na terytorium państwa członkowskiego lub ubiegające się o wizę lub azyl, do wspierania właściwych organów publicznych przy rozpatrywaniu wniosków o udzielenie azylu, o wydanie wizy i dokumentów pobytowych oraz związanych z nimi skarg w odniesieniu do celu, jakim jest ustalenie kwalifikowalności osób fizycznych ubiegających się o przyznanie określonego statusu, w tym przy powiązanej ocenie wiarygodności dowodów, do celów wykrywania, rozpoznawania lub identyfikacji osób fizycznych w kontekście zarządzania migracją, azylem i kontrolą graniczną, z wyjątkiem weryfikacji dokumentów podróży. Systemy AI w obszarze zarządzania migracją, azylem i kontrolą graniczną objęte niniejszym rozporządzeniem powinny być zgodne z odpowiednimi wymogami proceduralnymi określonymi w rozporządzeniu Parlamentu Europejskiego i Rady (WE) nr 810/2009 (32), dyrektywie Parlamentu Europejskiego i Rady 2013/32/UE (33) i w innych właściwych przepisach prawa Unii. Wykorzystanie systemów AI w zarządzaniu migracją, azylem i kontrolą graniczną nie powinno w żadnym wypadku być wykorzystywane przez państwa członkowskie lub instytucje, organy i jednostki organizacyjne Unii jako sposób na obejście ich międzynarodowych zobowiązań wynikających z Konwencji ONZ dotyczącej statusu uchodźców sporządzonej w Genewie dnia 28 lipca 1951 r., zmienionej protokołem z dnia 31 stycznia 1967 r. Nie powinny być one również wykorzystywane w żaden sposób do naruszania zasady non-refoulement ani do odmawiania bezpiecznych i skutecznych legalnych sposobów wjazdu na terytorium Unii, w tym prawa do ochrony międzynarodowej.
(60)
AI systems used in migration, asylum and border control management affect persons who are often in particularly vulnerable position and who are dependent on the outcome of the actions of the competent public authorities. The accuracy, non-discriminatory nature and transparency of the AI systems used in those contexts are therefore particularly important to guarantee respect for the fundamental rights of the affected persons, in particular their rights to free movement, non-discrimination, protection of private life and personal data, international protection and good administration. It is therefore appropriate to classify as high-risk, insofar as their use is permitted under relevant Union and national law, AI systems intended to be used by or on behalf of competent public authorities or by Union institutions, bodies, offices or agencies charged with tasks in the fields of migration, asylum and border control management as polygraphs and similar tools, for assessing certain risks posed by natural persons entering the territory of a Member State or applying for visa or asylum, for assisting competent public authorities for the examination, including related assessment of the reliability of evidence, of applications for asylum, visa and residence permits and associated complaints with regard to the objective to establish the eligibility of the natural persons applying for a status, for the purpose of detecting, recognising or identifying natural persons in the context of migration, asylum and border control management, with the exception of verification of travel documents. AI systems in the area of migration, asylum and border control management covered by this Regulation should comply with the relevant procedural requirements set by the Regulation (EC) No 810/2009 of the European Parliament and of the Council (32), the Directive 2013/32/EU of the European Parliament and of the Council (33), and other relevant Union law. The use of AI systems in migration, asylum and border control management should, in no circumstances, be used by Member States or Union institutions, bodies, offices or agencies as a means to circumvent their international obligations under the UN Convention relating to the Status of Refugees done at Geneva on 28 July 1951 as amended by the Protocol of 31 January 1967. Nor should they be used to in any way infringe on the principle of non-refoulement, or to deny safe and effective legal avenues into the territory of the Union, including the right to international protection.
(61)
Niektóre systemy AI przeznaczone na potrzeby sprawowania wymiaru sprawiedliwości i procesów demokratycznych należy zaklasyfikować jako systemy wysokiego ryzyka, biorąc pod uwagę ich potencjalnie istotny wpływ na demokrację, praworządność, wolności osobiste, a także prawo do skutecznego środka prawnego i dostępu do bezstronnego sądu. W szczególności, aby wyeliminować potencjalne ryzyko stronniczości, błędów i efektu czarnej skrzynki, jako systemy wysokiego ryzyka należy zakwalifikować systemy AI przeznaczone do wykorzystania przez organy wymiaru sprawiedliwości lub w ich imieniu, aby pomóc tym organom w poszukiwaniu i interpretacji faktów i prawa oraz w stosowaniu przepisów prawa do konkretnego stanu faktycznego. Systemy AI przeznaczone do wykorzystania w tych celach przez organy alternatywnego rozstrzygania sporów również należy uznać za systemy wysokiego ryzyka, jeżeli wyniki postępowania w sprawie alternatywnego rozstrzygania sporów wywołują skutki prawne dla stron. Wykorzystanie narzędzi AI może wspierać uprawnienia decyzyjne sędziów lub niezależność sądownictwa, ale nie powinno ich zastępować; podejmowanie ostatecznej decyzji musi pozostać działaniem kierowanym przez człowieka. Kwalifikacja systemów AI jako systemów AI wysokiego ryzyka nie powinna jednak rozciągać się na systemy AI przeznaczone do czysto pomocniczych czynności administracyjnych, które nie mają wpływu na faktyczne sprawowanie wymiaru sprawiedliwości w poszczególnych przypadkach, takich jak anonimizacja lub pseudonimizacja orzeczeń sądowych, dokumentów lub danych, komunikacja między członkami personelu, zadania administracyjne.
(61)
Certain AI systems intended for the administration of justice and democratic processes should be classified as high-risk, considering their potentially significant impact on democracy, the rule of law, individual freedoms as well as the right to an effective remedy and to a fair trial. In particular, to address the risks of potential biases, errors and opacity, it is appropriate to qualify as high-risk AI systems intended to be used by a judicial authority or on its behalf to assist judicial authorities in researching and interpreting facts and the law and in applying the law to a concrete set of facts. AI systems intended to be used by alternative dispute resolution bodies for those purposes should also be considered to be high-risk when the outcomes of the alternative dispute resolution proceedings produce legal effects for the parties. The use of AI tools can support the decision-making power of judges or judicial independence, but should not replace it: the final decision-making must remain a human-driven activity. The classification of AI systems as high-risk should not, however, extend to AI systems intended for purely ancillary administrative activities that do not affect the actual administration of justice in individual cases, such as anonymisation or pseudonymisation of judicial decisions, documents or data, communication between personnel, administrative tasks.
(62)
Bez uszczerbku dla przepisów ustanowionych w rozporządzeniu Parlamentu Europejskiego i Rady (UE) 2024/900 (34) oraz aby zapobiec ryzyku nadmiernej zewnętrznej ingerencji w prawo do głosowania zapisane w art. 39 Karty oraz niepożądanemu wpływowi na demokrację i praworządność, systemy AI przeznaczone do wykorzystania, by wpływać na wynik wyborów lub referendum lub na zachowania wyborcze osób fizycznych podczas głosowania w wyborach lub referendach, należy zaklasyfikować jako systemy AI wysokiego ryzyka, z wyjątkiem systemów AI, na których wyniki osoby fizyczne nie są bezpośrednio narażone, takich jak narzędzia wykorzystywane do organizowania, optymalizacji i strukturyzowania kampanii politycznych z administracyjnego i logistycznego punktu widzenia.
(62)
Without prejudice to the rules provided for in Regulation (EU) 2024/900 of the European Parliament and of the Council (34), and in order to address the risks of undue external interference with the right to vote enshrined in Article 39 of the Charter, and of adverse effects on democracy and the rule of law, AI systems intended to be used to influence the outcome of an election or referendum or the voting behaviour of natural persons in the exercise of their vote in elections or referenda should be classified as high-risk AI systems with the exception of AI systems whose output natural persons are not directly exposed to, such as tools used to organise, optimise and structure political campaigns from an administrative and logistical point of view.
(63)
Faktu, że dany system AI został zaklasyfikowany jako system AI wysokiego ryzyka zgodnie z niniejszym rozporządzeniem, nie należy interpretować jako wskazującego na to, że korzystanie z tego systemu jest zgodne z prawem na podstawie innych aktów prawa Unii lub prawa krajowego zgodnego z prawem Unii, na przykład w zakresie ochrony danych osobowych, stosowania wariografów i podobnych narzędzi lub innych systemów służących wykrywaniu stanu emocjonalnego osób fizycznych. Każde takie wykorzystanie można kontynuować wyłącznie w sposób zgodny z mającymi zastosowanie wymogami wynikającymi z Karty oraz z mającymi zastosowanie aktami prawa wtórnego Unii i prawa krajowego. Niniejszego rozporządzenia nie należy rozumieć jako ustanawiającego podstawę prawną przetwarzania danych osobowych, w tym w stosownych przypadkach szczególnych kategorii danych osobowych, o ile niniejsze rozporządzenie nie stanowi wyraźnie inaczej.
(63)
The fact that an AI system is classified as a high-risk AI system under this Regulation should not be interpreted as indicating that the use of the system is lawful under other acts of Union law or under national law compatible with Union law, such as on the protection of personal data, on the use of polygraphs and similar tools or other systems to detect the emotional state of natural persons. Any such use should continue to occur solely in accordance with the applicable requirements resulting from the Charter and from the applicable acts of secondary Union law and national law. This Regulation should not be understood as providing for the legal ground for processing of personal data, including special categories of personal data, where relevant, unless it is specifically otherwise provided for in this Regulation.
(64)
Aby ograniczyć ryzyko stwarzane przez systemy AI wysokiego ryzyka wprowadzone do obrotu lub oddawane do użytku oraz aby zapewnić wysoki poziom wiarygodności, należy stosować pewne obowiązkowe wymogi do systemów AI wysokiego ryzyka, z uwzględnieniem przeznaczenia systemu AI i kontekstu jego wykorzystania oraz zgodnie z systemem zarządzania ryzykiem, który ma zostać ustanowiony przez dostawcę. Środki przyjęte przez dostawców w celu zapewnienia zgodności z obowiązkowymi wymogami niniejszego rozporządzenia powinny uwzględniać powszechnie uznany stan wiedzy technicznej w zakresie AI, być proporcjonalne i skuteczne do osiągnięcia celów niniejszego rozporządzenia. W oparciu o nowe ramy prawne, jak wyjaśniono w zawiadomieniu Komisji „Niebieski przewodnik – wdrażanie unijnych przepisów dotyczących produktów 2022”, ogólna zasada stanowi, że do jednego produktu można stosować więcej niż jedne akt prawny unijnego prawodawstwa harmonizacyjnego, ponieważ udostępnianie lub oddawanie do użytku może mieć miejsce tylko wtedy, gdy produkt jest zgodny z całością obowiązującego unijnego prawodawstwa harmonizacyjnego. Zagrożenia związane z systemami AI objętymi wymogami niniejszego rozporządzenia dotyczą innych aspektów niż obowiązujące unijne prawodawstwo harmonizacyjne, w związku z czym wymogi niniejszego rozporządzenia uzupełnią obowiązujące unijne prawodawstwo harmonizacyjne. Na przykład maszyny lub wyroby medyczne zawierające system AI mogą stwarzać ryzyko, które nie zostało uwzględnione w zasadniczych wymogach w zakresie zdrowia i bezpieczeństwa ustanowionych w odpowiednim unijnym prawodawstwie harmonizacyjnym, ponieważ to prawo sektorowe nie reguluje ryzyka specyficznego dla systemów AI. Wymaga to jednoczesnego i komplementarnego stosowania różnych aktów ustawodawczych. Aby zapewnić spójność i uniknąć niepotrzebnych obciążeń administracyjnych i niepotrzebnych kosztów, dostawcy produktu, który zawiera co najmniej jeden system AI wysokiego ryzyka, do którego stosuje się wymogi niniejszego rozporządzenia i unijnego prawodawstwa harmonizacyjnego opartego na nowych ramach prawnych, wymienionego w załączniku do niniejszego rozporządzenia, powinni mieć swobodę w zakresie decyzji operacyjnych dotyczących sposobu zapewnienia w optymalny sposób zgodności produktu zawierającego co najmniej jeden system AI ze wszystkimi mającymi zastosowanie wymogami unijnego prawodawstwa harmonizacyjnego. Swoboda ta może oznaczać na przykład decyzję dostawcy o włączeniu części niezbędnych procesów testowania i sprawozdawczości, informacji i dokumentacji wymaganych na mocy niniejszego rozporządzenia do już istniejącej dokumentacji i procedur wymaganych na mocy obowiązującego unijnego prawodawstwa harmonizacyjnego opartego na nowych ramach prawnych i wymienionego w załączniku do niniejszego rozporządzenia. Nie powinno to w żaden sposób podważać spoczywającego na dostawcy obowiązku zapewnienia zgodności z wszystkimi mającymi zastosowanie wymogami.
(64)
To mitigate the risks from high-risk AI systems placed on the market or put into service and to ensure a high level of trustworthiness, certain mandatory requirements should apply to high-risk AI systems, taking into account the intended purpose and the context of use of the AI system and according to the risk-management system to be established by the provider. The measures adopted by the providers to comply with the mandatory requirements of this Regulation should take into account the generally acknowledged state of the art on AI, be proportionate and effective to meet the objectives of this Regulation. Based on the New Legislative Framework, as clarified in Commission notice ‘The “Blue Guide” on the implementation of EU product rules 2022’, the general rule is that more than one legal act of Union harmonisation legislation may be applicable to one product, since the making available or putting into service can take place only when the product complies with all applicable Union harmonisation legislation. The hazards of AI systems covered by the requirements of this Regulation concern different aspects than the existing Union harmonisation legislation and therefore the requirements of this Regulation would complement the existing body of the Union harmonisation legislation. For example, machinery or medical devices products incorporating an AI system might present risks not addressed by the essential health and safety requirements set out in the relevant Union harmonised legislation, as that sectoral law does not deal with risks specific to AI systems. This calls for a simultaneous and complementary application of the various legislative acts. To ensure consistency and to avoid an unnecessary administrative burden and unnecessary costs, providers of a product that contains one or more high-risk AI system, to which the requirements of this Regulation and of the Union harmonisation legislation based on the New Legislative Framework and listed in an annex to this Regulation apply, should have flexibility with regard to operational decisions on how to ensure compliance of a product that contains one or more AI systems with all the applicable requirements of that Union harmonised legislation in an optimal manner. That flexibility could mean, for example a decision by the provider to integrate a part of the necessary testing and reporting processes, information and documentation required under this Regulation into already existing documentation and procedures required under existing Union harmonisation legislation based on the New Legislative Framework and listed in an annex to this Regulation. This should not, in any way, undermine the obligation of the provider to comply with all the applicable requirements.
(65)
System zarządzania ryzykiem powinien obejmować ciągły, iteracyjny proces, który jest planowany i realizowany przez cały cykl życia systemu AI wysokiego ryzyka. Proces ten powinien mieć na celu identyfikację i ograniczenie istotnego ryzyka, jakie systemy AI stwarzają dla zdrowia, bezpieczeństwa i praw podstawowych. System zarządzania ryzykiem powinien podlegać regularnym przeglądom i aktualizacji, aby zapewnić jego stałą skuteczność oraz uzasadnienie i dokumentację wszelkich istotnych decyzji i działań podjętych zgodnie z niniejszym rozporządzeniem. Proces ten powinien zapewniać, aby dostawca identyfikował ryzyko lub niepożądany wpływ oraz wdrażał środki ograniczające znane i racjonalnie przewidywalne ryzyko dla zdrowia, bezpieczeństwa i praw podstawowych związane z systemami AI w świetle ich przeznaczenia i dającego się racjonalnie przewidzieć niewłaściwego wykorzystania, w tym możliwego ryzyka wynikającego z interakcji między systemem AI a środowiskiem, w którym ten system działa. W systemie zarządzania ryzykiem należy przyjąć najbardziej odpowiednie – w świetle aktualnego stanu wiedzy technicznej w dziedzinie AI – środki zarządzania ryzykiem. Przy określaniu najbardziej odpowiednich środków zarządzania ryzykiem dostawca powinien udokumentować i wyjaśnić dokonane wybory oraz, w stosownych przypadkach, zaangażować ekspertów i zewnętrzne zainteresowane strony. Identyfikując dające się racjonalnie przewidzieć niewłaściwe wykorzystanie systemów AI wysokiego ryzyka, dostawca powinien uwzględnić przypadki wykorzystania systemów AI, w odniesieniu do których można zasadnie oczekiwać, że będą one wynikać z łatwo przewidywalnego zachowania ludzkiego w kontekście szczególnych cech i wykorzystania danego systemu AI, chociaż takich przypadków wykorzystania nie przewidziano w przeznaczeniu danego systemu ani w jego instrukcji obsługi. Wszelkie znane lub dające się przewidzieć okoliczności związane z wykorzystaniem systemu AI wysokiego ryzyka zgodnie z jego przeznaczeniem lub w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania, mogące powodować ryzyko dla zdrowia i bezpieczeństwa lub praw podstawowych, powinny zostać uwzględnione w instrukcji obsługi dostarczonej przez dostawcę. Ma to na celu zapewnienie, aby podmiot stosujący był ich świadomy i uwzględniał je przy korzystaniu z systemu AI wysokiego ryzyka. Określenie i wdrożenie – na podstawie niniejszego rozporządzenia – środków ograniczających ryzyko w odniesieniu dodającego się przewidzieć niewłaściwego wykorzystania nie powinno wymagać od dostawcy wprowadzenia szczególnego dodatkowego szkolenia, by zaradzić temu dającemu się przewidzieć niewłaściwemu wykorzystaniu. Zachęca się jednak dostawców do rozważenia takich dodatkowych środków szkoleniowych w celu ograniczenia dającego się racjonalnie przewidzieć niewłaściwego wykorzystania, o ile będzie to konieczne i stosowne.
(65)
The risk-management system should consist of a continuous, iterative process that is planned and run throughout the entire lifecycle of a high-risk AI system. That process should be aimed at identifying and mitigating the relevant risks of AI systems on health, safety and fundamental rights. The risk-management system should be regularly reviewed and updated to ensure its continuing effectiveness, as well as justification and documentation of any significant decisions and actions taken subject to this Regulation. This process should ensure that the provider identifies risks or adverse impacts and implements mitigation measures for the known and reasonably foreseeable risks of AI systems to the health, safety and fundamental rights in light of their intended purpose and reasonably foreseeable misuse, including the possible risks arising from the interaction between the AI system and the environment within which it operates. The risk-management system should adopt the most appropriate risk-management measures in light of the state of the art in AI. When identifying the most appropriate risk-management measures, the provider should document and explain the choices made and, when relevant, involve experts and external stakeholders. In identifying the reasonably foreseeable misuse of high-risk AI systems, the provider should cover uses of AI systems which, while not directly covered by the intended purpose and provided for in the instruction for use may nevertheless be reasonably expected to result from readily predictable human behaviour in the context of the specific characteristics and use of a particular AI system. Any known or foreseeable circumstances related to the use of the high-risk AI system in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, which may lead to risks to the health and safety or fundamental rights should be included in the instructions for use that are provided by the provider. This is to ensure that the deployer is aware and takes them into account when using the high-risk AI system. Identifying and implementing risk mitigation measures for foreseeable misuse under this Regulation should not require specific additional training for the high-risk AI system by the provider to address foreseeable misuse. The providers however are encouraged to consider such additional training measures to mitigate reasonable foreseeable misuses as necessary and appropriate.
(66)
Do systemów AI wysokiego ryzyka należy stosować wymogi dotyczące zarządzania ryzykiem, jakości i istotności wykorzystywanych zbiorów danych, dokumentacji technicznej i rejestrowania zdarzeń, przejrzystości i przekazywania informacji podmiotom stosującym, nadzoru ze strony człowieka oraz solidności, dokładności i cyberbezpieczeństwa. Wymogi te są konieczne, aby skutecznie ograniczyć ryzyko dla zdrowia, bezpieczeństwa i praw podstawowych. Z uwagi na brak innych racjonalnie dostępnych środków, które powodowałyby mniejsze ograniczenia w handlu, wymogi te nie stanowią nieuzasadnionych ograniczeń w handlu.
(66)
Requirements should apply to high-risk AI systems as regards risk management, the quality and relevance of data sets used, technical documentation and record-keeping, transparency and the provision of information to deployers, human oversight, and robustness, accuracy and cybersecurity. Those requirements are necessary to effectively mitigate the risks for health, safety and fundamental rights. As no other less trade restrictive measures are reasonably available those requirements are not unjustified restrictions to trade.
(67)
Wysokiej jakości dane i dostęp do wysokiej jakości danych odgrywają kluczową rolę w ustanawianiu struktury i zapewnianiu skuteczności działania wielu systemów AI, w szczególności w przypadku stosowania technik obejmujących trenowanie modeli, w celu zapewnienia, aby system AI wysokiego ryzyka działał zgodnie z przeznaczeniem i bezpiecznie oraz aby nie stał się źródłem zakazanej przez prawo Unii dyskryminacji. Wysokiej jakości zbiory danych treningowych, walidacyjnych i testowych wymagają wdrożenia odpowiednich praktyk w zakresie administrowania i zarządzania danymi. Zbiory danych treningowych, walidacyjnych i testowych, w tym etykiety, powinny być adekwatne, wystarczająco reprezentatywne oraz w jak największym stopniu wolne od błędów i kompletne z punktu widzenia przeznaczenia systemu. Aby ułatwić zapewnienie zgodności z prawem Unii o ochronie danych, takim jak rozporządzenie (UE) 2016/679, praktyki w zakresie administrowania i zarządzania danymi powinny przewidywać, w przypadku danych osobowych, zapewnianie przejrzystości pierwotnego celu zbierania danych. Te zbiory danych powinny również charakteryzować się odpowiednimi właściwościami statystycznymi, w tym w odniesieniu do osób lub grup osób, wobec których system AI wysokiego ryzyka ma być wykorzystywany, ze szczególnym uwzględnieniem ograniczania ewentualnej stronniczości w zbiorach danych, która może mieć wpływ na zdrowie i bezpieczeństwo osób, negatywnie oddziaływać na prawa podstawowe lub prowadzić do dyskryminacji zakazanej na mocy prawa Unii, zwłaszcza w przypadku gdy dane wyjściowe wpływają na dane wejściowe wykorzystywane na potrzeby przyszłych operacji (sprzężenie zwrotne, ang. feedback loops). Stronniczość może być na przykład nieodłączną cechą źródłowych zbiorów danych, szczególnie jeżeli używa się danych historycznych lub wygenerowanych na etapie wdrażania systemów w warunkach rzeczywistych. Na wyniki generowane przez systemy AI może wpływać taka nieodłączna stronniczość, która z zasady stopniowo zwiększa się, a tym samym utrwala i pogłębia istniejącą dyskryminację, zwłaszcza w odniesieniu do osób należących do grup szczególnie wrażliwych, w tym grup rasowych lub etnicznych. Wymóg, aby zbiory danych były w jak największym stopniu kompletne i wolne od błędów, nie powinien wpływać na stosowanie technik ochrony prywatności w kontekście wdrażania i testowania systemów AI. W szczególności zbiory danych powinny uwzględniać – w zakresie wymaganym z uwagi na ich przeznaczenie – cechy, właściwości lub elementy, które są specyficzne dla określonego otoczenia geograficznego, kontekstualnego, behawioralnego lub funkcjonalnego, w którym dany system AI ma być wykorzystywany. Zgodność z wymogami związanymi z zarządzaniem danymi można zapewnić, korzystając z usług stron trzecich, które oferują certyfikowane usługi w zakresie zgodności, w tym weryfikację zarządzania danymi i integralności zbioru danych oraz praktyki w zakresie trenowania, walidacji i testowania danych, o ile zapewniona jest zgodność z wymogami dotyczącymi danych określonymi w niniejszym rozporządzeniu.
(67)
High-quality data and access to high-quality data plays a vital role in providing structure and in ensuring the performance of many AI systems, especially when techniques involving the training of models are used, with a view to ensure that the high-risk AI system performs as intended and safely and it does not become a source of discrimination prohibited by Union law. High-quality data sets for training, validation and testing require the implementation of appropriate data governance and management practices. Data sets for training, validation and testing, including the labels, should be relevant, sufficiently representative, and to the best extent possible free of errors and complete in view of the intended purpose of the system. In order to facilitate compliance with Union data protection law, such as Regulation (EU) 2016/679, data governance and management practices should include, in the case of personal data, transparency about the original purpose of the data collection. The data sets should also have the appropriate statistical properties, including as regards the persons or groups of persons in relation to whom the high-risk AI system is intended to be used, with specific attention to the mitigation of possible biases in the data sets, that are likely to affect the health and safety of persons, have a negative impact on fundamental rights or lead to discrimination prohibited under Union law, especially where data outputs influence inputs for future operations (feedback loops). Biases can for example be inherent in underlying data sets, especially when historical data is being used, or generated when the systems are implemented in real world settings. Results provided by AI systems could be influenced by such inherent biases that are inclined to gradually increase and thereby perpetuate and amplify existing discrimination, in particular for persons belonging to certain vulnerable groups, including racial or ethnic groups. The requirement for the data sets to be to the best extent possible complete and free of errors should not affect the use of privacy-preserving techniques in the context of the development and testing of AI systems. In particular, data sets should take into account, to the extent required by their intended purpose, the features, characteristics or elements that are particular to the specific geographical, contextual, behavioural or functional setting which the AI system is intended to be used. The requirements related to data governance can be complied with by having recourse to third parties that offer certified compliance services including verification of data governance, data set integrity, and data training, validation and testing practices, as far as compliance with the data requirements of this Regulation are ensured.
(68)
Przy wdrażaniu i ocenie systemów AI wysokiego ryzyka niektóre podmioty, takie jak dostawcy, jednostki notyfikowane i inne odpowiednie podmioty, takie jak europejskie centra innowacji cyfrowych, ośrodki testowo-doświadczalne i naukowcy, powinny mieć możliwość uzyskania dostępu do wysokiej jakości zbiorów danych i korzystania z nich w zakresie obszarów działalności tych podmiotów związanych z niniejszym rozporządzeniem. Wspólne europejskie przestrzenie danych ustanowione przez Komisję oraz ułatwienie wymiany danych między przedsiębiorstwami i udostępniania danych administracji publicznej w interesie publicznym będą miały zasadnicze znaczenie dla zapewnienia zaufanego, odpowiedzialnego i niedyskryminacyjnego dostępu do danych wysokiej jakości na potrzeby trenowania, walidacji i testowania systemów AI. Na przykład w dziedzinie zdrowia europejska przestrzeń danych dotyczących zdrowia ułatwi niedyskryminacyjny dostęp do danych dotyczących zdrowia oraz trenowanie algorytmów AI na tych zbiorach danych w sposób bezpieczny, terminowy, przejrzysty, wiarygodny i zapewniający ochronę prywatności oraz z odpowiednim zarządzaniem instytucjonalnym. Odpowiednie właściwe organy, w tym organy sektorowe, zapewniające dostęp do danych lub wspierające taki dostęp, mogą również wspierać dostarczanie wysokiej jakości danych na potrzeby trenowania, walidacji i testowania systemów AI.
(68)
For the development and assessment of high-risk AI systems, certain actors, such as providers, notified bodies and other relevant entities, such as European Digital Innovation Hubs, testing experimentation facilities and researchers, should be able to access and use high-quality data sets within the fields of activities of those actors which are related to this Regulation. European common data spaces established by the Commission and the facilitation of data sharing between businesses and with government in the public interest will be instrumental to provide trustful, accountable and non-discriminatory access to high-quality data for the training, validation and testing of AI systems. For example, in health, the European health data space will facilitate non-discriminatory access to health data and the training of AI algorithms on those data sets, in a privacy-preserving, secure, timely, transparent and trustworthy manner, and with an appropriate institutional governance. Relevant competent authorities, including sectoral ones, providing or supporting the access to data may also support the provision of high-quality data for the training, validation and testing of AI systems.
(69)
Prawo do prywatności i ochrony danych osobowych musi być zagwarantowane przez cały cykl życia systemu AI. W tym względzie, gdy przetwarzane są dane osobowe, zastosowanie mają zasady minimalizacji danych oraz uwzględnienia ochrony danych już w fazie projektowania i domyślnej ochrony danych, które określono w prawie Unii o ochronie danych. Środki podejmowane przez dostawców w celu zapewnienia zgodności z tymi zasadami mogą obejmować nie tylko anonimizację i szyfrowanie, ale również wykorzystanie technologii, która umożliwia wprowadzanie algorytmów do danych i umożliwia trenowanie systemów AI bez przekazywania między stronami lub kopiowania samych surowych lub ustrukturyzowanych danych, bez uszczerbku dla wymogów dotyczących zarządzania danymi przewidzianych w niniejszym rozporządzeniu.
(69)
The right to privacy and to protection of personal data must be guaranteed throughout the entire lifecycle of the AI system. In this regard, the principles of data minimisation and data protection by design and by default, as set out in Union data protection law, are applicable when personal data are processed. Measures taken by providers to ensure compliance with those principles may include not only anonymisation and encryption, but also the use of technology that permits algorithms to be brought to the data and allows training of AI systems without the transmission between parties or copying of the raw or structured data themselves, without prejudice to the requirements on data governance provided for in this Regulation.
(70)
W celu ochrony praw innych osób przed dyskryminacją, która może wynikać ze stronniczości systemów AI, dostawcy powinni wyjątkowo, w zakresie, w jakim jest to bezwzględnie konieczne do celów zapewnienia wykrywania i korygowania stronniczości w odniesieniu do systemów AI wysokiego ryzyka – z zastrzeżeniem odpowiednich zabezpieczeń w zakresie podstawowych praw i wolności osób fizycznych oraz po spełnieniu wszystkich mających zastosowanie warunków ustanowionych w niniejszym rozporządzeniu, w uzupełnieniu warunków ustanowionych w rozporządzeniach (UE) 2016/679 i (UE) 2018/1725 oraz w dyrektywie (UE) 2016/680 – mieć możliwość przetwarzania również szczególnych kategorii danych osobowych w związku z istotnym interesem publicznym w rozumieniu art. 9 ust. 2 lit. g) rozporządzenia (UE) 2016/679 i art. 10 ust. 2 lit. g) rozporządzenia (UE) 2018/1725.
(70)
In order to protect the right of others from the discrimination that might result from the bias in AI systems, the providers should, exceptionally, to the extent that it is strictly necessary for the purpose of ensuring bias detection and correction in relation to the high-risk AI systems, subject to appropriate safeguards for the fundamental rights and freedoms of natural persons and following the application of all applicable conditions laid down under this Regulation in addition to the conditions laid down in Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, be able to process also special categories of personal data, as a matter of substantial public interest within the meaning of Article 9(2), point (g) of Regulation (EU) 2016/679 and Article 10(2), point (g) of Regulation (EU) 2018/1725.
(71)
Dysponowanie zrozumiałymi informacjami na temat tego, w jaki sposób rozwinięto systemy AI wysokiego ryzyka i jak działają one w całym cyklu życia, ma zasadnicze znaczenie dla umożliwienia identyfikowalności tych systemów, weryfikacji zgodności z wymogami określonymi w niniejszym rozporządzeniu, a także dla monitorowania ich działania i monitorowania po wprowadzeniu do obrotu. W tym celu konieczne jest prowadzenie rejestrów zdarzeń oraz zapewnienie dostępności dokumentacji technicznej zawierającej informacje niezbędne do oceny zgodności systemu AI z odpowiednimi wymogami i do ułatwienia monitorowania po wprowadzeniu do obrotu. Informacje takie powinny być podane w jasnej i kompleksowej formie i obejmować ogólne cechy, zdolności i ograniczenia systemu, algorytmy, dane, procesy związane z trenowaniem, testowaniem i walidacją, a także dokumentację dotyczącą odpowiedniego systemu zarządzania ryzykiem. Dokumentacja techniczna powinna podlegać odpowiedniej aktualizacji w całym cyklu życia systemu AI. Ponadto w systemach AI wysokiego ryzyka powinno być technicznie możliwe automatyczne rejestrowanie zdarzeń – za pomocą rejestrów zdarzeń – w całym cyklu życia systemu.
(71)
Having comprehensible information on how high-risk AI systems have been developed and how they perform throughout their lifetime is essential to enable traceability of those systems, verify compliance with the requirements under this Regulation, as well as monitoring of their operations and post market monitoring. This requires keeping records and the availability of technical documentation, containing information which is necessary to assess the compliance of the AI system with the relevant requirements and facilitate post market monitoring. Such information should include the general characteristics, capabilities and limitations of the system, algorithms, data, training, testing and validation processes used as well as documentation on the relevant risk-management system and drawn in a clear and comprehensive form. The technical documentation should be kept up to date, appropriately throughout the lifetime of the AI system. Furthermore, high-risk AI systems should technically allow for the automatic recording of events, by means of logs, over the duration of the lifetime of the system.
(72)
Aby zająć się kwestiami związanymi z efektem czarnej skrzynki i złożonością niektórych systemów AI i pomóc podmiotom stosującym w spełnianiu ich obowiązków ustanowionych w niniejszym rozporządzeniu, od systemów AI wysokiego ryzyka należy wymagać określonego stopnia przejrzystości przed wprowadzeniem ich do obrotu lub oddaniem ich do użytku. Systemy AI wysokiego ryzyka należy projektować w taki sposób, aby umożliwić podmiotom stosującym zrozumienie funkcjonowania systemu AI, ocenę jego funkcjonalności oraz zrozumienie jego mocnych stron i ograniczeń. Systemom AI wysokiego ryzyka powinny towarzyszyć odpowiednie informacje w formie instrukcji obsługi. Takie informacje powinny obejmować cechy, zdolności i ograniczenia skuteczności działania systemu AI. Obejmowałyby one informacje na temat ewentualnych znanych i dających się przewidzieć okoliczności związanych z wykorzystaniem systemu AI wysokiego ryzyka, w tym działań podmiotu stosującego, które mogą wpływać na zachowanie i skuteczność działania systemu, i w których to okolicznościach system AI może powodować ryzyko dla zdrowia, bezpieczeństwa i praw podstawowych; a także informacje na temat zmian, które zostały z góry zaplanowane i ocenione pod kątem zgodności przez dostawcę, oraz na temat odpowiednich środków nadzoru ze strony człowieka, w tym środków ułatwiających podmiotom stosującym AI interpretację wyników systemu AI. Przejrzystość, w tym towarzyszące instrukcje obsługi, powinny pomóc podmiotom stosującym w korzystaniu z systemu i wspierać podejmowanie przez te podmioty świadomych decyzji. Podmioty stosujące powinny, między innymi, być lepiej przygotowane, aby dokonać właściwego wyboru systemu, z którego zamierzają korzystać w świetle mających do nich zastosowanie obowiązków, mieć wiedzę na temat zamierzonych i wykluczonych sposobów wykorzystania oraz prawidłowo i odpowiednio korzystać z systemu AI. Aby zwiększyć czytelność i dostępność informacji zawartych w instrukcji obsługi, w stosownych przypadkach należy uwzględnić konkretne przykłady, takie jak przykłady ograniczeń czy zamierzonych i wykluczonych sposobów wykorzystania systemu AI. Dostawcy powinni zapewnić, aby wszelka dokumentacja, w tym instrukcje obsługi, zawierała istotne, wyczerpujące, dostępne i zrozumiałe informacje, z uwzględnieniem potrzeb docelowych podmiotów stosujących i prawdopodobnie posiadanej przez te podmioty wiedzy. Instrukcje obsługi powinny być udostępniane w języku łatwo zrozumiałym dla docelowych podmiotów stosujących, określonym przez zainteresowane państwo członkowskie.
(72)
To address concerns related to opacity and complexity of certain AI systems and help deployers to fulfil their obligations under this Regulation, transparency should be required for high-risk AI systems before they are placed on the market or put it into service. High-risk AI systems should be designed in a manner to enable deployers to understand how the AI system works, evaluate its functionality, and comprehend its strengths and limitations. High-risk AI systems should be accompanied by appropriate information in the form of instructions of use. Such information should include the characteristics, capabilities and limitations of performance of the AI system. Those would cover information on possible known and foreseeable circumstances related to the use of the high-risk AI system, including deployer action that may influence system behaviour and performance, under which the AI system can lead to risks to health, safety, and fundamental rights, on the changes that have been pre-determined and assessed for conformity by the provider and on the relevant human oversight measures, including the measures to facilitate the interpretation of the outputs of the AI system by the deployers. Transparency, including the accompanying instructions for use, should assist deployers in the use of the system and support informed decision making by them. Deployers should, inter alia, be in a better position to make the correct choice of the system that they intend to use in light of the obligations applicable to them, be educated about the intended and precluded uses, and use the AI system correctly and as appropriate. In order to enhance legibility and accessibility of the information included in the instructions of use, where appropriate, illustrative examples, for instance on the limitations and on the intended and precluded uses of the AI system, should be included. Providers should ensure that all documentation, including the instructions for use, contains meaningful, comprehensive, accessible and understandable information, taking into account the needs and foreseeable knowledge of the target deployers. Instructions for use should be made available in a language which can be easily understood by target deployers, as determined by the Member State concerned.
(73)
Systemy AI wysokiego ryzyka należy projektować i rozwijać w taki sposób, aby osoby fizyczne mogły nadzorować ich funkcjonowanie, zapewniać, by ich wykorzystanie było zgodne z przeznaczeniem oraz zapewniać, aby skutki ich wykorzystania były uwzględniane w całym cyklu życia systemu. W tym celu przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku dostawca systemu powinien określić odpowiednie środki związane z nadzorem ze strony człowieka. W szczególności, w stosownych przypadkach, takie środki powinny gwarantować, że system podlega wbudowanym ograniczeniom operacyjnym, których sam nie jest w stanie obejść, i reaguje na działania człowieka – operatora systemu, oraz że osoby fizyczne, którym powierzono sprawowanie nadzoru ze strony człowieka, posiadają niezbędne kompetencje, przeszkolenie i uprawnienia do pełnienia tej funkcji. W stosownych przypadkach istotne jest także zapewnienie, aby systemy AI wysokiego ryzyka obejmowały mechanizmy udzielania wskazówek i informacji osobom fizycznym, którym powierzono nadzór ze strony człowieka, aby mogły one podejmować świadome decyzje, czy, kiedy i w jaki sposób należy interweniować w celu uniknięcia negatywnych konsekwencji lub ryzyka lub zatrzymać system, jeżeli nie działa on zgodnie z przeznaczeniem. Zważywszy na istotne konsekwencje dla osób w przypadku nieprawidłowego dopasowania przez niektóre systemy identyfikacji biometrycznej, należy wprowadzić wymóg sprawowania w odniesieniu do tych systemów wzmocnionego nadzoru ze strony człowieka, tak aby podmiot stosujący nie mógł podejmować żadnych działań ani decyzji na podstawie identyfikacji wynikającej z systemu, dopóki nie została ona odrębnie zweryfikowana i potwierdzona przez co najmniej dwie osoby fizyczne. Osoby te mogą pochodzić z różnych podmiotów i mogą to być osoby obsługujące system lub z niego korzystające. Wymóg ten nie powinien powodować niepotrzebnych obciążeń ani opóźnień i powinno wystarczyć, że odrębne weryfikacje dokonywane przez różne osoby będą automatycznie rejestrowane w wygenerowanych przez system rejestrach zdarzeń. Biorąc pod uwagę specyfikę obszarów ścigania przestępstw, migracji, kontroli granicznej i azylu, wymóg ten nie powinien mieć zastosowania, jeżeli na mocy prawa Unii lub prawa krajowego stosowanie tego wymogu uznaje się za nieproporcjonalne.
(73)
High-risk AI systems should be designed and developed in such a way that natural persons can oversee their functioning, ensure that they are used as intended and that their impacts are addressed over the system’s lifecycle. To that end, appropriate human oversight measures should be identified by the provider of the system before its placing on the market or putting into service. In particular, where appropriate, such measures should guarantee that the system is subject to in-built operational constraints that cannot be overridden by the system itself and is responsive to the human operator, and that the natural persons to whom human oversight has been assigned have the necessary competence, training and authority to carry out that role. It is also essential, as appropriate, to ensure that high-risk AI systems include mechanisms to guide and inform a natural person to whom human oversight has been assigned to make informed decisions if, when and how to intervene in order to avoid negative consequences or risks, or stop the system if it does not perform as intended. Considering the significant consequences for persons in the case of an incorrect match by certain biometric identification systems, it is appropriate to provide for an enhanced human oversight requirement for those systems so that no action or decision may be taken by the deployer on the basis of the identification resulting from the system unless this has been separately verified and confirmed by at least two natural persons. Those persons could be from one or more entities and include the person operating or using the system. This requirement should not pose unnecessary burden or delays and it could be sufficient that the separate verifications by the different persons are automatically recorded in the logs generated by the system. Given the specificities of the areas of law enforcement, migration, border control and asylum, this requirement should not apply where Union or national law considers the application of that requirement to be disproportionate.
(74)
Systemy AI wysokiego ryzyka powinny działać w sposób spójny w całym cyklu życia i charakteryzować się odpowiednim poziomem dokładności, solidności i cyberbezpieczeństwa – w świetle ich przeznaczenia i zgodnie z powszechnie uznawanym stanem wiedzy technicznej. Komisję oraz odpowiednie organizacje i zainteresowane strony zachęca się, by należycie uwzględniały ograniczanie ryzyka i negatywnych skutków związanych z systemem AI. Oczekiwany poziom wskaźników skuteczności działania należy zadeklarować w załączonej instrukcji obsługi. Dostawców wzywa się, by przekazywali te informacje podmiotom stosującym w jasny i łatwo zrozumiały sposób, wolny od dwuznaczności i stwierdzeń wprowadzających w błąd. Prawo Unii dotyczące metrologii prawnej, w tym dyrektywy Parlamentu Europejskiego i Rady 2014/31/UE (35) i 2014/32/UE (36), ma na celu zapewnienie dokładności pomiarów oraz wspieranie przejrzystości i uczciwości transakcji handlowych. W tym kontekście, we współpracy z odpowiednimi zainteresowanymi stronami i organizacjami, takimi jak organy ds. metrologii i organy ds. analizy porównawczej, Komisja powinna w stosownych przypadkach zachęcać do opracowywania poziomów odniesienia i metod pomiaru dotyczących systemów AI. Komisja powinna przy tym współpracować z partnerami międzynarodowymi pracującymi nad metrologią i odpowiednimi wskaźnikami pomiarowymi związanymi z AI oraz uwzględniać ich działania.
(74)
High-risk AI systems should perform consistently throughout their lifecycle and meet an appropriate level of accuracy, robustness and cybersecurity, in light of their intended purpose and in accordance with the generally acknowledged state of the art. The Commission and relevant organisations and stakeholders are encouraged to take due consideration of the mitigation of risks and the negative impacts of the AI system. The expected level of performance metrics should be declared in the accompanying instructions of use. Providers are urged to communicate that information to deployers in a clear and easily understandable way, free of misunderstandings or misleading statements. Union law on legal metrology, including Directives 2014/31/EU (35) and 2014/32/EU (36) of the European Parliament and of the Council, aims to ensure the accuracy of measurements and to help the transparency and fairness of commercial transactions. In that context, in cooperation with relevant stakeholders and organisation, such as metrology and benchmarking authorities, the Commission should encourage, as appropriate, the development of benchmarks and measurement methodologies for AI systems. In doing so, the Commission should take note and collaborate with international partners working on metrology and relevant measurement indicators relating to AI.
(75)
Kluczowym wymogiem dotyczącym systemów AI wysokiego ryzyka jest solidność techniczna. Powinny one być odporne na szkodliwe lub w inny sposób niepożądane zachowania, które mogą wynikać z ograniczeń w systemach lub ze środowiska, w którym te systemy działają (np. błędy, usterki, niespójności, nieoczekiwane sytuacje). W związku z tym należy wprowadzić środki techniczne i organizacyjne, by zapewnić solidność systemów AI wysokiego ryzyka, na przykład poprzez projektowanie i rozwijanie odpowiednich rozwiązań technicznych w celu zapobiegania szkodliwym lub innym niepożądanym zachowaniom lub ich ograniczania. Takie rozwiązania techniczne mogą obejmować na przykład mechanizmy umożliwiające bezpieczne przerwanie działania systemu (przejście systemu w stan bezpieczny – tzw. „fail-safe”), jeśli zaistnieją pewne nieprawidłowości lub gdy działanie wykracza poza określone z góry granice. Brak ochrony przed tym ryzykiem może mieć konsekwencje dla bezpieczeństwa lub negatywnie wpłynąć na prawa podstawowe, na przykład z powodu błędnych decyzji lub nieprawidłowych lub stronniczych wyników generowanych przez system AI.
(75)
Technical robustness is a key requirement for high-risk AI systems. They should be resilient in relation to harmful or otherwise undesirable behaviour that may result from limitations within the systems or the environment in which the systems operate (e.g. errors, faults, inconsistencies, unexpected situations). Therefore, technical and organisational measures should be taken to ensure robustness of high-risk AI systems, for example by designing and developing appropriate technical solutions to prevent or minimise harmful or otherwise undesirable behaviour. Those technical solution may include for instance mechanisms enabling the system to safely interrupt its operation (fail-safe plans) in the presence of certain anomalies or when operation takes place outside certain predetermined boundaries. Failure to protect against these risks could lead to safety impacts or negatively affect the fundamental rights, for example due to erroneous decisions or wrong or biased outputs generated by the AI system.
(76)
Cyberbezpieczeństwo odgrywa kluczową rolę w zapewnianiu odporności systemów AI na próby modyfikacji ich wykorzystania, zachowania, skuteczności działania lub obejścia ich zabezpieczeń przez działające w złej wierze osoby trzecie wykorzystujące słabe punkty systemu. Cyberataki na systemy AI mogą polegać na wykorzystaniu konkretnych zasobów AI, takich jak zbiory danych treningowych (np. zatruwanie danych) lub trenowane modele (np. ataki kontradyktoryjne lub ataki wnioskowania o członkostwie), lub wykorzystaniu słabych punktów w zasobach cyfrowych systemu AI lub w bazowej infrastrukturze ICT. Aby zapewnić poziom cyberbezpieczeństwa odpowiedni do ryzyka, dostawcy systemów AI wysokiego ryzyka powinni zatem wdrożyć odpowiednie środki, takie jak mechanizmy kontroli bezpieczeństwa, uwzględniając również w stosownych przypadkach infrastrukturę ICT, na której opiera się dany system.
(76)
Cybersecurity plays a crucial role in ensuring that AI systems are resilient against attempts to alter their use, behaviour, performance or compromise their security properties by malicious third parties exploiting the system’s vulnerabilities. Cyberattacks against AI systems can leverage AI specific assets, such as training data sets (e.g. data poisoning) or trained models (e.g. adversarial attacks or membership inference), or exploit vulnerabilities in the AI system’s digital assets or the underlying ICT infrastructure. To ensure a level of cybersecurity appropriate to the risks, suitable measures, such as security controls, should therefore be taken by the providers of high-risk AI systems, also taking into account as appropriate the underlying ICT infrastructure.
(77)
Bez uszczerbku dla wymogów związanych z solidnością i dokładnością określonych w niniejszym rozporządzeniu systemy AI wysokiego ryzyka, które wchodzą w zakres stosowania rozporządzenia Parlamentu Europejskiego i Rady w sprawie horyzontalnych wymogów cyberbezpieczeństwa w odniesieniu do produktów z elementami cyfrowymi, zgodnie z tym rozporządzeniem mogą wykazać zgodność z wymogami w zakresie cyberbezpieczeństwa określonymi w niniejszym rozporządzeniu w drodze spełnienia zasadniczych wymogów w zakresie cyberbezpieczeństwa ustanowionych w tym rozporządzeniu. W przypadku gdy systemy AI wysokiego ryzyka spełniają zasadnicze wymogi rozporządzenia Parlamentu Europejskiego i Rady w sprawie horyzontalnych wymogów cyberbezpieczeństwa w odniesieniu do produktów z elementami cyfrowymi, należy uznać, że wykazują zgodność z wymogami w zakresie cyberbezpieczeństwa ustanowionymi w niniejszym rozporządzeniu w zakresie, w jakim spełnienie tych wymogów wykazano w deklaracji zgodności UE lub w jej częściach wydanych zgodnie z tym rozporządzeniem. W tym celu ocena ryzyka dotyczącego cyberbezpieczeństwa związanego z produktem z elementami cyfrowymi, które zaklasyfikowano jako system AI wysokiego ryzyka zgodnie z niniejszym rozporządzeniem, przeprowadzana na podstawie rozporządzenia Parlamentu Europejskiego i Rady w sprawie horyzontalnych wymogów cyberbezpieczeństwa w odniesieniu do produktów z elementami cyfrowymi, powinna uwzględniać ryzyko dla cyberodporności systemu AI w odniesieniu do podejmowanych przez nieupoważnione osoby trzecie prób zmiany jego wykorzystania, zachowania lub skuteczności działania, w tym uwzględniać charakterystyczne dla AI słabe punkty, takie jak ryzyko zatruwania danych lub ataki kontradyktoryjne, a także, w stosownych przypadkach, uwzględniać ryzyko dla praw podstawowych zgodnie z wymogami niniejszego rozporządzenia.
(77)
Without prejudice to the requirements related to robustness and accuracy set out in this Regulation, high-risk AI systems which fall within the scope of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, in accordance with that regulation may demonstrate compliance with the cybersecurity requirements of this Regulation by fulfilling the essential cybersecurity requirements set out in that regulation. When high-risk AI systems fulfil the essential requirements of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, they should be deemed compliant with the cybersecurity requirements set out in this Regulation in so far as the achievement of those requirements is demonstrated in the EU declaration of conformity or parts thereof issued under that regulation. To that end, the assessment of the cybersecurity risks, associated to a product with digital elements classified as high-risk AI system according to this Regulation, carried out under a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, should consider risks to the cyber resilience of an AI system as regards attempts by unauthorised third parties to alter its use, behaviour or performance, including AI specific vulnerabilities such as data poisoning or adversarial attacks, as well as, as relevant, risks to fundamental rights as required by this Regulation.
(78)
Procedura oceny zgodności przewidziana w niniejszym rozporządzeniu powinna mieć zastosowanie do zasadniczych wymogów w zakresie cyberbezpieczeństwa produktu z elementami cyfrowymi objętego rozporządzeniem Parlamentu Europejskiego i Rady w sprawie horyzontalnych wymogów cyberbezpieczeństwa w odniesieniu do produktów z elementami cyfrowymi i zaklasyfikowanego jako system AI wysokiego ryzyka na podstawie niniejszego rozporządzenia. Zasada ta nie powinna jednak powodować zmniejszenia niezbędnego poziomu ufności w odniesieniu do produktów krytycznych z elementami cyfrowymi objętych rozporządzeniem Parlamentu Europejskiego i Rady w sprawie horyzontalnych wymogów cyberbezpieczeństwa w odniesieniu do produktów z elementami cyfrowymi. W związku z tym, na zasadzie odstępstwa od tej zasady, systemy AI wysokiego ryzyka, które wchodzą w zakres niniejszego rozporządzenia i są również kwalifikowane jako ważne i krytyczne produkty z elementami cyfrowymi zgodnie z rozporządzeniem Parlamentu Europejskiego i Rady w sprawie horyzontalnych wymogów cyberbezpieczeństwa w odniesieniu do produktów z elementami cyfrowymi i do których ma zastosowanie procedura oceny zgodności oparta na kontroli wewnętrznej określona w załączniku do niniejszego rozporządzenia, podlegają przepisom dotyczącym oceny zgodności zawartym w rozporządzeniu Parlamentu Europejskiego i Rady w sprawie horyzontalnych wymogów cyberbezpieczeństwa w odniesieniu do produktów z elementami cyfrowymi w zakresie, w jakim dotyczy to zasadniczych wymogów w zakresie cyberbezpieczeństwa określonych w tym rozporządzeniu. W tym przypadku do wszystkich pozostałych aspektów objętych niniejszym rozporządzeniem należy stosować odpowiednie przepisy dotyczące oceny zgodności opierającej się na kontroli wewnętrznej określone w załączniku do niniejszego rozporządzenia. By wykorzystać wiedzę teoretyczną i fachową ENISA w zakresie polityki cyberbezpieczeństwa i w oparciu o zadania powierzone ENISA na podstawie rozporządzenia Parlamentu Europejskiego i Rady (UE) 2019/881 (37), Komisja powinna współpracować z ENISA w kwestiach związanych z cyberbezpieczeństwem systemów AI.
(78)
The conformity assessment procedure provided by this Regulation should apply in relation to the essential cybersecurity requirements of a product with digital elements covered by a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements and classified as a high-risk AI system under this Regulation. However, this rule should not result in reducing the necessary level of assurance for critical products with digital elements covered by a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements. Therefore, by way of derogation from this rule, high-risk AI systems that fall within the scope of this Regulation and are also qualified as important and critical products with digital elements pursuant to a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements and to which the conformity assessment procedure based on internal control set out in an annex to this Regulation applies, are subject to the conformity assessment provisions of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements insofar as the essential cybersecurity requirements of that regulation are concerned. In this case, for all the other aspects covered by this Regulation the respective provisions on conformity assessment based on internal control set out in an annex to this Regulation should apply. Building on the knowledge and expertise of ENISA on the cybersecurity policy and tasks assigned to ENISA under the Regulation (EU) 2019/881 of the European Parliament and of the Council (37), the Commission should cooperate with ENISA on issues related to cybersecurity of AI systems.
(79)
Należy zapewnić, aby odpowiedzialność za wprowadzenie do obrotu lub oddanie do użytku systemu AI wysokiego ryzyka ponosiła konkretna osoba fizyczna lub prawna określona jako dostawca, niezależnie od tego, czy ta osoba fizyczna lub prawna jest osobą, która zaprojektowała lub rozwinęła system.
(79)
It is appropriate that a specific natural or legal person, defined as the provider, takes responsibility for the placing on the market or the putting into service of a high-risk AI system, regardless of whether that natural or legal person is the person who designed or developed the system.
(80)
Jako sygnatariusze Konwencji ONZ o prawach osób niepełnosprawnych Unia i państwa członkowskie są prawnie zobowiązane do ochrony osób z niepełnosprawnościami przed dyskryminacją i do propagowania ich równości, do zapewnienia im dostępu na równych zasadach z innymi osobami do technologii i systemów informacyjno-komunikacyjnych oraz do zapewnienia poszanowania ich prywatności. Z uwagi na rosnące znaczenie i wykorzystanie systemów sztucznej inteligencji stosowanie zasad projektowania uniwersalnego do wszystkich nowych technologii i usług powinno zapewniać pełny i równy dostęp dla wszystkich osób, których potencjalnie dotyczą technologie AI lub które je stosują, w tym osób z niepełnosprawnościami, w sposób uwzględniający w pełni ich przyrodzoną godność i różnorodność. Istotne jest zatem, aby dostawcy zapewniali pełną zgodność z wymogami dostępności, w tym z dyrektywą Parlamentu Europejskiego i Rady (UE) 2016/2102 (38) i dyrektywą (UE) 2019/882. Dostawcy powinni zapewnić zgodność z tymi wymogami już na etapie projektowania. W związku z tym w projektowaniu systemu AI wysokiego ryzyka należy w jak największym stopniu uwzględnić niezbędne środki.
(80)
As signatories to the United Nations Convention on the Rights of Persons with Disabilities, the Union and the Member States are legally obliged to protect persons with disabilities from discrimination and promote their equality, to ensure that persons with disabilities have access, on an equal basis with others, to information and communications technologies and systems, and to ensure respect for privacy for persons with disabilities. Given the growing importance and use of AI systems, the application of universal design principles to all new technologies and services should ensure full and equal access for everyone potentially affected by or using AI technologies, including persons with disabilities, in a way that takes full account of their inherent dignity and diversity. It is therefore essential that providers ensure full compliance with accessibility requirements, including Directive (EU) 2016/2102 of the European Parliament and of the Council (38) and Directive (EU) 2019/882. Providers should ensure compliance with these requirements by design. Therefore, the necessary measures should be integrated as much as possible into the design of the high-risk AI system.
(81)
Dostawca powinien ustanowić solidny system zarządzania jakością, zapewnić przeprowadzenie wymaganej procedury oceny zgodności, sporządzić odpowiednią dokumentację i ustanowić solidny system monitorowania po wprowadzeniu do obrotu. Dostawcy systemów AI wysokiego ryzyka, którzy podlegają obowiązkom dotyczącym systemów zarządzania jakością na mocy odpowiednich sektorowych przepisów prawa Unii, powinni mieć możliwość włączenia elementów systemu zarządzania jakością przewidzianego w niniejszym rozporządzeniu do istniejącego systemu zarządzania jakością przewidzianego w innych sektorowych przepisach prawa Unii. Komplementarność między niniejszym rozporządzeniem a obowiązującymi sektorowymi przepisami prawa Unii powinna być również brana pod uwagę w przyszłych działaniach normalizacyjnych lub wytycznych przyjmowanych przez Komisję. Organy publiczne, które oddają do użytku systemy AI wysokiego ryzyka do celów własnych, mogą – w ramach przyjętego, odpowiednio, na poziomie krajowym lub regionalnym systemu zarządzania jakością – przyjąć i wdrożyć zasady dotyczące systemu zarządzania jakością, z uwzględnieniem specyfiki sektora oraz kompetencji i organizacji danego organu publicznego.
(81)
The provider should establish a sound quality management system, ensure the accomplishment of the required conformity assessment procedure, draw up the relevant documentation and establish a robust post-market monitoring system. Providers of high-risk AI systems that are subject to obligations regarding quality management systems under relevant sectoral Union law should have the possibility to include the elements of the quality management system provided for in this Regulation as part of the existing quality management system provided for in that other sectoral Union law. The complementarity between this Regulation and existing sectoral Union law should also be taken into account in future standardisation activities or guidance adopted by the Commission. Public authorities which put into service high-risk AI systems for their own use may adopt and implement the rules for the quality management system as part of the quality management system adopted at a national or regional level, as appropriate, taking into account the specificities of the sector and the competences and organisation of the public authority concerned.
(82)
W celu umożliwienia egzekwowania przepisów niniejszego rozporządzenia i stworzenia równych warunków działania dla operatorów, a także uwzględniając różne formy udostępniania produktów cyfrowych, należy zapewnić, aby w każdych okolicznościach osoba, która ma miejsce zamieszkania lub siedzibę w Unii, była w stanie przekazać organom wszystkie niezbędne informacje dotyczące zgodności danego systemu AI. W związku z tym dostawcy mający miejsce zamieszkania lub siedzibę w państwach trzecich przed udostępnieniem swoich systemów AI w Unii powinni ustanowić – na podstawie pisemnego pełnomocnictwa – upoważnionego przedstawiciela mającego miejsce zamieszkania lub siedzibę w Unii. Ten upoważniony przedstawiciel odgrywa kluczową rolę w zapewnianiu zgodności systemów AI wysokiego ryzyka wprowadzanych do obrotu lub oddawanych do użytku w Unii przez dostawców, którzy nie mają miejsca zamieszkania lub siedziby w Unii, oraz w pełnieniu funkcji ich osoby kontaktowej mającej miejsce zamieszkania lub siedzibę w Unii.
(82)
To enable enforcement of this Regulation and create a level playing field for operators, and, taking into account the different forms of making available of digital products, it is important to ensure that, under all circumstances, a person established in the Union can provide authorities with all the necessary information on the compliance of an AI system. Therefore, prior to making their AI systems available in the Union, providers established in third countries should, by written mandate, appoint an authorised representative established in the Union. This authorised representative plays a pivotal role in ensuring the compliance of the high-risk AI systems placed on the market or put into service in the Union by those providers who are not established in the Union and in serving as their contact person established in the Union.
(83)
W świetle charakteru i złożoności łańcucha wartości systemów AI oraz zgodnie z nowymi ramami prawnymi konieczne jest zapewnienie pewności prawa i ułatwienie zgodności z niniejszym rozporządzeniem. W związku z tym konieczne jest wyjaśnienie roli i konkretnych obowiązków odpowiednich operatorów w całym łańcuchu wartości, takich jak importerzy i dystrybutorzy, którzy mogą przyczyniać się do rozwoju systemów AI. W niektórych sytuacjach operatorzy ci mogą odgrywać więcej niż jedną rolę jednocześnie i w związku z tym powinni łącznie spełniać wszystkie odpowiednie obowiązki związane z tymi rolami. Na przykład operator może występować jednocześnie jako dystrybutor i importer.
(83)
In light of the nature and complexity of the value chain for AI systems and in line with the New Legislative Framework, it is essential to ensure legal certainty and facilitate the compliance with this Regulation. Therefore, it is necessary to clarify the role and the specific obligations of relevant operators along that value chain, such as importers and distributors who may contribute to the development of AI systems. In certain situations those operators could act in more than one role at the same time and should therefore fulfil cumulatively all relevant obligations associated with those roles. For example, an operator could act as a distributor and an importer at the same time.
(84)
Aby zapewnić pewność prawa, należy wyjaśnić, że w pewnych określonych warunkach każdego dystrybutora, importera, podmiot stosujący lub inną stronę trzecią należy uznać za dostawcę systemu AI wysokiego ryzyka i w związku z tym powinni oni przyjąć na siebie wszystkie związane z tym obowiązki. Miałoby to miejsce w przypadku, gdy strona ta umieszcza swoją nazwę lub znak towarowy w systemie AI wysokiego ryzyka, który został już wprowadzony do obrotu lub oddany do użytku, bez uszczerbku dla ustaleń umownych przewidujących odmienny podział obowiązków. Miałoby to miejsce również w przypadku, gdy strona ta dokonuje istotnej zmiany w systemie AI wysokiego ryzyka, który został już wprowadzony do obrotu lub oddany do użytku, w taki sposób, że pozostaje on systemem AI wysokiego ryzyka zgodnie z niniejszym rozporządzeniem, lub jeżeli zmieni przeznaczenie systemu AI, w tym systemu AI ogólnego przeznaczenia, który nie został zaklasyfikowany jako system wysokiego ryzyka i został już wprowadzony do obrotu lub oddany do użytku, w taki sposób, że ten system AI staje się systemem wysokiego ryzyka zgodnie z niniejszym rozporządzeniem. Przepisy te należy stosować bez uszczerbku dla bardziej szczegółowych przepisów ustanowionych w unijnym prawodawstwie harmonizacyjnym opartym o nowe ramy prawne, wraz z którymi należy stosować niniejsze rozporządzenie. Na przykład do systemów AI wysokiego ryzyka będących wyrobami medycznymi w rozumieniu rozporządzenia (UE) 2017/745, należy nadal stosować art. 16 ust. 2 tego rozporządzenia stanowiący, że niektórych zmian nie należy uznawać za modyfikację wyrobu mogącą wpłynąć na jego zgodność z obowiązującymi wymogami.
(84)
To ensure legal certainty, it is necessary to clarify that, under certain specific conditions, any distributor, importer, deployer or other third-party should be considered to be a provider of a high-risk AI system and therefore assume all the relevant obligations. This would be the case if that party puts its name or trademark on a high-risk AI system already placed on the market or put into service, without prejudice to contractual arrangements stipulating that the obligations are allocated otherwise. This would also be the case if that party makes a substantial modification to a high-risk AI system that has already been placed on the market or has already been put into service in a way that it remains a high-risk AI system in accordance with this Regulation, or if it modifies the intended purpose of an AI system, including a general-purpose AI system, which has not been classified as high-risk and has already been placed on the market or put into service, in a way that the AI system becomes a high-risk AI system in accordance with this Regulation. Those provisions should apply without prejudice to more specific provisions established in certain Union harmonisation legislation based on the New Legislative Framework, together with which this Regulation should apply. For example, Article 16(2) of Regulation (EU) 2017/745, establishing that certain changes should not be considered to be modifications of a device that could affect its compliance with the applicable requirements, should continue to apply to high-risk AI systems that are medical devices within the meaning of that Regulation.
(85)
Systemy AI ogólnego przeznaczenia mogą być wykorzystywane jako samodzielne systemy AI wysokiego ryzyka lub stanowić element innych systemów AI wysokiego ryzyka. W związku z tym z uwagi na ich szczególny charakter i aby zapewnić sprawiedliwy podział odpowiedzialności w całym łańcuchu wartości AI, dostawcy takich systemów, niezależnie od tego, czy ich mogą być one wykorzystywane jako systemy AI wysokiego ryzyka przez innych dostawców czy jako elementy systemów AI wysokiego ryzyka, powinni ściśle współpracować – o ile niniejsze rozporządzenie nie stanowi inaczej – z dostawcami odpowiednich systemów AI wysokiego ryzyka, aby umożliwić im spełnianie odpowiednich obowiązków ustanowionych w niniejszym rozporządzeniu, oraz z właściwymi organami ustanowionymi na podstawie niniejszego rozporządzenia.
(85)
General-purpose AI systems may be used as high-risk AI systems by themselves or be components of other high-risk AI systems. Therefore, due to their particular nature and in order to ensure a fair sharing of responsibilities along the AI value chain, the providers of such systems should, irrespective of whether they may be used as high-risk AI systems as such by other providers or as components of high-risk AI systems and unless provided otherwise under this Regulation, closely cooperate with the providers of the relevant high-risk AI systems to enable their compliance with the relevant obligations under this Regulation and with the competent authorities established under this Regulation.
(86)
W przypadku gdy zgodnie z warunkami ustanowionymi w niniejszym rozporządzeniu dostawcy, który pierwotnie wprowadził system AI do obrotu lub oddał go do użytku, nie należy już uznawać za dostawcę do celów niniejszego rozporządzenia, a dostawca ten nie wykluczył wyraźnie, że system AI może zostać zmieniony w system AI wysokiego ryzyka, ten pierwszy dostawca powinien nadal ściśle współpracować i udostępniać niezbędne informacje oraz zapewniać dostęp techniczny i inną pomoc, których można zasadnie oczekiwać i które są wymagane do spełnienia obowiązków ustanowionych w niniejszym rozporządzeniu, w szczególności w zakresie wymogów dotyczących oceny zgodności systemów AI wysokiego ryzyka.
(86)
Where, under the conditions laid down in this Regulation, the provider that initially placed the AI system on the market or put it into service should no longer be considered to be the provider for the purposes of this Regulation, and when that provider has not expressly excluded the change of the AI system into a high-risk AI system, the former provider should nonetheless closely cooperate and make available the necessary information and provide the reasonably expected technical access and other assistance that are required for the fulfilment of the obligations set out in this Regulation, in particular regarding the compliance with the conformity assessment of high-risk AI systems.
(87)
Ponadto w przypadku gdy system AI wysokiego ryzyka będący związanym z bezpieczeństwem elementem produktu, który wchodzi w zakres stosowania unijnego prawodawstwa harmonizacyjnego opartego na nowych ramach prawnych, nie jest wprowadzany do obrotu ani oddawany do użytku niezależnie od tego produktu, producent produktu – w rozumieniu tego prawodawstwa – powinien spełniać obowiązki dostawcy ustanowione w niniejszym rozporządzeniu, a w szczególności zapewnić zgodność systemu AI wbudowanego w produkt końcowy z wymogami niniejszego rozporządzenia.
(87)
In addition, where a high-risk AI system that is a safety component of a product which falls within the scope of Union harmonisation legislation based on the New Legislative Framework is not placed on the market or put into service independently from the product, the product manufacturer defined in that legislation should comply with the obligations of the provider established in this Regulation and should, in particular, ensure that the AI system embedded in the final product complies with the requirements of this Regulation.
(88)
W całym łańcuchu wartości AI wiele podmiotów często dostarcza systemy AI, narzędzia i usługi, ale również elementy lub procesy, które są włączane przez dostawcę do systemu AI w różnych celach, w tym trenowania modelu, retrenowania modelu, testowania i oceny modelu, integracji z oprogramowaniem lub innych aspektów rozwoju modelu. Podmioty te mają do odegrania ważną rolę w łańcuchu wartości w stosunku do dostawcy systemu AI wysokiego ryzyka, z którym to systemem zintegrowane są ich systemy AI, narzędzia, usługi, elementy lub procesy; podmioty te powinny zapewnić temu dostawcy na podstawie pisemnej umowy niezbędne informacje, zdolności, dostęp techniczny i inną pomoc w oparciu o powszechnie uznany stan wiedzy technicznej, aby umożliwić dostawcy pełne spełnienie obowiązków ustanowionych w niniejszym rozporządzeniu, bez uszczerbku dla ich własnych praw własności intelektualnej lub tajemnic przedsiębiorstwa.
(88)
Along the AI value chain multiple parties often supply AI systems, tools and services but also components or processes that are incorporated by the provider into the AI system with various objectives, including the model training, model retraining, model testing and evaluation, integration into software, or other aspects of model development. Those parties have an important role to play in the value chain towards the provider of the high-risk AI system into which their AI systems, tools, services, components or processes are integrated, and should provide by written agreement this provider with the necessary information, capabilities, technical access and other assistance based on the generally acknowledged state of the art, in order to enable the provider to fully comply with the obligations set out in this Regulation, without compromising their own intellectual property rights or trade secrets.
(89)
Strony trzecie udostępniające publicznie narzędzia, usługi, procesy lub elementy AI, inne niż modele AI ogólnego przeznaczenia, nie powinny być zobowiązane do zapewnienia zgodności z wymogami dotyczącymi odpowiedzialności w całym łańcuchu wartości AI, w szczególności wobec dostawcy, który je wykorzystał lub zintegrował, jeżeli te narzędzia, usługi, procesy lub elementy AI są udostępniane na podstawie bezpłatnej licencji otwartego oprogramowania. Należy zachęcać twórców narzędzi, usług, procesów lub elementów AI, innych niż modele AI ogólnego przeznaczenia, które są udostępniane na bezpłatnej licencji otwartego oprogramowania, do wdrażania powszechnie przyjętych praktyk w zakresie dokumentacji, takich jak karta modelu i karta charakterystyki, jako sposobu na przyspieszenie wymiany informacji w całym łańcuchu wartości AI, co umożliwi promowanie godnych zaufania systemów AI w Unii.
(89)
Third parties making accessible to the public tools, services, processes, or AI components other than general-purpose AI models, should not be mandated to comply with requirements targeting the responsibilities along the AI value chain, in particular towards the provider that has used or integrated them, when those tools, services, processes, or AI components are made accessible under a free and open-source licence. Developers of free and open-source tools, services, processes, or AI components other than general-purpose AI models should be encouraged to implement widely adopted documentation practices, such as model cards and data sheets, as a way to accelerate information sharing along the AI value chain, allowing the promotion of trustworthy AI systems in the Union.
(90)
Komisja mogłaby opracować dobrowolne wzorcowe postanowienia umowne między dostawcami systemów AI wysokiego ryzyka a stronami trzecimi dostarczającymi narzędzia, usługi, elementy lub procesy, które są wykorzystywane w systemach AI wysokiego ryzyka lub z nimi zintegrowane, i zalecać stosowanie tych modelowych postanowień, aby ułatwić współpracę w całym łańcuchu wartości. Przy opracowywaniu dobrowolnych wzorcowych postanowień umownych, Komisja powinna też brać pod uwagę wymogi umowne, które mogą mieć zastosowanie w szczególnych sektorach lub przypadkach biznesowych.
(90)
The Commission could develop and recommend voluntary model contractual terms between providers of high-risk AI systems and third parties that supply tools, services, components or processes that are used or integrated in high-risk AI systems, to facilitate the cooperation along the value chain. When developing voluntary model contractual terms, the Commission should also take into account possible contractual requirements applicable in specific sectors or business cases.
(91)
Ze względu na charakter systemów AI oraz ryzyko dla bezpieczeństwa i praw podstawowych, jakie może wiązać się z ich wykorzystywaniem, uwzględniając przy tym potrzebę zapewnienia właściwego monitorowania skuteczności działania systemu AI w warunkach rzeczywistych, należy określić szczególne obowiązki podmiotów stosujących. Podmioty stosujące powinny w szczególności wprowadzić odpowiednie środki techniczne i organizacyjne w celu zapewnienia, aby systemy AI wysokiego ryzyka były wykorzystywane przez nich zgodnie z instrukcjami obsługi, a w stosownych przypadkach należy przewidzieć określone inne obowiązki w odniesieniu do monitorowania funkcjonowania systemów AI oraz rejestrowania zdarzeń. Ponadto podmioty stosujące powinny zapewnić, aby osoby wyznaczone do stosowania instrukcji obsługi i sprawowania nadzoru ze strony człowieka, zgodnie z niniejszym rozporządzeniem, posiadały niezbędne kompetencje, w szczególności odpowiedni poziom kompetencji w zakresie AI oraz odpowiedni poziom przeszkolenia i uprawnień, aby właściwie wykonywać te zadania. Obowiązki te powinny pozostawać bez uszczerbku dla innych wynikających z prawa Unii lub prawa krajowego obowiązków podmiotów stosujących w odniesieniu do systemów AI wysokiego ryzyka.
(91)
Given the nature of AI systems and the risks to safety and fundamental rights possibly associated with their use, including as regards the need to ensure proper monitoring of the performance of an AI system in a real-life setting, it is appropriate to set specific responsibilities for deployers. Deployers should in particular take appropriate technical and organisational measures to ensure they use high-risk AI systems in accordance with the instructions of use and certain other obligations should be provided for with regard to monitoring of the functioning of the AI systems and with regard to record-keeping, as appropriate. Furthermore, deployers should ensure that the persons assigned to implement the instructions for use and human oversight as set out in this Regulation have the necessary competence, in particular an adequate level of AI literacy, training and authority to properly fulfil those tasks. Those obligations should be without prejudice to other deployer obligations in relation to high-risk AI systems under Union or national law.
(92)
Niniejsze rozporządzenie pozostaje bez uszczerbku dla obowiązków pracodawców w zakresie informowania pracowników lub ich przedstawicieli i konsultowania się z nimi na podstawie prawa Unii o prawa krajowego oraz unijnej lub krajowej praktyki, w tym dyrektywy 2002/14/WE Parlamentu Europejskiego i Rady (39), na temat decyzji o oddaniu do użytku lub korzystaniu z systemów AI. Nadal konieczne jest zapewnienie pracownikom i ich przedstawicielom informacji na temat planowanego wdrożenia systemów AI wysokiego ryzyka w miejscu pracy, w przypadku gdy warunki dotyczące tych obowiązków w zakresie informowania lub informowania i przeprowadzania konsultacji określone w innych instrumentach prawnych nie są spełnione. Ponadto takie prawo do informacji ma charakter pomocniczy i konieczny w stosunku do leżącego u podstaw niniejszego rozporządzenia celu, jakim jest ochrona praw podstawowych. W związku z tym w niniejszym rozporządzeniu należy ustanowić wymóg informowania w tym zakresie, nie naruszając żadnych istniejących praw pracowników.
(92)
This Regulation is without prejudice to obligations for employers to inform or to inform and consult workers or their representatives under Union or national law and practice, including Directive 2002/14/EC of the European Parliament and of the Council (39), on decisions to put into service or use AI systems. It remains necessary to ensure information of workers and their representatives on the planned deployment of high-risk AI systems at the workplace where the conditions for those information or information and consultation obligations in other legal instruments are not fulfilled. Moreover, such information right is ancillary and necessary to the objective of protecting fundamental rights that underlies this Regulation. Therefore, an information requirement to that effect should be laid down in this Regulation, without affecting any existing rights of workers.
(93)
Ryzyko związane z systemami AI może wynikać ze sposobu zaprojektowania takich systemów, jak również ze sposobu ich wykorzystania. Podmioty stosujące systemy AI wysokiego ryzyka odgrywają zatem kluczową rolę w zapewnianiu ochrony praw podstawowych w uzupełnieniu obowiązków dostawcy podczas rozwoju systemu AI. Podmioty stosujące najlepiej rozumieją, jak konkretnie wykorzystywany będzie system AI wysokiego ryzyka, i mogą w związku z tym zidentyfikować potencjalne znaczące ryzyko, które nie zostało przewidziane na etapie rozwoju, dzięki bardziej precyzyjnej wiedzy na temat kontekstu wykorzystania, osób lub grup osób, na które system może wywierać wpływ, w tym grup szczególnie wrażliwych. Podmioty stosujące systemy AI wysokiego ryzyka wymienione w załączniku do niniejszego rozporządzenia również odgrywają kluczową rolę w informowaniu osób fizycznych i powinny – gdy podejmują decyzje lub pomagają w podejmowaniu decyzji dotyczących osób fizycznych, w stosownych przypadkach, informować osoby fizyczne, że jest w stosunku do nich wykorzystywany system AI wysokiego ryzyka. Taka informacja powinna obejmować przeznaczenie systemu i typ podejmowanych przez niego decyzji. Podmiot stosujący informuje również osoby fizyczne o przysługujących im prawie do uzyskania wyjaśnienia, które przewiduje niniejsze rozporządzenie. W odniesieniu do systemów AI wysokiego ryzyka wykorzystywanych do celów ścigania przestępstw obowiązek ten należy wykonywać zgodnie z art. 13 dyrektywy (UE) 2016/680.
(93)
Whilst risks related to AI systems can result from the way such systems are designed, risks can as well stem from how such AI systems are used. Deployers of high-risk AI system therefore play a critical role in ensuring that fundamental rights are protected, complementing the obligations of the provider when developing the AI system. Deployers are best placed to understand how the high-risk AI system will be used concretely and can therefore identify potential significant risks that were not foreseen in the development phase, due to a more precise knowledge of the context of use, the persons or groups of persons likely to be affected, including vulnerable groups. Deployers of high-risk AI systems listed in an annex to this Regulation also play a critical role in informing natural persons and should, when they make decisions or assist in making decisions related to natural persons, where applicable, inform the natural persons that they are subject to the use of the high-risk AI system. This information should include the intended purpose and the type of decisions it makes. The deployer should also inform the natural persons about their right to an explanation provided under this Regulation. With regard to high-risk AI systems used for law enforcement purposes, that obligation should be implemented in accordance with Article 13 of Directive (EU) 2016/680.
(94)
Wszelkie przetwarzanie danych biometrycznych związane z wykorzystywaniem systemów AI do identyfikacji biometrycznej do celów ścigania przestępstw musi być zgodne z art. 10 dyrektywy (UE) 2016/680, który zezwala na takie przetwarzanie wyłącznie wtedy, jeżeli jest to bezwzględnie konieczne, z zastrzeżeniem odpowiednich zabezpieczeń w zakresie praw i wolności osoby, której dane dotyczą, oraz jeżeli jest to dopuszczone prawem Unii lub prawem państwa członkowskiego. Takie wykorzystanie, jeżeli jest dozwolone, musi być również zgodne z zasadami określonymi w art. 4 ust. 1 dyrektywy (UE) 2016/680, w tym zasadami zgodności z prawem, rzetelności i przejrzystości, celowości, dokładności i ograniczenia przechowywania.
(94)
Any processing of biometric data involved in the use of AI systems for biometric identification for the purpose of law enforcement needs to comply with Article 10 of Directive (EU) 2016/680, that allows such processing only where strictly necessary, subject to appropriate safeguards for the rights and freedoms of the data subject, and where authorised by Union or Member State law. Such use, when authorised, also needs to respect the principles laid down in Article 4 (1) of Directive (EU) 2016/680 including lawfulness, fairness and transparency, purpose limitation, accuracy and storage limitation.
(95)
Bez uszczerbku dla mającego zastosowanie prawa Unii, w szczególności rozporządzenia (UE) 2016/679 i dyrektywy (UE) 2016/680, biorąc pod uwagę inwazyjny charakter systemów zdalnej identyfikacji biometrycznej post factum, korzystanie z takich systemów powinno podlegać zabezpieczeniom. Systemy identyfikacji biometrycznej post factum powinny być zawsze wykorzystywane w sposób proporcjonalny, zgodny z prawem i jeżeli jest to bezwzględnie konieczne, a tym samym ukierunkowane na osoby fizyczne, które mają zostać zidentyfikowane, na określoną lokalizację i zakres czasowy, oraz opierać się na zamkniętym zbiorze danych pochodzących z legalnie uzyskanych materiałów wideo. W żadnym wypadku systemy zdalnej identyfikacji biometrycznej post factum nie powinny być wykorzystywane w ramach ścigania przestępstw w celu prowadzenia niezróżnicowanego nadzoru. Warunki zdalnej identyfikacji biometrycznej post factum nie powinny w żadnym wypadku stanowić podstawy do obchodzenia warunków zakazu i ścisłych wyjątków dotyczących zdalnej identyfikacji biometrycznej w czasie rzeczywistym.
(95)
Without prejudice to applicable Union law, in particular Regulation (EU) 2016/679 and Directive (EU) 2016/680, considering the intrusive nature of post-remote biometric identification systems, the use of post-remote biometric identification systems should be subject to safeguards. Post-remote biometric identification systems should always be used in a way that is proportionate, legitimate and strictly necessary, and thus targeted, in terms of the individuals to be identified, the location, temporal scope and based on a closed data set of legally acquired video footage. In any case, post-remote biometric identification systems should not be used in the framework of law enforcement to lead to indiscriminate surveillance. The conditions for post-remote biometric identification should in any case not provide a basis to circumvent the conditions of the prohibition and strict exceptions for real time remote biometric identification.
(96)
Aby skutecznie zapewnić ochronę praw podstawowych, podmioty stosujące systemy AI wysokiego ryzyka będące podmiotami prawa publicznego lub podmiotami prywatnymi świadczącymi usługi publiczne i podmioty stosujące niektóre systemy AI wysokiego ryzyka wymienione w załączniku do niniejszego rozporządzenia, tacy jak podmioty bankowe lub ubezpieczeniowe, powinni przed wprowadzeniem tych systemów do użytku przeprowadzić ocenę skutków dla praw podstawowych. Usługi o charakterze publicznym ważne dla osób fizycznych mogą być również świadczone przez podmioty prywatne. Podmioty prywatne świadczące takie usługi publiczne działają w powiązaniu z zadaniami świadczonymi w interesie publicznym, takimi jak edukacja, opieka zdrowotna, usługi społeczne, mieszkalnictwo, sprawowanie wymiaru sprawiedliwości. Celem oceny skutków dla praw podstawowych jest zidentyfikowanie przez podmiot stosujący konkretnych rodzajów ryzyka dla praw osób fizycznych lub grup osób fizycznych, na które AI może mieć wpływ, oraz określenie środków, które należy podjąć w przypadku urzeczywistnienia się tego ryzyka. Ocena skutków powinna być przeprowadzana przed wdrożeniem systemu AI wysokiego ryzyka i powinna być aktualizowana, gdy podmiot stosujący uzna, że którykolwiek z istotnych czynników uległ zmianie. W ocenie skutków należy określić odpowiednie procesy podmiotu stosującego, w których system AI wysokiego ryzyka będzie wykorzystywany zgodnie z jego przeznaczeniem; powinna ona przedstawiać informacje o okresie, w którym system ma być wykorzystywany, i o częstotliwości jego wykorzystania, a także opis konkretnych kategorii osób fizycznych i grup, na które AI może mieć wpływ w tym konkretnym kontekście wykorzystania. Ocena powinna również obejmować określenie szczególnego ryzyka szkody, które może mieć wpływ na prawa podstawowe tych osób lub grup. Przeprowadzając tę ocenę, podmiot stosujący powinien uwzględnić informacje istotne dla właściwej oceny skutków, w tym między innymi informacje podane przez dostawcę systemu AI wysokiego ryzyka w instrukcji obsługi. W świetle zidentyfikowanego ryzyka podmioty stosujące powinny określić środki, które należy podjąć w przypadku urzeczywistnienia się tego ryzyka, w tym na przykład rozwiązania dotyczące zarządzania w tym konkretnym kontekście wykorzystania, np. dotyczące nadzoru ze strony człowieka zgodnie z instrukcją obsługi lub procedury rozpatrywania skarg i dochodzenia roszczeń, ponieważ mogą one odegrać zasadniczą rolę w ograniczaniu ryzyka dla praw podstawowych w konkretnych przypadkach wykorzystania. Po przeprowadzeniu tej oceny skutków podmiot stosujący powinien powiadomić odpowiedni organ nadzoru rynku. W stosownych przypadkach w celu zebrania odpowiednich informacji niezbędnych do przeprowadzenia oceny skutków podmioty stosujące system AI wysokiego ryzyka, w szczególności gdy systemy AI są wykorzystywane w sektorze publicznym, mogą angażować odpowiednie zainteresowane strony, w tym przedstawicieli grup osób, na które system AI może mieć wpływ, niezależnych ekspertów i organizacje społeczeństwa obywatelskiego w przeprowadzanie takich ocen skutków i opracowywanie środków, które należy wprowadzić w przypadku urzeczywistnienia się ryzyka. Europejski Urząd ds. Sztucznej Inteligencji (zwany dalej „Urzędem ds. AI”) powinien opracować wzór kwestionariusza, by ułatwić zapewnienie zgodności przez podmioty stosujące i zmniejszyć obciążenia administracyjne dla tych podmiotów.
(96)
In order to efficiently ensure that fundamental rights are protected, deployers of high-risk AI systems that are bodies governed by public law, or private entities providing public services and deployers of certain high-risk AI systems listed in an annex to this Regulation, such as banking or insurance entities, should carry out a fundamental rights impact assessment prior to putting it into use. Services important for individuals that are of public nature may also be provided by private entities. Private entities providing such public services are linked to tasks in the public interest such as in the areas of education, healthcare, social services, housing, administration of justice. The aim of the fundamental rights impact assessment is for the deployer to identify the specific risks to the rights of individuals or groups of individuals likely to be affected, identify measures to be taken in the case of a materialisation of those risks. The impact assessment should be performed prior to deploying the high-risk AI system, and should be updated when the deployer considers that any of the relevant factors have changed. The impact assessment should identify the deployer’s relevant processes in which the high-risk AI system will be used in line with its intended purpose, and should include a description of the period of time and frequency in which the system is intended to be used as well as of specific categories of natural persons and groups who are likely to be affected in the specific context of use. The assessment should also include the identification of specific risks of harm likely to have an impact on the fundamental rights of those persons or groups. While performing this assessment, the deployer should take into account information relevant to a proper assessment of the impact, including but not limited to the information given by the provider of the high-risk AI system in the instructions for use. In light of the risks identified, deployers should determine measures to be taken in the case of a materialisation of those risks, including for example governance arrangements in that specific context of use, such as arrangements for human oversight according to the instructions of use or, complaint handling and redress procedures, as they could be instrumental in mitigating risks to fundamental rights in concrete use-cases. After performing that impact assessment, the deployer should notify the relevant market surveillance authority. Where appropriate, to collect relevant information necessary to perform the impact assessment, deployers of high-risk AI system, in particular when AI systems are used in the public sector, could involve relevant stakeholders, including the representatives of groups of persons likely to be affected by the AI system, independent experts, and civil society organisations in conducting such impact assessments and designing measures to be taken in the case of materialisation of the risks. The European Artificial Intelligence Office (AI Office) should develop a template for a questionnaire in order to facilitate compliance and reduce the administrative burden for deployers.
(97)
Należy jasno zdefiniować pojęcie modeli AI ogólnego przeznaczenia i oddzielić je od pojęcia systemów AI, aby zapewnić pewność prawa. Definicja powinna opierać się na kluczowych cechach funkcjonalnych modelu AI ogólnego przeznaczenia, w szczególności na ogólnym charakterze i zdolności do kompetentnego wykonywania szerokiego zakresu różnych zadań. Modele te są zazwyczaj trenowane w oparciu o dużą ilość danych za pomocą różnych metod, takich jak uczenie się samodzielnie nadzorowane, nienadzorowane lub uczenie przez wzmacnianie. Modele AI ogólnego przeznaczenia mogą być wprowadzane do obrotu na różne sposoby, w tym za pośrednictwem bibliotek, interfejsów programowania aplikacji (API), przez bezpośrednie pobieranie lub w wersji fizycznej. Modele te mogą być dalej zmieniane lub dostosowywane jako baza do tworzenia nowych modeli. Chociaż modele AI są zasadniczymi elementami systemów AI, nie stanowią same w sobie systemów AI. Aby model AI mógł stać się systemem AI należy dodać do niego dodatkowe elementy, takie jak na przykład interfejs użytkownika. Modele AI są zwykle zintegrowane z systemami AI i stanowią ich część. Niniejsze rozporządzenie ustanawia przepisy szczególne dotyczące modeli AI ogólnego przeznaczenia oraz modeli AI ogólnego przeznaczenia, które stwarzają ryzyko systemowe, a przepisy te powinny być stosowane również wtedy, gdy modele te są zintegrowane z systemem AI lub stanowią jego część. Należy rozumieć, że obowiązki dostawców modeli AI ogólnego przeznaczenia powinny mieć zastosowanie od momentu wprowadzenia do obrotu modeli AI ogólnego przeznaczenia. W przypadku gdy dostawca modelu AI ogólnego przeznaczenia zintegruje własny model z własnym systemem AI, który jest udostępniany na rynku lub oddany do użytku, model ten należy uznać za wprowadzony do obrotu i w związku z tym ustanowione w niniejszym rozporządzeniu obowiązki dotyczące modeli powinny nadal mieć zastosowanie obok obowiązków dotyczących systemów AI. Obowiązki ustanowione w odniesieniu do modeli nie powinny w żadnym przypadku mieć zastosowania, jeżeli model własny jest stosowany w czysto wewnętrznych procesach, które nie są niezbędne do dostarczania produktu lub usługi osobom trzecim, a prawa osób fizycznych nie są naruszone. Biorąc pod uwagę ich potencjalne znacząco negatywne skutki, modele AI ogólnego przeznaczenia z ryzykiem systemowym powinny zawsze podlegać odpowiednim obowiązkom ustanowionym w niniejszym rozporządzeniu. Definicja nie powinna obejmować modeli AI wykorzystywanych przed wprowadzeniem ich do obrotu wyłącznie do celów działalności badawczo-rozwojowej i tworzenia prototypów. Pozostaje to bez uszczerbku dla obowiązku zapewnienia zgodności z niniejszym rozporządzeniem w przypadku wprowadzenia do obrotu danego modelu w następstwie takiej działalności.
(97)
The notion of general-purpose AI models should be clearly defined and set apart from the notion of AI systems to enable legal certainty. The definition should be based on the key functional characteristics of a general-purpose AI model, in particular the generality and the capability to competently perform a wide range of distinct tasks. These models are typically trained on large amounts of data, through various methods, such as self-supervised, unsupervised or reinforcement learning. General-purpose AI models may be placed on the market in various ways, including through libraries, application programming interfaces (APIs), as direct download, or as physical copy. These models may be further modified or fine-tuned into new models. Although AI models are essential components of AI systems, they do not constitute AI systems on their own. AI models require the addition of further components, such as for example a user interface, to become AI systems. AI models are typically integrated into and form part of AI systems. This Regulation provides specific rules for general-purpose AI models and for general-purpose AI models that pose systemic risks, which should apply also when these models are integrated or form part of an AI system. It should be understood that the obligations for the providers of general-purpose AI models should apply once the general-purpose AI models are placed on the market. When the provider of a general-purpose AI model integrates an own model into its own AI system that is made available on the market or put into service, that model should be considered to be placed on the market and, therefore, the obligations in this Regulation for models should continue to apply in addition to those for AI systems. The obligations laid down for models should in any case not apply when an own model is used for purely internal processes that are not essential for providing a product or a service to third parties and the rights of natural persons are not affected. Considering their potential significantly negative effects, the general-purpose AI models with systemic risk should always be subject to the relevant obligations under this Regulation. The definition should not cover AI models used before their placing on the market for the sole purpose of research, development and prototyping activities. This is without prejudice to the obligation to comply with this Regulation when, following such activities, a model is placed on the market.
(98)
Mając na uwadze, że ogólny charakter modelu można określić między innymi na podstawie liczby parametrów, należy uznać, że modele o co najmniej miliardzie parametrów i trenowane w oparciu o dużą ilość danych z wykorzystaniem nadzoru własnego na dużą skalę są bardzo ogólne i kompetentnie wykonują szeroki zakres różnych zadań.
(98)
Whereas the generality of a model could, inter alia, also be determined by a number of parameters, models with at least a billion of parameters and trained with a large amount of data using self-supervision at scale should be considered to display significant generality and to competently perform a wide range of distinctive tasks.
(99)
Duże generatywne modele AI są typowym przykładem modelu AI ogólnego przeznaczenia, biorąc pod uwagę, że umożliwiają elastyczne generowanie treści, np. w postaci tekstu, dźwięku, obrazów lub materiałów wideo, i mogą z łatwością wykonywać szeroki zakres różnych zadań.
(99)
Large generative AI models are a typical example for a general-purpose AI model, given that they allow for flexible generation of content, such as in the form of text, audio, images or video, that can readily accommodate a wide range of distinctive tasks.
(100)
Jeżeli model AI ogólnego przeznaczenia jest zintegrowany z systemem AI lub stanowi jego część, system ten należy uznać za system AI ogólnego przeznaczenia, jeżeli w wyniku zintegrowania modelu system ten może służyć różnym celom. System AI ogólnego przeznaczenia może być wykorzystywany bezpośrednio lub być zintegrowany z innymi systemami AI.
(100)
When a general-purpose AI model is integrated into or forms part of an AI system, this system should be considered to be general-purpose AI system when, due to this integration, this system has the capability to serve a variety of purposes. A general-purpose AI system can be used directly, or it may be integrated into other AI systems.
(101)
Dostawcy modeli AI ogólnego przeznaczenia odgrywają szczególną rolę i ponoszą szczególną odpowiedzialność w całym łańcuchu wartości AI, ponieważ modele, które dostarczają, mogą stanowić podstawę szeregu systemów niższego szczebla, często dostarczanych przez dostawców niższego szczebla, które to systemy wymagają dobrego zrozumienia modeli i ich zdolności, zarówno by umożliwić integrację takich modeli z ich produktami, jak i by spełniać obowiązki ustanowione w niniejszym rozporządzeniu lub innych przepisach. W związku z tym należy ustanowić proporcjonalne środki w zakresie przejrzystości, w tym sporządzanie i aktualizowanie dokumentacji oraz dostarczanie informacji na temat modelu AI ogólnego przeznaczenia do wykorzystania przez dostawców niższego szczebla. Dostawca modelu AI ogólnego przeznaczenia powinien przygotować i aktualizować dokumentację techniczną w celu udostępnienia jej na wniosek Urzędowi ds. AI i właściwym organom krajowym. Minimalny zbiór elementów do uwzględnienia w takiej dokumentacji należy określić w szczególnych załącznikach do niniejszego rozporządzenia. Komisja powinna być uprawniona do zmiany tych załączników w drodze aktów delegowanych w świetle postępu technicznego.
(101)
Providers of general-purpose AI models have a particular role and responsibility along the AI value chain, as the models they provide may form the basis for a range of downstream systems, often provided by downstream providers that necessitate a good understanding of the models and their capabilities, both to enable the integration of such models into their products, and to fulfil their obligations under this or other regulations. Therefore, proportionate transparency measures should be laid down, including the drawing up and keeping up to date of documentation, and the provision of information on the general-purpose AI model for its usage by the downstream providers. Technical documentation should be prepared and kept up to date by the general-purpose AI model provider for the purpose of making it available, upon request, to the AI Office and the national competent authorities. The minimal set of elements to be included in such documentation should be set out in specific annexes to this Regulation. The Commission should be empowered to amend those annexes by means of delegated acts in light of evolving technological developments.
(102)
Oprogramowanie i dane, w tym modele, udostępniane na podstawie bezpłatnej licencji otwartego oprogramowania, która umożliwia ich ogólne upowszechnianie i zezwala użytkownikom na swobodny dostęp do nich, ich wykorzystywanie, zmianę i ich redystrybucję lub ich zmienionych wersji, mogą przyczynić się do badań naukowych i innowacji na rynku oraz zapewnić gospodarce Unii znaczne możliwości wzrostu. Należy uznać, że modele AI ogólnego przeznaczenia udostępniane na podstawie bezpłatnych licencji otwartego oprogramowania zapewniają wysoki poziom przejrzystości i otwartości, jeżeli ich parametry, w tym wagi, informacje na temat architektury modelu oraz informacje na temat wykorzystania modelu, są publicznie dostępne. Licencję należy uznać za bezpłatną licencję otwartego oprogramowania również wtedy, gdy umożliwia użytkownikom obsługę, kopiowanie, dystrybucję, badanie, zmianę i ulepszanie oprogramowania i danych, w tym modeli, pod warunkiem że umieszcza się wzmiankę o pierwotnym dostawcy modelu i że przestrzega się identycznych lub porównywalnych warunków dystrybucji.
(102)
Software and data, including models, released under a free and open-source licence that allows them to be openly shared and where users can freely access, use, modify and redistribute them or modified versions thereof, can contribute to research and innovation in the market and can provide significant growth opportunities for the Union economy. General-purpose AI models released under free and open-source licences should be considered to ensure high levels of transparency and openness if their parameters, including the weights, the information on the model architecture, and the information on model usage are made publicly available. The licence should be considered to be free and open-source also when it allows users to run, copy, distribute, study, change and improve software and data, including models under the condition that the original provider of the model is credited, the identical or comparable terms of distribution are respected.
(103)
Elementy AI na bezpłatnej licencji otwartego oprogramowania obejmują oprogramowanie i dane, w tym modele i modele AI ogólnego przeznaczenia, narzędzia, usługi lub procesy systemu AI. Elementy AI na bezpłatnej licencji otwartego oprogramowania mogą być dostarczane za pośrednictwem różnych kanałów, w tym rozwijane w otwartych repozytoriach. Do celów niniejszego rozporządzenia elementy AI, które są dostarczane odpłatnie lub w inny sposób monetyzowane, w tym poprzez zapewnianie wsparcia technicznego lub innych usług związanych z elementem AI, w tym poprzez platformy oprogramowania, lub wykorzystywanie danych osobowych z powodów innych niż wyłącznie poprawa bezpieczeństwa, kompatybilności lub interoperacyjności oprogramowania, z wyjątkiem transakcji między mikroprzedsiębiorstwami, nie powinny korzystać ze zwolnień przewidzianych w odniesieniu do bezpłatnych i otwartych elementów AI. Fakt udostępniania elementów AI w otwartych repozytoriach nie powinien sam w sobie stanowić monetyzacji.
(103)
Free and open-source AI components covers the software and data, including models and general-purpose AI models, tools, services or processes of an AI system. Free and open-source AI components can be provided through different channels, including their development on open repositories. For the purposes of this Regulation, AI components that are provided against a price or otherwise monetised, including through the provision of technical support or other services, including through a software platform, related to the AI component, or the use of personal data for reasons other than exclusively for improving the security, compatibility or interoperability of the software, with the exception of transactions between microenterprises, should not benefit from the exceptions provided to free and open-source AI components. The fact of making AI components available through open repositories should not, in itself, constitute a monetisation.
(104)
Dostawcy modeli AI ogólnego przeznaczenia, które są udostępniane na podstawie bezpłatnej licencji otwartego oprogramowania i których parametry, w tym wagi, informacje o architekturze modelu oraz informacje na temat korzystania z modelu, są udostępniane publicznie, powinni podlegać zwolnieniom w odniesieniu do wymogów związanych z przejrzystością nałożonych na modele AI ogólnego przeznaczenia, chyba że można uznać, że modele te stwarzają ryzyko systemowe, w którym to przypadku fakt, że model jest przejrzysty i że towarzyszy mu licencja otwartego oprogramowania, nie powinien być uznawany za wystarczający powód zwolnienia ze spełnienia obowiązków ustanowionych w niniejszym rozporządzeniu. W każdym razie, biorąc pod uwagę, że udostępnianie modeli AI ogólnego przeznaczenia na podstawie bezpłatnej licencji otwartego oprogramowania niekoniecznie prowadzi do ujawnienia istotnych informacji na temat zbioru danych wykorzystywanego do trenowania lub dostrajania modelu oraz na temat sposobu zapewnienia tym samym zgodności z prawem autorskim, przewidziane w odniesieniu do modeli AI ogólnego przeznaczenia zwolnienie z obowiązku spełnienia wymogów związanych z przejrzystością nie powinno dotyczyć obowiązku sporządzenia streszczenia dotyczącego treści wykorzystywanych do trenowania modeli oraz obowiązku wprowadzenia polityki w celu zapewnienie zgodności z unijnym prawem autorskim, w szczególności w celu zidentyfikowania i zastosowania się do zastrzeżenia praw zgodnie z art. 4 ust. 3 dyrektywy Parlamentu Europejskiego i Rady (UE) 2019/790 (40).
(104)
The providers of general-purpose AI models that are released under a free and open-source licence, and whose parameters, including the weights, the information on the model architecture, and the information on model usage, are made publicly available should be subject to exceptions as regards the transparency-related requirements imposed on general-purpose AI models, unless they can be considered to present a systemic risk, in which case the circumstance that the model is transparent and accompanied by an open-source license should not be considered to be a sufficient reason to exclude compliance with the obligations under this Regulation. In any case, given that the release of general-purpose AI models under free and open-source licence does not necessarily reveal substantial information on the data set used for the training or fine-tuning of the model and on how compliance of copyright law was thereby ensured, the exception provided for general-purpose AI models from compliance with the transparency-related requirements should not concern the obligation to produce a summary about the content used for model training and the obligation to put in place a policy to comply with Union copyright law, in particular to identify and comply with the reservation of rights pursuant to Article 4(3) of Directive (EU) 2019/790 of the European Parliament and of the Council (40).
(105)
Modele AI ogólnego przeznaczenia, w szczególności duże generatywne modele AI, zdolne do generowania tekstów, obrazów i innych treści, stwarzają wyjątkowe możliwości w zakresie innowacji, ale także wyzwania dla artystów, autorów i innych twórców oraz w odniesieniu do sposobu tworzenia, rozpowszechniania, wykorzystywania i konsumowania ich treści kreatywnych. Rozwój i trenowanie takich modeli wymaga dostępu do ogromnych ilości tekstów, obrazów, materiałów wideo i innych danych. Techniki eksploracji tekstów i danych mogą być w tym kontekście szeroko wykorzystywane do wyszukiwania i analizy takich treści, które mogą być chronione prawem autorskim i prawami pokrewnymi. Każde wykorzystanie treści chronionych prawem autorskim wymaga zezwolenia danego podmiotu praw, chyba że zastosowanie mają odpowiednie wyjątki i ograniczenia dotyczące praw autorskich. Na mocy dyrektywy (UE) 2019/790 wprowadzono wyjątki i ograniczenia umożliwiające, pod pewnymi warunkami, zwielokrotnianie i pobieranie utworów lub innych przedmiotów objętych ochroną do celów eksploracji tekstów i danych. Zgodnie z tymi przepisami podmioty uprawnione mogą zastrzec swoje prawa do swoich utworów lub innych przedmiotów objętych ochroną, aby zapobiec eksploracji tekstów i danych, chyba że odbywa się to do celów badań naukowych. W przypadku gdy prawo do wyłączenia z eksploracji zostało w odpowiedni sposób wyraźnie zastrzeżone, dostawcy modeli AI ogólnego przeznaczenia muszą uzyskać zezwolenie od podmiotów uprawnionych, jeżeli chcą dokonywać eksploracji tekstów i danych odnośnie do takich utworów.
(105)
General-purpose AI models, in particular large generative AI models, capable of generating text, images, and other content, present unique innovation opportunities but also challenges to artists, authors, and other creators and the way their creative content is created, distributed, used and consumed. The development and training of such models require access to vast amounts of text, images, videos and other data. Text and data mining techniques may be used extensively in this context for the retrieval and analysis of such content, which may be protected by copyright and related rights. Any use of copyright protected content requires the authorisation of the rightsholder concerned unless relevant copyright exceptions and limitations apply. Directive (EU) 2019/790 introduced exceptions and limitations allowing reproductions and extractions of works or other subject matter, for the purpose of text and data mining, under certain conditions. Under these rules, rightsholders may choose to reserve their rights over their works or other subject matter to prevent text and data mining, unless this is done for the purposes of scientific research. Where the rights to opt out has been expressly reserved in an appropriate manner, providers of general-purpose AI models need to obtain an authorisation from rightsholders if they want to carry out text and data mining over such works.
(106)
Dostawcy wprowadzający modele AI ogólnego przeznaczenia do obrotu w Unii powinni zapewnić, aby ustanowione w niniejszym rozporządzeniu odpowiednie obowiązki zostały spełnione. W tym celu dostawcy modeli AI ogólnego przeznaczenia powinni wprowadzić politykę w celu zapewnienia zgodności z prawem Unii dotyczącym prawa autorskiego i praw pokrewnych, w szczególności w celu identyfikacji i zastosowania się do zastrzeżenia praw wyrażonego przez podmioty uprawnione zgodnie z art. 4 ust. 3 dyrektywy (UE) 2019/790. Każdy dostawca wprowadzający do obrotu w Unii model AI ogólnego przeznaczenia powinien spełniać ten obowiązek, niezależnie od jurysdykcji, w której mają miejsce czynności regulowane prawem autorskim stanowiące podstawę trenowania tych modeli AI ogólnego przeznaczenia. Jest to konieczne do zapewnienia równych warunków działania dostawcom modeli AI ogólnego przeznaczenia, tak aby żaden dostawca nie mógł uzyskać przewagi konkurencyjnej na rynku Unii poprzez stosowanie niższych standardów praw autorskich niż normy przewidziane w Unii.
(106)
Providers that place general-purpose AI models on the Union market should ensure compliance with the relevant obligations in this Regulation. To that end, providers of general-purpose AI models should put in place a policy to comply with Union law on copyright and related rights, in particular to identify and comply with the reservation of rights expressed by rightsholders pursuant to Article 4(3) of Directive (EU) 2019/790. Any provider placing a general-purpose AI model on the Union market should comply with this obligation, regardless of the jurisdiction in which the copyright-relevant acts underpinning the training of those general-purpose AI models take place. This is necessary to ensure a level playing field among providers of general-purpose AI models where no provider should be able to gain a competitive advantage in the Union market by applying lower copyright standards than those provided in the Union.
(107)
W celu zwiększenia przejrzystości dotyczącej danych wykorzystywanych do pretrenowania i trenowania modeli AI ogólnego przeznaczenia, w tym w zakresie tekstów i danych chronionych prawem autorskim, właściwe jest, aby dostawcy takich modeli sporządzali i udostępniali publicznie wystarczająco szczegółowe streszczenie na temat treści wykorzystywanych do trenowania modelu AI ogólnego przeznaczenia. Przy należytym uwzględnieniu potrzeby ochrony tajemnic przedsiębiorstwa i poufnych informacji handlowych streszczenie to nie powinno skupiać się na szczegółach technicznych, lecz mieć zasadniczo kompleksowy charakter, aby ułatwić stronom mającym uzasadniony interes, w tym posiadaczom praw autorskich, wykonywanie i egzekwowanie ich praw wynikających z prawa Unii; streszczenie to powinno więc na przykład wymieniać główne zbiory danych, które wykorzystano do trenowania modelu, takie jak duże prywatne lub publiczne bazy lub archiwa danych, oraz powinno zawierać opisowe wyjaśnienie innych wykorzystanych źródeł danych. Urząd ds. AI powinien zapewnić wzór streszczenia, który powinien być prosty i skuteczny oraz umożliwiać dostawcy przedstawienie wymaganego streszczenia w formie opisowej.
(107)
In order to increase transparency on the data that is used in the pre-training and training of general-purpose AI models, including text and data protected by copyright law, it is adequate that providers of such models draw up and make publicly available a sufficiently detailed summary of the content used for training the general-purpose AI model. While taking into due account the need to protect trade secrets and confidential business information, this summary should be generally comprehensive in its scope instead of technically detailed to facilitate parties with legitimate interests, including copyright holders, to exercise and enforce their rights under Union law, for example by listing the main data collections or sets that went into training the model, such as large private or public databases or data archives, and by providing a narrative explanation about other data sources used. It is appropriate for the AI Office to provide a template for the summary, which should be simple, effective, and allow the provider to provide the required summary in narrative form.
(108)
Urząd ds. AI powinien monitorować, czy dostawca spełnił obowiązki nałożone na dostawców modeli AI ogólnego przeznaczenia dotyczące wprowadzenia polityki w celu zapewnienia zgodności z unijnym prawem autorskim i podania do wiadomości publicznej streszczenia na temat treści wykorzystywanych do trenowania, jednak nie powinien weryfikować danych treningowych pod kątem zgodności z prawami autorskimi ani przystępować do oceny tych danych w podziale na poszczególne utwory. Niniejsze rozporządzenie nie wpływa na egzekwowanie przepisów dotyczących praw autorskich przewidzianych w prawie Unii.
(108)
With regard to the obligations imposed on providers of general-purpose AI models to put in place a policy to comply with Union copyright law and make publicly available a summary of the content used for the training, the AI Office should monitor whether the provider has fulfilled those obligations without verifying or proceeding to a work-by-work assessment of the training data in terms of copyright compliance. This Regulation does not affect the enforcement of copyright rules as provided for under Union law.
(109)
Spełnianie obowiązków mających zastosowanie do dostawców modeli AI ogólnego przeznaczenia powinno być współmierne i proporcjonalne do rodzaju dostawcy modeli, z wyłączeniem konieczności ich spełnienia przez osoby, które rozwijają lub wykorzystują modele do celów pozazawodowych lub badań naukowych – osoby te należy jednak zachęcać do dobrowolnego spełniania tych wymogów. Bez uszczerbku dla unijnego prawa autorskiego spełnianie tych obowiązków powinno odbywać się przy należytym uwzględnieniu wielkości dostawcy i umożliwiać uproszczone sposoby spełnienia tych obowiązków przez MŚP, w tym przedsiębiorstwa typu start-up, które nie powinny wiązać się z nadmiernymi kosztami i zniechęcać do korzystania z takich modeli. W przypadku zmiany lub dostrajania modelu obowiązki dostawców modeli AI ogólnego przeznaczenia powinny być ograniczone do tej zmiany lub dostrajania modelu, na przykład poprzez uzupełnienie już istniejącej dokumentacji technicznej o informacje na temat zmiany, w tym nowych źródeł danych treningowych, w celu spełnienia obowiązków związanych z łańcuchem wartości przewidzianych w niniejszym rozporządzeniu.
(109)
Compliance with the obligations applicable to the providers of general-purpose AI models should be commensurate and proportionate to the type of model provider, excluding the need for compliance for persons who develop or use models for non-professional or scientific research purposes, who should nevertheless be encouraged to voluntarily comply with these requirements. Without prejudice to Union copyright law, compliance with those obligations should take due account of the size of the provider and allow simplified ways of compliance for SMEs, including start-ups, that should not represent an excessive cost and not discourage the use of such models. In the case of a modification or fine-tuning of a model, the obligations for providers of general-purpose AI models should be limited to that modification or fine-tuning, for example by complementing the already existing technical documentation with information on the modifications, including new training data sources, as a means to comply with the value chain obligations provided in this Regulation.
(110)
Modele AI ogólnego przeznaczenia mogą stwarzać ryzyko systemowe, które obejmuje między innymi wszelkie rzeczywiste lub racjonalnie przewidywalne negatywne skutki poważnych awarii, zakłóceń w sektorach krytycznych oraz poważne konsekwencje dla zdrowia i bezpieczeństwa publicznego; wszelkie rzeczywiste lub racjonalnie przewidywalne negatywne skutki dla procesów demokratycznych, bezpieczeństwa publicznego i gospodarczego; rozpowszechnianie nielegalnych, fałszywych lub dyskryminujących treści. Należy rozumieć, że ryzyko systemowe wzrasta wraz ze zdolnościami i zasięgiem modelu, może wystąpić w całym cyklu życia modelu i jest uzależnione od warunków niewłaściwego wykorzystania, niezawodności, bezstronności i bezpieczeństwa modelu, poziomu jego autonomii, dostępu do narzędzi, stosowania nowatorskich lub połączonych metod, strategii udostępniania i dystrybucji, możliwości w zakresie usuwania zabezpieczeń i innych czynników. W szczególności podejścia międzynarodowe wskazywały jak dotąd na potrzebę zwrócenia uwagi na ryzyko wynikające z potencjalnego umyślnego niewłaściwego wykorzystania lub niezamierzonych problemów z kontrolą związanych z dostosowaniem się do zamiaru człowieka; ryzyko chemiczne, biologiczne, radiologiczne i jądrowe, takie jak sposoby obniżania barier wejścia na rynek, w tym w zakresie opracowywania, projektowania, nabywania lub stosowania broni; ofensywne zdolności w zakresie cyberbezpieczeństwa, takie jak sposoby wykrywania, wykorzystywania lub operacyjnego stosowania podatności; skutki interakcji i wykorzystania narzędzi, w tym na przykład zdolność do kontrolowania systemów fizycznych i zakłócania infrastruktury krytycznej; ryzyko związane ze sporządzaniem kopii własnych przez modele lub samoreplikacji lub wynikające z trenowania innych modeli przez dany model; sposoby, w jakie modele mogą powodować szkodliwą stronniczość i dyskryminację zagrażające osobom fizycznym, społecznościom lub społeczeństwom; ułatwianie dezinformacji lub naruszanie prywatności, co przedstawia zagrożenie dla wartości demokratycznych i praw człowieka; ryzyko, że dane wydarzenie może spowodować reakcję łańcuchową o znacznych negatywnych skutkach, które mogą mieć wpływ nawet na całe miasta, na całą działalność w danym obszarze lub na całe społeczności.
(110)
General-purpose AI models could pose systemic risks which include, but are not limited to, any actual or reasonably foreseeable negative effects in relation to major accidents, disruptions of critical sectors and serious consequences to public health and safety; any actual or reasonably foreseeable negative effects on democratic processes, public and economic security; the dissemination of illegal, false, or discriminatory content. Systemic risks should be understood to increase with model capabilities and model reach, can arise along the entire lifecycle of the model, and are influenced by conditions of misuse, model reliability, model fairness and model security, the level of autonomy of the model, its access to tools, novel or combined modalities, release and distribution strategies, the potential to remove guardrails and other factors. In particular, international approaches have so far identified the need to pay attention to risks from potential intentional misuse or unintended issues of control relating to alignment with human intent; chemical, biological, radiological, and nuclear risks, such as the ways in which barriers to entry can be lowered, including for weapons development, design acquisition, or use; offensive cyber capabilities, such as the ways in vulnerability discovery, exploitation, or operational use can be enabled; the effects of interaction and tool use, including for example the capacity to control physical systems and interfere with critical infrastructure; risks from models of making copies of themselves or ‘self-replicating’ or training other models; the ways in which models can give rise to harmful bias and discrimination with risks to individuals, communities or societies; the facilitation of disinformation or harming privacy with threats to democratic values and human rights; risk that a particular event could lead to a chain reaction with considerable negative effects that could affect up to an entire city, an entire domain activity or an entire community.
(111)
Należy ustanowić metodykę klasyfikacji modeli AI ogólnego przeznaczenia jako modeli AI ogólnego przeznaczenia z ryzykiem systemowym. Ponieważ ryzyko systemowe wynika ze szczególnie wysokich zdolności, należy uznać, że model AI ogólnego przeznaczenia stwarza ryzyko systemowe, jeżeli wykazuje on zdolności dużego oddziaływania, oceniane na podstawie odpowiednich narzędzi technicznych i metodologii, lub jeżeli ze względu na swój zasięg ma znaczący wpływ na rynek wewnętrzny. Zdolności dużego oddziaływania w przypadku modeli AI ogólnego przeznaczenia oznaczają zdolności, które dorównują zdolnościom zapisanym w najbardziej zaawansowanych modelach AI ogólnego przeznaczenia lub je przewyższają. Pełny zakres zdolności danego modelu można lepiej zrozumieć po jego wprowadzeniu do obrotu lub w momencie, w którym podmioty stosujące wchodzą w interakcję z modelem. Zgodnie z aktualnym stanem wiedzy technicznej w momencie wejścia w życie niniejszego rozporządzenia jednym ze sposób przybliżonego określenia zdolności modelu jest łączna liczba obliczeń wykorzystanych do trenowania modelu AI ogólnego zastosowania mierzona w operacjach zmiennoprzecinkowych. Łączna liczba obliczeń wykorzystanych do trenowania obejmuje obliczenia stosowane w odniesieniu do wszystkich działań i metod, które mają na celu zwiększenie zdolności modelu przed wdrożeniem, takich jak pretrenowanie, generowanie danych syntetycznych i dostrajanie. W związku z tym należy określić próg minimalny operacjach zmiennoprzecinkowych, który, jeżeli zostanie spełniony przez model AI ogólnego przeznaczenia, stwarza domniemanie, że model ten jest modelem AI ogólnego przeznaczenia z ryzykiem systemowym. Próg ten powinien być z czasem dostosowywany w celu odzwierciedlenia zmian technologicznych i przemysłowych, takich jak ulepszenia algorytmiczne lub większa wydajność sprzętu, i powinien zostać uzupełniony o poziomy odniesienia i wskaźniki dotyczące zdolności modelu. W tym celu Urząd ds. AI powinien współpracować ze środowiskiem naukowym, przemysłem, społeczeństwem obywatelskim i innymi ekspertami. Progi, a także narzędzia i poziomy odniesienia na potrzeby oceny zdolności dużego oddziaływania powinny zapewniać mocne podstawy przewidywania ogólnego charakteru, zdolności i związanego z nimi ryzyka systemowego modeli AI ogólnego przeznaczenia; mogą one uwzględniać sposób, w jaki model zostanie wprowadzony do obrotu lub liczbę użytkowników, na które model ten może mieć wpływ. Aby uzupełnić ten system, Komisja powinna mieć możliwość podejmowania indywidualnych decyzji w sprawie uznania modelu AI ogólnego przeznaczenia za model AI ogólnego przeznaczenia z ryzykiem systemowym, jeżeli okaże się, że zdolności lub wpływ takiego modelu są równoważne z tymi, na które wskazuje ustalony próg. Decyzję tę należy podjąć na podstawie ogólnej oceny kryteriów do celów uznawania modelu AI ogólnego przeznaczenia za model z ryzykiem systemowym, określonych w załączniku do niniejszego rozporządzenia, takich jak jakość lub wielkość zbioru danych treningowych, liczba użytkowników biznesowych i końcowych, format danych wejściowych i wyjściowych modelu, poziom autonomii i skalowalności lub narzędzia, do których ma dostęp. Na uzasadniony wniosek dostawcy, którego model został uznany za model AI ogólnego przeznaczenia z ryzykiem systemowym, Komisja powinna odnieść się do tego wniosku i może podjąć decyzję o ponownej ocenie, czy model AI ogólnego przeznaczenia nadal można uznać za stwarzający ryzyko systemowe.
(111)
It is appropriate to establish a methodology for the classification of general-purpose AI models as general-purpose AI model with systemic risks. Since systemic risks result from particularly high capabilities, a general-purpose AI model should be considered to present systemic risks if it has high-impact capabilities, evaluated on the basis of appropriate technical tools and methodologies, or significant impact on the internal market due to its reach. High-impact capabilities in general-purpose AI models means capabilities that match or exceed the capabilities recorded in the most advanced general-purpose AI models. The full range of capabilities in a model could be better understood after its placing on the market or when deployers interact with the model. According to the state of the art at the time of entry into force of this Regulation, the cumulative amount of computation used for the training of the general-purpose AI model measured in floating point operations is one of the relevant approximations for model capabilities. The cumulative amount of computation used for training includes the computation used across the activities and methods that are intended to enhance the capabilities of the model prior to deployment, such as pre-training, synthetic data generation and fine-tuning. Therefore, an initial threshold of floating point operations should be set, which, if met by a general-purpose AI model, leads to a presumption that the model is a general-purpose AI model with systemic risks. This threshold should be adjusted over time to reflect technological and industrial changes, such as algorithmic improvements or increased hardware efficiency, and should be supplemented with benchmarks and indicators for model capability. To inform this, the AI Office should engage with the scientific community, industry, civil society and other experts. Thresholds, as well as tools and benchmarks for the assessment of high-impact capabilities, should be strong predictors of generality, its capabilities and associated systemic risk of general-purpose AI models, and could take into account the way the model will be placed on the market or the number of users it may affect. To complement this system, there should be a possibility for the Commission to take individual decisions designating a general-purpose AI model as a general-purpose AI model with systemic risk if it is found that such model has capabilities or an impact equivalent to those captured by the set threshold. That decision should be taken on the basis of an overall assessment of the criteria for the designation of a general-purpose AI model with systemic risk set out in an annex to this Regulation, such as quality or size of the training data set, number of business and end users, its input and output modalities, its level of autonomy and scalability, or the tools it has access to. Upon a reasoned request of a provider whose model has been designated as a general-purpose AI model with systemic risk, the Commission should take the request into account and may decide to reassess whether the general-purpose AI model can still be considered to present systemic risks.
(112)
Konieczne jest również doprecyzowanie procedury klasyfikacji modelu AI ogólnego zastosowania z ryzykiem systemowym. W przypadku modelu AI ogólnego przeznaczenia, który osiąga mający zastosowanie próg dotyczący zdolności dużego oddziaływania, należy domniemywać, że jest on modelem AI ogólnego przeznaczenia z ryzykiem systemowym. Dostawca powinien powiadomić Urząd ds. AI najpóźniej dwa tygodnie od momentu spełnienia kryteriów lub po uzyskaniu wiedzy, że model AI ogólnego przeznaczenia będzie spełniał kryteria prowadzące do takiego domniemania. Jest to szczególnie istotne w odniesieniu do progu dotyczącego operacji zmiennoprzecinkowych, ponieważ trenowanie modeli AI ogólnego przeznaczenia wymaga znacznego planowania, co obejmuje przydział z góry zasobów obliczeniowych, w związku z czym dostawcy modeli AI ogólnego przeznaczenia są w stanie stwierdzić, czy ich model osiągnąłby ten próg przed zakończeniem trenowania. W kontekście tego powiadomienia dostawca powinien móc wykazać, że ze względu na swoje szczególne cechy model AI ogólnego przeznaczenia wyjątkowo nie stwarza ryzyka systemowego, a zatem nie powinien być zaklasyfikowany jako model AI ogólnego przeznaczenia z ryzykiem systemowym. Powiadomienia te to cenne informacje, które umożliwiają Urzędowi ds. AI przewidywanie, że modele AI sztucznej inteligencji ogólnego przeznaczenia z ryzykiem systemowym zostaną wprowadzone do obrotu, dostawcy mogą zatem rozpocząć współpracę z Urzędem ds. AI na wczesnym etapie. Informacje te są szczególnie ważne w odniesieniu do modeli AI ogólnego przeznaczenia, które mają zostać udostępnione jako otwarte oprogramowanie, zważywszy na to, że wdrożenie środków niezbędnych do zapewnienia spełnienia obowiązków ustanowionych w niniejszym rozporządzeniu może być trudniejsze po udostępnieniu modelu na zasadach otwartego oprogramowania.
(112)
It is also necessary to clarify a procedure for the classification of a general-purpose AI model with systemic risks. A general-purpose AI model that meets the applicable threshold for high-impact capabilities should be presumed to be a general-purpose AI models with systemic risk. The provider should notify the AI Office at the latest two weeks after the requirements are met or it becomes known that a general-purpose AI model will meet the requirements that lead to the presumption. This is especially relevant in relation to the threshold of floating point operations because training of general-purpose AI models takes considerable planning which includes the upfront allocation of compute resources and, therefore, providers of general-purpose AI models are able to know if their model would meet the threshold before the training is completed. In the context of that notification, the provider should be able to demonstrate that, because of its specific characteristics, a general-purpose AI model exceptionally does not present systemic risks, and that it thus should not be classified as a general-purpose AI model with systemic risks. That information is valuable for the AI Office to anticipate the placing on the market of general-purpose AI models with systemic risks and the providers can start to engage with the AI Office early on. That information is especially important with regard to general-purpose AI models that are planned to be released as open-source, given that, after the open-source model release, necessary measures to ensure compliance with the obligations under this Regulation may be more difficult to implement.
(113)
Jeżeli Komisja dowie się o tym, że model AI ogólnego przeznaczenia spełnia kryteria, by zostać zaklasyfikowany jako model AI o ogólnym przeznaczeniu z ryzykiem systemowym, czego wcześniej nie było wiadomo lub w przypadku gdy odpowiedni dostawca nie wywiązał się z obowiązku powiadomienia o tym Komisji, Komisja powinna być uprawniona do uznania tego modelu za model o ogólnym przeznaczeniu z ryzykiem systemowym. Obok działań monitorujących prowadzonych przez Urząd ds. AI powinien istnieć system, w ramach którego panel naukowy za pośrednictwem ostrzeżeń kwalifikowanych informuje Urząd ds. AI o modelach AI ogólnego przeznaczenia, które należy ewentualnie zaklasyfikować jako modele AI ogólnego przeznaczenia z ryzykiem systemowym.
(113)
If the Commission becomes aware of the fact that a general-purpose AI model meets the requirements to classify as a general-purpose AI model with systemic risk, which previously had either not been known or of which the relevant provider has failed to notify the Commission, the Commission should be empowered to designate it so. A system of qualified alerts should ensure that the AI Office is made aware by the scientific panel of general-purpose AI models that should possibly be classified as general-purpose AI models with systemic risk, in addition to the monitoring activities of the AI Office.
(114)
Dostawcy modeli AI ogólnego przeznaczenia stwarzających ryzyko systemowe powinni podlegać nie tylko obowiązkom nałożonym na dostawców modeli AI ogólnego przeznaczenia, ale także obowiązkom mającym na celu identyfikację i ograniczenie ryzyka systemowego oraz zapewnienie odpowiedniego poziomu ochrony cyberbezpieczeństwa, niezależnie od tego, czy modele te są dostarczane jako samodzielne modele czy wbudowane w system AI lub w produkt. Aby osiągnąć te cele, w niniejszym rozporządzeniu należy zobowiązać dostawców do przeprowadzania niezbędnych ocen modeli, w szczególności przed ich pierwszym wprowadzeniem do obrotu, w tym przeprowadzania wobec modeli i dokumentowania testów kontradyktoryjnych, również, w stosownych przypadkach, w drodze wewnętrznych lub niezależnych testów zewnętrznych. Ponadto dostawcy modeli AI ogólnego przeznaczenia z ryzykiem systemowym powinni stale oceniać i ograniczać ryzyko systemowe, w tym na przykład poprzez wprowadzanie strategii zarządzania ryzykiem, takich jak procesy rozliczalności i zarządzania, wdrażanie monitorowania po wprowadzeniu do obrotu, podejmowanie odpowiednich środków w całym cyklu życia modelu oraz współpracę z odpowiednimi podmiotami w całym łańcuchu wartości AI.
(114)
The providers of general-purpose AI models presenting systemic risks should be subject, in addition to the obligations provided for providers of general-purpose AI models, to obligations aimed at identifying and mitigating those risks and ensuring an adequate level of cybersecurity protection, regardless of whether it is provided as a standalone model or embedded in an AI system or a product. To achieve those objectives, this Regulation should require providers to perform the necessary model evaluations, in particular prior to its first placing on the market, including conducting and documenting adversarial testing of models, also, as appropriate, through internal or independent external testing. In addition, providers of general-purpose AI models with systemic risks should continuously assess and mitigate systemic risks, including for example by putting in place risk-management policies, such as accountability and governance processes, implementing post-market monitoring, taking appropriate measures along the entire model’s lifecycle and cooperating with relevant actors along the AI value chain.
(115)
Dostawcy modeli AI ogólnego przeznaczenia z ryzykiem systemowym powinni oceniać i ograniczać ewentualne ryzyko systemowe. Jeżeli pomimo wysiłków na rzecz zidentyfikowania ryzyka związanego z modelem AI ogólnego przeznaczenia, który może stwarzać ryzyko systemowe, i pomimo wysiłków na rzecz przeciwdziałania temu ryzyku, w wyniku rozwoju lub wykorzystania modelu wystąpi poważny incydent, dostawca modelu AI ogólnego przeznaczenia powinien bez zbędnej zwłoki zacząć śledzić jego przebieg i zgłosić wszelkie istotne informacje i możliwe środki naprawcze Komisji i właściwym organom krajowym. Ponadto dostawcy powinni zapewnić odpowiedni poziom ochrony cyberbezpieczeństwa w odniesieniu do modelu i jego infrastruktury fizycznej, w stosownych przypadkach, w całym cyklu życia modelu. Ochrona cyberbezpieczeństwa w kontekście ryzyka systemowego związanego ze złośliwym wykorzystaniem lub atakami powinna należycie uwzględniać przypadkowe przecieki modelu, nieuprawnione przypadki udostępnienia, obchodzenie środków bezpieczeństwa oraz ochronę przed cyberatakami, nieuprawnionym dostępem lub kradzieżą modelu. Ochronę tę można ułatwić poprzez zabezpieczenie wag modeli, algorytmów, serwerów i zbiorów danych, na przykład za pomocą operacyjnych środków bezpieczeństwa na rzecz bezpieczeństwa informacji, konkretnych strategii cyberbezpieczeństwa, odpowiednich rozwiązań technicznych i ustanowionych rozwiązań oraz kontroli dostępu fizycznego i w cyberprzestrzeni, odpowiednio do danych okoliczności i związanego z nimi ryzyka.
(115)
Providers of general-purpose AI models with systemic risks should assess and mitigate possible systemic risks. If, despite efforts to identify and prevent risks related to a general-purpose AI model that may present systemic risks, the development or use of the model causes a serious incident, the general-purpose AI model provider should without undue delay keep track of the incident and report any relevant information and possible corrective measures to the Commission and national competent authorities. Furthermore, providers should ensure an adequate level of cybersecurity protection for the model and its physical infrastructure, if appropriate, along the entire model lifecycle. Cybersecurity protection related to systemic risks associated with malicious use or attacks should duly consider accidental model leakage, unauthorised releases, circumvention of safety measures, and defence against cyberattacks, unauthorised access or model theft. That protection could be facilitated by securing model weights, algorithms, servers, and data sets, such as through operational security measures for information security, specific cybersecurity policies, adequate technical and established solutions, and cyber and physical access controls, appropriate to the relevant circumstances and the risks involved.
(116)
Urząd ds. AI powinien wspierać i ułatwiać opracowywanie, przegląd i dostosowywanie kodeksów praktyk, z uwzględnieniem podejść międzynarodowych. Do udziału można zaprosić wszystkich dostawców modeli AI ogólnego przeznaczenia. W celu zapewnienia, aby kodeksy praktyk odzwierciedlały aktualny stan wiedzy technicznej i należycie uwzględniały różne punkty widzenia, przy opracowania takich kodeksów Urząd ds. AI powinien współpracować z odpowiednimi właściwymi organami krajowymi i mógłby, w stosownych przypadkach, konsultować się z organizacjami społeczeństwa obywatelskiego i innymi odpowiednimi zainteresowanymi stronami i ekspertami, w tym z panelem naukowym. Kodeksy praktyk powinny obejmować obowiązki dostawców modeli AI ogólnego przeznaczenia i modeli AI ogólnego przeznaczenia stwarzających ryzyko systemowe. Ponadto w odniesieniu do ryzyka systemowego kodeksy praktyk powinny pomóc w ustanowieniu na poziomie Unii klasyfikacji tego ryzyka pod względem jego różnych rodzajów i charakteru, w tym jego źródeł. Kodeksy praktyk powinny również koncentrować się na konkretnych środkach oceny i ograniczania ryzyka.
(116)
The AI Office should encourage and facilitate the drawing up, review and adaptation of codes of practice, taking into account international approaches. All providers of general-purpose AI models could be invited to participate. To ensure that the codes of practice reflect the state of the art and duly take into account a diverse set of perspectives, the AI Office should collaborate with relevant national competent authorities, and could, where appropriate, consult with civil society organisations and other relevant stakeholders and experts, including the Scientific Panel, for the drawing up of such codes. Codes of practice should cover obligations for providers of general-purpose AI models and of general-purpose AI models presenting systemic risks. In addition, as regards systemic risks, codes of practice should help to establish a risk taxonomy of the type and nature of the systemic risks at Union level, including their sources. Codes of practice should also be focused on specific risk assessment and mitigation measures.
(117)
Kodeksy praktyk powinny stanowić jedno z głównych narzędzi służących właściwemu spełnianiu obowiązków przewidzianych w niniejszym rozporządzeniu w odniesieniu do dostawców modeli AI ogólnego przeznaczenia. Dostawcy powinni móc polegać na kodeksach praktyk w celu wykazania spełnienia tych obowiązków. W drodze aktów wykonawczych Komisja może podjąć decyzję o zatwierdzeniu kodeksu praktyk i nadaniu mu ogólnej ważności w Unii lub ewentualnie o ustanowieniu wspólnych zasad dotyczących wdrażania odpowiednich obowiązków, jeżeli do czasu rozpoczęcia stosowania niniejszego rozporządzenia prace nad kodeksem praktyk nie mogą zostać sfinalizowane lub jeśli Urząd ds. AI uzna, że kodeks ten nie jest wystarczający. Po opublikowaniu normy zharmonizowanej i po tym jak Urząd ds. AI oceni ją jako właściwą, by objąć odpowiednie obowiązki, zgodność z europejską normą zharmonizowaną powinna w odniesieniu do dostawców oznaczać domniemanie zgodności. Dostawcy modeli AI ogólnego przeznaczenia powinni ponadto być w stanie wykazać zgodność za pomocą odpowiednich alternatywnych środków, jeżeli kodeksy praktyk lub normy zharmonizowane nie są dostępne lub jeśli zdecydują się na nich nie polegać.
(117)
The codes of practice should represent a central tool for the proper compliance with the obligations provided for under this Regulation for providers of general-purpose AI models. Providers should be able to rely on codes of practice to demonstrate compliance with the obligations. By means of implementing acts, the Commission may decide to approve a code of practice and give it a general validity within the Union, or, alternatively, to provide common rules for the implementation of the relevant obligations, if, by the time this Regulation becomes applicable, a code of practice cannot be finalised or is not deemed adequate by the AI Office. Once a harmonised standard is published and assessed as suitable to cover the relevant obligations by the AI Office, compliance with a European harmonised standard should grant providers the presumption of conformity. Providers of general-purpose AI models should furthermore be able to demonstrate compliance using alternative adequate means, if codes of practice or harmonised standards are not available, or they choose not to rely on those.
(118)
Niniejsze rozporządzenie reguluje systemy AI i modele AI, nakładając określone wymogi i obowiązki na odpowiednie podmioty rynkowe, które wprowadzają je do obrotu, oddają do użytku lub wykorzystują w Unii, i uzupełnia w ten sposób obowiązki dostawców usług pośrednich, którzy włączają takie systemy lub modele do swoich usług uregulowanych rozporządzeniem (UE) 2022/2065. W zakresie, w jakim takie systemy lub modele są wbudowane we wskazane bardzo duże platformy internetowe lub bardzo duże wyszukiwarki internetowe, podlegają one ramom zarządzania ryzykiem przewidzianym w rozporządzeniu (UE) 2022/2065. W związku z tym należy domniemywać, że odpowiednie obowiązki ustanowione w niniejszym rozporządzeniu zostały spełnione, chyba że w takich modelach pojawi się i zostanie zidentyfikowane znaczące ryzyko systemowe nieobjęte rozporządzeniem (UE) 2022/2065. W tych ramach dostawcy bardzo dużych platform internetowych i bardzo dużych wyszukiwarek internetowych są zobowiązani do oceny potencjalnego ryzyka systemowego wynikającego z projektu, funkcjonowania i wykorzystania ich usług, w tym tego, w jaki sposób projekt systemów algorytmicznych wykorzystywanych w danej usłudze może przyczynić się do powstania takiego ryzyka, a także ryzyka systemowego wynikającego z potencjalnego nadużycia. Dostawcy ci są również zobowiązani podjąć odpowiednie środki ograniczające to ryzyko z poszanowaniem praw podstawowych.
(118)
This Regulation regulates AI systems and AI models by imposing certain requirements and obligations for relevant market actors that are placing them on the market, putting into service or use in the Union, thereby complementing obligations for providers of intermediary services that embed such systems or models into their services regulated by Regulation (EU) 2022/2065. To the extent that such systems or models are embedded into designated very large online platforms or very large online search engines, they are subject to the risk-management framework provided for in Regulation (EU) 2022/2065. Consequently, the corresponding obligations of this Regulation should be presumed to be fulfilled, unless significant systemic risks not covered by Regulation (EU) 2022/2065 emerge and are identified in such models. Within this framework, providers of very large online platforms and very large online search engines are obliged to assess potential systemic risks stemming from the design, functioning and use of their services, including how the design of algorithmic systems used in the service may contribute to such risks, as well as systemic risks stemming from potential misuses. Those providers are also obliged to take appropriate mitigating measures in observance of fundamental rights.
(119)
Biorąc pod uwagę szybkie tempo innowacji i rozwój technologiczny usług cyfrowych objętych różnymi instrumentami prawa Unii, w szczególności mając na uwadze wykorzystanie tych usług oraz zrozumienie, kto jest ich odbiorcą, systemy AI podlegające niniejszemu rozporządzeniu mogą być dostarczane jako usługi pośrednie lub ich części w rozumieniu rozporządzenia (UE) 2022/2065, które należy postrzegać w sposób neutralny pod względem technologicznym. Na przykład systemy AI mogą być wykorzystywane w roli wyszukiwarek internetowych, w szczególności w zakresie, w jakim system AI, taki jak chatbot internetowy, zasadniczo przeprowadza wyszukiwanie wszystkich stron internetowych, a następnie włącza wyniki do swojej istniejącej wiedzy i wykorzystuje zaktualizowaną wiedzę do wygenerowania jednego wyniku, który łączy różne źródła informacji.
(119)
Considering the quick pace of innovation and the technological evolution of digital services in scope of different instruments of Union law in particular having in mind the usage and the perception of their recipients, the AI systems subject to this Regulation may be provided as intermediary services or parts thereof within the meaning of Regulation (EU) 2022/2065, which should be interpreted in a technology-neutral manner. For example, AI systems may be used to provide online search engines, in particular, to the extent that an AI system such as an online chatbot performs searches of, in principle, all websites, then incorporates the results into its existing knowledge and uses the updated knowledge to generate a single output that combines different sources of information.
(120)
Ponadto obowiązki nałożone w niniejszym rozporządzeniu na dostawców i podmioty stosujące niektóre systemy AI, by umożliwić wykrywanie i ujawnianie, że wyniki tych systemów są sztucznie wygenerowane lub zmanipulowane, są szczególnie istotne dla ułatwienia skutecznego wdrożenia rozporządzenia (UE) 2022/2065. Dotyczy to w szczególności obowiązków dostawców bardzo dużych platform internetowych lub bardzo dużych wyszukiwarek internetowych w zakresie identyfikowania i ograniczania ryzyka systemowego, które może wynikać z rozpowszechniania treści sztucznie wygenerowanych lub zmanipulowanych, w szczególności ryzyka faktycznych lub przewidywalnych negatywnych skutków dla procesów demokratycznych, dyskursu obywatelskiego i procesów wyborczych, w tym poprzez stosowanie dezinformacji.
(120)
Furthermore, obligations placed on providers and deployers of certain AI systems in this Regulation to enable the detection and disclosure that the outputs of those systems are artificially generated or manipulated are particularly relevant to facilitate the effective implementation of Regulation (EU) 2022/2065. This applies in particular as regards the obligations of providers of very large online platforms or very large online search engines to identify and mitigate systemic risks that may arise from the dissemination of content that has been artificially generated or manipulated, in particular risk of the actual or foreseeable negative effects on democratic processes, civic discourse and electoral processes, including through disinformation.
(121)
Kluczową rolę w dostarczaniu dostawcom rozwiązań technicznych – zgodnie z aktualnym stanem wiedzy technicznej – w celu zapewnienia zgodności z niniejszym rozporządzeniem powinna odgrywać normalizacja, tak aby promować innowacje oraz konkurencyjność i wzrost gospodarczy na jednolitym rynku. Zgodność z normami zharmonizowanymi określonymi w art. 2 pkt 1 lit. c) rozporządzenia Parlamentu Europejskiego i Rady (UE) nr 1025/2012 (41), które z założenia mają odzwierciedlać stan wiedzy technicznej, powinna stanowić dla dostawców sposób wykazania zgodności z wymogami niniejszego rozporządzenia. Przy opracowywaniu norm należy zatem zachęcać do zrównoważonej reprezentacji interesów wszystkich zainteresowanych stron, w szczególności MŚP, organizacji konsumenckich oraz zainteresowanych stron działających na rzecz ochrony środowiska i społeczeństwa zgodnie z art. 5 i 6 rozporządzenia (UE) nr 1025/2012. Aby ułatwić osiąganie zgodności, wnioski o normalizację powinny być wydawane przez Komisję bez zbędnej zwłoki. Przygotowując wniosek o normalizację, Komisja powinna skonsultować się z forum doradczym i Radą ds. AI, aby zebrać odpowiednią wiedzę fachową. Jednakże w przypadku braku odpowiednich odniesień do norm zharmonizowanych Komisja powinna mieć możliwość ustanowienia, w drodze aktów wykonawczych i po konsultacji z forum doradczym, wspólnych specyfikacji dotyczących niektórych wymogów określonych w niniejszym rozporządzeniu. Ta wspólna specyfikacja powinna stanowić wyjątkowe rozwiązanie awaryjne ułatwiające dostawcy spełnienie wymogów niniejszego rozporządzenia, w przypadku gdy wniosek o normalizację nie został zaakceptowany przez żadną z europejskich organizacji normalizacyjnych lub gdy odpowiednie normy zharmonizowane w niewystarczającym stopniu uwzględniają obawy dotyczące praw podstawowych lub gdy normy zharmonizowane nie są zgodne z wnioskiem, lub gdy występują opóźnienia w przyjęciu odpowiedniej normy zharmonizowanej. Jeżeli opóźnienie w przyjęciu normy zharmonizowanej wynika ze złożoności technicznej danej normy, Komisja powinna to uwzględnić, zanim zacznie rozważać ustanowienie wspólnych specyfikacji. Przy opracowywaniu wspólnych specyfikacji zachęca się Komisję do współpracy z partnerami międzynarodowymi i międzynarodowymi organami normalizacyjnymi.
(121)
Standardisation should play a key role to provide technical solutions to providers to ensure compliance with this Regulation, in line with the state of the art, to promote innovation as well as competitiveness and growth in the single market. Compliance with harmonised standards as defined in Article 2, point (1)(c), of Regulation (EU) No 1025/2012 of the European Parliament and of the Council (41), which are normally expected to reflect the state of the art, should be a means for providers to demonstrate conformity with the requirements of this Regulation. A balanced representation of interests involving all relevant stakeholders in the development of standards, in particular SMEs, consumer organisations and environmental and social stakeholders in accordance with Articles 5 and 6 of Regulation (EU) No 1025/2012 should therefore be encouraged. In order to facilitate compliance, the standardisation requests should be issued by the Commission without undue delay. When preparing the standardisation request, the Commission should consult the advisory forum and the Board in order to collect relevant expertise. However, in the absence of relevant references to harmonised standards, the Commission should be able to establish, via implementing acts, and after consultation of the advisory forum, common specifications for certain requirements under this Regulation. The common specification should be an exceptional fall back solution to facilitate the provider’s obligation to comply with the requirements of this Regulation, when the standardisation request has not been accepted by any of the European standardisation organisations, or when the relevant harmonised standards insufficiently address fundamental rights concerns, or when the harmonised standards do not comply with the request, or when there are delays in the adoption of an appropriate harmonised standard. Where such a delay in the adoption of a harmonised standard is due to the technical complexity of that standard, this should be considered by the Commission before contemplating the establishment of common specifications. When developing common specifications, the Commission is encouraged to cooperate with international partners and international standardisation bodies.
(122)
Bez uszczerbku dla stosowania norm zharmonizowanych i wspólnych specyfikacji zasadnym jest przyjęcie domniemania, że dostawcy systemu AI wysokiego ryzyka, który został wytrenowany i przetestowany w oparciu o dane odzwierciedlające określone otoczenie geograficzne, behawioralne, kontekstualne lub funkcjonalne, w którym dany system AI ma być wykorzystywany, stosują odpowiedni środek przewidziany w ramach wymogu dotyczącego zarządzania danymi określonego w niniejszym rozporządzeniu. Bez uszczerbku dla wymogów dotyczących solidności i dokładności określonych w niniejszym rozporządzeniu, zgodnie z art. 54 ust. 3 rozporządzenia (UE) 2019/881 należy przyjąć domniemanie, że systemy AI wysokiego ryzyka, które zostały certyfikowane lub w odniesieniu do których wydano deklarację zgodności w ramach programu certyfikacji cyberbezpieczeństwa na podstawie tego rozporządzenia i do których to poświadczeń opublikowano odniesienia w Dzienniku Urzędowym Unii Europejskiej, są zgodne z wymogiem cyberbezpieczeństwa określonym w niniejszym rozporządzeniu w zakresie, w jakim certyfikat cyberbezpieczeństwa lub deklaracja zgodności lub ich części obejmują wymóg cyberbezpieczeństwa określony w niniejszym rozporządzeniu. Pozostaje to bez uszczerbku dla dobrowolnego charakteru tego programu certyfikacji cyberbezpieczeństwa.
(122)
It is appropriate that, without prejudice to the use of harmonised standards and common specifications, providers of a high-risk AI system that has been trained and tested on data reflecting the specific geographical, behavioural, contextual or functional setting within which the AI system is intended to be used, should be presumed to comply with the relevant measure provided for under the requirement on data governance set out in this Regulation. Without prejudice to the requirements related to robustness and accuracy set out in this Regulation, in accordance with Article 54(3) of Regulation (EU) 2019/881, high-risk AI systems that have been certified or for which a statement of conformity has been issued under a cybersecurity scheme pursuant to that Regulation and the references of which have been published in the Official Journal of the European Union should be presumed to comply with the cybersecurity requirement of this Regulation in so far as the cybersecurity certificate or statement of conformity or parts thereof cover the cybersecurity requirement of this Regulation. This remains without prejudice to the voluntary nature of that cybersecurity scheme.
(123)
Aby zapewnić wysoki poziom wiarygodności systemów AI wysokiego ryzyka, takie systemy powinny podlegać ocenie zgodności przed wprowadzeniem ich do obrotu lub oddaniem do użytku.
(123)
In order to ensure a high level of trustworthiness of high-risk AI systems, those systems should be subject to a conformity assessment prior to their placing on the market or putting into service.
(124)
Aby zminimalizować obciążenie dla operatorów i uniknąć ewentualnego powielania działań, zgodność z wymogami niniejszego rozporządzenia w przypadku systemów AI wysokiego ryzyka powiązanych z produktami, które są objęte zakresem stosowania obowiązującego unijnego prawodawstwa harmonizacyjnego opartego na nowych ramach prawnych, należy oceniać w ramach oceny zgodności przewidzianej już w tym prawodawstwie. Stosowanie wymogów niniejszego rozporządzenia nie powinno zatem wpływać na szczególną logikę, metodykę lub ogólną strukturę oceny zgodności określone w unijnym prawodawstwie harmonizacyjnym.
(124)
It is appropriate that, in order to minimise the burden on operators and avoid any possible duplication, for high-risk AI systems related to products which are covered by existing Union harmonisation legislation based on the New Legislative Framework, the compliance of those AI systems with the requirements of this Regulation should be assessed as part of the conformity assessment already provided for in that law. The applicability of the requirements of this Regulation should thus not affect the specific logic, methodology or general structure of conformity assessment under the relevant Union harmonisation legislation.
(125)
Biorąc pod uwagę złożoność systemów AI wysokiego ryzyka i związane z nimi ryzyko, ważne jest opracowanie odpowiedniej procedury oceny zgodności w przypadku systemów AI wysokiego ryzyka z udziałem jednostek notyfikowanych, tzw. oceny zgodności przeprowadzanej przez stronę trzecią. Zważywszy jednak na dotychczasowe doświadczenie, jakie zawodowe podmioty zajmujące się certyfikacją przed wprowadzeniem do obrotu mają w dziedzinie bezpieczeństwa produktów, oraz odmienny charakter odnośnego ryzyka, zakres stosowania oceny zgodności przeprowadzanej przez stronę trzecią należy ograniczyć, przynajmniej na początkowym etapie stosowania niniejszego rozporządzenia, w przypadku systemów AI wysokiego ryzyka innych niż te, które są powiązane z produktami. W związku z tym ocena zgodności takich systemów powinna być co do zasady przeprowadzana przez dostawcę na jego własną odpowiedzialność, z wyjątkiem systemów AI przeznaczonych do wykorzystania do celów biometrycznych.
(125)
Given the complexity of high-risk AI systems and the risks that are associated with them, it is important to develop an adequate conformity assessment procedure for high-risk AI systems involving notified bodies, so-called third party conformity assessment. However, given the current experience of professional pre-market certifiers in the field of product safety and the different nature of risks involved, it is appropriate to limit, at least in an initial phase of application of this Regulation, the scope of application of third-party conformity assessment for high-risk AI systems other than those related to products. Therefore, the conformity assessment of such systems should be carried out as a general rule by the provider under its own responsibility, with the only exception of AI systems intended to be used for biometrics.
(126)
Do celów oceny zgodności przeprowadzanej przez stronę trzecią, jeśli jest ona wymagana, właściwe organy krajowe powinny notyfikować na podstawie niniejszego rozporządzenia jednostki notyfikowane, pod warunkiem że jednostki te spełniają szereg wymogów, w szczególności dotyczących niezależności, kompetencji, braku konfliktu interesów i odpowiednich wymogów cyberbezpieczeństwa. Notyfikacja tych jednostek powinna zostać przesłana Komisji i pozostałym państwom członkowskim przez właściwe organy krajowe za pomocą systemu notyfikacji elektronicznej opracowanego i zarządzanego przez Komisję zgodnie z art. R23 załącznika I do decyzji nr 768/2008/WE.
(126)
In order to carry out third-party conformity assessments when so required, notified bodies should be notified under this Regulation by the national competent authorities, provided that they comply with a set of requirements, in particular on independence, competence, absence of conflicts of interests and suitable cybersecurity requirements. Notification of those bodies should be sent by national competent authorities to the Commission and the other Member States by means of the electronic notification tool developed and managed by the Commission pursuant to Article R23 of Annex I to Decision No 768/2008/EC.
(127)
Zgodnie ze zobowiązaniami Unii wynikającymi z Porozumienia Światowej Organizacji Handlu w sprawie barier technicznych w handlu właściwe jest ułatwienie wzajemnego uznawania wyników oceny zgodności sporządzonych przez właściwe jednostki oceniające zgodność, niezależnie od terytorium, na którym mają siedzibę, pod warunkiem że te jednostki oceniające zgodność ustanowione na mocy prawa państwa trzeciego spełniają mające zastosowanie wymogi niniejszego rozporządzenia, a Unia zawarła w tym zakresie umowę. W tym kontekście Komisja powinna aktywnie szukać rozwiązań w postaci ewentualnych służących temu celowi instrumentów międzynarodowych, a w szczególności dążyć do zawarcia umów o wzajemnym uznawaniu z państwami trzecimi.
(127)
In line with Union commitments under the World Trade Organization Agreement on Technical Barriers to Trade, it is adequate to facilitate the mutual recognition of conformity assessment results produced by competent conformity assessment bodies, independent of the territory in which they are established, provided that those conformity assessment bodies established under the law of a third country meet the applicable requirements of this Regulation and the Union has concluded an agreement to that extent. In this context, the Commission should actively explore possible international instruments for that purpose and in particular pursue the conclusion of mutual recognition agreements with third countries.
(128)
Zgodnie z powszechnie ugruntowanym pojęciem istotnej zmiany w odniesieniu do produktów regulowanych unijnym prawodawstwem harmonizacyjnym, należy – za każdym razem, gdy dokonuje się zmiany, która może wpłynąć na zgodność danego systemu AI wysokiego ryzyka z niniejszym rozporządzeniem (np. zmiana systemu operacyjnego lub architektury oprogramowania), lub gdy zmienia się przeznaczenie danego systemu – uznać ten system AI za nowy system AI, który powinien zostać poddany nowej ocenie zgodności. Za istotną zmianę nie należy jednak uznawać zmian w algorytmie oraz w skuteczności działania systemu AI, który po wprowadzeniu do obrotu lub oddaniu do użytku nadal się „uczy”, tzn. automatycznie dostosowuje sposób wykonywania funkcji, pod warunkiem że zmiany te zostały z góry zaplanowane przez dostawcę i ocenione w momencie przeprowadzania oceny zgodności.
(128)
In line with the commonly established notion of substantial modification for products regulated by Union harmonisation legislation, it is appropriate that whenever a change occurs which may affect the compliance of a high-risk AI system with this Regulation (e.g. change of operating system or software architecture), or when the intended purpose of the system changes, that AI system should be considered to be a new AI system which should undergo a new conformity assessment. However, changes occurring to the algorithm and the performance of AI systems which continue to ‘learn’ after being placed on the market or put into service, namely automatically adapting how functions are carried out, should not constitute a substantial modification, provided that those changes have been pre-determined by the provider and assessed at the moment of the conformity assessment.
(129)
Systemy AI wysokiego ryzyka powinny posiadać oznakowanie CE wskazujące na ich zgodności z niniejszym rozporządzeniem, aby umożliwić ich swobodny przepływ na rynku wewnętrznym. W przypadku systemów AI wysokiego ryzyka wbudowanych w produkt należy umieścić fizyczne oznakowanie CE, które może zostać uzupełnione cyfrowym oznakowaniem CE. W przypadku systemów AI wysokiego ryzyka dostarczanych wyłącznie w formie cyfrowej należy stosować cyfrowe oznakowanie CE. Państwa członkowskie nie powinny stwarzać nieuzasadnionych przeszkód dla wprowadzania do obrotu lub oddawania do użytku systemów AI wysokiego ryzyka zgodnych z wymogami ustanowionymi w niniejszym rozporządzeniu i posiadających oznakowanie CE.
(129)
High-risk AI systems should bear the CE marking to indicate their conformity with this Regulation so that they can move freely within the internal market. For high-risk AI systems embedded in a product, a physical CE marking should be affixed, and may be complemented by a digital CE marking. For high-risk AI systems only provided digitally, a digital CE marking should be used. Member States should not create unjustified obstacles to the placing on the market or the putting into service of high-risk AI systems that comply with the requirements laid down in this Regulation and bear the CE marking.
(130)
W pewnych warunkach szybka dostępność innowacyjnych technologii może być kluczowa dla zdrowia i bezpieczeństwa osób, ochrony środowiska i zmiany klimatu oraz dla całego społeczeństwa. Jest zatem właściwe, aby w przypadku wystąpienia nadzwyczajnych względów dotyczących bezpieczeństwa publicznego lub ochrony zdrowia i życia osób fizycznych, ochrony środowiska oraz ochrony kluczowych aktywów przemysłowych i infrastrukturalnych, organy nadzoru rynku mogły zezwolić na wprowadzenie do obrotu lub oddanie do użytku systemów AI, które nie przeszły oceny zgodności. W należycie uzasadnionych sytuacjach przewidzianych w niniejszym rozporządzeniu organy ścigania lub organy ochrony ludności mogą oddać do użytku określony system AI wysokiego ryzyka bez zezwolenia organu nadzoru rynku, pod warunkiem że o takie zezwolenie wystąpiono bez zbędnej zwłoki w trakcie jego wykorzystania lub po wykorzystaniu.
(130)
Under certain conditions, rapid availability of innovative technologies may be crucial for health and safety of persons, the protection of the environment and climate change and for society as a whole. It is thus appropriate that under exceptional reasons of public security or protection of life and health of natural persons, environmental protection and the protection of key industrial and infrastructural assets, market surveillance authorities could authorise the placing on the market or the putting into service of AI systems which have not undergone a conformity assessment. In duly justified situations, as provided for in this Regulation, law enforcement authorities or civil protection authorities may put a specific high-risk AI system into service without the authorisation of the market surveillance authority, provided that such authorisation is requested during or after the use without undue delay.
(131)
Aby ułatwić pracę Komisji i państw członkowskich w dziedzinie AI, jak również zwiększyć przejrzystość wobec ogółu społeczeństwa, dostawców systemów AI wysokiego ryzyka innych niż te, które są powiązane z produktami objętymi zakresem stosowania odpowiedniego obowiązującego unijnego prawodawstwa harmonizacyjnego, a także dostawców, którzy uznają, że w związku z odstępstwem system AI wymieniony w wykazie przypadków wykorzystania stanowiących wysokie ryzyko zamieszczonym w załączniku do niniejszego rozporządzenia nie jest systemem wysokiego ryzyka, należy zobowiązać, by dokonali swojej rejestracji oraz rejestracji informacji na temat swoich systemów AI w bazie danych UE, która zostanie utworzona i będzie zarządzana przez Komisję. Przed wykorzystaniem systemu AI wymienionego w wykazie przypadków wykorzystania stanowiących wysokie ryzyko zamieszczonym w załączniku do niniejszego rozporządzenia będące publicznymi organami, agencjami lub jednostkami organizacyjnymi podmioty stosujące systemy AI wysokiego ryzyka powinny dokonać swojej rejestracji w tej bazie danych i wybrać system, który zamierzają wykorzystywać. Inne podmioty stosujące powinny być uprawnione do uczynienia tego dobrowolnie. Ta sekcja bazy danych UE powinna być publicznie dostępna, nieodpłatna, informacje powinny być łatwe do odnalezienia, zrozumiałe i nadające się do odczytu maszynowego. Ta baza danych UE powinna być również przyjazna dla użytkownika, na przykład poprzez zapewnienie funkcji wyszukiwania, w tym za pomocą słów kluczowych, co umożliwi ogółowi społeczeństwa znalezienie istotnych informacji przedkładanych przy rejestracji systemów AI wysokiego ryzyka, oraz informacji na temat przypadków wykorzystywania systemów AI wysokiego ryzyka, określonych w załączniku do niniejszego rozporządzenia, któremu odpowiadają poszczególne systemy AI wysokiego ryzyka. W unijnej bazie danych UE powinno się też rejestrować wszelkie istotne zmiany systemów sztucznej inteligencji wysokiego ryzyka. W przypadku systemów AI wysokiego ryzyka w obszarze ścigania przestępstw, zarządzania migracją, azylem i kontrolą graniczną obowiązkowej rejestracji należy dokonać w bezpiecznej niepublicznej sekcji bazy danych. Dostęp do tej bezpiecznej niepublicznej sekcji powinna posiadać tylko i wyłącznie Komisja i organy nadzoru rynku w odniesieniu do ich krajowej sekcji bazy danych UE. Systemy AI wysokiego ryzyka w obszarze infrastruktury krytycznej powinny być rejestrowane wyłącznie na poziomie krajowym. Komisja powinna być administratorem bazy danych UE zgodnie z rozporządzeniem (UE) 2018/1725. Aby zapewnić pełną funkcjonalność bazy danych UE po jej wdrożeniu, procedura ustanawiania bazy danych powinna obejmować rozwijanie przez Komisję specyfikacji funkcjonalnych oraz sprawozdanie z niezależnego audytu. Wykonując swoje zadania jako administrator danych bazy danych UE, Komisja powinna wziąć pod uwagę ryzyko dotyczące cyberbezpieczeństwa. Aby zmaksymalizować dostępność i wykorzystywanie bazy danych UE przez społeczeństwo, baza danych UE, w tym udostępniane za jej pośrednictwem informacje, powinna być zgodna z wymogami określonymi w dyrektywie (UE) 2019/882.
(131)
In order to facilitate the work of the Commission and the Member States in the AI field as well as to increase the transparency towards the public, providers of high-risk AI systems other than those related to products falling within the scope of relevant existing Union harmonisation legislation, as well as providers who consider that an AI system listed in the high-risk use cases in an annex to this Regulation is not high-risk on the basis of a derogation, should be required to register themselves and information about their AI system in an EU database, to be established and managed by the Commission. Before using an AI system listed in the high-risk use cases in an annex to this Regulation, deployers of high-risk AI systems that are public authorities, agencies or bodies, should register themselves in such database and select the system that they envisage to use. Other deployers should be entitled to do so voluntarily. This section of the EU database should be publicly accessible, free of charge, the information should be easily navigable, understandable and machine-readable. The EU database should also be user-friendly, for example by providing search functionalities, including through keywords, allowing the general public to find relevant information to be submitted upon the registration of high-risk AI systems and on the use case of high-risk AI systems, set out in an annex to this Regulation, to which the high-risk AI systems correspond. Any substantial modification of high-risk AI systems should also be registered in the EU database. For high-risk AI systems in the area of law enforcement, migration, asylum and border control management, the registration obligations should be fulfilled in a secure non-public section of the EU database. Access to the secure non-public section should be strictly limited to the Commission as well as to market surveillance authorities with regard to their national section of that database. High-risk AI systems in the area of critical infrastructure should only be registered at national level. The Commission should be the controller of the EU database, in accordance with Regulation (EU) 2018/1725. In order to ensure the full functionality of the EU database, when deployed, the procedure for setting the database should include the development of functional specifications by the Commission and an independent audit report. The Commission should take into account cybersecurity risks when carrying out its tasks as data controller on the EU database. In order to maximise the availability and use of the EU database by the public, the EU database, including the information made available through it, should comply with requirements under the Directive (EU) 2019/882.
(132)
Niektóre systemy AI przeznaczone do wchodzenia w interakcję z osobami fizycznymi lub generowania treści mogą stwarzać szczególne ryzyko podawania się za inną osobę lub wprowadzania w błąd, niezależnie od tego, czy kwalifikują się jako systemy wysokiego ryzyka, czy też nie. W pewnych okolicznościach wykorzystanie tych systemów powinno zatem podlegać szczególnym obowiązkom w zakresie przejrzystości bez uszczerbku dla wymogów i obowiązków określonych dla systemów AI wysokiego ryzyka, przy zastosowaniu ukierunkowanych wyjątków, aby uwzględnić szczególne potrzeby w zakresie ścigania przestępstw. W szczególności osoby fizyczne powinny być powiadamiane o tym, że wchodzą w interakcję z systemem AI, chyba że jest to oczywiste z punktu widzenia osoby fizycznej, która jest dostatecznie poinformowana, uważna i ostrożna, z uwzględnieniem okoliczności i kontekstu korzystania. Przy spełnianiu takiego obowiązku należy uwzględniać cechy osób fizycznych należących do grup szczególnie wrażliwych ze względu na wiek lub niepełnosprawność – w zakresie, w jakim system AI ma również wchodzić w interakcję z tymi grupami. Ponadto osoby fizyczne powinny być powiadamiane, jeżeli są poddawane działaniu systemów AI, które poprzez przetwarzanie ich danych biometrycznych mogą zidentyfikować lub wywnioskować emocje lub zamiary tych osób lub przypisać je do określonych kategorii. Te określone kategorie mogą dotyczyć takich aspektów jak płeć, wiek, kolor włosów, kolor oczu, tatuaże, cechy osobowości, pochodzenie etniczne, osobiste preferencje i zainteresowania. Tego rodzaju informacje i powiadomienia należy przekazywać w formatach dostępnych dla osób z niepełnosprawnościami.
(132)
Certain AI systems intended to interact with natural persons or to generate content may pose specific risks of impersonation or deception irrespective of whether they qualify as high-risk or not. In certain circumstances, the use of these systems should therefore be subject to specific transparency obligations without prejudice to the requirements and obligations for high-risk AI systems and subject to targeted exceptions to take into account the special need of law enforcement. In particular, natural persons should be notified that they are interacting with an AI system, unless this is obvious from the point of view of a natural person who is reasonably well-informed, observant and circumspect taking into account the circumstances and the context of use. When implementing that obligation, the characteristics of natural persons belonging to vulnerable groups due to their age or disability should be taken into account to the extent the AI system is intended to interact with those groups as well. Moreover, natural persons should be notified when they are exposed to AI systems that, by processing their biometric data, can identify or infer the emotions or intentions of those persons or assign them to specific categories. Such specific categories can relate to aspects such as sex, age, hair colour, eye colour, tattoos, personal traits, ethnic origin, personal preferences and interests. Such information and notifications should be provided in accessible formats for persons with disabilities.
(133)
Różne systemy AI mogą generować duże ilości treści syntetycznych, które stają się coraz trudniejsze do odróżnienia od treści generowanych przez człowieka i treści autentycznych. Szeroka dostępność i coraz większe zdolności tych systemów mają znaczący wpływ na integralność ekosystemu informacyjnego i zaufanie do niego, stwarzając nowe rodzaje ryzyka polegające na podawaniu informacji wprowadzających w błąd i na manipulacji na dużą skalę, oszustwach, podszywaniu się pod inne osoby i wprowadzaniu w błąd konsumentów. W świetle tych skutków, a także szybkiego tempa technologicznego oraz zapotrzebowania na nowe metody i techniki śledzenia pochodzenia informacji należy zobowiązać dostawców tych systemów do wbudowania rozwiązań technicznych, które umożliwiają oznakowanie w formacie nadającym się do odczytu maszynowego i wykrywanie, że wyniki zostały wygenerowane lub zmanipulowane przez system AI, a nie przez człowieka. Takie techniki i metody powinny być wystarczająco niezawodne, interoperacyjne, skuteczne i solidne, o ile jest to technicznie wykonalne, z uwzględnieniem dostępnych technik lub kombinacji takich technik, takich jak znaki wodne, identyfikacja metadanych, metody kryptograficzne służące do potwierdzania pochodzenia i autentyczności treści, metody rejestracji zdarzeń, odciski palców lub inne techniki, stosownie do przypadku. Przy spełnianiu tego obowiązku dostawcy powinni uwzględniać specyfikę i ograniczenia różnych rodzajów treści oraz istotne postępy technologiczne i rynkowe w tym obszarze, które odzwierciedla powszechnie uznany stan wiedzy technicznej. Takie techniki i metody można wdrażać na poziomie danego systemu AI lub na poziomie modelu AI, w tym modeli AI ogólnego przeznaczenia generujących treści, a tym samym ułatwiać spełnianie tego obowiązku przez dostawcę niższego szczebla danego systemu AI. Aby zachować proporcjonalność, należy przewidzieć, że ten obowiązek oznakowania nie powinien obejmować systemów AI pełniących przede wszystkim funkcję wspomagającą w zakresie standardowej edycji lub systemów AI, które nie zmieniają w istotny sposób przekazywanych przez podmiot stosujący danych wejściowych ani ich semantyki.
(133)
A variety of AI systems can generate large quantities of synthetic content that becomes increasingly hard for humans to distinguish from human-generated and authentic content. The wide availability and increasing capabilities of those systems have a significant impact on the integrity and trust in the information ecosystem, raising new risks of misinformation and manipulation at scale, fraud, impersonation and consumer deception. In light of those impacts, the fast technological pace and the need for new methods and techniques to trace origin of information, it is appropriate to require providers of those systems to embed technical solutions that enable marking in a machine readable format and detection that the output has been generated or manipulated by an AI system and not a human. Such techniques and methods should be sufficiently reliable, interoperable, effective and robust as far as this is technically feasible, taking into account available techniques or a combination of such techniques, such as watermarks, metadata identifications, cryptographic methods for proving provenance and authenticity of content, logging methods, fingerprints or other techniques, as may be appropriate. When implementing this obligation, providers should also take into account the specificities and the limitations of the different types of content and the relevant technological and market developments in the field, as reflected in the generally acknowledged state of the art. Such techniques and methods can be implemented at the level of the AI system or at the level of the AI model, including general-purpose AI models generating content, thereby facilitating fulfilment of this obligation by the downstream provider of the AI system. To remain proportionate, it is appropriate to envisage that this marking obligation should not cover AI systems performing primarily an assistive function for standard editing or AI systems not substantially altering the input data provided by the deployer or the semantics thereof.
(134)
Oprócz rozwiązań technicznych wykorzystywanych przez dostawców systemu AI, podmioty stosujące, które wykorzystują system AI do generowania obrazów, treści dźwiękowych lub wideo lub manipulowania nimi, tak by łudząco przypominały istniejące osoby, przedmioty. Miejsca, podmioty lub wydarzenia i które to treści mogą niesłusznie zostać uznane przez odbiorcę za autentyczne lub prawdziwe („deepfake”), powinny również jasno i wyraźnie ujawnić – poprzez odpowiednie oznakowanie wyniku AI i ujawnienie, że źródłem jest AI – że treści te zostały sztucznie wygenerowane lub zmanipulowane. Spełnienie obowiązku w zakresie przejrzystości nie powinno być interpretowane jako wskazujące na to, że wykorzystanie systemu AI lub jego wyników ogranicza prawo do wolności wypowiedzi i prawo do wolności sztuki i nauki zagwarantowane w Karcie, w szczególności w przypadku, gdy treści te stanowią część dzieła lub programu mającego wyraźnie charakter twórczy, satyryczny, artystyczny fikcyjny lub analogiczny, z zastrzeżeniem odpowiednich zabezpieczeń w zakresie praw i wolności osób trzecich. W takich przypadkach określony w niniejszym rozporządzeniu obowiązek w zakresie przejrzystości dotyczący treści typu deepfake ogranicza się do ujawniania informacji o istnieniu takich wygenerowanych lub zmanipulowanych treści w odpowiedni sposób, który nie utrudnia wyświetlania utworu lub korzystania z niego, w tym jego normalnego wykorzystania i użytkowania, przy jednoczesnym zachowaniu użyteczności i jakości utworu. Ponadto należy również przewidzieć podobny obowiązek ujawniania w odniesieniu do tekstu wygenerowanego przez AI lub zmanipulowanego przez AI w zakresie, w jakim jest on publikowany w celu informowania opinii publicznej o sprawach leżących w interesie publicznym, chyba że treści wygenerowane przez AI zostały poddane procesowi weryfikacji przez człowieka lub kontroli redakcyjnej, a osoba fizyczna lub prawna ponosi odpowiedzialność redakcyjną za publikację treści.
(134)
Further to the technical solutions employed by the providers of the AI system, deployers who use an AI system to generate or manipulate image, audio or video content that appreciably resembles existing persons, objects, places, entities or events and would falsely appear to a person to be authentic or truthful (deep fakes), should also clearly and distinguishably disclose that the content has been artificially created or manipulated by labelling the AI output accordingly and disclosing its artificial origin. Compliance with this transparency obligation should not be interpreted as indicating that the use of the AI system or its output impedes the right to freedom of expression and the right to freedom of the arts and sciences guaranteed in the Charter, in particular where the content is part of an evidently creative, satirical, artistic, fictional or analogous work or programme, subject to appropriate safeguards for the rights and freedoms of third parties. In those cases, the transparency obligation for deep fakes set out in this Regulation is limited to disclosure of the existence of such generated or manipulated content in an appropriate manner that does not hamper the display or enjoyment of the work, including its normal exploitation and use, while maintaining the utility and quality of the work. In addition, it is also appropriate to envisage a similar disclosure obligation in relation to AI-generated or manipulated text to the extent it is published with the purpose of informing the public on matters of public interest unless the AI-generated content has undergone a process of human review or editorial control and a natural or legal person holds editorial responsibility for the publication of the content.
(135)
Bez uszczerbku dla obowiązkowego charakteru i pełnego stosowania obowiązków w zakresie przejrzystości Komisja może również zachęcać do opracowywania kodeksów praktyk na poziomie Unii i ułatwiać ich opracowywanie, aby ułatwić skuteczne wykonywanie obowiązków dotyczących wykrywania i oznakowania treści, które zostały sztucznie wygenerowane lub zmanipulowane, w tym aby wspierać praktyczne rozwiązania dotyczące udostępniania, stosownie do przypadku, mechanizmów wykrywania i ułatwiania współpracy z innymi podmiotami w całym łańcuchu wartości, które rozpowszechniają treści lub sprawdzają ich autentyczność i pochodzenie, aby umożliwić ogółowi społeczeństwa skuteczne rozróżnianie treści wygenerowanych przez AI.
(135)
Without prejudice to the mandatory nature and full applicability of the transparency obligations, the Commission may also encourage and facilitate the drawing up of codes of practice at Union level to facilitate the effective implementation of the obligations regarding the detection and labelling of artificially generated or manipulated content, including to support practical arrangements for making, as appropriate, the detection mechanisms accessible and facilitating cooperation with other actors along the value chain, disseminating content or checking its authenticity and provenance to enable the public to effectively distinguish AI-generated content.
(136)
Obowiązki nałożone w niniejszym rozporządzeniu na dostawców i podmioty stosujące niektóre systemy AI w celu umożliwienia wykrywania i ujawniania, że wyniki tych systemów są sztucznie wygenerowane lub zmanipulowane, są szczególnie istotne dla ułatwienia skutecznego wdrożenia rozporządzenia (UE) 2022/2065. Dotyczy to w szczególności obowiązków dostawców bardzo dużych platform internetowych lub bardzo dużych wyszukiwarek internetowych w zakresie identyfikowania i ograniczania ryzyka systemowego, które może wynikać z rozpowszechniania treści sztucznie wygenerowanych lub zmanipulowanych, w szczególności ryzyka faktycznych lub przewidywalnych negatywnych skutków dla procesów demokratycznych, dyskursu obywatelskiego i procesów wyborczych, w tym poprzez stosowanie dezinformacji. Wymóg oznakowania treści wygenerowanych przez systemy AI na podstawie niniejszego rozporządzenia pozostaje bez uszczerbku dla określonego w art. 16 ust. 6 rozporządzenia (UE) 2022/2065 obowiązku rozpatrywania przez dostawców usług hostingu zgłoszeń dotyczących nielegalnych treści otrzymanych na podstawie art. 16 ust. 1 tego rozporządzenia i nie powinien mieć wpływu na ocenę i decyzję w sprawie niezgodności z prawem konkretnych treści. Ocena ta powinna być dokonywana wyłącznie w odniesieniu do przepisów regulujących zgodność treści z prawem.
(136)
The obligations placed on providers and deployers of certain AI systems in this Regulation to enable the detection and disclosure that the outputs of those systems are artificially generated or manipulated are particularly relevant to facilitate the effective implementation of Regulation (EU) 2022/2065. This applies in particular as regards the obligations of providers of very large online platforms or very large online search engines to identify and mitigate systemic risks that may arise from the dissemination of content that has been artificially generated or manipulated, in particular the risk of the actual or foreseeable negative effects on democratic processes, civic discourse and electoral processes, including through disinformation. The requirement to label content generated by AI systems under this Regulation is without prejudice to the obligation in Article 16(6) of Regulation (EU) 2022/2065 for providers of hosting services to process notices on illegal content received pursuant to Article 16(1) of that Regulation and should not influence the assessment and the decision on the illegality of the specific content. That assessment should be performed solely with reference to the rules governing the legality of the content.
(137)
Spełnienie obowiązków w zakresie przejrzystości w odniesieniu do systemów AI objętych niniejszym rozporządzeniem nie powinno być interpretowane jako wskazanie, że wykorzystanie systemu AI lub jego wyników jest zgodne z prawem na podstawie niniejszego rozporządzenia lub innych przepisów prawa Unii i prawa państw członkowskich, i powinno pozostawać bez uszczerbku dla innych obowiązków w zakresie przejrzystości ustanowionych w prawie Unii lub prawie krajowym wobec podmiotów stosujących systemy AI.
(137)
Compliance with the transparency obligations for the AI systems covered by this Regulation should not be interpreted as indicating that the use of the AI system or its output is lawful under this Regulation or other Union and Member State law and should be without prejudice to other transparency obligations for deployers of AI systems laid down in Union or national law.
(138)
AI jest szybko rozwijającą się grupą technologii, wymagającą nadzoru regulacyjnego oraz bezpiecznej i kontrolowanej przestrzeni do przeprowadzania doświadczeń, przy jednoczesnym zapewnieniu odpowiedzialnej innowacji oraz uwzględnieniu odpowiednich zabezpieczeń i środków ograniczających ryzyko. Aby zapewnić ramy prawne wspierające innowacje, nieulegające dezaktualizacji i uwzględniające przełomowe technologie, państwa członkowskie powinny zapewnić, by ich właściwe organy krajowe ustanowiły co najmniej jedną piaskownicę regulacyjną w zakresie AI na poziomie krajowym, aby ułatwić rozwijanie i testowanie innowacyjnych systemów AI pod ścisłym nadzorem regulacyjnym przed ich wprowadzeniem do obrotu lub oddaniem do użytku w inny sposób. Państwa członkowskie mogłyby również spełnić ten obowiązek, uczestnicząc w już istniejących piaskownicach regulacyjnych lub ustanawiając piaskownicę wspólnie z co najmniej jednym właściwym organem innego państwa członkowskiego, o ile udział ten zapewnia uczestniczącym państwom członkowskim równoważny poziom zasięgu krajowego. Piaskownice regulacyjne w zakresie AI mogą być tworzone w formie fizycznej, cyfrowej lub hybrydowej i mogą obejmować zarówno produkty fizyczne, jak i cyfrowe. Organy ustanawiające piaskownice regulacyjne w zakresie AI powinny również zapewnić, aby dysponowały one odpowiednimi do ich funkcjonowania zasobami, w tym zasobami finansowymi i ludzkimi.
(138)
AI is a rapidly developing family of technologies that requires regulatory oversight and a safe and controlled space for experimentation, while ensuring responsible innovation and integration of appropriate safeguards and risk mitigation measures. To ensure a legal framework that promotes innovation, is future-proof and resilient to disruption, Member States should ensure that their national competent authorities establish at least one AI regulatory sandbox at national level to facilitate the development and testing of innovative AI systems under strict regulatory oversight before these systems are placed on the market or otherwise put into service. Member States could also fulfil this obligation through participating in already existing regulatory sandboxes or establishing jointly a sandbox with one or more Member States’ competent authorities, insofar as this participation provides equivalent level of national coverage for the participating Member States. AI regulatory sandboxes could be established in physical, digital or hybrid form and may accommodate physical as well as digital products. Establishing authorities should also ensure that the AI regulatory sandboxes have the adequate resources for their functioning, including financial and human resources.
(139)
Piaskownice regulacyjne w zakresie AI powinny mieć na celu: wspieranie innowacji w zakresie AI poprzez ustanowienie kontrolowanego środowiska doświadczalnego i testowego w fazie rozwojowej i przed wprowadzeniem do obrotu, z myślą o zapewnieniu zgodności innowacyjnych systemów AI z niniejszym rozporządzeniem oraz z innymi odpowiednimi przepisami prawa Unii i prawa krajowego. Ponadto piaskownice regulacyjne w zakresie AI powinny mieć na celu zwiększenie pewności prawa dla innowatorów, a także usprawnienie nadzoru ze strony właściwych organów oraz podnoszenie poziomu ich wiedzy na temat możliwości, pojawiających się rodzajów ryzyka oraz skutków związanych ze stosowaniem AI, ułatwienie organom i przedsiębiorstwom uczenia się działań regulacyjnych, w tym z myślą o przyszłym dostosowaniu ram prawnych, wspieranie współpracy i wymiany najlepszych praktyk z organami zaangażowanymi w piaskownicę regulacyjną w zakresie AI oraz przyspieszenie dostępu do rynków, w tym poprzez usuwanie barier dla MŚP, w tym przedsiębiorstw typu start-up. Piaskownice regulacyjne w zakresie AI powinny być powszechnie dostępne w całej Unii, a szczególną uwagę należy zwrócić na ich dostępność dla MŚP, w tym dla przedsiębiorstw typu start-up. Uczestnictwo w piaskownicy regulacyjnej w zakresie AI powinno koncentrować się na kwestiach, które powodują niepewność prawa dla dostawców i potencjalnych dostawców w zakresie innowacji i eksperymentowania z AI w Unii oraz powinno przyczyniać się do opartego na dowodach uczenia się działań regulacyjnych. Nadzór nad systemami AI w piaskownicy regulacyjnej w zakresie AI powinien zatem obejmować ich rozwój, trenowanie, testowanie i walidację przed wprowadzeniem tych systemów do obrotu lub oddaniem do użytku, a także pojęcie i występowanie istotnych zmian, które mogą wymagać nowej procedury oceny zgodności. Wykrycie jakiegokolwiek znaczącego ryzyka na etapie rozwoju i testowania takich systemów AI powinno powodować konieczność właściwego ograniczenia tego ryzyka, a w przypadku niepowodzenia w tym zakresie – skutkować zawieszeniem procesu rozwoju i testowania systemu. W stosownych przypadkach właściwe organy krajowe ustanawiające piaskownice regulacyjne w zakresie AI powinny współpracować z innymi odpowiednimi organami, w tym organami nadzorującymi ochronę praw podstawowych, i powinny umożliwiać zaangażowanie innych podmiotów funkcjonujących w ekosystemie AI, takich jak krajowe lub europejskie organizacje normalizacyjne, jednostki notyfikowane, ośrodki testowo-doświadczalne, laboratoria badawczo-doświadczalne, europejskie centra innowacji cyfrowych oraz organizacje zrzeszające odpowiednie zainteresowane strony i społeczeństwo obywatelskie. Aby zapewnić jednolite wdrożenie w całej Unii oraz osiągnąć korzyści skali, należy ustanowić wspólne przepisy regulujące uruchamianie piaskownic regulacyjnych w zakresie AI oraz ramy współpracy między odpowiednimi organami uczestniczącymi w nadzorze nad piaskownicami regulacyjnymi. Piaskownice regulacyjne w zakresie AI ustanowione na mocy niniejszego rozporządzenia powinny pozostawać bez uszczerbku dla innych przepisów, które umożliwiają ustanawianie innych piaskownic mających na celu zapewnienie zgodności z przepisami prawa innymi niż niniejsze rozporządzenie. W stosownych przypadkach odpowiednie właściwe organy odpowiedzialne za inne piaskownice regulacyjne powinny przeanalizować korzyści płynące ze stosowania tych piaskownic również do celów zapewnienia zgodności systemów AI z niniejszym rozporządzeniem. Po osiągnięciu porozumienia pomiędzy właściwymi organami krajowymi oraz uczestnikami piaskownicy regulacyjnej w zakresie AI w ramach takiej piaskownicy regulacyjnej można również prowadzić i nadzorować testy w warunkach rzeczywistych.
(139)
The objectives of the AI regulatory sandboxes should be to foster AI innovation by establishing a controlled experimentation and testing environment in the development and pre-marketing phase with a view to ensuring compliance of the innovative AI systems with this Regulation and other relevant Union and national law. Moreover, the AI regulatory sandboxes should aim to enhance legal certainty for innovators and the competent authorities’ oversight and understanding of the opportunities, emerging risks and the impacts of AI use, to facilitate regulatory learning for authorities and undertakings, including with a view to future adaptions of the legal framework, to support cooperation and the sharing of best practices with the authorities involved in the AI regulatory sandbox, and to accelerate access to markets, including by removing barriers for SMEs, including start-ups. AI regulatory sandboxes should be widely available throughout the Union, and particular attention should be given to their accessibility for SMEs, including start-ups. The participation in the AI regulatory sandbox should focus on issues that raise legal uncertainty for providers and prospective providers to innovate, experiment with AI in the Union and contribute to evidence-based regulatory learning. The supervision of the AI systems in the AI regulatory sandbox should therefore cover their development, training, testing and validation before the systems are placed on the market or put into service, as well as the notion and occurrence of substantial modification that may require a new conformity assessment procedure. Any significant risks identified during the development and testing of such AI systems should result in adequate mitigation and, failing that, in the suspension of the development and testing process. Where appropriate, national competent authorities establishing AI regulatory sandboxes should cooperate with other relevant authorities, including those supervising the protection of fundamental rights, and could allow for the involvement of other actors within the AI ecosystem such as national or European standardisation organisations, notified bodies, testing and experimentation facilities, research and experimentation labs, European Digital Innovation Hubs and relevant stakeholder and civil society organisations. To ensure uniform implementation across the Union and economies of scale, it is appropriate to establish common rules for the AI regulatory sandboxes’ implementation and a framework for cooperation between the relevant authorities involved in the supervision of the sandboxes. AI regulatory sandboxes established under this Regulation should be without prejudice to other law allowing for the establishment of other sandboxes aiming to ensure compliance with law other than this Regulation. Where appropriate, relevant competent authorities in charge of those other regulatory sandboxes should consider the benefits of using those sandboxes also for the purpose of ensuring compliance of AI systems with this Regulation. Upon agreement between the national competent authorities and the participants in the AI regulatory sandbox, testing in real world conditions may also be operated and supervised in the framework of the AI regulatory sandbox.
(140)
Niniejsze rozporządzenie powinno zapewniać dostawcom i potencjalnym dostawcom uczestniczącym w piaskownicy regulacyjnej w zakresie AI podstawę prawną do wykorzystywania danych osobowych zebranych w innych celach do rozwoju – w ramach piaskownicy regulacyjnej w zakresie AI – określonych systemów AI w interesie publicznym, tylko pod określonymi warunkami, zgodnie z art. 6 ust. 4 i art. 9 ust. 2 lit. g) rozporządzenia (UE) 2016/679 i art. 5, 6 i 10 rozporządzenia (UE) 2018/1725 i nie naruszając przepisów art. 4 ust. 2 i art. 10 dyrektywy (UE) 2016/680. Nadal mają zastosowanie wszystkie pozostałe obowiązki administratorów danych i prawa osób, których dane dotyczą, wynikające z rozporządzeń (UE) 2016/679 i (UE) 2018/1725 oraz dyrektywy (UE) 2016/680. W szczególności niniejsze rozporządzenie nie powinno stanowić podstawy prawnej w rozumieniu art. 22 ust. 2 lit. b) rozporządzenia (UE) 2016/679 i art. 24 ust. 2 lit. b) rozporządzenia (UE) 2018/1725. Dostawcy i potencjalni dostawcy w piaskownicy regulacyjnej w zakresie AI powinni zapewnić odpowiednie zabezpieczenia i współpracować z właściwymi organami, w tym przestrzegać wytycznych tych organów, a także podejmować w dobrej wierze bezzwłoczne działania w celu właściwego ograniczenia wszelkiego zidentyfikowanego znaczącego ryzyka dla bezpieczeństwa, zdrowia i praw podstawowych, jakie może powstać w trakcie rozwoju produktów oraz prowadzenia działań testowych i doświadczalnych w ramach takiej piaskownicy regulacyjnej.
(140)
This Regulation should provide the legal basis for the providers and prospective providers in the AI regulatory sandbox to use personal data collected for other purposes for developing certain AI systems in the public interest within the AI regulatory sandbox, only under specified conditions, in accordance with Article 6(4) and Article 9(2), point (g), of Regulation (EU) 2016/679, and Articles 5, 6 and 10 of Regulation (EU) 2018/1725, and without prejudice to Article 4(2) and Article 10 of Directive (EU) 2016/680. All other obligations of data controllers and rights of data subjects under Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680 remain applicable. In particular, this Regulation should not provide a legal basis in the meaning of Article 22(2), point (b) of Regulation (EU) 2016/679 and Article 24(2), point (b) of Regulation (EU) 2018/1725. Providers and prospective providers in the AI regulatory sandbox should ensure appropriate safeguards and cooperate with the competent authorities, including by following their guidance and acting expeditiously and in good faith to adequately mitigate any identified significant risks to safety, health, and fundamental rights that may arise during the development, testing and experimentation in that sandbox.
(141)
Aby przyspieszyć proces rozwoju i wprowadzania do obrotu systemów AI wysokiego ryzyka wymienionych w załączniku do niniejszego rozporządzenia, ważne jest, aby dostawcy lub potencjalni dostawcy takich systemów mogli korzystać ze specjalnego mechanizmu testowania tych systemów w warunkach rzeczywistych, bez udziału w piaskownicy regulacyjnej w zakresie AI. Jednak w takich przypadkach oraz uwzględniając potencjalne konsekwencje takiego testowania dla osób fizycznych, należy zapewnić, by niniejsze rozporządzenie wprowadzało odpowiednie i wystarczające zabezpieczenia i warunki dotyczące dostawców lub potencjalnych dostawców. Takie zabezpieczenia powinny obejmować między innymi wymóg udzielenia świadomej zgody przez osoby fizyczne, które mają brać udział w testach w warunkach rzeczywistych, z wyjątkiem organów ścigania, gdy konieczność wystąpienia o świadomą zgodę uniemożliwiłaby testowanie systemu AI. Zgoda podmiotów testów na udział w takich testach na podstawie niniejszego rozporządzenia ma odrębny charakter i pozostaje bez uszczerbku dla zgody osób, których dane dotyczą, na przetwarzanie ich danych osobowych na podstawie odpowiedniego prawa o ochronie danych. Ważne jest również, aby zminimalizować ryzyko i umożliwić nadzór ze strony właściwych organów, a zatem zobowiązać potencjalnych dostawców do: przedstawienia właściwemu organowi nadzoru rynku planu testów w warunkach rzeczywistych, rejestrowania testów w specjalnych sekcjach bazy danych UE (z pewnymi ograniczonymi wyjątkami), ustalenia ograniczeń co do okresu, w jakim można przeprowadzać testy, oraz wymagania dodatkowych zabezpieczeń w odniesieniu do osób należących do grup szczególnie wrażliwych, a także pisemnej umowy określającej role i obowiązki potencjalnych dostawców i podmiotów stosujących oraz skutecznego nadzoru ze strony kompetentnego personelu zaangażowanego w testy w warunkach rzeczywistych. Ponadto należy przewidzieć dodatkowe zabezpieczenia w celu zapewnienia, aby predykcje, zalecenia lub decyzje systemu AI mogły zostać skutecznie odwrócone i nie były brane pod uwagę oraz aby dane osobowe były chronione i usuwane, gdy uczestnicy wycofają swoją zgodę na udział w testach, bez uszczerbku dla ich praw jako osób, których dane dotyczą, wynikających z prawa Unii o ochronie danych. W odniesieniu do przekazywania danych należy także przewidzieć, by dane zebrane i przetwarzane do celów testów w warunkach rzeczywistych przekazywano do państw trzecich wyłącznie pod warunkiem wdrożenia odpowiednich zabezpieczeń mających zastosowanie na podstawie prawa Unii, w szczególności zgodnie z podstawami przekazywania danych osobowych na mocy prawa Unii dotyczącego ochrony danych osobowych, a w odniesieniu do danych nieosobowych wprowadzono odpowiednie zabezpieczenia zgodnie z prawem Unii, takim jak rozporządzenia Parlamentu Europejskiego i Rady (UE) 2022/868 (42) i (UE) 2023/2854 (43).
(141)
In order to accelerate the process of development and the placing on the market of the high-risk AI systems listed in an annex to this Regulation, it is important that providers or prospective providers of such systems may also benefit from a specific regime for testing those systems in real world conditions, without participating in an AI regulatory sandbox. However, in such cases, taking into account the possible consequences of such testing on individuals, it should be ensured that appropriate and sufficient guarantees and conditions are introduced by this Regulation for providers or prospective providers. Such guarantees should include, inter alia, requesting informed consent of natural persons to participate in testing in real world conditions, with the exception of law enforcement where the seeking of informed consent would prevent the AI system from being tested. Consent of subjects to participate in such testing under this Regulation is distinct from, and without prejudice to, consent of data subjects for the processing of their personal data under the relevant data protection law. It is also important to minimise the risks and enable oversight by competent authorities and therefore require prospective providers to have a real-world testing plan submitted to competent market surveillance authority, register the testing in dedicated sections in the EU database subject to some limited exceptions, set limitations on the period for which the testing can be done and require additional safeguards for persons belonging to certain vulnerable groups, as well as a written agreement defining the roles and responsibilities of prospective providers and deployers and effective oversight by competent personnel involved in the real world testing. Furthermore, it is appropriate to envisage additional safeguards to ensure that the predictions, recommendations or decisions of the AI system can be effectively reversed and disregarded and that personal data is protected and is deleted when the subjects have withdrawn their consent to participate in the testing without prejudice to their rights as data subjects under the Union data protection law. As regards transfer of data, it is also appropriate to envisage that data collected and processed for the purpose of testing in real-world conditions should be transferred to third countries only where appropriate and applicable safeguards under Union law are implemented, in particular in accordance with bases for transfer of personal data under Union law on data protection, while for non-personal data appropriate safeguards are put in place in accordance with Union law, such as Regulations (EU) 2022/868 (42) and (EU) 2023/2854 (43) of the European Parliament and of the Council.
(142)
W celu zapewnienia, aby AI przynosiła korzyści dla społeczeństwa i środowiska, zachęca się państwa członkowskie do wspierania i promowania badań i rozwoju w dziedzinie rozwiązań w zakresie AI wspierających takie korzyści społeczne i środowiskowe, np. opartych na AI rozwiązań, które zwiększają dostępność dla osób z niepełnosprawnościami, przeciwdziałają nierównościom społeczno-gospodarczym lub służą osiągnięciu celów środowiskowych, przez przydzielanie wystarczających zasobów, w tym finansowania publicznego i unijnego, oraz, w stosownych przypadkach i pod warunkiem spełnienia kryteriów kwalifikowalności i wyboru, przez priorytetowe traktowanie projektów, które służą realizacji takich celów. Projekty takie powinny opierać się na zasadzie współpracy międzydyscyplinarnej między twórcami AI, ekspertami ds. nierówności i niedyskryminacji, dostępności, praw konsumentów, praw środowiskowych i cyfrowych oraz przedstawicielami środowiska akademickiego.
(142)
To ensure that AI leads to socially and environmentally beneficial outcomes, Member States are encouraged to support and promote research and development of AI solutions in support of socially and environmentally beneficial outcomes, such as AI-based solutions to increase accessibility for persons with disabilities, tackle socio-economic inequalities, or meet environmental targets, by allocating sufficient resources, including public and Union funding, and, where appropriate and provided that the eligibility and selection criteria are fulfilled, considering in particular projects which pursue such objectives. Such projects should be based on the principle of interdisciplinary cooperation between AI developers, experts on inequality and non-discrimination, accessibility, consumer, environmental, and digital rights, as well as academics.
(143)
W celu promowania i ochrony innowacji ważne jest szczególne uwzględnienie interesów MŚP, w tym przedsiębiorstw typu start-up, które są dostawcami systemów AI lub podmiotami stosującymi systemy AI. W tym celu państwa członkowskie powinny opracować inicjatywy skierowane do tych operatorów, w tym inicjatywy służące podnoszeniu świadomości i przekazywaniu informacji. Państwa członkowskie powinny zapewniać MŚP, w tym przedsiębiorstwom typu start-up, mającym siedzibę statutową lub oddział w Unii, priorytetowy dostęp do piaskownic regulacyjnych w zakresie AI, pod warunkiem że przedsiębiorstwa te spełniają warunki kwalifikowalności i kryteria wyboru – w sposób, który nie uniemożliwia innym dostawcom i potencjalnym dostawcom dostępu do piaskownic, pod warunkiem spełnienia przez nich tych samych warunków i kryteriów. Państwa członkowskie powinny korzystać z istniejących kanałów komunikacji, a w stosownych przypadkach utworzyć nowy specjalny kanał komunikacji z MŚP, w tym przedsiębiorstwami typu start-up, podmiotami stosującymi, innymi innowacyjnymi podmiotami, a w stosownych przypadkach, z lokalnymi organami publicznymi, aby wspierać MŚP w rozwoju poprzez udzielanie im wskazówek i odpowiadanie na ich pytania dotyczące wykonywania niniejszego rozporządzenia. W stosownych przypadkach kanały powinny ze sobą współpracować, by uzyskać synergię i zapewnić spójność wskazówek dla MŚP, w tym przedsiębiorstw typu start-up, i podmiotów stosujących. Dodatkowo państwa członkowskie powinny ułatwiać udział MŚP i innych odpowiednich zainteresowanych stron w procesie opracowywania norm. Ponadto przy ustalaniu przez jednostki notyfikowane wysokości opłat z tytułu oceny zgodności należy uwzględnić szczególne interesy i potrzeby dostawców, którzy są MŚP, w tym przedsiębiorstwami typu start-up. Komisja powinna regularnie oceniać koszty certyfikacji i zapewnienia zgodności ponoszone przez MŚP, w tym przedsiębiorstwa typu start-up, w drodze przejrzystych konsultacji oraz współpracować z państwami członkowskimi na rzecz obniżenia tych kosztów. Przykładowo koszty tłumaczeń związane z prowadzeniem obowiązkowej dokumentacji i komunikacji z organami mogą stanowić istotny koszt dla dostawców i innych operatorów, w szczególności tych działających na mniejszą skalę. Państwa członkowskie powinny w miarę możliwości zapewnić, aby jednym z języków wskazanych i akceptowanych przez nie do celów dokumentacji prowadzonej przez odpowiednich dostawców oraz komunikacji z operatorami był język powszechnie rozumiany przez możliwie największą liczbę podmiotów stosujących w wymiarze transgranicznym. Aby zaspokoić szczególne potrzeby MŚP, w tym przedsiębiorstw typu start-up, Komisja powinna na wniosek Rady ds. AI zapewnić ujednolicone wzory w obszarach objętych niniejszym rozporządzeniem. Ponadto Komisja powinna w uzupełnieniu wysiłków państw członkowskich dostarczyć jednolitą platformę informacyjną zawierającą łatwe w użyciu informacje dotyczące niniejszego rozporządzenia dla wszystkich dostawców i podmiotów stosujących, organizować odpowiednie kampanie informacyjne w celu podnoszenia świadomości na temat obowiązków wynikających z niniejszego rozporządzenia oraz oceniać i promować zbieżność najlepszych praktyk w procedurach udzielania zamówień publicznych w odniesieniu do systemów AI. Średnie przedsiębiorstwa, które do niedawna kwalifikowały się jako małe przedsiębiorstwa w rozumieniu załącznika do zalecenia Komisji 2003/361/WE (44), powinny mieć dostęp do tych środków wsparcia, ponieważ w niektórych przypadkach te nowe średnie przedsiębiorstwa mogą nie posiadać zasobów prawnych i szkoleniowych niezbędnych do zapewnienia właściwego zrozumienia i zapewnienia zgodności z niniejszym rozporządzeniem.
(143)
In order to promote and protect innovation, it is important that the interests of SMEs, including start-ups, that are providers or deployers of AI systems are taken into particular account. To that end, Member States should develop initiatives, which are targeted at those operators, including on awareness raising and information communication. Member States should provide SMEs, including start-ups, that have a registered office or a branch in the Union, with priority access to the AI regulatory sandboxes provided that they fulfil the eligibility conditions and selection criteria and without precluding other providers and prospective providers to access the sandboxes provided the same conditions and criteria are fulfilled. Member States should utilise existing channels and where appropriate, establish new dedicated channels for communication with SMEs, including start-ups, deployers, other innovators and, as appropriate, local public authorities, to support SMEs throughout their development path by providing guidance and responding to queries about the implementation of this Regulation. Where appropriate, these channels should work together to create synergies and ensure homogeneity in their guidance to SMEs, including start-ups, and deployers. Additionally, Member States should facilitate the participation of SMEs and other relevant stakeholders in the standardisation development processes. Moreover, the specific interests and needs of providers that are SMEs, including start-ups, should be taken into account when notified bodies set conformity assessment fees. The Commission should regularly assess the certification and compliance costs for SMEs, including start-ups, through transparent consultations and should work with Member States to lower such costs. For example, translation costs related to mandatory documentation and communication with authorities may constitute a significant cost for providers and other operators, in particular those of a smaller scale. Member States should possibly ensure that one of the languages determined and accepted by them for relevant providers’ documentation and for communication with operators is one which is broadly understood by the largest possible number of cross-border deployers. In order to address the specific needs of SMEs, including start-ups, the Commission should provide standardised templates for the areas covered by this Regulation, upon request of the Board. Additionally, the Commission should complement Member States’ efforts by providing a single information platform with easy-to-use information with regards to this Regulation for all providers and deployers, by organising appropriate communication campaigns to raise awareness about the obligations arising from this Regulation, and by evaluating and promoting the convergence of best practices in public procurement procedures in relation to AI systems. Medium-sized enterprises which until recently qualified as small enterprises within the meaning of the Annex to Commission Recommendation 2003/361/EC (44) should have access to those support measures, as those new medium-sized enterprises may sometimes lack the legal resources and training necessary to ensure proper understanding of, and compliance with, this Regulation.
(144)
W celu promowania i ochrony innowacji do realizacji celów niniejszego rozporządzenia powinny przyczyniać się, w stosownych przypadkach, platforma „Sztuczna inteligencja na żądanie”, wszystkie odpowiednie finansowane przez Unię programy i projekty, takie jak program „Cyfrowa Europa”, „Horyzont Europa”, wdrażane przez Komisję i państwa członkowskie na poziomie Unii lub poziomie krajowym.
(144)
In order to promote and protect innovation, the AI-on-demand platform, all relevant Union funding programmes and projects, such as Digital Europe Programme, Horizon Europe, implemented by the Commission and the Member States at Union or national level should, as appropriate, contribute to the achievement of the objectives of this Regulation.
(145)
Aby zminimalizować zagrożenia dla wdrożenia wynikające z braku wiedzy o rynku i jego znajomości, a także aby ułatwić dostawcom, w szczególności MŚP, w tym przedsiębiorstwom typu start-up, i jednostkom notyfikowanym spełnianie obowiązków ustanowionych w niniejszym rozporządzeniu, platforma „Sztuczna inteligencja na żądanie”, europejskie centra innowacji cyfrowych oraz ośrodki testowo-doświadczalne ustanowione przez Komisję i państwa członkowskie na poziomie Unii lub poziomie krajowym powinny przyczyniać się do wykonywania niniejszego rozporządzenia. W ramach swoich zadań i obszarów kompetencji platforma „Sztuczna inteligencja na żądanie”, europejskie centra innowacji cyfrowych oraz ośrodki testowo-doświadczalne są w stanie zapewnić w szczególności wsparcie techniczne i naukowe dostawcom i jednostkom notyfikowanym.
(145)
In order to minimise the risks to implementation resulting from lack of knowledge and expertise in the market as well as to facilitate compliance of providers, in particular SMEs, including start-ups, and notified bodies with their obligations under this Regulation, the AI-on-demand platform, the European Digital Innovation Hubs and the testing and experimentation facilities established by the Commission and the Member States at Union or national level should contribute to the implementation of this Regulation. Within their respective mission and fields of competence, the AI-on-demand platform, the European Digital Innovation Hubs and the testing and experimentation Facilities are able to provide in particular technical and scientific support to providers and notified bodies.
(146)
Ponadto, biorąc pod uwagę bardzo mały rozmiar niektórych operatorów i aby zapewnić proporcjonalność w odniesieniu do kosztów innowacji, należy zezwolić mikroprzedsiębiorstwom na spełnienie jednego z najbardziej kosztownych obowiązków, a mianowicie ustanowienia systemu zarządzania jakością, w sposób uproszczony, co zmniejszy obciążenie administracyjne i koszty ponoszone przez te przedsiębiorstwa bez wpływu na poziom ochrony oraz konieczność zapewnienia zgodności z wymogami dotyczącymi systemów AI wysokiego ryzyka. Komisja powinna opracować wytyczne w celu określenia, które z elementów systemu zarządzania jakością mają być realizowane w ten uproszczony sposób przez mikroprzedsiębiorstwa.
(146)
Moreover, in light of the very small size of some operators and in order to ensure proportionality regarding costs of innovation, it is appropriate to allow microenterprises to fulfil one of the most costly obligations, namely to establish a quality management system, in a simplified manner which would reduce the administrative burden and the costs for those enterprises without affecting the level of protection and the need for compliance with the requirements for high-risk AI systems. The Commission should develop guidelines to specify the elements of the quality management system to be fulfilled in this simplified manner by microenterprises.
(147)
Komisja powinna w miarę możliwości ułatwiać dostęp do ośrodków testowo-doświadczalnych podmiotom, grupom lub laboratoriom ustanowionym lub akredytowanym na podstawie odpowiedniego unijnego prawodawstwa harmonizacyjnego, wykonującym zadania w kontekście oceny zgodności produktów lub wyrobów objętych tym unijnym prawodawstwem harmonizacyjnym. Dotyczy to w szczególności paneli ekspertów, laboratoriów eksperckich oraz laboratoriów referencyjnych w dziedzinie wyrobów medycznych w rozumieniu rozporządzeń (UE) 2017/745 i (UE) 2017/746.
(147)
It is appropriate that the Commission facilitates, to the extent possible, access to testing and experimentation facilities to bodies, groups or laboratories established or accredited pursuant to any relevant Union harmonisation legislation and which fulfil tasks in the context of conformity assessment of products or devices covered by that Union harmonisation legislation. This is, in particular, the case as regards expert panels, expert laboratories and reference laboratories in the field of medical devices pursuant to Regulations (EU) 2017/745 and (EU) 2017/746.
(148)
W niniejszym rozporządzeniu należy ustanowić ramy zarządzania, które umożliwiają koordynację i wspieranie stosowania niniejszego rozporządzenia na poziomie krajowym, a także budowanie zdolności na poziomie Unii i zaangażowanie zainteresowanych stron w dziedzinę AI. Skuteczne wdrożenie i egzekwowanie niniejszego rozporządzenia wymaga ram zarządzania, które umożliwią koordynację i gromadzenie centralnej wiedzy fachowej na poziomie Unii. Misją Urzędu ds. AI, który został ustanowiony decyzją Komisji (45), jest rozwijanie unijnej wiedzy fachowej i unijnych zdolności w dziedzinie AI oraz przyczynianie się do wdrażania prawa Unii dotyczącego AI. Państwa członkowskie powinny ułatwiać Urzędowi ds. AI wykonywanie zadań z myślą o wspieraniu rozwoju unijnej wiedzy fachowej i unijnych zdolności oraz wzmacnianiu funkcjonowania jednolitego rynku cyfrowego. Ponadto należy ustanowić Radę ds. AI składającą się z przedstawicieli państw członkowskich, panel naukowy w celu zaangażowania środowiska naukowego oraz forum doradcze w celu wnoszenia przez zainteresowane strony wkładu w wykonywanie niniejszego rozporządzenia na poziomie Unii i poziomie krajowym. Rozwój unijnej wiedzy fachowej i unijnych zdolności powinien również obejmować wykorzystanie istniejących zasobów i wiedzy fachowej, w szczególności poprzez synergię ze strukturami zbudowanymi w kontekście egzekwowania innych przepisów na poziomie Unii oraz synergię z powiązanymi inicjatywami na poziomie Unii, takimi jak Wspólne Przedsięwzięcie EuroHPC i ośrodki testowo-doświadczalne w dziedzinie AI w ramach programu „Cyfrowa Europa”.
(148)
This Regulation should establish a governance framework that both allows to coordinate and support the application of this Regulation at national level, as well as build capabilities at Union level and integrate stakeholders in the field of AI. The effective implementation and enforcement of this Regulation require a governance framework that allows to coordinate and build up central expertise at Union level. The AI Office was established by Commission Decision (45) and has as its mission to develop Union expertise and capabilities in the field of AI and to contribute to the implementation of Union law on AI. Member States should facilitate the tasks of the AI Office with a view to support the development of Union expertise and capabilities at Union level and to strengthen the functioning of the digital single market. Furthermore, a Board composed of representatives of the Member States, a scientific panel to integrate the scientific community and an advisory forum to contribute stakeholder input to the implementation of this Regulation, at Union and national level, should be established. The development of Union expertise and capabilities should also include making use of existing resources and expertise, in particular through synergies with structures built up in the context of the Union level enforcement of other law and synergies with related initiatives at Union level, such as the EuroHPC Joint Undertaking and the AI testing and experimentation facilities under the Digital Europe Programme.
(149)
Aby ułatwić sprawne, skuteczne i zharmonizowane wykonywanie niniejszego rozporządzenia, należy ustanowić Radę ds. AI. Rada ds. AI powinna odzwierciedlać różne interesy ekosystemu AI i składać się z przedstawicieli państw członkowskich. Rada ds. AI powinna odpowiadać za szereg zadań doradczych, w tym wydawanie opinii lub zaleceń oraz udzielanie porad lub udział w tworzeniu wskazówek w dziedzinach związanych z wykonywaniem niniejszego rozporządzenia, także w kwestiach egzekwowania, specyfikacji technicznych lub istniejących norm dotyczących wymogów ustanowionych w niniejszym rozporządzeniu, jak również za udzielanie porad Komisji oraz państwom członkowskim i ich właściwym organom krajowym w konkretnych kwestiach związanych z AI. Aby zapewnić państwom członkowskim pewną swobodę w zakresie wyznaczania przedstawicieli do Rady ds. AI, takimi przedstawicielami mogą być wszelkie osoby należące do podmiotów publicznych, które powinny mieć odpowiednie kompetencje i uprawnienia, aby ułatwiać koordynację na poziomie krajowym i przyczyniać się do realizacji zadań Rady ds. AI. Rada ds. AI powinna ustanowić dwie stałe podgrupy służące jako platforma współpracy i wymiany między organami nadzoru rynku i organami notyfikującymi w zakresie kwestii dotyczących odpowiednio nadzoru rynku i jednostek notyfikowanych. Stała podgrupa ds. nadzoru rynku powinna do celów niniejszego rozporządzenia pełnić rolę grupy ds. współpracy administracyjnej (ADCO) w rozumieniu art. 30 rozporządzenia (UE) 2019/1020. Zgodnie z art. 33 przywołanego rozporządzenia Komisja powinna wspierać działania stałej podgrupy ds. nadzoru rynku poprzez przeprowadzanie ocen lub badań rynku, w szczególności w celu zidentyfikowania aspektów niniejszego rozporządzenia wymagających szczególnej i pilnej koordynacji między organami nadzoru rynku. W stosownych przypadkach Rada ds. AI może również tworzyć inne stałe lub tymczasowe podgrupy na potrzeby zbadania konkretnych kwestii. Rada ds. AI powinna również w stosownych przypadkach współpracować z odpowiednimi unijnymi organami, grupami ekspertów i sieciami działającymi w kontekście odpowiedniego prawa Unii, w tym w szczególności z tymi, które działają na podstawie odpowiednich przepisów prawa Unii dotyczących danych oraz produktów i usług cyfrowych.
(149)
In order to facilitate a smooth, effective and harmonised implementation of this Regulation a Board should be established. The Board should reflect the various interests of the AI eco-system and be composed of representatives of the Member States. The Board should be responsible for a number of advisory tasks, including issuing opinions, recommendations, advice or contributing to guidance on matters related to the implementation of this Regulation, including on enforcement matters, technical specifications or existing standards regarding the requirements established in this Regulation and providing advice to the Commission and the Member States and their national competent authorities on specific questions related to AI. In order to give some flexibility to Member States in the designation of their representatives in the Board, such representatives may be any persons belonging to public entities who should have the relevant competences and powers to facilitate coordination at national level and contribute to the achievement of the Board’s tasks. The Board should establish two standing sub-groups to provide a platform for cooperation and exchange among market surveillance authorities and notifying authorities on issues related, respectively, to market surveillance and notified bodies. The standing subgroup for market surveillance should act as the administrative cooperation group (ADCO) for this Regulation within the meaning of Article 30 of Regulation (EU) 2019/1020. In accordance with Article 33 of that Regulation, the Commission should support the activities of the standing subgroup for market surveillance by undertaking market evaluations or studies, in particular with a view to identifying aspects of this Regulation requiring specific and urgent coordination among market surveillance authorities. The Board may establish other standing or temporary sub-groups as appropriate for the purpose of examining specific issues. The Board should also cooperate, as appropriate, with relevant Union bodies, experts groups and networks active in the context of relevant Union law, including in particular those active under relevant Union law on data, digital products and services.
(150)
Aby zapewnić zaangażowanie zainteresowanych stron we wdrażanie i stosowanie niniejszego rozporządzenia, należy ustanowić forum doradcze, które ma doradzać Radzie ds. AI i Komisji oraz zapewniać im fachową wiedzę techniczną. Aby zapewnić zróżnicowaną i zrównoważoną reprezentację zainteresowanych stron z uwzględnieniem interesów handlowych i niehandlowych oraz – w ramach kategorii interesów handlowych – w odniesieniu do MŚP i innych przedsiębiorstw, forum doradcze powinno obejmować m.in. przemysł, przedsiębiorstwa typu start-up, MŚP, środowisko akademickie, społeczeństwo obywatelskie, w tym partnerów społecznych, a także Agencję Praw Podstawowych, ENISA, Europejski Komitet Normalizacyjny (CEN), Europejski Komitet Normalizacyjny Elektrotechniki (CENELEC) i Europejski Instytut Norm Telekomunikacyjnych (ETSI).
(150)
With a view to ensuring the involvement of stakeholders in the implementation and application of this Regulation, an advisory forum should be established to advise and provide technical expertise to the Board and the Commission. To ensure a varied and balanced stakeholder representation between commercial and non-commercial interest and, within the category of commercial interests, with regards to SMEs and other undertakings, the advisory forum should comprise inter alia industry, start-ups, SMEs, academia, civil society, including the social partners, as well as the Fundamental Rights Agency, ENISA, the European Committee for Standardization (CEN), the European Committee for Electrotechnical Standardization (CENELEC) and the European Telecommunications Standards Institute (ETSI).
(151)
Aby wspierać wdrażanie i egzekwowanie niniejszego rozporządzenia, w szczególności działania monitorujące prowadzone przez Urząd ds. AI w odniesieniu do modeli AI ogólnego przeznaczenia, należy ustanowić panel naukowy złożony z niezależnych ekspertów. Niezależni eksperci tworzący panel naukowy powinni być wybierani na podstawie aktualnej wiedzy naukowej lub technicznej w dziedzinie AI i powinni wykonywać swoje zadania w sposób bezstronny i obiektywny oraz zapewniać poufność informacji i danych uzyskanych w trakcie wykonywania swoich zadań i działań. Aby umożliwić wzmocnienie krajowych zdolności niezbędnych do skutecznego egzekwowania niniejszego rozporządzenia, państwa członkowskie powinny mieć możliwość zwrócenia się o wsparcie do zespołu ekspertów wchodzących w skład panelu naukowego w odniesieniu do ich działań w zakresie egzekwowania przepisów.
(151)
To support the implementation and enforcement of this Regulation, in particular the monitoring activities of the AI Office as regards general-purpose AI models, a scientific panel of independent experts should be established. The independent experts constituting the scientific panel should be selected on the basis of up-to-date scientific or technical expertise in the field of AI and should perform their tasks with impartiality, objectivity and ensure the confidentiality of information and data obtained in carrying out their tasks and activities. To allow the reinforcement of national capacities necessary for the effective enforcement of this Regulation, Member States should be able to request support from the pool of experts constituting the scientific panel for their enforcement activities.
(152)
Aby wspierać odpowiednie egzekwowanie w odniesieniu do systemów AI i wzmocnić zdolności państw członkowskich, należy ustanowić unijne struktury wsparcia testowania AI i udostępnić je państwom członkowskim.
(152)
In order to support adequate enforcement as regards AI systems and reinforce the capacities of the Member States, Union AI testing support structures should be established and made available to the Member States.
(153)
Państwa członkowskie odgrywają kluczową rolę w stosowaniu i egzekwowaniu niniejszego rozporządzenia. W tym zakresie każde państwo członkowskie powinno wyznaczyć co najmniej jedną jednostkę notyfikującą i co najmniej jeden organ nadzoru ryku jako właściwe organy krajowe do celów sprawowania nadzoru nad stosowaniem i wykonywaniem niniejszego rozporządzenia. Państwa członkowskie mogą podjąć decyzję o wyznaczeniu dowolnego rodzaju podmiotu publicznego do wykonywania zadań właściwych organów krajowych w rozumieniu niniejszego rozporządzenia, zgodnie z ich określonymi krajowymi cechami organizacyjnymi i potrzebami. Aby zwiększyć efektywność organizacyjną po stronie państw członkowskich oraz ustanowić pojedynczy punkt kontaktowy dla ogółu społeczeństwa oraz innych partnerów na poziomie państw członkowskich i na poziomie Unii, każde państwo członkowskie powinno wyznaczyć organ nadzoru rynku, który pełniłby funkcję pojedynczego punktu kontaktowego.
(153)
Member States hold a key role in the application and enforcement of this Regulation. In that respect, each Member State should designate at least one notifying authority and at least one market surveillance authority as national competent authorities for the purpose of supervising the application and implementation of this Regulation. Member States may decide to appoint any kind of public entity to perform the tasks of the national competent authorities within the meaning of this Regulation, in accordance with their specific national organisational characteristics and needs. In order to increase organisation efficiency on the side of Member States and to set a single point of contact vis-à-vis the public and other counterparts at Member State and Union levels, each Member State should designate a market surveillance authority to act as a single point of contact.
(154)
Właściwe organy krajowe powinny wykonywać swoje uprawnienia w sposób niezależny, bezstronny i wolny od uprzedzeń, aby zagwarantować przestrzeganie zasady obiektywności swoich działań i zadań oraz zapewnić stosowanie i wykonywanie niniejszego rozporządzenia. Członkowie tych organów powinni powstrzymać się od wszelkich działań niezgodnych z ich obowiązkami i powinni podlegać zasadom poufności na mocy niniejszego rozporządzenia.
(154)
The national competent authorities should exercise their powers independently, impartially and without bias, so as to safeguard the principles of objectivity of their activities and tasks and to ensure the application and implementation of this Regulation. The members of these authorities should refrain from any action incompatible with their duties and should be subject to confidentiality rules under this Regulation.
(155)
W celu zapewnienia, aby dostawcy systemów AI wysokiego ryzyka mogli wykorzystywać doświadczenia związane ze stosowaniem systemów AI wysokiego ryzyka do ulepszenia swoich systemów oraz procesu projektowania i rozwoju lub byli w stanie odpowiednio szybko podejmować wszelkie możliwe działania naprawcze, każdy dostawca powinien wdrożyć system monitorowania po wprowadzeniu do obrotu. W stosownych przypadkach monitorowanie po wprowadzeniu do obrotu powinno obejmować analizę interakcji z innymi systemami AI, w tym z innymi urządzeniami i oprogramowaniem. Monitorowanie po wprowadzeniu do obrotu nie obejmuje wrażliwych danych operacyjnych podmiotów stosujących, które są organami ścigania. System ten ma również zasadnicze znaczenie dla zapewnienia skuteczniejszego i terminowego przeciwdziałania możliwym pojawiającym się ryzykom związanym z systemami AI, które nadal „uczą się” po wprowadzeniu do obrotu lub oddaniu do użytku. W tym kontekście dostawcy powinni być również zobowiązani do wdrożenia systemu zgłaszania odpowiednim organom wszelkich poważnych incydentów zaistniałych w związku z wykorzystaniem ich systemów AI, tj. incydentu lub nieprawidłowego działania prowadzącego do śmierci lub poważnej szkody dla zdrowia, poważnych i nieodwracalnych zakłóceń w zarządzaniu infrastrukturą krytyczną i jej działaniu, naruszeń obowiązków ustanowionych w prawie Unii, których celem jest ochrona praw podstawowych, lub poważnych szkód majątkowych lub środowiskowych.
(155)
In order to ensure that providers of high-risk AI systems can take into account the experience on the use of high-risk AI systems for improving their systems and the design and development process or can take any possible corrective action in a timely manner, all providers should have a post-market monitoring system in place. Where relevant, post-market monitoring should include an analysis of the interaction with other AI systems including other devices and software. Post-market monitoring should not cover sensitive operational data of deployers which are law enforcement authorities. This system is also key to ensure that the possible risks emerging from AI systems which continue to ‘learn’ after being placed on the market or put into service can be more efficiently and timely addressed. In this context, providers should also be required to have a system in place to report to the relevant authorities any serious incidents resulting from the use of their AI systems, meaning incident or malfunctioning leading to death or serious damage to health, serious and irreversible disruption of the management and operation of critical infrastructure, infringements of obligations under Union law intended to protect fundamental rights or serious damage to property or the environment.
(156)
Aby zapewnić odpowiednie i skuteczne egzekwowanie wymogów i obowiązków ustanowionych w niniejszym rozporządzeniu, które należy do unijnego prawodawstwa harmonizacyjnego, pełne zastosowanie powinien mieć system nadzoru rynku i zgodności produktów ustanowiony rozporządzeniem (UE) 2019/1020. Organy nadzoru rynku wyznaczone zgodnie z niniejszym rozporządzeniem powinny mieć wszystkie uprawnienia w zakresie egzekwowania wymogów i obowiązków ustanowione w niniejszym rozporządzeniu oraz z rozporządzenia (UE) 2019/1020 i powinny wykonywać swoje uprawnienia i obowiązki w sposób niezależny, bezstronny i wolny od uprzedzeń. Chociaż większość systemów AI nie podlega szczególnym wymogom i obowiązkom na podstawie niniejszego rozporządzenia, organy nadzoru rynku mogą podejmować środki w odniesieniu do wszystkich systemów AI, jeżeli zgodnie z niniejszym rozporządzeniem stwarzają one ryzyko. Z uwagi na szczególny charakter instytucji, organów i jednostek organizacyjnych Unii objętych zakresem stosowania niniejszego rozporządzenia, należy wyznaczyć Europejskiego Inspektora Ochrony Danych jako właściwy dla nich organ nadzoru rynku. Powinno to pozostawać bez uszczerbku dla wyznaczenia właściwych organów krajowych przez państwa członkowskie. Działania w zakresie nadzoru rynku nie powinny wpływać na zdolność nadzorowanych podmiotów do niezależnego wypełniania ich zadań, w przypadku gdy taka niezależność jest wymagana prawem Unii.
(156)
In order to ensure an appropriate and effective enforcement of the requirements and obligations set out by this Regulation, which is Union harmonisation legislation, the system of market surveillance and compliance of products established by Regulation (EU) 2019/1020 should apply in its entirety. Market surveillance authorities designated pursuant to this Regulation should have all enforcement powers laid down in this Regulation and in Regulation (EU) 2019/1020 and should exercise their powers and carry out their duties independently, impartially and without bias. Although the majority of AI systems are not subject to specific requirements and obligations under this Regulation, market surveillance authorities may take measures in relation to all AI systems when they present a risk in accordance with this Regulation. Due to the specific nature of Union institutions, agencies and bodies falling within the scope of this Regulation, it is appropriate to designate the European Data Protection Supervisor as a competent market surveillance authority for them. This should be without prejudice to the designation of national competent authorities by the Member States. Market surveillance activities should not affect the ability of the supervised entities to carry out their tasks independently, when such independence is required by Union law.
(157)
Niniejsze rozporządzenie pozostaje bez uszczerbku dla kompetencji, zadań, uprawnień i niezależności odpowiednich krajowych organów lub podmiotów publicznych, które nadzorują stosowanie prawa Unii w zakresie ochrony praw podstawowych, w tym organów ds. równości i organów ochrony danych. W przypadku gdy jest to niezbędne do wykonywania ich mandatu, te krajowe organy lub podmioty publiczne powinny również mieć dostęp do wszelkiej dokumentacji sporządzonej na podstawie niniejszego rozporządzenia. Należy ustanowić szczególną procedurę ochronną, aby zapewnić odpowiednie i terminowe egzekwowanie przepisów niniejszego rozporządzenia w odniesieniu do systemów AI stwarzających ryzyko dla zdrowia, bezpieczeństwa i praw podstawowych. Procedurę dotyczącą takich systemów AI stwarzających ryzyko należy stosować w odniesieniu do systemów AI wysokiego ryzyka stwarzających ryzyko, zakazanych systemów, które zostały wprowadzone do obrotu, oddane do użytku lub są wykorzystywane z naruszeniem zasad dotyczących zakazanych praktyk ustanowionych w niniejszym rozporządzeniu, oraz systemów AI, które zostały udostępnione z naruszeniem ustanowionych w niniejszym rozporządzeniu wymogów przejrzystości i które stwarzają ryzyko.
(157)
This Regulation is without prejudice to the competences, tasks, powers and independence of relevant national public authorities or bodies which supervise the application of Union law protecting fundamental rights, including equality bodies and data protection authorities. Where necessary for their mandate, those national public authorities or bodies should also have access to any documentation created under this Regulation. A specific safeguard procedure should be set for ensuring adequate and timely enforcement against AI systems presenting a risk to health, safety and fundamental rights. The procedure for such AI systems presenting a risk should be applied to high-risk AI systems presenting a risk, prohibited systems which have been placed on the market, put into service or used in violation of the prohibited practices laid down in this Regulation and AI systems which have been made available in violation of the transparency requirements laid down in this Regulation and present a risk.
(158)
Przepisy prawa Unii dotyczące usług finansowych obejmują zasady i wymogi dotyczące zarządzania wewnętrznego i zarządzania ryzykiem, które mają zastosowanie do regulowanych instytucji finansowych podczas świadczenia tych usług, w tym wówczas, gdy korzystają one z systemów AI. Aby zapewnić spójne stosowanie i egzekwowanie obowiązków ustanowionych w niniejszym rozporządzeniu oraz odpowiednich zasad i wymogów ustanowionych w unijnych aktach prawnych dotyczących usług finansowych, właściwe organy do celów nadzoru nad tymi aktami prawnymi i ich egzekwowania, w szczególności właściwe organy zdefiniowane w rozporządzeniu Parlamentu Europejskiego i Rady (UE) nr 575/2013 (46) oraz dyrektywach Parlamentu Europejskiego i Rady 2008/48/WE (47), 2009/138/WE (48), 2013/36/UE (49), 2014/17/UE (50) i (UE) 2016/97 (51), należy wyznaczyć w ramach ich odpowiednich kompetencji jako właściwe organy do celów nadzoru nad wykonywaniem niniejszego rozporządzenia, w tym do celów działań w zakresie nadzoru rynku, w odniesieniu do systemów AI dostarczanych lub wykorzystywanych przez objęte regulacją i nadzorem instytucje finansowe, chyba że państwa członkowskie zdecydują się wyznaczyć inny organ do wypełniania tych zadań związanych z nadzorem rynku. Te właściwe organy powinny mieć wszystkie uprawnienia wynikające z niniejszego rozporządzenia i rozporządzenia (UE) 2019/1020 w celu egzekwowania wymogów i obowiązków ustanowionych w niniejszym rozporządzeniu, w tym uprawnienia do prowadzenia działań ex post w zakresie nadzoru rynku, które można w stosownych przypadkach włączyć do ich istniejących mechanizmów i procedur nadzorczych na podstawie odpowiednich przepisów prawa Unii dotyczących usług finansowych. Należy przewidzieć, że – działając w charakterze organów nadzoru rynku na podstawie niniejszego rozporządzenia –krajowe organy odpowiedzialne za nadzór nad instytucjami kredytowymi uregulowanymi w dyrektywie 2013/36/UE, które uczestniczą w jednolitym mechanizmie nadzorczym ustanowionym rozporządzeniem Rady (UE) nr 1024/2013 (52), powinny niezwłocznie przekazywać Europejskiemu Bankowi Centralnemu wszelkie informacje zidentyfikowane w trakcie prowadzonych przez siebie działań w zakresie nadzoru rynku, które potencjalnie mogą mieć znaczenie dla Europejskiego Banku Centralnego z punktu widzenia określonych w tym rozporządzeniu zadań EBC dotyczących nadzoru ostrożnościowego. Aby dodatkowo zwiększyć spójność między niniejszym rozporządzeniem a przepisami mającymi zastosowanie do instytucji kredytowych uregulowanych w dyrektywie 2013/36/UE, niektóre obowiązki proceduralne dostawców związane z zarządzaniem ryzykiem, monitorowaniem po wprowadzeniu do obrotu oraz prowadzeniem dokumentacji należy również włączyć do istniejących obowiązków i procedur przewidzianych w dyrektywie 2013/36/UE. Aby uniknąć nakładania się przepisów, należy również przewidzieć ograniczone odstępstwa dotyczące systemu zarządzania jakością prowadzonego przez dostawców oraz obowiązku monitorowania nałożonego na podmioty stosujące systemy AI wysokiego ryzyka w zakresie, w jakim mają one zastosowanie do instytucji kredytowych uregulowanych w dyrektywie 2013/36/UE. Ten sam system powinien mieć zastosowanie do zakładów ubezpieczeń i zakładów reasekuracji oraz ubezpieczeniowych spółek holdingowych na podstawie dyrektywy 2009/138/WE oraz pośredników ubezpieczeniowych na mocy dyrektywy (UE) 2016/97, a także do innych rodzajów instytucji finansowych objętych wymogami dotyczącymi systemu zarządzania wewnętrznego, uzgodnień lub procedur ustanowionych zgodnie z odpowiednimi przepisami prawa Unii dotyczącymi usług finansowych, w celu zapewnienia spójności i równego traktowania w sektorze finansowym.
(158)
Union financial services law includes internal governance and risk-management rules and requirements which are applicable to regulated financial institutions in the course of provision of those services, including when they make use of AI systems. In order to ensure coherent application and enforcement of the obligations under this Regulation and relevant rules and requirements of the Union financial services legal acts, the competent authorities for the supervision and enforcement of those legal acts, in particular competent authorities as defined in Regulation (EU) No 575/2013 of the European Parliament and of the Council (46) and Directives 2008/48/EC (47), 2009/138/EC (48), 2013/36/EU (49), 2014/17/EU (50) and (EU) 2016/97 (51) of the European Parliament and of the Council, should be designated, within their respective competences, as competent authorities for the purpose of supervising the implementation of this Regulation, including for market surveillance activities, as regards AI systems provided or used by regulated and supervised financial institutions unless Member States decide to designate another authority to fulfil these market surveillance tasks. Those competent authorities should have all powers under this Regulation and Regulation (EU) 2019/1020 to enforce the requirements and obligations of this Regulation, including powers to carry our ex post market surveillance activities that can be integrated, as appropriate, into their existing supervisory mechanisms and procedures under the relevant Union financial services law. It is appropriate to envisage that, when acting as market surveillance authorities under this Regulation, the national authorities responsible for the supervision of credit institutions regulated under Directive 2013/36/EU, which are participating in the Single Supervisory Mechanism established by Council Regulation (EU) No 1024/2013 (52), should report, without delay, to the European Central Bank any information identified in the course of their market surveillance activities that may be of potential interest for the European Central Bank’s prudential supervisory tasks as specified in that Regulation. To further enhance the consistency between this Regulation and the rules applicable to credit institutions regulated under Directive 2013/36/EU, it is also appropriate to integrate some of the providers’ procedural obligations in relation to risk management, post marketing monitoring and documentation into the existing obligations and procedures under Directive 2013/36/EU. In order to avoid overlaps, limited derogations should also be envisaged in relation to the quality management system of providers and the monitoring obligation placed on deployers of high-risk AI systems to the extent that these apply to credit institutions regulated by Directive 2013/36/EU. The same regime should apply to insurance and re-insurance undertakings and insurance holding companies under Directive 2009/138/EC and the insurance intermediaries under Directive (EU) 2016/97 and other types of financial institutions subject to requirements regarding internal governance, arrangements or processes established pursuant to the relevant Union financial services law to ensure consistency and equal treatment in the financial sector.
(159)
Każdy organ nadzoru rynku ds. systemów AI wysokiego ryzyka w obszarze danych biometrycznych, wymienionych w załączniku do niniejszego rozporządzenia, o ile systemy te są wykorzystywane do celów ścigania przestępstw, zarządzania migracją, azylem i kontrolą graniczną lub do celów sprawowania wymiaru sprawiedliwości i procesów demokratycznych, powinien dysponować skutecznymi uprawnieniami do prowadzenia postępowań i uprawnieniami naprawczymi, w tym co najmniej uprawnieniami do uzyskania dostępu do wszystkich przetwarzanych danych osobowych oraz do wszelkich informacji niezbędnych do wykonywania jego zadań. Organy nadzoru rynku powinny mieć możliwość wykonywania swoich uprawnień, działając w sposób całkowicie niezależny. Wszelkie ograniczenia dostępu tych organów do wrażliwych danych operacyjnych na mocy niniejszego rozporządzenia powinny pozostawać bez uszczerbku dla uprawnień przyznanych im na mocy dyrektywy (UE) 2016/680. Żadne wyłączenie dotyczące ujawniania danych krajowym organom ochrony danych na mocy niniejszego rozporządzenia nie powinno mieć wpływu na obecne lub przyszłe uprawnienia tych organów wykraczające poza zakres niniejszego rozporządzenia.
(159)
Each market surveillance authority for high-risk AI systems in the area of biometrics, as listed in an annex to this Regulation insofar as those systems are used for the purposes of law enforcement, migration, asylum and border control management, or the administration of justice and democratic processes, should have effective investigative and corrective powers, including at least the power to obtain access to all personal data that are being processed and to all information necessary for the performance of its tasks. The market surveillance authorities should be able to exercise their powers by acting with complete independence. Any limitations of their access to sensitive operational data under this Regulation should be without prejudice to the powers conferred to them by Directive (EU) 2016/680. No exclusion on disclosing data to national data protection authorities under this Regulation should affect the current or future powers of those authorities beyond the scope of this Regulation.
(160)
Organy nadzoru rynku i Komisja powinny mieć możliwość proponowania wspólnych działań, w tym wspólnych postępowań, które mają być prowadzone przez organy nadzoru rynku lub organy nadzoru rynku wspólnie z Komisją, których celem jest promowanie zgodności, wykrywanie niezgodności, podnoszenie świadomości i zapewnianie wytycznych dotyczących niniejszego rozporządzenia w odniesieniu do konkretnych kategorii systemów AI wysokiego ryzyka, w przypadku których stwierdzono, że stwarzają poważne ryzyko w co najmniej dwóch państwach członkowskich. Wspólne działania na rzecz promowania zgodności należy prowadzić zgodnie z art. 9 rozporządzenia (UE) 2019/1020. Urząd ds. AI powinien zapewniać wsparcie w zakresie koordynacji wspólnych postępowań.
(160)
The market surveillance authorities and the Commission should be able to propose joint activities, including joint investigations, to be conducted by market surveillance authorities or market surveillance authorities jointly with the Commission, that have the aim of promoting compliance, identifying non-compliance, raising awareness and providing guidance in relation to this Regulation with respect to specific categories of high-risk AI systems that are found to present a serious risk across two or more Member States. Joint activities to promote compliance should be carried out in accordance with Article 9 of Regulation (EU) 2019/1020. The AI Office should provide coordination support for joint investigations.
(161)
Konieczne jest wyjaśnienie odpowiedzialności i kompetencji na poziomie Unii i poziomie krajowym w odniesieniu do systemów AI, które opierają się na modelach AI ogólnego przeznaczenia. Aby uniknąć nakładania się kompetencji, w przypadku gdy system AI opiera się na modelu AI ogólnego przeznaczenia, a model i system są dostarczone przez tego samego dostawcę, nadzór powinien odbywać się na poziomie Unii za pośrednictwem Urzędu ds. AI, który w tym celu powinien posiadać uprawnienia organu nadzoru rynku w rozumieniu rozporządzenia (UE) 2019/1020. We wszystkich innych przypadkach krajowe organy nadzoru rynku pozostają odpowiedzialne za nadzór nad systemami AI. Natomiast w przypadku systemów AI ogólnego przeznaczenia, które mogą być wykorzystywane bezpośrednio przez podmioty stosujące do co najmniej jednego celu zaklasyfikowanego jako cel wysokiego ryzyka, organy nadzoru rynku powinny współpracować z Urzędem ds. AI przy prowadzeniu ocen zgodności i by odpowiednio informować Radę ds. AI i inne organy nadzoru rynku. Ponadto organy nadzoru rynku powinny mieć możliwość zwrócenia się o pomoc do Urzędu ds. AI, jeżeli organ nadzoru rynku nie jest w stanie zakończyć postępowania w sprawie systemu AI wysokiego ryzyka ze względu na niemożność dostępu do niektórych informacji związanych z modelem AI ogólnego przeznaczenia, na którym opiera się ten system AI wysokiego ryzyka. W takich przypadkach powinna mieć zastosowanie odpowiednio procedura dotycząca wzajemnej pomocy transgranicznej określona w rozdziale VI rozporządzenia (UE) 2019/1020.
(161)
It is necessary to clarify the responsibilities and competences at Union and national level as regards AI systems that are built on general-purpose AI models. To avoid overlapping competences, where an AI system is based on a general-purpose AI model and the model and system are provided by the same provider, the supervision should take place at Union level through the AI Office, which should have the powers of a market surveillance authority within the meaning of Regulation (EU) 2019/1020 for this purpose. In all other cases, national market surveillance authorities remain responsible for the supervision of AI systems. However, for general-purpose AI systems that can be used directly by deployers for at least one purpose that is classified as high-risk, market surveillance authorities should cooperate with the AI Office to carry out evaluations of compliance and inform the Board and other market surveillance authorities accordingly. Furthermore, market surveillance authorities should be able to request assistance from the AI Office where the market surveillance authority is unable to conclude an investigation on a high-risk AI system because of its inability to access certain information related to the general-purpose AI model on which the high-risk AI system is built. In such cases, the procedure regarding mutual assistance in cross-border cases in Chapter VI of Regulation (EU) 2019/1020 should apply mutatis mutandis.
(162)
Aby jak najlepiej wykorzystać scentralizowaną unijną wiedzę fachową i synergie na poziomie Unii, uprawnienia w zakresie nadzoru i egzekwowania obowiązków spoczywających na dostawcach modeli AI ogólnego przeznaczenia powinny należeć do kompetencji Komisji. Urząd ds. AI powinien mieć możliwość prowadzenia wszelkich niezbędnych działań w celu monitorowania skutecznego wykonywania niniejszego rozporządzenia w odniesieniu do modeli AI ogólnego przeznaczenia. Powinien mieć możliwość prowadzenia postępowań w sprawie ewentualnych naruszeń przepisów dotyczących dostawców modeli AI ogólnego przeznaczenia zarówno z własnej inicjatywy, na podstawie wyników swoich działań monitorujących, jak i na wniosek organów nadzoru rynku zgodnie z warunkami określonymi w niniejszym rozporządzeniu. W celu wsparcia skutecznego monitorowania Urząd ds. AI powinien ustanowić możliwość składania przez dostawców niższego szczebla skarg na dostawców modeli i systemów AI ogólnego przeznaczenia dotyczących ewentualnych naruszeń przepisów.
(162)
To make best use of the centralised Union expertise and synergies at Union level, the powers of supervision and enforcement of the obligations on providers of general-purpose AI models should be a competence of the Commission. The AI Office should be able to carry out all necessary actions to monitor the effective implementation of this Regulation as regards general-purpose AI models. It should be able to investigate possible infringements of the rules on providers of general-purpose AI models both on its own initiative, following the results of its monitoring activities, or upon request from market surveillance authorities in line with the conditions set out in this Regulation. To support effective monitoring of the AI Office, it should provide for the possibility that downstream providers lodge complaints about possible infringements of the rules on providers of general-purpose AI models and systems.
(163)
W celu uzupełnienia systemów zarządzania modelami AI ogólnego przeznaczenia panel naukowy powinien wspierać działania monitorujące Urzędu ds. AI i może, w niektórych przypadkach, przekazywać Urzędowi ds. AI ostrzeżenia kwalifikowane, które uruchamiają działania następcze, takie jak postępowania. Powinno to mieć miejsce w przypadku, gdy panel naukowy ma powody, by podejrzewać, że model AI ogólnego przeznaczenia stwarza konkretne i możliwe do zidentyfikowania ryzyko na poziomie Unii. Ponadto powinno to mieć miejsce w przypadku, gdy panel naukowy ma powody, by podejrzewać, że model AI ogólnego przeznaczenia spełnia kryteria, które prowadziłyby do zaklasyfikowania go jako modelu AI ogólnego przeznaczenia z ryzykiem systemowym. Aby panel naukowy mógł dysponować informacjami niezbędnymi do wykonywania tych zadań, powinien istnieć mechanizm, w ramach którego panel naukowy może zwrócić się do Komisji, aby wystąpiła do dostawcy z wnioskiem o przedstawienie dokumentacji lub informacji.
(163)
With a view to complementing the governance systems for general-purpose AI models, the scientific panel should support the monitoring activities of the AI Office and may, in certain cases, provide qualified alerts to the AI Office which trigger follow-ups, such as investigations. This should be the case where the scientific panel has reason to suspect that a general-purpose AI model poses a concrete and identifiable risk at Union level. Furthermore, this should be the case where the scientific panel has reason to suspect that a general-purpose AI model meets the criteria that would lead to a classification as general-purpose AI model with systemic risk. To equip the scientific panel with the information necessary for the performance of those tasks, there should be a mechanism whereby the scientific panel can request the Commission to require documentation or information from a provider.
(164)
Urząd ds. AI powinien mieć możliwość podejmowania niezbędnych działań w celu monitorowania skutecznego wdrażania i spełniania obowiązków przez dostawców modeli AI ogólnego przeznaczenia określonych w niniejszym rozporządzeniu. Urząd ds. AI powinien mieć możliwość prowadzenia postępowań w sprawie ewentualnych naruszeń zgodnie z uprawnieniami przewidzianymi w niniejszym rozporządzeniu, w tym poprzez zwracanie się o dokumentację i informacje, przeprowadzanie ocen, a także zwracanie się do dostawców modeli AI ogólnego przeznaczenia o zastosowanie określonych środków. Aby wykorzystać niezależną wiedzę fachową w ramach prowadzenia ocen, Urząd ds. AI powinien mieć możliwość angażowania niezależnych ekspertów do przeprowadzania ocen w jego imieniu. Spełnienie obowiązków powinno być możliwe do wyegzekwowania m.in. poprzez wezwanie do podjęcia odpowiednich środków, w tym środków ograniczających ryzyko w przypadku zidentyfikowanego ryzyka systemowego, a także poprzez ograniczenie udostępniania modelu na rynku, wycofanie modelu z rynku lub z użytku. Jako zabezpieczenie, jeśli zaistnieją potrzeby wykraczające poza prawa proceduralne przewidziane w niniejszym rozporządzeniu, dostawcy modeli AI ogólnego przeznaczenia powinni dysponować prawami proceduralnymi przewidzianymi w art. 18 rozporządzenia (UE) 2019/1020, które powinny mieć zastosowanie odpowiednio, bez uszczerbku dla bardziej szczególnych praw proceduralnych przewidzianych w niniejszym rozporządzeniu.
(164)
The AI Office should be able to take the necessary actions to monitor the effective implementation of and compliance with the obligations for providers of general-purpose AI models laid down in this Regulation. The AI Office should be able to investigate possible infringements in accordance with the powers provided for in this Regulation, including by requesting documentation and information, by conducting evaluations, as well as by requesting measures from providers of general-purpose AI models. When conducting evaluations, in order to make use of independent expertise, the AI Office should be able to involve independent experts to carry out the evaluations on its behalf. Compliance with the obligations should be enforceable, inter alia, through requests to take appropriate measures, including risk mitigation measures in the case of identified systemic risks as well as restricting the making available on the market, withdrawing or recalling the model. As a safeguard, where needed beyond the procedural rights provided for in this Regulation, providers of general-purpose AI models should have the procedural rights provided for in Article 18 of Regulation (EU) 2019/1020, which should apply mutatis mutandis, without prejudice to more specific procedural rights provided for by this Regulation.
(165)
Rozwój systemów AI innych niż systemy AI wysokiego ryzyka zgodnie z wymogami niniejszego rozporządzenia może doprowadzić do szerszego upowszechnienia etycznej i godnej zaufania AI w Unii. Dostawców systemów AI niebędących systemami wysokiego ryzyka należy zachęcać do opracowywania kodeksów postępowania, w tym powiązanych mechanizmów zarządzania, wspierających dobrowolne stosowanie niektórych lub wszystkich obowiązkowych wymogów mających zastosowanie do systemów AI wysokiego ryzyka, dostosowanych do przeznaczenia tych systemów i związanego z nimi niższego ryzyka oraz z uwzględnieniem dostępnych rozwiązań technicznych i najlepszych praktyk branżowych, takich jak karty modeli i karty charakterystyki. Dostawców wszystkich systemów AI, zarówno wysokiego ryzyka, jak i nie stanowiących wysokiego ryzyka, oraz modeli AI, a w stosownych przypadkach, podmioty stosujące te systemy i modele należy również zachęcać do dobrowolnego stosowania dodatkowych wymogów dotyczących na przykład elementów unijnych Wytycznych w zakresie etyki dotyczących godnej zaufania sztucznej inteligencji, zrównoważenia środowiskowego, środków wspierających kompetencje w zakresie AI, projektowania i rozwoju systemów AI z uwzględnieniem różnorodności i inkluzywności, w tym szczególnej uwagi poświęconej osobom szczególnie wrażliwym i dostępności dla osób z niepełnosprawnościami, udziału zainteresowanych stron w tym, w stosownych przypadkach, organizacji przedsiębiorców i społeczeństwa obywatelskiego, środowisk akademickich, organizacji badawczych, związków zawodowych i organizacji ochrony konsumentów w projektowaniu i rozwoju systemów AI oraz dotyczących różnorodności zespołów programistycznych, w tym pod względem równowagi płci. W celu zapewnienia skuteczności dobrowolnych kodeksów postępowania, powinny się one opierać się na jasnych celach i kluczowych wskaźnikach skuteczności działania służących do pomiaru stopnia osiągnięcia tych celów. Należy je również rozwijać w sposób inkluzywny, w stosownych przypadkach, z udziałem odpowiednich zainteresowanych stron, takich jak organizacje przedsiębiorców i społeczeństwa obywatelskiego, środowiska akademickie, organizacje badawcze, związki zawodowe i organizacje ochrony konsumentów. Komisja może opracowywać inicjatywy, również o charakterze sektorowym, aby ułatwiać zmniejszanie barier technicznych utrudniających transgraniczną wymianę danych na potrzeby rozwoju AI, w tym w zakresie infrastruktury dostępu do danych oraz interoperacyjności semantycznej i technicznej różnych rodzajów danych.
(165)
The development of AI systems other than high-risk AI systems in accordance with the requirements of this Regulation may lead to a larger uptake of ethical and trustworthy AI in the Union. Providers of AI systems that are not high-risk should be encouraged to create codes of conduct, including related governance mechanisms, intended to foster the voluntary application of some or all of the mandatory requirements applicable to high-risk AI systems, adapted in light of the intended purpose of the systems and the lower risk involved and taking into account the available technical solutions and industry best practices such as model and data cards. Providers and, as appropriate, deployers of all AI systems, high-risk or not, and AI models should also be encouraged to apply on a voluntary basis additional requirements related, for example, to the elements of the Union’s Ethics Guidelines for Trustworthy AI, environmental sustainability, AI literacy measures, inclusive and diverse design and development of AI systems, including attention to vulnerable persons and accessibility to persons with disability, stakeholders’ participation with the involvement, as appropriate, of relevant stakeholders such as business and civil society organisations, academia, research organisations, trade unions and consumer protection organisations in the design and development of AI systems, and diversity of the development teams, including gender balance. To ensure that the voluntary codes of conduct are effective, they should be based on clear objectives and key performance indicators to measure the achievement of those objectives. They should also be developed in an inclusive way, as appropriate, with the involvement of relevant stakeholders such as business and civil society organisations, academia, research organisations, trade unions and consumer protection organisation. The Commission may develop initiatives, including of a sectoral nature, to facilitate the lowering of technical barriers hindering cross-border exchange of data for AI development, including on data access infrastructure, semantic and technical interoperability of different types of data.
(166)
Istotne jest, aby systemy AI powiązane z produktami, które nie są systemami wysokiego ryzyka w rozumieniu niniejszego rozporządzenia, a zatem nie muszą być zgodne z wymogami ustanowionymi w przypadku systemów AI wysokiego ryzyka, były mimo to bezpieczne w chwili wprowadzenia ich do obrotu lub oddawania ich do użytku. Aby przyczynić się do osiągnięcia tego celu, rozporządzenie Parlamentu Europejskiego i Rady (UE) 2023/988 (53) miałoby zastosowanie jako rozwiązanie zapasowe.
(166)
It is important that AI systems related to products that are not high-risk in accordance with this Regulation and thus are not required to comply with the requirements set out for high-risk AI systems are nevertheless safe when placed on the market or put into service. To contribute to this objective, Regulation (EU) 2023/988 of the European Parliament and of the Council (53) would apply as a safety net.
(167)
W celu zapewnienia opartej na zaufaniu i konstruktywnej współpracy właściwych organów na poziomie Unii i poziomie krajowym wszystkie strony uczestniczące w stosowaniu niniejszego rozporządzenia powinny przestrzegać zasady poufności informacji i danych uzyskanych podczas wykonywania swoich zadań, zgodnie z prawem Unii lub prawem krajowym. Powinny one wykonywać swoje zadania i prowadzić działania w taki sposób, aby chronić w szczególności prawa własności intelektualnej, poufne informacje handlowe i tajemnice przedsiębiorstwa, skuteczne wykonywanie niniejszego rozporządzenia, interesy bezpieczeństwa publicznego i narodowego, integralność postępowań karnych i administracyjnych oraz integralność informacji niejawnych.
(167)
In order to ensure trustful and constructive cooperation of competent authorities on Union and national level, all parties involved in the application of this Regulation should respect the confidentiality of information and data obtained in carrying out their tasks, in accordance with Union or national law. They should carry out their tasks and activities in such a manner as to protect, in particular, intellectual property rights, confidential business information and trade secrets, the effective implementation of this Regulation, public and national security interests, the integrity of criminal and administrative proceedings, and the integrity of classified information.
(168)
Zgodność z niniejszym rozporządzeniem powinna być możliwa do wyegzekwowania poprzez nakładanie kar i innych środków egzekwowania prawa. Państwa członkowskie powinny podjąć wszelkie niezbędne środki, aby zapewnić wdrożenie przepisów niniejszego rozporządzenia, w tym poprzez ustanowienie skutecznych, proporcjonalnych i odstraszających kar za ich naruszenie, oraz poszanowanie zasady ne bis in idem. Aby wzmocnić i zharmonizować kary administracyjne za naruszenie niniejszego rozporządzenia należy ustanowić górne limity dla ustalania administracyjnych kar pieniężnych za niektóre konkretne naruszenia. Przy ocenie wysokości kar pieniężnych, państwa członkowskie powinny w każdym indywidualnym przypadku brać pod uwagę wszystkie istotne okoliczności danej sytuacji, z należytym uwzględnieniem w szczególności charakteru, wagi i czasu trwania naruszenia oraz jego skutków, a także wielkości dostawcy, w szczególności faktu, czy dostawca jest MŚP, w tym przedsiębiorstwem typu start-up. Europejski Inspektor Ochrony Danych powinien mieć uprawnienia do nakładania kar pieniężnych na instytucje, organy i jednostki organizacyjne Unii objęte zakresem stosowania niniejszego rozporządzenia.
(168)
Compliance with this Regulation should be enforceable by means of the imposition of penalties and other enforcement measures. Member States should take all necessary measures to ensure that the provisions of this Regulation are implemented, including by laying down effective, proportionate and dissuasive penalties for their infringement, and to respect the ne bis in idem principle. In order to strengthen and harmonise administrative penalties for infringement of this Regulation, the upper limits for setting the administrative fines for certain specific infringements should be laid down. When assessing the amount of the fines, Member States should, in each individual case, take into account all relevant circumstances of the specific situation, with due regard in particular to the nature, gravity and duration of the infringement and of its consequences and to the size of the provider, in particular if the provider is an SME, including a start-up. The European Data Protection Supervisor should have the power to impose fines on Union institutions, agencies and bodies falling within the scope of this Regulation.
(169)
Spełnienie obowiązków spoczywających na dostawcach modeli AI ogólnego przeznaczenia nałożonych na mocy niniejszego rozporządzenia powinna być możliwa do wyegzekwowania między innymi za pomocą kar pieniężnych. W tym celu należy również ustanowić odpowiednią wysokość kar pieniężnych za naruszenie tych obowiązków, w tym za niezastosowanie środków wymaganych przez Komisję zgodnie z niniejszym rozporządzeniem, z zastrzeżeniem odpowiednich terminów przedawnienia zgodnie z zasadą proporcjonalności. Wszystkie decyzje przyjmowane przez Komisję na podstawie niniejszego rozporządzenia podlegają kontroli Trybunału Sprawiedliwości Unii Europejskiej zgodnie z TFUE, w tym nieograniczonemu prawu orzekania zgodnie z art. 261 TFUE.
(169)
Compliance with the obligations on providers of general-purpose AI models imposed under this Regulation should be enforceable, inter alia, by means of fines. To that end, appropriate levels of fines should also be laid down for infringement of those obligations, including the failure to comply with measures requested by the Commission in accordance with this Regulation, subject to appropriate limitation periods in accordance with the principle of proportionality. All decisions taken by the Commission under this Regulation are subject to review by the Court of Justice of the European Union in accordance with the TFEU, including the unlimited jurisdiction of the Court of Justice with regard to penalties pursuant to Article 261 TFEU.
(170)
W przepisach prawa Unii i prawa krajowego przewidziano już skuteczne środki odwoławcze dla osób fizycznych i prawnych, na których prawa i wolności negatywnie wpływa wykorzystanie systemów AI. Bez uszczerbku dla tych środków odwoławczych każda osoba fizyczna lub prawna, która ma podstawy, by uważać, że doszło do naruszenia niniejszego rozporządzenia, powinna być uprawniona do wniesienia skargi do odpowiedniego organu nadzoru rynku.
(170)
Union and national law already provide effective remedies to natural and legal persons whose rights and freedoms are adversely affected by the use of AI systems. Without prejudice to those remedies, any natural or legal person that has grounds to consider that there has been an infringement of this Regulation should be entitled to lodge a complaint to the relevant market surveillance authority.
(171)
Osoby, na które AI ma wpływ, powinny mieć prawo do uzyskania wyjaśnienia, jeżeli decyzja podmiotu stosującego opiera się głównie na wynikach określonych systemów AI wysokiego ryzyka objętych zakresem stosowania niniejszego rozporządzenia i jeżeli decyzja ta wywołuje skutki prawne lub podobnie znacząco oddziałuje na te osoby w sposób, który ich zdaniem ma niepożądany wpływ na ich zdrowie, bezpieczeństwo lub prawa podstawowe. Wyjaśnienie to powinno być jasne i merytoryczne oraz powinno dawać osobom, na które AI ma wpływ, podstawę do korzystania z ich praw. Prawo do uzyskania wyjaśnienia nie powinno mieć zastosowania do wykorzystania systemów AI, co do których na mocy przepisów praw Unii lub prawa krajowego obowiązują wyjątki lub ograniczenia, i powinno mieć zastosowanie wyłącznie w zakresie, w jakim prawo to nie jest jeszcze przewidziane w przepisach prawa Unii.
(171)
Affected persons should have the right to obtain an explanation where a deployer’s decision is based mainly upon the output from certain high-risk AI systems that fall within the scope of this Regulation and where that decision produces legal effects or similarly significantly affects those persons in a way that they consider to have an adverse impact on their health, safety or fundamental rights. That explanation should be clear and meaningful and should provide a basis on which the affected persons are able to exercise their rights. The right to obtain an explanation should not apply to the use of AI systems for which exceptions or restrictions follow from Union or national law and should apply only to the extent this right is not already provided for under Union law.
(172)
Osoby działające w charakterze sygnalistów w związku z naruszeniami niniejszego rozporządzenia powinny być chronione na mocy prawa Unii. Do zgłaszania naruszeń przepisów niniejszego rozporządzenia oraz ochrony osób zgłaszających przypadki takich naruszeń powinno zatem stosować się dyrektywę Parlamentu Europejskiego i Rady (UE) 2019/1937 (54).
(172)
Persons acting as whistleblowers on the infringements of this Regulation should be protected under the Union law. Directive (EU) 2019/1937 of the European Parliament and of the Council (54) should therefore apply to the reporting of infringements of this Regulation and the protection of persons reporting such infringements.
(173)
Aby zapewnić możliwość dostosowania w razie potrzeby ram regulacyjnych, należy przekazać Komisji uprawnienia do przyjmowania aktów zgodnie z art. 290 TFUE w celu zmiany warunków, na podstawie których systemu AI nie uznaje się za system AI wysokiego ryzyka, zmiany wykazu systemów AI wysokiego ryzyka, przepisów dotyczących dokumentacji technicznej, treści deklaracji zgodności UE, przepisów dotyczących procedur oceny zgodności, przepisów określających systemy AI wysokiego ryzyka, do których powinna mieć zastosowanie procedura oceny zgodności oparta na ocenie systemu zarządzania jakością oraz ocenie dokumentacji technicznej, progu, poziomów odniesienia i wskaźników, które zostały określone w przepisach dotyczących klasyfikacji modeli AI ogólnego przeznaczenia z ryzykiem systemowym, w tym poprzez uzupełnienie tych poziomów odniesienia i wskaźników, kryteriów uznawania modeli za modele AI ogólnego przeznaczenia z ryzykiem systemowym, dokumentacji technicznej dostawców modeli AI ogólnego przeznaczenia oraz informacji dotyczących przejrzystości od dostawców modeli AI ogólnego przeznaczenia. Szczególnie ważne jest, aby w czasie prac przygotowawczych Komisja prowadziła stosowne konsultacje, w tym na poziomie ekspertów, oraz aby konsultacje te prowadzone były zgodnie z zasadami określonymi w Porozumieniu międzyinstytucjonalnym z dnia 13 kwietnia 2016 r. w sprawie lepszego stanowienia prawa (55). W szczególności, aby zapewnić Parlamentowi Europejskiemu i Radzie udział na równych zasadach w przygotowaniu aktów delegowanych, instytucje te otrzymują wszelkie dokumenty w tym samym czasie co eksperci państw członkowskich, a eksperci tych instytucji mogą systematycznie brać udział w posiedzeniach grup eksperckich Komisji zajmujących się przygotowaniem aktów delegowanych.
(173)
In order to ensure that the regulatory framework can be adapted where necessary, the power to adopt acts in accordance with Article 290 TFEU should be delegated to the Commission to amend the conditions under which an AI system is not to be considered to be high-risk, the list of high-risk AI systems, the provisions regarding technical documentation, the content of the EU declaration of conformity the provisions regarding the conformity assessment procedures, the provisions establishing the high-risk AI systems to which the conformity assessment procedure based on assessment of the quality management system and assessment of the technical documentation should apply, the threshold, benchmarks and indicators, including by supplementing those benchmarks and indicators, in the rules for the classification of general-purpose AI models with systemic risk, the criteria for the designation of general-purpose AI models with systemic risk, the technical documentation for providers of general-purpose AI models and the transparency information for providers of general-purpose AI models. It is of particular importance that the Commission carry out appropriate consultations during its preparatory work, including at expert level, and that those consultations be conducted in accordance with the principles laid down in the Interinstitutional Agreement of 13 April 2016 on Better Law-Making (55). In particular, to ensure equal participation in the preparation of delegated acts, the European Parliament and the Council receive all documents at the same time as Member States’ experts, and their experts systematically have access to meetings of Commission expert groups dealing with the preparation of delegated acts.
(174)
Z uwagi na szybki rozwój technologiczny i wiedzę techniczną wymaganą do skutecznego stosowania niniejszego rozporządzenia, Komisja powinna dokonać oceny i przeglądu niniejszego rozporządzenia do dnia 2 sierpnia 2029 r., a następnie co cztery lata oraz składać sprawozdania Parlamentowi Europejskiemu i Radzie. Ponadto ze względu na skutki dla zakresu stosowania niniejszego rozporządzenia Komisja powinna raz w roku ocenić, czy konieczne jest wprowadzenie zmian w wykazie systemów AI wysokiego ryzyka i w wykazie zakazanych praktyk. Dodatkowo do dnia 2 sierpnia 2028 r., a następnie co cztery lata, Komisja powinna ocenić, czy należy wprowadzić zmiany w wykazie nagłówków dotyczących obszarów wysokiego ryzyka zawartym w załączniku do niniejszego rozporządzenia, zmiany w zakresie systemów AI objętych obowiązkami w zakresie przejrzystości, zmiany służące skuteczności systemu nadzoru i zarządzania oraz ocenić postępy w opracowywaniu dokumentów normalizacyjnych dotyczących efektywnego energetycznie rozwoju modeli AI ogólnego przeznaczenia, w tym potrzebę wprowadzenia dalszych środków lub działań, a następnie przekazać sprawozdania z tych ocen Parlamentowi Europejskiemu i Radzie. Ponadto do dnia 2 sierpnia 2028 r., a następnie co trzy lata, Komisja powinna oceniać wpływ i skuteczność dobrowolnych kodeksów postępowania pod względem wspierania stosowania wymogów przewidzianych w przypadku systemów AI wysokiego ryzyka do systemów AI innych niż systemy AI wysokiego ryzyka oraz ewentualnie innych dodatkowych wymogów dotyczących takich systemów AI.
(174)
Given the rapid technological developments and the technical expertise required to effectively apply this Regulation, the Commission should evaluate and review this Regulation by 2 August 2029 and every four years thereafter and report to the European Parliament and the Council. In addition, taking into account the implications for the scope of this Regulation, the Commission should carry out an assessment of the need to amend the list of high-risk AI systems and the list of prohibited practices once a year. Moreover, by 2 August 2028 and every four years thereafter, the Commission should evaluate and report to the European Parliament and to the Council on the need to amend the list of high-risk areas headings in the annex to this Regulation, the AI systems within the scope of the transparency obligations, the effectiveness of the supervision and governance system and the progress on the development of standardisation deliverables on energy efficient development of general-purpose AI models, including the need for further measures or actions. Finally, by 2 August 2028 and every three years thereafter, the Commission should evaluate the impact and effectiveness of voluntary codes of conduct to foster the application of the requirements provided for high-risk AI systems in the case of AI systems other than high-risk AI systems and possibly other additional requirements for such AI systems.
(175)
W celu zapewnienia jednolitych warunków wykonywania niniejszego rozporządzenia należy powierzyć Komisji uprawnienia wykonawcze. Uprawnienia te powinny być wykonywane zgodnie z rozporządzeniem Parlamentu Europejskiego i Rady (UE) nr 182/2011 (56).
(175)
In order to ensure uniform conditions for the implementation of this Regulation, implementing powers should be conferred on the Commission. Those powers should be exercised in accordance with Regulation (EU) No 182/2011 of the European Parliament and of the Council (56).
(176)
Ponieważ cel niniejszego rozporządzenia, a mianowicie poprawa funkcjonowania rynku wewnętrznego i promowanie upowszechniania zorientowanej na człowieka i godnej zaufania AI, przy jednoczesnym zapewnieniu wysokiego poziomu ochrony zdrowia, bezpieczeństwa i praw podstawowych zapisanych w Karcie, w tym demokracji, praworządności i ochrony środowiska przed szkodliwymi skutkami systemów AI w Unii, oraz wspieranie innowacji, nie może zostać osiągnięty w sposób wystarczający przez państwa członkowskie, natomiast ze względu na rozmiary lub skutki działania możliwe jest jego lepsze osiągnięcie na poziomie Unii, może ona podjąć działania zgodnie z zasadą pomocniczości określoną w art. 5 TUE. Zgodnie z zasadą proporcjonalności określoną w tym artykule niniejsze rozporządzenie nie wykracza poza to, co jest konieczne do osiągnięcia tego celu.
(176)
Since the objective of this Regulation, namely to improve the functioning of the internal market and to promote the uptake of human centric and trustworthy AI, while ensuring a high level of protection of health, safety, fundamental rights enshrined in the Charter, including democracy, the rule of law and environmental protection against harmful effects of AI systems in the Union and supporting innovation, cannot be sufficiently achieved by the Member States and can rather, by reason of the scale or effects of the action, be better achieved at Union level, the Union may adopt measures in accordance with the principle of subsidiarity as set out in Article 5 TEU. In accordance with the principle of proportionality as set out in that Article, this Regulation does not go beyond what is necessary in order to achieve that objective.
(177)
Aby zapewnić pewność prawa, zapewnić operatorom odpowiedni okres na dostosowanie się i uniknąć zakłóceń na rynku, w tym dzięki zapewnieniu ciągłości korzystania z systemów AI, niniejsze rozporządzenie należy stosować do systemów AI wysokiego ryzyka, które zostały wprowadzone do obrotu lub oddane do użytku przed ogólną datą rozpoczęcia jego stosowania, tylko wtedy, gdy po tej dacie w systemach tych wprowadzane będą istotne zmiany dotyczące ich projektu lub przeznaczeniu. Należy wyjaśnić, że w tym względzie pojęcie istotnej zmiany należy rozumieć jako równoważne znaczeniowo z pojęciem istotnej zmiany, które stosuje się wyłącznie w odniesieniu do systemów AI wysokiego ryzyka zgodnie z niniejszym rozporządzeniem. W drodze wyjątku i z uwagi na odpowiedzialność publiczną, operatorzy systemów AI, które są elementami wielkoskalowych systemów informatycznych ustanowionych na mocy aktów prawnych wymienionych w załączniku do niniejszego rozporządzenia, oraz operatorzy systemów AI wysokiego ryzyka, które mają być wykorzystywane przez organy publiczne, powinni odpowiednio podjąć niezbędne kroki w celu spełnienia wymogów niniejszego rozporządzenia do końca 2030 r. i do dnia 2 sierpnia 2030 r.
(177)
In order to ensure legal certainty, ensure an appropriate adaptation period for operators and avoid disruption to the market, including by ensuring continuity of the use of AI systems, it is appropriate that this Regulation applies to the high-risk AI systems that have been placed on the market or put into service before the general date of application thereof, only if, from that date, those systems are subject to significant changes in their design or intended purpose. It is appropriate to clarify that, in this respect, the concept of significant change should be understood as equivalent in substance to the notion of substantial modification, which is used with regard only to high-risk AI systems pursuant to this Regulation. On an exceptional basis and in light of public accountability, operators of AI systems which are components of the large-scale IT systems established by the legal acts listed in an annex to this Regulation and operators of high-risk AI systems that are intended to be used by public authorities should, respectively, take the necessary steps to comply with the requirements of this Regulation by end of 2030 and by 2 August 2030.
(178)
Dostawców systemów AI wysokiego ryzyka zachęca się, by już w okresie przejściowym przystąpili do dobrowolnego spełniania odpowiednich obowiązków ustanowionych w niniejszym rozporządzeniu.
(178)
Providers of high-risk AI systems are encouraged to start to comply, on a voluntary basis, with the relevant obligations of this Regulation already during the transitional period.
(179)
Niniejsze rozporządzenie należy stosować od dnia 2 sierpnia 2026 r. Biorąc jednak pod uwagę niedopuszczalne ryzyko związane z niektórymi sposobami wykorzystania AI, zakazy oraz przepisy ogólne niniejszego rozporządzenia należy stosować już od dnia 2 lutego 2025 r. Chociaż pełne skutki tych zakazów zrealizowane zostaną w momencie ustanowienia zarządzania i egzekwowania niniejszego rozporządzenia, wcześniejsze ich stosowanie jest ważne, by uwzględnić niedopuszczalne ryzyko i wywrzeć wpływ na inne procedury, np. w prawie cywilnym. Ponadto infrastruktura związana z zarządzaniem i systemem oceny zgodności powinna być gotowa przed dniem 2 sierpnia 2026 r., w związku z czym przepisy dotyczące jednostek notyfikowanych oraz struktury zarządzania należy stosować od dnia 2 sierpnia 2025 r. Biorąc pod uwagę szybkie tempo postępu technologicznego i przyjęcie modeli AI ogólnego przeznaczenia, obowiązki dostawców modeli AI ogólnego przeznaczenia należy stosować od dnia 2 sierpnia 2025 r. Kodeksy praktyk powinny być gotowe do dnia 2 maja 2025 r., tak aby umożliwić dostawcom terminowe wykazanie zgodności. Urząd ds. AI powinien zapewniać aktualność zasad i procedur klasyfikacji w świetle rozwoju technologicznego. Ponadto państwa członkowskie powinny ustanowić przepisy dotyczące kar, w tym administracyjnych kar pieniężnych i powiadomić o nich Komisję oraz zapewnić ich właściwe i skuteczne wdrożenie przed dniem rozpoczęcia stosowania niniejszego rozporządzenia. Przepisy dotyczące kar należy zatem stosować od dnia 2 sierpnia 2025 r.
(179)
This Regulation should apply from 2 August 2026. However, taking into account the unacceptable risk associated with the use of AI in certain ways, the prohibitions as well as the general provisions of this Regulation should already apply from 2 February 2025. While the full effect of those prohibitions follows with the establishment of the governance and enforcement of this Regulation, anticipating the application of the prohibitions is important to take account of unacceptable risks and to have an effect on other procedures, such as in civil law. Moreover, the infrastructure related to the governance and the conformity assessment system should be operational before 2 August 2026, therefore the provisions on notified bodies and governance structure should apply from 2 August 2025. Given the rapid pace of technological advancements and adoption of general-purpose AI models, obligations for providers of general-purpose AI models should apply from 2 August 2025. Codes of practice should be ready by 2 May 2025 in view of enabling providers to demonstrate compliance on time. The AI Office should ensure that classification rules and procedures are up to date in light of technological developments. In addition, Member States should lay down and notify to the Commission the rules on penalties, including administrative fines, and ensure that they are properly and effectively implemented by the date of application of this Regulation. Therefore the provisions on penalties should apply from 2 August 2025.
(180)
Zgodnie z art. 42 ust. 1 i 2 rozporządzenia (UE) 2018/1725 skonsultowano się z Europejskim Inspektorem Ochrony Danych i Europejską Radą Ochrony Danych, którzy wydali wspólną opinię dnia 18 czerwca 2021 r.,
(180)
The European Data Protection Supervisor and the European Data Protection Board were consulted in accordance with Article 42(1) and (2) of Regulation (EU) 2018/1725 and delivered their joint opinion on 18 June 2021,
PRZYJMUJĄ NINIEJSZE ROZPORZĄDZENIE:
HAVE ADOPTED THIS REGULATION:
1. Niniejsze rozporządzenie stosuje się do:
1. This Regulation applies to:
a)
dostawców wprowadzających do obrotu lub oddających do użytku systemy AI lub wprowadzających do obrotu modele AI ogólnego przeznaczenia w Unii, niezależnie od tego, czy dostawcy ci mają siedzibę lub znajdują się w Unii czy w państwie trzecim;
(a)
providers placing on the market or putting into service AI systems or placing on the market general-purpose AI models in the Union, irrespective of whether those providers are established or located within the Union or in a third country;
b)
podmiotów stosujących systemy AI, które to podmioty mają siedzibę lub znajdują się w Unii;
(b)
deployers of AI systems that have their place of establishment or are located within the Union;
c)
dostawców systemów AI i podmiotów stosujących systemy AI, którzy mają siedzibę lub znajdują się w państwie trzecim, w przypadku gdy wyniki wytworzone przez system AI są wykorzystywane w Unii;
(c)
providers and deployers of AI systems that have their place of establishment or are located in a third country, where the output produced by the AI system is used in the Union;
d)
importerów i dystrybutorów systemów AI;
(d)
importers and distributors of AI systems;
e)
producentów produktu, którzy pod własną nazwą lub znakiem towarowym oraz wraz ze swoim produktem wprowadzają do obrotu lub oddają do użytku system AI;
(e)
product manufacturers placing on the market or putting into service an AI system together with their product and under their own name or trademark;
f)
upoważnionych przedstawicieli dostawców niemających siedziby w Unii;
(f)
authorised representatives of providers, which are not established in the Union;
g)
osób, na które AI ma wpływ i które znajdują się w Unii.
(g)
affected persons that are located in the Union.
2. W przypadku systemów AI zaklasyfikowanych jako systemy AI wysokiego ryzyka zgodnie z art. 6 ust. 1 związanych z produktami, które są objęte unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku I sekcja B, stosuje się wyłącznie art. 6 ust. 1, art. 102–109 i art. 112. Art. 57 stosuje się wyłącznie w zakresie, w jakim wymogi dotyczące systemów AI wysokiego ryzyka ustanowione w niniejszym rozporządzeniu zostały włączone do tego unijnego prawodawstwa harmonizacyjnego.
2. For AI systems classified as high-risk AI systems in accordance with Article 6(1) related to products covered by the Union harmonisation legislation listed in Section B of Annex I, only Article 6(1), Articles 102 to 109 and Article 112 apply. Article 57 applies only in so far as the requirements for high-risk AI systems under this Regulation have been integrated in that Union harmonisation legislation.
3. Niniejszego rozporządzenia nie stosuje się do obszarów wykraczających poza zakres stosowania prawa Unii i w żadnym wypadku nie wpływa ono na kompetencje państw członkowskich w zakresie bezpieczeństwa narodowego, niezależnie od rodzaju podmiotu, któremu państwa członkowskie powierzyły wykonywanie zadań związanych z tymi kompetencjami.
3. This Regulation does not apply to areas outside the scope of Union law, and shall not, in any event, affect the competences of the Member States concerning national security, regardless of the type of entity entrusted by the Member States with carrying out tasks in relation to those competences.
Niniejszego rozporządzenia nie stosuje się do systemów AI, jeżeli – i w zakresie, w jakim – wprowadzono je do obrotu, oddano do użytku lub są one wykorzystywane, ze zmianami lub bez zmian, wyłącznie do celów wojskowych, obronnych lub do celów bezpieczeństwa narodowego, niezależnie od rodzaju podmiotu prowadzącego te działania.
This Regulation does not apply to AI systems where and in so far they are placed on the market, put into service, or used with or without modification exclusively for military, defence or national security purposes, regardless of the type of entity carrying out those activities.
Niniejszego rozporządzenia nie stosuje się do systemów AI, które nie zostały wprowadzone do obrotu ani oddane do użytku w Unii, a których wyniki są wykorzystywane w Unii wyłącznie do celów wojskowych, obronnych lub de celów bezpieczeństwa narodowego, niezależnie od rodzaju podmiotu prowadzącego te działania.
This Regulation does not apply to AI systems which are not placed on the market or put into service in the Union, where the output is used in the Union exclusively for military, defence or national security purposes, regardless of the type of entity carrying out those activities.
4. Niniejszego rozporządzenia nie stosuje się do organów publicznych w państwie trzecim ani do organizacji międzynarodowych objętych zakresem stosowania niniejszego rozporządzenia na podstawie ust. 1, jeżeli te organy lub organizacje wykorzystują systemy AI w ramach współpracy międzynarodowej lub umów międzynarodowych w sprawie ścigania przestępstw i współpracy sądowej zawartych z Unią lub z jednym państwem członkowskim bądź ich większą liczbą, pod warunkiem zapewnienia przez to państwo trzecie lub organizację międzynarodową odpowiednich zabezpieczeń w odniesieniu do ochrony podstawowych praw i wolności osób fizycznych.
4. This Regulation applies neither to public authorities in a third country nor to international organisations falling within the scope of this Regulation pursuant to paragraph 1, where those authorities or organisations use AI systems in the framework of international cooperation or agreements for law enforcement and judicial cooperation with the Union or with one or more Member States, provided that such a third country or international organisation provides adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals.
5. Niniejsze rozporządzenie nie ma wpływu na stosowanie przepisów dotyczących odpowiedzialności dostawców usług pośrednich określonych w rozdziale II rozporządzenia (UE) 2022/2065.
5. This Regulation shall not affect the application of the provisions on the liability of providers of intermediary services as set out in Chapter II of Regulation (EU) 2022/2065.
6. Niniejszego rozporządzenia nie stosuje się do systemów AI lub modeli AI, w tym ich wyników, rozwiniętych i oddanych do użytku wyłącznie do celów badań naukowych i rozwojowych.
6. This Regulation does not apply to AI systems or AI models, including their output, specifically developed and put into service for the sole purpose of scientific research and development.
7. Prawo Unii w zakresie ochrony danych osobowych, prywatności i poufności komunikacji stosuje się do danych osobowych przetwarzanych w związku z prawami i obowiązkami ustanowionymi w niniejszym rozporządzeniu. Niniejsze rozporządzenie nie ma wpływu na rozporządzenia (UE) 2016/679 lub (UE) 2018/1725, ani na dyrektywy 2002/58/WE lub (UE) 2016/680, bez uszczerbku dla art. 10 ust. 5 i art. 59 niniejszego rozporządzenia.
7. Union law on the protection of personal data, privacy and the confidentiality of communications applies to personal data processed in connection with the rights and obligations laid down in this Regulation. This Regulation shall not affect Regulation (EU) 2016/679 or (EU) 2018/1725, or Directive 2002/58/EC or (EU) 2016/680, without prejudice to Article 10(5) and Article 59 of this Regulation.
8. Niniejszego rozporządzenia nie stosuje się do żadnej działalności badawczej, testowej ani rozwojowej dotyczącej systemów AI lub modeli AI przed wprowadzeniem ich do obrotu lub oddaniem ich do użytku. Działalność tego rodzaju prowadzona jest zgodnie z mającym zastosowanie prawem Unii. Niniejsze wyłączenie nie obejmuje testów w warunkach rzeczywistych.
8. This Regulation does not apply to any research, testing or development activity regarding AI systems or AI models prior to their being placed on the market or put into service. Such activities shall be conducted in accordance with applicable Union law. Testing in real world conditions shall not be covered by that exclusion.
9. Niniejsze rozporządzenie nie narusza przepisów ustanowionych w innych aktach prawnych Unii dotyczących ochrony konsumentów i bezpieczeństwa produktów.
9. This Regulation is without prejudice to the rules laid down by other Union legal acts related to consumer protection and product safety.
10. Niniejsze rozporządzenie nie stosuje się do obowiązków podmiotów stosujących będących osobami fizycznymi, które korzystają z systemów AI w ramach czysto osobistej działalności pozazawodowej.
10. This Regulation does not apply to obligations of deployers who are natural persons using AI systems in the course of a purely personal non-professional activity.
11. Niniejsze rozporządzenie nie uniemożliwia Unii ani państwom członkowskim utrzymywania lub wprowadzania przepisów ustawowych, wykonawczych lub administracyjnych, które są korzystniejsze dla pracowników pod względem ochrony ich praw w odniesieniu do korzystania z systemów AI przez pracodawców, ani zachęcania do stosowania korzystniejszych dla pracowników układów zbiorowych lub zezwalania na ich stosowanie.
11. This Regulation does not preclude the Union or Member States from maintaining or introducing laws, regulations or administrative provisions which are more favourable to workers in terms of protecting their rights in respect of the use of AI systems by employers, or from encouraging or allowing the application of collective agreements which are more favourable to workers.
12. Niniejszego rozporządzenia nie stosuje się do systemów AI udostępnianych na podstawie bezpłatnych licencji otwartego oprogramowania, chyba że systemy te są wprowadzane do obrotu lub oddawane do użytku jako systemy AI wysokiego ryzyka lub jako system AI objęty art. 5 lub 50.
12. This Regulation does not apply to AI systems released under free and open-source licences, unless they are placed on the market or put into service as high-risk AI systems or as an AI system that falls under Article 5 or 50.
Zakazane praktyki w zakresie AI
1. Zakazuje się następujących praktyk w zakresie AI:
1. The following AI practices shall be prohibited:
a)
wprowadzania do obrotu, oddawania do użytku lub wykorzystywania systemu AI, który stosuje techniki podprogowe będące poza świadomością danej osoby lub celowe techniki manipulacyjne lub wprowadzające w błąd, czego celem lub skutkiem jest dokonanie znaczącej zmiany zachowania danej osoby lub grupy osób poprzez znaczące ograniczenie ich zdolności do podejmowania świadomych decyzji, powodując tym samym podjęcie przez nie decyzji, której inaczej by nie podjęły, w sposób, który wyrządza lub może wyrządzić u niej, u innej osoby lub u grupy osób poważną szkodę;
(a)
the placing on the market, the putting into service or the use of an AI system that deploys subliminal techniques beyond a person’s consciousness or purposefully manipulative or deceptive techniques, with the objective, or the effect of materially distorting the behaviour of a person or a group of persons by appreciably impairing their ability to make an informed decision, thereby causing them to take a decision that they would not have otherwise taken in a manner that causes or is reasonably likely to cause that person, another person or group of persons significant harm;
b)
wprowadzania do obrotu, oddawania do użytku lub wykorzystywania systemu AI, który wykorzystuje słabości osoby fizycznej lub określonej grupy osób ze względu na ich wiek, niepełnosprawność lub szczególną sytuację społeczną lub ekonomiczną, którego celem lub skutkiem jest dokonanie znaczącej zmiany zachowania danej osoby lub osoby należącej do tej grupy w sposób, który wyrządza lub może z uzasadnionym prawdopodobieństwem wyrządzić u tej osoby lub u innej osoby poważną szkodę;
(b)
the placing on the market, the putting into service or the use of an AI system that exploits any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability or a specific social or economic situation, with the objective, or the effect, of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm;
c)
wprowadzania do obrotu, oddawania do użytku lub wykorzystywania systemów AI na potrzeby oceny lub klasyfikacji osób fizycznych lub grup osób prowadzonej przez określony czas na podstawie ich zachowania społecznego lub znanych, wywnioskowanych lub przewidywanych cech osobistych lub cech osobowości, kiedy to scoring społeczny prowadzi do jednego lub obu z następujących skutków:
(c)
the placing on the market, the putting into service or the use of AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following:
(i)
krzywdzącego lub niekorzystnego traktowania niektórych osób fizycznych lub grup osób w kontekstach społecznych, które nie są związane z kontekstami, w których pierwotnie wygenerowano lub zebrano dane;
(i)
detrimental or unfavourable treatment of certain natural persons or groups of persons in social contexts that are unrelated to the contexts in which the data was originally generated or collected;
(ii)
krzywdzącego lub niekorzystnego traktowania niektórych osób fizycznych lub grup osób, które jest nieuzasadnione lub nieproporcjonalne do ich zachowania społecznego lub jego wagi;
(ii)
detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity;
d)
wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemu AI do przeprowadzania ocen ryzyka w odniesieniu do osób fizycznych, by ocenić lub przewidzieć ryzyko popełnienia przestępstwa przez osobę fizyczną, wyłącznie na podstawie profilowania osoby fizycznej lub oceny jej cech osobowości i cech charakterystycznych; zakaz ten nie ma zastosowania do systemów AI wykorzystywanych do wspierania dokonywanej przez człowieka oceny udziału danej osoby w działalności przestępczej, która to ocena opiera się już na obiektywnych i weryfikowalnych faktach bezpośrednio związanych z działalnością przestępczą;
(d)
the placing on the market, the putting into service for this specific purpose, or the use of an AI system for making risk assessments of natural persons in order to assess or predict the risk of a natural person committing a criminal offence, based solely on the profiling of a natural person or on assessing their personality traits and characteristics; this prohibition shall not apply to AI systems used to support the human assessment of the involvement of a person in a criminal activity, which is already based on objective and verifiable facts directly linked to a criminal activity;
e)
wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów AI, które tworzą lub rozbudowują bazy danych służące rozpoznawaniu twarzy poprzez nieukierunkowane pozyskiwanie (ang. untargeted scraping) wizerunków twarzy z internetu lub nagrań z telewizji przemysłowej;
(e)
the placing on the market, the putting into service for this specific purpose, or the use of AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage;
f)
wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów AI do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy lub instytucjach edukacyjnych, z wyjątkiem przypadków, w których system AI ma zostać wdrożony lub wprowadzony do obrotu ze względów medycznych lub bezpieczeństwa;
(f)
the placing on the market, the putting into service for this specific purpose, or the use of AI systems to infer emotions of a natural person in the areas of workplace and education institutions, except where the use of the AI system is intended to be put in place or into the market for medical or safety reasons;
g)
wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów kategoryzacji biometrycznej, które indywidualnie kategoryzują osoby fizyczne w oparciu o ich dane biometryczne, by wydedukować lub wywnioskować informacje na temat ich rasy, poglądów politycznych, przynależności do związków zawodowych, przekonań religijnych lub światopoglądowych, seksualności lub orientacji seksualnej; zakaz ten nie obejmuje przypadków etykietowania ani filtrowania pozyskanych zgodnie z prawem zbiorów danych biometrycznych, takich jak obrazy, w oparciu o dane biometryczne, ani kategoryzacji danych biometrycznych w obszarze ścigania przestępstw;
(g)
the placing on the market, the putting into service for this specific purpose, or the use of biometric categorisation systems that categorise individually natural persons based on their biometric data to deduce or infer their race, political opinions, trade union membership, religious or philosophical beliefs, sex life or sexual orientation; this prohibition does not cover any labelling or filtering of lawfully acquired biometric datasets, such as images, based on biometric data or categorizing of biometric data in the area of law enforcement;
h)
wykorzystywania systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw, chyba że – i w zakresie, w jakim – takie wykorzystanie jest bezwzględnie konieczne do jednego z następujących celów:
(h)
the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement, unless and in so far as such use is strictly necessary for one of the following objectives:
(i)
ukierunkowanego poszukiwania konkretnych ofiar uprowadzeń, handlu ludźmi lub wykorzystywania seksualnego ludzi, a także poszukiwania osób zaginionych;
(i)
the targeted search for specific victims of abduction, trafficking in human beings or sexual exploitation of human beings, as well as the search for missing persons;
(ii)
zapobiegnięcia konkretnemu, istotnemu i bezpośredniemu zagrożeniu życia lub bezpieczeństwa fizycznego osób fizycznych lub rzeczywistemu i aktualnemu lub rzeczywistemu i dającemu się przewidzieć zagrożeniu atakiem terrorystycznym;
(ii)
the prevention of a specific, substantial and imminent threat to the life or physical safety of natural persons or a genuine and present or genuine and foreseeable threat of a terrorist attack;
(iii)
lokalizowania lub identyfikowania osoby podejrzanej o popełnienie przestępstwa w celu prowadzenia postępowania przygotowawczego lub ścigania lub wykonania kar w odniesieniu do przestępstw, o których mowa w załączniku II, podlegających w danym państwie członkowskim karze pozbawienia wolności lub środkowi polegającemu na pozbawieniu wolności przez okres, którego górna granica wynosi co najmniej cztery lata.
(iii)
the localisation or identification of a person suspected of having committed a criminal offence, for the purpose of conducting a criminal investigation or prosecution or executing a criminal penalty for offences referred to in Annex II and punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years.
Akapit pierwszy lit. h) pozostaje bez uszczerbku dla art. 9 rozporządzenia (UE) 2016/679 w odniesieniu do przetwarzania danych biometrycznych do celów innych niż ściganie przestępstw.
Point (h) of the first subparagraph is without prejudice to Article 9 of Regulation (EU) 2016/679 for the processing of biometric data for purposes other than law enforcement.
2. Systemy zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw w odniesieniu do któregokolwiek z celów, o których mowa w ust. 1 akapit pierwszy lit. h), mogą być wykorzystywane do celów określonych w tej literze, jedynie w celu potwierdzenia tożsamości konkretnej poszukiwanej osoby, z uwzględnieniem przy tym następujących elementów:
2. The use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), shall be deployed for the purposes set out in that point only to confirm the identity of the specifically targeted individual, and it shall take into account the following elements:
a)
charakter sytuacji powodującej konieczność ewentualnego wykorzystania takiego systemu, w szczególności powagę, prawdopodobieństwo i skalę szkody, która zostałaby wyrządzona w przypadku niewykorzystania tego systemu;
(a)
the nature of the situation giving rise to the possible use, in particular the seriousness, probability and scale of the harm that would be caused if the system were not used;
b)
konsekwencje wykorzystania takiego systemu dla praw i wolności wszystkich zainteresowanych osób, w szczególności powagę, prawdopodobieństwo i skalę tych konsekwencji.
(b)
the consequences of the use of the system for the rights and freedoms of all persons concerned, in particular the seriousness, probability and scale of those consequences.
Ponadto wykorzystywanie systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw w odniesieniu do któregokolwiek z celów, o których mowa w ust. 1 akapit pierwszy lit. h) niniejszego artykułu, musi przebiegać z zachowaniem niezbędnych i proporcjonalnych zabezpieczeń i warunków w odniesieniu do takiego wykorzystywania zgodnie z zezwalającym na takie wykorzystanie prawem krajowym, w szczególności w odniesieniu do ograniczeń czasowych, geograficznych i osobowych. Wykorzystanie systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej jest dozwolone tylko wtedy, gdy organ ścigania przeprowadził ocenę skutków dla praw podstawowych zgodnie z art. 27 oraz zarejestrował system w bazie danych UE zgodnie z przepisami art. 49. W należycie uzasadnionych nadzwyczajnych przypadkach można jednak rozpocząć korzystanie z takich systemów bez rejestracji w bazie danych UE, pod warunkiem że taka rejestracja zostanie dokonana bez zbędnej zwłoki.
In addition, the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), of this Article shall comply with necessary and proportionate safeguards and conditions in relation to the use in accordance with the national law authorising the use thereof, in particular as regards the temporal, geographic and personal limitations. The use of the ‘real-time’ remote biometric identification system in publicly accessible spaces shall be authorised only if the law enforcement authority has completed a fundamental rights impact assessment as provided for in Article 27 and has registered the system in the EU database according to Article 49. However, in duly justified cases of urgency, the use of such systems may be commenced without the registration in the EU database, provided that such registration is completed without undue delay.
3. Na potrzeby ust. 1 akapit pierwszy lit. h) i ust. 2, każde wykorzystanie systemu zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw wymaga uzyskania uprzedniego zezwolenia udzielonego przez organ wymiaru sprawiedliwości lub wydający wiążące decyzje niezależny organ administracyjny państwa członkowskiego, w którym ma nastąpić wykorzystanie; zezwolenie to wydawane jest na uzasadniony wniosek i zgodnie ze szczegółowymi przepisami prawa krajowego, o których mowa w ust. 5. W należycie uzasadnionych pilnych przypadkach korzystanie z takiego systemu można jednak rozpocząć bez zezwolenia, pod warunkiem że wniosek o takie zezwolenie zostanie złożony bez zbędnej zwłoki, najpóźniej w ciągu 24 godzin. W przypadku odmowy udzielenia takiego zezwolenia wykorzystywanie systemu wstrzymuje się ze skutkiem natychmiastowym, a wszystkie dane, a także rezultaty i wyniki uzyskane podczas tego wykorzystania musza zostać natychmiast odrzucone i usunięte.
3. For the purposes of paragraph 1, first subparagraph, point (h) and paragraph 2, each use for the purposes of law enforcement of a ‘real-time’ remote biometric identification system in publicly accessible spaces shall be subject to a prior authorisation granted by a judicial authority or an independent administrative authority whose decision is binding of the Member State in which the use is to take place, issued upon a reasoned request and in accordance with the detailed rules of national law referred to in paragraph 5. However, in a duly justified situation of urgency, the use of such system may be commenced without an authorisation provided that such authorisation is requested without undue delay, at the latest within 24 hours. If such authorisation is rejected, the use shall be stopped with immediate effect and all the data, as well as the results and outputs of that use shall be immediately discarded and deleted.
Właściwy organ wymiaru sprawiedliwości lub wydający wiążące decyzje niezależny organ administracyjny udziela zezwolenia tylko wtedy, gdy jest przekonany, na podstawie obiektywnych dowodów lub jasnych przesłanek, które mu przedstawiono, że wykorzystanie danego systemu zdalnej identyfikacji biometrycznej w czasie rzeczywistym jest konieczne i proporcjonalne do osiągnięcia jednego z celów określonych w ust. 1 akapit pierwszy lit. h), wskazanego we wniosku, a w szczególności ogranicza się do tego, co jest bezwzględnie konieczne w odniesieniu do przedziału czasowego, a także zakresu geograficznego i podmiotowego. Podejmując decyzję w sprawie wniosku organ ten bierze pod uwagę elementy, o których mowa w ust. 2. Nie można wydać decyzji wywołującej niepożądane skutki prawne dla danej osoby wyłącznie na podstawie wyników uzyskanych z systemu zdalnej identyfikacji biometrycznej w czasie rzeczywistym.
The competent judicial authority or an independent administrative authority whose decision is binding shall grant the authorisation only where it is satisfied, on the basis of objective evidence or clear indications presented to it, that the use of the ‘real-time’ remote biometric identification system concerned is necessary for, and proportionate to, achieving one of the objectives specified in paragraph 1, first subparagraph, point (h), as identified in the request and, in particular, remains limited to what is strictly necessary concerning the period of time as well as the geographic and personal scope. In deciding on the request, that authority shall take into account the elements referred to in paragraph 2. No decision that produces an adverse legal effect on a person may be taken based solely on the output of the ‘real-time’ remote biometric identification system.
4. Bez uszczerbku dla ust. 3, o każdym wykorzystaniu systemu zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw powiadamia się właściwy organ nadzoru rynku i krajowy organ ochrony danych zgodnie z przepisami prawa krajowego, o których mowa w ust. 5. Powiadomienie zawiera co najmniej informacje określone w ust. 6 i nie może zawierać wrażliwych danych operacyjnych.
4. Without prejudice to paragraph 3, each use of a ‘real-time’ remote biometric identification system in publicly accessible spaces for law enforcement purposes shall be notified to the relevant market surveillance authority and the national data protection authority in accordance with the national rules referred to in paragraph 5. The notification shall, as a minimum, contain the information specified under paragraph 6 and shall not include sensitive operational data.
5. Państwo członkowskie może podjąć decyzję o wprowadzeniu możliwości pełnego lub częściowego zezwolenia na wykorzystywanie systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw w granicach i na warunkach wymienionych w ust. 1 akapit pierwszy lit. h) i w ust. 2 i 3. Zainteresowane państwa członkowskie ustanawiają w swoim prawie krajowym niezbędne szczegółowe przepisy dotyczące wniosku o udzielenie zezwoleń, o których mowa w ust. 3, wydawanie i wykonywanie tych zezwoleń oraz ich nadzorowanie składanie sprawozdań w ich sprawie. W przepisach tych określa się również, w odniesieniu do których celów wymienionych w ust. 1 akapit pierwszy lit. h) – w tym w odniesieniu do których przestępstw wymienionych w ust. 1 akapit pierwszy lit. h) ppkt (iii) – właściwe organy mogą uzyskać zezwolenie na wykorzystanie tych systemów do celów celu ścigania przestępstw. Państwa członkowskie powiadamiają Komisję o tych przepisach najpóźniej 30 dni po ich przyjęciu. Państwa członkowskie mogą wprowadzić, zgodnie z prawem Unii, bardziej restrykcyjne przepisy dotyczące wykorzystania systemów zdalnej identyfikacji biometrycznej.
5. A Member State may decide to provide for the possibility to fully or partially authorise the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement within the limits and under the conditions listed in paragraph 1, first subparagraph, point (h), and paragraphs 2 and 3. Member States concerned shall lay down in their national law the necessary detailed rules for the request, issuance and exercise of, as well as supervision and reporting relating to, the authorisations referred to in paragraph 3. Those rules shall also specify in respect of which of the objectives listed in paragraph 1, first subparagraph, point (h), including which of the criminal offences referred to in point (h)(iii) thereof, the competent authorities may be authorised to use those systems for the purposes of law enforcement. Member States shall notify those rules to the Commission at the latest 30 days following the adoption thereof. Member States may introduce, in accordance with Union law, more restrictive laws on the use of remote biometric identification systems.
6. Krajowe organy nadzoru rynku i krajowe organy ochrony danych państw członkowskich, które zostały powiadomione o wykorzystaniu systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw zgodnie z ust. 4, przedkładają Komisji roczne sprawozdania z takiego wykorzystania. W tym celu Komisja przekazuje państwom członkowskim i krajowym organom nadzoru rynku i organom ochrony danych wzór formularza zawierającego informacje na temat liczby decyzji podjętych przez właściwe organy wymiaru sprawiedliwości lub wydający wiążące decyzje niezależny organ administracyjny w odniesieniu do wniosków o udzielenie zezwolenia zgodnie z ust. 3 oraz wyników ich rozpatrzenia.
6. National market surveillance authorities and the national data protection authorities of Member States that have been notified of the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for law enforcement purposes pursuant to paragraph 4 shall submit to the Commission annual reports on such use. For that purpose, the Commission shall provide Member States and national market surveillance and data protection authorities with a template, including information on the number of the decisions taken by competent judicial authorities or an independent administrative authority whose decision is binding upon requests for authorisations in accordance with paragraph 3 and their result.
7. Komisja publikuje roczne sprawozdania na temat wykorzystania systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw, oparte na zagregowanych danych w państwach członkowskich przekazanych w sprawozdaniach rocznych, o których mowa w ust. 6. Te sprawozdania roczne nie mogą zawierać wrażliwych danych operacyjnych dotyczących powiązanych działań w zakresie ścigania przestępstw.
7. The Commission shall publish annual reports on the use of real-time remote biometric identification systems in publicly accessible spaces for law enforcement purposes, based on aggregated data in Member States on the basis of the annual reports referred to in paragraph 6. Those annual reports shall not include sensitive operational data of the related law enforcement activities.
8. Niniejszy artykuł nie ma wpływu na zakazy mające zastosowanie w przypadku, gdy praktyka w zakresie AI narusza inne przepisy prawa Unii.
8. This Article shall not affect the prohibitions that apply where an AI practice infringes other Union law.
Zasady klasyfikacji systemów AI wysokiego ryzyka
Classification rules for high-risk AI systems
1. Bez względu na to, czy system AI wprowadza się do obrotu lub oddaje do użytku niezależnie od produktów, o których mowa w lit. a) i b), taki system AI uznaje się za system wysokiego ryzyka, jeżeli spełnione są oba poniższe warunki:
1. Irrespective of whether an AI system is placed on the market or put into service independently of the products referred to in points (a) and (b), that AI system shall be considered to be high-risk where both of the following conditions are fulfilled:
a)
system AI jest przeznaczony do wykorzystania jako związany z bezpieczeństwem element produktu objętego unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku I lub sam system AI jest takim produktem;
(a)
the AI system is intended to be used as a safety component of a product, or the AI system is itself a product, covered by the Union harmonisation legislation listed in Annex I;
b)
produkt, którego związanym z bezpieczeństwem elementem jest zgodnie z lit. a) system AI, lub sam system AI jako produkt podlegają – na podstawie unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku I – ocenie zgodności przez stronę trzecią w związku z wprowadzeniem tego produktu do obrotu lub oddaniem go do użytku.
(b)
the product whose safety component pursuant to point (a) is the AI system, or the AI system itself as a product, is required to undergo a third-party conformity assessment, with a view to the placing on the market or the putting into service of that product pursuant to the Union harmonisation legislation listed in Annex I.
2. Oprócz systemów AI wysokiego ryzyka, o których mowa w ust. 1, za systemy wysokiego ryzyka uznaje się systemy AI, o których mowa w załączniku III.
2. In addition to the high-risk AI systems referred to in paragraph 1, AI systems referred to in Annex III shall be considered to be high-risk.
3. Na zasadzie odstępstwa od ust. 2 systemu AI, o którym mowa w załączniku III, nie uznaje się za system wysokiego ryzyka, w przypadku gdy nie stwarza on znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych osób fizycznych, w tym poprzez brak znaczącego wpływu na wynik procesu decyzyjnego.
3. By derogation from paragraph 2, an AI system referred to in Annex III shall not be considered to be high-risk where it does not pose a significant risk of harm to the health, safety or fundamental rights of natural persons, including by not materially influencing the outcome of decision making.
Akapit pierwszy stosuje się w przypadku, gdy spełniony jest którykolwiek z następujących warunków:
The first subparagraph shall apply where any of the following conditions is fulfilled:
a)
system AI jest przeznaczony do wykonywania wąsko określonego zadania proceduralnego;
(a)
the AI system is intended to perform a narrow procedural task;
b)
system AI jest przeznaczony do poprawienia wyniku zakończonej uprzednio czynności wykonywanej przez człowieka;
(b)
the AI system is intended to improve the result of a previously completed human activity;
c)
system AI jest przeznaczony do wykrywania wzorców podejmowania decyzji lub odstępstw od wzorców podjętych uprzednio decyzji i nie ma na celu zastąpienia ani wywarcia wpływu na zakończoną uprzednio ocenę dokonaną przez człowieka – bez odpowiedniej weryfikacji przez człowieka; lub
(c)
the AI system is intended to detect decision-making patterns or deviations from prior decision-making patterns and is not meant to replace or influence the previously completed human assessment, without proper human review; or
d)
system AI jest przeznaczony do wykonywania zadań przygotowawczych w kontekście oceny istotnej z punktu widzenia przypadków wykorzystania wymienionych w załączniku III.
(d)
the AI system is intended to perform a preparatory task to an assessment relevant for the purposes of the use cases listed in Annex III.
Niezależnie od akapitu pierwszego system AI, o którym mowa w załączniku III, zawsze uznaje się za system wysokiego ryzyka, w przypadku gdy system ten dokonuje profilowania osób fizycznych.
Notwithstanding the first subparagraph, an AI system referred to in Annex III shall always be considered to be high-risk where the AI system performs profiling of natural persons.
4. Dostawca, który uważa, że system AI, o którym mowa w załączniku III, nie jest system wysokiego ryzyka, przed wprowadzeniem tego systemu do obrotu lub oddaniem go do użytku dokumentuje swoją ocenę. Taki dostawca podlega obowiązkowi rejestracji określonemu w art. 49 ust. 2. Na wniosek właściwych organów krajowych dostawca przedstawia dokumentację tej oceny.
4. A provider who considers that an AI system referred to in Annex III is not high-risk shall document its assessment before that system is placed on the market or put into service. Such provider shall be subject to the registration obligation set out in Article 49(2). Upon request of national competent authorities, the provider shall provide the documentation of the assessment.
5. Po konsultacji z Europejską Radą ds. Sztucznej Inteligencji (zwaną dalej „Radą ds. AI”), Komisja przedstawi nie później niż w dniu 2 lutego 2026 r. wytyczne określające praktyczne wdrożenie niniejszego artykułu zgodnie z art. 96 wraz z kompleksowym wykazem praktycznych przykładów przypadków wykorzystania systemów AI, które stanowią przypadki wykorzystania wysokiego ryzyka oraz które nie stanowią przypadków takiego wykorzystania.
5. The Commission shall, after consulting the European Artificial Intelligence Board (the ‘Board’), and no later than 2 February 2026, provide guidelines specifying the practical implementation of this Article in line with Article 96 together with a comprehensive list of practical examples of use cases of AI systems that are high-risk and not high-risk.
6. Komisja jest uprawniona do przyjmowania aktów delegowanych zgodnie z art. 97 w celu zmiany akapitu drugiego ust. 3 niniejszego artykułu poprzez dodanie nowych warunków do warunków ustanowionych w tym przepisie lub ich zmianę, w przypadku gdy istnieją konkretne i wiarygodne dowody na istnienie systemów AI, które wchodzą w zakres stosowania załącznika III, ale nie stwarzają znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych osób fizycznych.
6. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend paragraph 3, second subparagraph, of this Article by adding new conditions to those laid down therein, or by modifying them, where there is concrete and reliable evidence of the existence of AI systems that fall under the scope of Annex III, but do not pose a significant risk of harm to the health, safety or fundamental rights of natural persons.
7. Komisja przyjmuje zgodnie z art 97 akty delegowane w celu zmiany akapitu drugiego ust. 3 niniejszego artykułu poprzez usunięcie któregokolwiek z warunków ustanowionych w tym przepisie, w przypadku gdy istnieją konkretne i wiarygodne dowody na to, że jest to konieczne w celu utrzymania poziomu ochrony zdrowia, bezpieczeństwa i praw podstawowych przewidzianego w niniejszym rozporządzeniu.
7. The Commission shall adopt delegated acts in accordance with Article 97 in order to amend paragraph 3, second subparagraph, of this Article by deleting any of the conditions laid down therein, where there is concrete and reliable evidence that this is necessary to maintain the level of protection of health, safety and fundamental rights provided for by this Regulation.
8. Zmiana warunków ustanowionych w ust. 3 akapit drugi, przyjęta zgodnie z ust. 6 i 7 niniejszego artykułu, nie może prowadzić do obniżenia ogólnego poziomu ochrony zdrowia, bezpieczeństwa i praw podstawowych przewidzianego w niniejszym rozporządzeniu i musi zapewniać spójność z aktami delegowanymi przyjętymi zgodnie z art. 7 ust. 1 oraz uwzględniać rozwój rynku i technologii.
8. Any amendment to the conditions laid down in paragraph 3, second subparagraph, adopted in accordance with paragraphs 6 and 7 of this Article shall not decrease the overall level of protection of health, safety and fundamental rights provided for by this Regulation and shall ensure consistency with the delegated acts adopted pursuant to Article 7(1), and take account of market and technological developments.
System zarządzania ryzykiem
1. Ustanawia się, wdraża, dokumentuje i obsługuje system zarządzania ryzykiem w odniesieniu do systemów AI wysokiego ryzyka.
1. A risk management system shall be established, implemented, documented and maintained in relation to high-risk AI systems.
2. Przez system zarządzania ryzykiem rozumie się ciągły, iteracyjny proces, planowany i realizowany przez cały cykl życia systemu AI wysokiego ryzyka, wymagający regularnego systematycznego przeglądu i aktualizacji. Obejmuje on następujące etapy:
2. The risk management system shall be understood as a continuous iterative process planned and run throughout the entire lifecycle of a high-risk AI system, requiring regular systematic review and updating. It shall comprise the following steps:
a)
identyfikację i analizę znanego i dającego się racjonalnie przewidzieć ryzyka, jakie dany system AI wysokiego ryzyka może stwarzać dla zdrowia, bezpieczeństwa lub praw podstawowych podczas jego stosowania zgodnie z przeznaczeniem;
(a)
the identification and analysis of the known and the reasonably foreseeable risks that the high-risk AI system can pose to health, safety or fundamental rights when the high-risk AI system is used in accordance with its intended purpose;
b)
oszacowanie i ocenę ryzyka, jakie może wystąpić podczas wykorzystywania systemu AI wysokiego ryzyka zgodnie z przeznaczeniem i w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania;
(b)
the estimation and evaluation of the risks that may emerge when the high-risk AI system is used in accordance with its intended purpose, and under conditions of reasonably foreseeable misuse;
c)
ocenę innego mogącego wystąpić ryzyka na podstawie analizy danych zebranych z systemu monitorowania po wprowadzeniu do obrotu, o którym mowa w art. 72;
(c)
the evaluation of other risks possibly arising, based on the analysis of data gathered from the post-market monitoring system referred to in Article 72;
d)
przyjęcie odpowiednich i ukierunkowanych środków zarządzania ryzykiem zaprojektowanych w celu przeciwdziałania ryzyku zidentyfikowanemu zgodnie z lit. a).
(d)
the adoption of appropriate and targeted risk management measures designed to address the risks identified pursuant to point (a).
3. Ryzyko, o którym mowa w niniejszym artykule, oznacza tylko takie rodzaje ryzyka, które można stosownie ograniczyć lub wyeliminować poprzez rozwój lub zaprojektowanie systemu AI wysokiego ryzyka lub poprzez zapewnienie odpowiednich informacji technicznych.
3. The risks referred to in this Article shall concern only those which may be reasonably mitigated or eliminated through the development or design of the high-risk AI system, or the provision of adequate technical information.
4. W ramach środków zarządzania ryzykiem, o których mowa w ust. 2 lit. d), należycie uwzględnia się skutki i możliwe interakcje wynikające z łącznego stosowania wymogów ustanowionych w niniejszej sekcji, w celu skuteczniejszego minimalizowania ryzyka przy jednoczesnym osiągnięciu odpowiedniej równowagi we wdrażaniu środków służących spełnieniu tych wymogów.
4. The risk management measures referred to in paragraph 2, point (d), shall give due consideration to the effects and possible interaction resulting from the combined application of the requirements set out in this Section, with a view to minimising risks more effectively while achieving an appropriate balance in implementing the measures to fulfil those requirements.
5. Środki zarządzania ryzykiem, o których mowa w ust. 2 lit. d), muszą być takie, aby odpowiednie ryzyko szczątkowe związane z każdym zagrożeniem, jak również ogólne ryzyko szczątkowe systemów AI wysokiego ryzyka, oceniano jako dopuszczalne.
5. The risk management measures referred to in paragraph 2, point (d), shall be such that the relevant residual risk associated with each hazard, as well as the overall residual risk of the high-risk AI systems is judged to be acceptable.
Przy określaniu najodpowiedniejszych środków zarządzania ryzykiem zapewnia się, co następuje:
In identifying the most appropriate risk management measures, the following shall be ensured:
a)
eliminację lub ograniczenie – w zakresie, w jakim jest to technicznie wykonalne – ryzyka zidentyfikowanego i ocenionego zgodnie z ust. 2 poprzez odpowiedni projekt i rozwój systemu AI wysokiego ryzyka;
(a)
elimination or reduction of risks identified and evaluated pursuant to paragraph 2 in as far as technically feasible through adequate design and development of the high-risk AI system;
b)
w stosownych przypadkach – wdrożenie odpowiednich środków służących ograniczeniu i kontroli ryzyka, którego nie można wyeliminować;
(b)
where appropriate, implementation of adequate mitigation and control measures addressing risks that cannot be eliminated;
c)
dostarczenie informacji wymaganych zgodnie z art. 13 oraz, w stosownych przypadkach, przeszkolenie podmiotów stosujących.
(c)
provision of information required pursuant to Article 13 and, where appropriate, training to deployers.
W celu eliminowania lub ograniczania ryzyka związanego z wykorzystaniem systemu AI wysokiego ryzyka należytą uwagę zwraca się na wiedzę techniczną, doświadczenie, wykształcenie i szkolenia, jakich oczekuje się od podmiotu stosującego, oraz zakładany kontekst, w którym ma być stosowany system.
With a view to eliminating or reducing risks related to the use of the high-risk AI system, due consideration shall be given to the technical knowledge, experience, education, the training to be expected by the deployer, and the presumable context in which the system is intended to be used.
6. Systemy AI wysokiego ryzyka testuje się w celu określenia najodpowiedniejszych i ukierunkowanych środków zarządzania ryzykiem. Testy zapewniają, by systemy AI wysokiego ryzyka działały zgodnie z ich przeznaczeniem oraz były zgodne z wymogami ustanowionymi w niniejszej sekcji.
6. High-risk AI systems shall be tested for the purpose of identifying the most appropriate and targeted risk management measures. Testing shall ensure that high-risk AI systems perform consistently for their intended purpose and that they are in compliance with the requirements set out in this Section.
7. Procedury testowe mogą obejmować testy w warunkach rzeczywistych zgodnie z art. 60.
7. Testing procedures may include testing in real-world conditions in accordance with Article 60.
8. Testy systemów AI wysokiego ryzyka przeprowadza się, w stosownych przypadkach, w dowolnym momencie procesu rozwoju systemu, a w każdym przypadku przed wprowadzeniem go do obrotu lub oddaniem do użytku. Testy przeprowadza się w odniesieniu do uprzednio określonych wskaźników i progów probabilistycznych, stosownych ze względu na przeznaczenie systemu AI wysokiego ryzyka.
8. The testing of high-risk AI systems shall be performed, as appropriate, at any time throughout the development process, and, in any event, prior to their being placed on the market or put into service. Testing shall be carried out against prior defined metrics and probabilistic thresholds that are appropriate to the intended purpose of the high-risk AI system.
9. Przy wdrażaniu systemu zarządzania ryzykiem przewidzianego w ust. 1–7 dostawcy zwracają uwagę na to, czy dany system AI wysokiego ryzyka w świetle swojego przeznaczenia może mieć niekorzystny wpływ na osoby poniżej 18 roku życia oraz, w stosownych przypadkach, na inne grupy szczególnie wrażliwe.
9. When implementing the risk management system as provided for in paragraphs 1 to 7, providers shall give consideration to whether in view of its intended purpose the high-risk AI system is likely to have an adverse impact on persons under the age of 18 and, as appropriate, other vulnerable groups.
10. W odniesieniu do dostawców systemów AI wysokiego ryzyka, którzy podlegają wymogom dotyczącym wewnętrznych procesów zarządzania ryzykiem na podstawie innych odpowiednich przepisów prawa Unii, aspekty przewidziane w ust. 1–9 mogą być częścią procedur zarządzania ryzykiem ustanowionych zgodnie z tym prawem lub łączyć się z tymi procedurami.
10. For providers of high-risk AI systems that are subject to requirements regarding internal risk management processes under other relevant provisions of Union law, the aspects provided in paragraphs 1 to 9 may be part of, or combined with, the risk management procedures established pursuant to that law.
Dane i zarządzanie danymi
1. Systemy AI wysokiego ryzyka, które wykorzystują techniki obejmujące trenowanie modeli AI z wykorzystaniem danych, rozwija się na podstawie zbiorów danych treningowych, walidacyjnych i testowych spełniających kryteria jakości, o których mowa w ust. 2–5, w każdym przypadku gdy takie zbiory danych są wykorzystywane.
1. High-risk AI systems which make use of techniques involving the training of AI models with data shall be developed on the basis of training, validation and testing data sets that meet the quality criteria referred to in paragraphs 2 to 5 whenever such data sets are used.
2. Zbiory danych treningowych, walidacyjnych i testowych podlegają praktykom w zakresie zarządzania danymi stosownym do przeznaczenia danego systemu AI wysokiego ryzyka. Praktyki te dotyczą w szczególności:
2. Training, validation and testing data sets shall be subject to data governance and management practices appropriate for the intended purpose of the high-risk AI system. Those practices shall concern in particular:
a)
odpowiednich decyzji projektowych;
(a)
the relevant design choices;
b)
procesów zbierania danych i pochodzenia danych oraz, w przypadku danych osobowych, pierwotnego celu zbierania danych;
(b)
data collection processes and the origin of data, and in the case of personal data, the original purpose of the data collection;
c)
odpowiednich operacji przetwarzania na potrzeby przygotowania danych, takich jak dodawanie komentarzy, etykietowanie, czyszczenie, aktualizacja, wzbogacanie i agregacja;
(c)
relevant data-preparation processing operations, such as annotation, labelling, cleaning, updating, enrichment and aggregation;
d)
sformułowania założeń, w szczególności w odniesieniu do informacji, do których pomiaru i reprezentowania mają służyć dane;
(d)
the formulation of assumptions, in particular with respect to the information that the data are supposed to measure and represent;
e)
oceny dostępności, ilości i przydatności zbiorów danych, które są potrzebne;
(e)
an assessment of the availability, quantity and suitability of the data sets that are needed;
f)
badania pod kątem ewentualnej stronniczości, która może mieć wpływ na zdrowie i bezpieczeństwo osób, negatywnie wpływać na prawa podstawowe lub prowadzić do dyskryminacji zakazanej na mocy prawa Unii, zwłaszcza w przypadku gdy dane wyjściowe wpływają na dane wejściowe wykorzystywane na potrzeby przyszłych operacji;
(f)
examination in view of possible biases that are likely to affect the health and safety of persons, have a negative impact on fundamental rights or lead to discrimination prohibited under Union law, especially where data outputs influence inputs for future operations;
g)
odpowiednich środków służących wykrywaniu ewentualnej stronniczości określonej zgodnie z lit. f) oraz zapobieganiu jej i jej ograniczaniu;
(g)
appropriate measures to detect, prevent and mitigate possible biases identified according to point (f);
h)
określenia istotnych luk w danych lub braków w danych, które uniemożliwiają zgodność z niniejszym rozporządzeniem, oraz tego, w jaki sposób można zaradzić tym lukom i brakom.
(h)
the identification of relevant data gaps or shortcomings that prevent compliance with this Regulation, and how those gaps and shortcomings can be addressed.
3. Zbiory danych treningowych, walidacyjnych i testowych muszą być adekwatne, wystarczająco reprezentatywne oraz w jak największym stopniu wolne od błędów i kompletne z punktu widzenia przeznaczenia. Muszą się one charakteryzować odpowiednimi właściwościami statystycznymi, w tym, w stosownych przypadkach, w odniesieniu do osób lub grup osób, wobec których ma być stosowany system AI wysokiego ryzyka. Te kryteria zbiorów danych mogą zostać spełnione na poziomie pojedynczych zbiorów danych lub na poziomie ich kombinacji.
3. Training, validation and testing data sets shall be relevant, sufficiently representative, and to the best extent possible, free of errors and complete in view of the intended purpose. They shall have the appropriate statistical properties, including, where applicable, as regards the persons or groups of persons in relation to whom the high-risk AI system is intended to be used. Those characteristics of the data sets may be met at the level of individual data sets or at the level of a combination thereof.
4. Zbiory danych muszą uwzględniać, w zakresie wymaganym z uwagi na ich przeznaczenie, cechy lub elementy, które są specyficzne dla określonego otoczenia geograficznego, kontekstualnego, behawioralnego lub funkcjonalnego, w którym ma być wykorzystywany system AI wysokiego ryzyka.
4. Data sets shall take into account, to the extent required by the intended purpose, the characteristics or elements that are particular to the specific geographical, contextual, behavioural or functional setting within which the high-risk AI system is intended to be used.
5. W zakresie, w jakim jest to bezwzględnie konieczne do celów zapewnienia zgodnie z ust. 2 lit. f) i g) niniejszego artykułu wykrywania i korygowania stronniczości systemów AI wysokiego ryzyka, dostawcy takich systemów mogą wyjątkowo przetwarzać szczególne kategorie danych osobowych, pod warunkiem stosowania odpowiednich zabezpieczeń w zakresie podstawowych praw i wolności osób fizycznych. Oprócz przepisów określonych w rozporządzeniach (UE) 2016/679 i (UE) 2018/1725 oraz dyrektywie (UE) 2016/680, aby takie przetwarzanie mogło się odbyć, przetwarzanie takie musi spełniać wszystkie następujące warunki:
5. To the extent that it is strictly necessary for the purpose of ensuring bias detection and correction in relation to the high-risk AI systems in accordance with paragraph (2), points (f) and (g) of this Article, the providers of such systems may exceptionally process special categories of personal data, subject to appropriate safeguards for the fundamental rights and freedoms of natural persons. In addition to the provisions set out in Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, all the following conditions must be met in order for such processing to occur:
a)
nie jest możliwe skuteczne wykrywanie i korygowanie stronniczości poprzez przetwarzanie innych danych, w tym danych syntetycznych lub zanonimizowanych;
(a)
the bias detection and correction cannot be effectively fulfilled by processing other data, including synthetic or anonymised data;
b)
szczególne kategorie danych osobowych podlegają ograniczeniom technicznym dotyczącym ponownego wykorzystywania danych osobowych oraz najnowocześniejszym środkom bezpieczeństwa i ochrony prywatności, w tym pseudonimizacji;
(b)
the special categories of personal data are subject to technical limitations on the re-use of the personal data, and state-of-the-art security and privacy-preserving measures, including pseudonymisation;
c)
szczególne kategorie danych osobowych podlegają środkom zapewniającym, by przetwarzane dane osobowe były zabezpieczone, chronione, podlegały odpowiednim środkom ochronnym, w tym ścisłym kontrolom i dokumentowaniu dostępu, aby uniknąć nadużyć i zapewnić, by dostęp do tych danych miały wyłącznie osoby upoważnione, zobowiązane do spełnienia odpowiednich obowiązków dotyczących poufności;
(c)
the special categories of personal data are subject to measures to ensure that the personal data processed are secured, protected, subject to suitable safeguards, including strict controls and documentation of the access, to avoid misuse and ensure that only authorised persons have access to those personal data with appropriate confidentiality obligations;
d)
szczególne kategorie danych osobowych nie są przesyłane, przekazywane ani w inny sposób udostępniane innym podmiotom;
(d)
the special categories of personal data are not to be transmitted, transferred or otherwise accessed by other parties;
e)
szczególne kategorie danych osobowych usuwa się po skorygowaniu stronniczości lub po upływie okresu przechowywania danych osobowych, w zależności od tego, co nastąpi wcześniej;
(e)
the special categories of personal data are deleted once the bias has been corrected or the personal data has reached the end of its retention period, whichever comes first;
f)
rejestry czynności przetwarzania na podstawie rozporządzeń (UE) 2016/679 i (UE) 2018/1725 oraz dyrektywy (UE) 2016/680 zawierają uzasadnienie, dlaczego przetwarzanie szczególnych kategorii danych osobowych było bezwzględnie konieczne do wykrycia i skorygowania stronniczości oraz dlaczego cel ten nie mógł zostać osiągnięty w wyniku przetwarzania innych danych.
(f)
the records of processing activities pursuant to Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680 include the reasons why the processing of special categories of personal data was strictly necessary to detect and correct biases, and why that objective could not be achieved by processing other data.
6. W przypadkach rozwoju systemów AI wysokiego ryzyka niewykorzystujących technik obejmujących trenowanie modeli AI ust. 2–5 stosuje się jedynie do zbiorów danych testowych.
6. For the development of high-risk AI systems not using techniques involving the training of AI models, paragraphs 2 to 5 apply only to the testing data sets.
1. Dokumentację techniczną dla systemu AI wysokiego ryzyka sporządza się przed wprowadzeniem danego systemu do obrotu lub oddaniem go do użytku oraz dokonuje się jej aktualizacji.
1. The technical documentation of a high-risk AI system shall be drawn up before that system is placed on the market or put into service and shall be kept up-to date.
Dokumentację techniczną sporządza się w taki sposób, aby wykazać, że system AI wysokiego ryzyka jest zgodny z wymogami ustanowionymi w niniejszej sekcji, oraz aby dostarczyć właściwym organom krajowym i jednostkom notyfikowanym informacji – w jasnej i kompleksowej formie – niezbędnych do oceny zgodności systemu AI z tymi wymogami. Zawiera ona co najmniej elementy określone w załączniku IV. MŚP, w tym przedsiębiorstwa typu start-up, mogą podawać elementy dokumentacji technicznej określone w załączniku IV w formie uproszczonej. W tym celu Komisja ustanawia wzór uproszczonej dokumentacji technicznej ukierunkowany na potrzeby małych przedsiębiorstw i mikroprzedsiębiorstw. W przypadku gdy MŚP, w tym przedsiębiorstwa typu start-up, zdecydują się na podawanie informacji wymaganych w załączniku IV w sposób uproszczony, korzystają z wzoru, o którym mowa w niniejszym ustępie. Jednostki notyfikowane akceptują ten wzór do celów oceny zgodności.
The technical documentation shall be drawn up in such a way as to demonstrate that the high-risk AI system complies with the requirements set out in this Section and to provide national competent authorities and notified bodies with the necessary information in a clear and comprehensive form to assess the compliance of the AI system with those requirements. It shall contain, at a minimum, the elements set out in Annex IV. SMEs, including start-ups, may provide the elements of the technical documentation specified in Annex IV in a simplified manner. To that end, the Commission shall establish a simplified technical documentation form targeted at the needs of small and microenterprises. Where an SME, including a start-up, opts to provide the information required in Annex IV in a simplified manner, it shall use the form referred to in this paragraph. Notified bodies shall accept the form for the purposes of the conformity assessment.
2. W przypadku wprowadzania do obrotu lub oddawania do użytku systemu AI wysokiego ryzyka związanego z produktem, który jest objęty zakresem stosowania unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku I sekcja A, sporządza się jeden zestaw dokumentacji technicznych zawierający wszystkie informacje określone w ust. 1, jak również informacje wymagane na podstawie tych aktów prawnych.
2. Where a high-risk AI system related to a product covered by the Union harmonisation legislation listed in Section A of Annex I is placed on the market or put into service, a single set of technical documentation shall be drawn up containing all the information set out in paragraph 1, as well as the information required under those legal acts.
3. Komisja jest uprawniona do przyjmowania aktów delegowanych zgodnie z art. 97 w celu zmiany, w razie potrzeby, załącznika IV, aby zagwarantować, by w świetle postępu technicznego dokumentacja techniczna zawierała wszystkie informacje niezbędne do oceny zgodności systemu z wymogami ustanowionymi w niniejszej sekcji.
3. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annex IV, where necessary, to ensure that, in light of technical progress, the technical documentation provides all the information necessary to assess the compliance of the system with the requirements set out in this Section.
Nadzór ze strony człowieka
1. Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, w tym poprzez uwzględnienie odpowiednich narzędzi interfejsu człowiek-maszyna, aby w okresie ich wykorzystywania systemu AI mogły być skutecznie nadzorowane przez osoby fizyczne.
1. High-risk AI systems shall be designed and developed in such a way, including with appropriate human-machine interface tools, that they can be effectively overseen by natural persons during the period in which they are in use.
2. Nadzór ze strony człowieka ma na celu zapobieganie ryzyku dla zdrowia, bezpieczeństwa lub praw podstawowych lub minimalizowanie takiego ryzyka, które może się pojawić, gdy system AI wysokiego ryzyka jest wykorzystywany zgodnie z jego przeznaczeniem lub w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania, w szczególności gdy takie ryzyko utrzymuje się pomimo stosowania innych wymogów ustanowionych w niniejszej sekcji.
2. Human oversight shall aim to prevent or minimise the risks to health, safety or fundamental rights that may emerge when a high-risk AI system is used in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, in particular where such risks persist despite the application of other requirements set out in this Section.
3. Środki nadzoru muszą być współmierne do ryzyka, poziomu autonomii i kontekstu wykorzystywania danego systemu AI wysokiego ryzyka, a nadzór zapewnia się za pomocą co najmniej jednego z następujących rodzajów środków:
3. The oversight measures shall be commensurate with the risks, level of autonomy and context of use of the high-risk AI system, and shall be ensured through either one or both of the following types of measures:
a)
środków określonych i wbudowanych, jeżeli jest to technicznie wykonalne, w system AI wysokiego ryzyka przez dostawcę przed wprowadzeniem systemu do obrotu lub oddaniem do użytku;
(a)
measures identified and built, when technically feasible, into the high-risk AI system by the provider before it is placed on the market or put into service;
b)
środków określonych przez dostawcę przed wprowadzeniem systemu AI wysokiego ryzyka do obrotu lub oddaniem go do użytku i które to środki nadają się do wdrożenia przez podmiot stosujący.
(b)
measures identified by the provider before placing the high-risk AI system on the market or putting it into service and that are appropriate to be implemented by the deployer.
4. Do celów wykonania ust. 1, 2 i 3 system AI wysokiego ryzyka udostępnia się podmiotowi stosującemu w taki sposób, aby umożliwić osobom fizycznym, którym powierzono sprawowanie nadzoru ze strony człowieka, odpowiednio i proporcjonalnie:
4. For the purpose of implementing paragraphs 1, 2 and 3, the high-risk AI system shall be provided to the deployer in such a way that natural persons to whom human oversight is assigned are enabled, as appropriate and proportionate:
a)
należyte zrozumienie odpowiednich możliwości i ograniczeń systemu AI wysokiego ryzyka oraz należyte monitorowanie jego działania, w tym w celu wykrywania anomalii, nieprawidłowego funkcjonowania i nieoczekiwanych wyników działania oraz zaradzeniu im w przypadku ich wystąpienia;
(a)
to properly understand the relevant capacities and limitations of the high-risk AI system and be able to duly monitor its operation, including in view of detecting and addressing anomalies, dysfunctions and unexpected performance;
b)
pozostawanie świadomym potencjalnej tendencji do automatycznego polegania lub nadmiernego polegania na wyniku wytworzonym przez system AI wysokiego ryzyka (tzw. „błąd automatyzacji”), w szczególności w przypadku systemów AI wysokiego ryzyka wykorzystywanych do udzielania informacji lub zaleceń na potrzeby decyzji podejmowanych przez osoby fizyczne;
(b)
to remain aware of the possible tendency of automatically relying or over-relying on the output produced by a high-risk AI system (automation bias), in particular for high-risk AI systems used to provide information or recommendations for decisions to be taken by natural persons;
c)
prawidłową interpretację wyniku systemu AI wysokiego ryzyka, biorąc pod uwagę na przykład dostępne narzędzia i metody interpretacji;
(c)
to correctly interpret the high-risk AI system’s output, taking into account, for example, the interpretation tools and methods available;
d)
podjęcie decyzji, w każdej konkretnej sytuacji, o niekorzystaniu z systemu AI wysokiego ryzyka lub w inny sposób zignorowanie, unieważnienie lub odwrócenie wyniku systemu AI wysokiego ryzyka;
(d)
to decide, in any particular situation, not to use the high-risk AI system or to otherwise disregard, override or reverse the output of the high-risk AI system;
e)
ingerowanie w działanie systemu AI wysokiego ryzyka lub przerwanie działania systemu za pomocą przycisku „stop” lub podobnej procedury, która pozwala na zatrzymanie systemu w stanie bezpiecznym.
(e)
to intervene in the operation of the high-risk AI system or interrupt the system through a ‘stop’ button or a similar procedure that allows the system to come to a halt in a safe state.
5. W przypadku systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 1 lit. a), środki, o których mowa w ust. 3 niniejszego artykułu, muszą ponadto zapewniać, aby podmiot stosujący nie podejmował żadnego działania ani decyzji na podstawie identyfikacji będącej wynikiem działania systemu, jeżeli identyfikacji tej nie zweryfikowały ani nie potwierdziły odrębnie co najmniej dwie osoby fizyczne mające wymagane kompetencje, przeszkolenie i uprawnienia.
5. For high-risk AI systems referred to in point 1(a) of Annex III, the measures referred to in paragraph 3 of this Article shall be such as to ensure that, in addition, no action or decision is taken by the deployer on the basis of the identification resulting from the system unless that identification has been separately verified and confirmed by at least two natural persons with the necessary competence, training and authority.
Wymóg odrębnej weryfikacji przez co najmniej dwie osoby fizyczne nie ma zastosowania do systemów AI wysokiego ryzyka wykorzystywanych do celów ścigania przestępstw, migracji, kontroli granicznej lub azylu, w przypadkach gdy prawo Unii lub prawo krajowe uznaje stosowanie tego wymogu za nieproporcjonalne.
The requirement for a separate verification by at least two natural persons shall not apply to high-risk AI systems used for the purposes of law enforcement, migration, border control or asylum, where Union or national law considers the application of this requirement to be disproportionate.
Dokładność, solidność i cyberbezpieczeństwo
Accuracy, robustness and cybersecurity
1. Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, aby osiągały odpowiedni poziom dokładności, solidności i cyberbezpieczeństwa oraz by działały konsekwentnie pod tymi względami w całym cyklu życia.
1. High-risk AI systems shall be designed and developed in such a way that they achieve an appropriate level of accuracy, robustness, and cybersecurity, and that they perform consistently in those respects throughout their lifecycle.
2. Aby odnieść się do technicznych aspektów pomiaru odpowiednich poziomów dokładności i solidności określonych w ust. 1 oraz wszelkich innych istotnych wskaźników skuteczności działania, Komisja we współpracy z odpowiednimi zainteresowanymi stronami i organizacjami, takimi jak organy metrologiczne i organy ds. analizy porównawczej, zachęca w stosownych przypadkach do opracowywania poziomów odniesienia i metod pomiarowych.
2. To address the technical aspects of how to measure the appropriate levels of accuracy and robustness set out in paragraph 1 and any other relevant performance metrics, the Commission shall, in cooperation with relevant stakeholders and organisations such as metrology and benchmarking authorities, encourage, as appropriate, the development of benchmarks and measurement methodologies.
3. Poziomy dokładności i odpowiednie wskaźniki dokładności systemów AI wysokiego ryzyka deklaruje się w dołączonych do nich instrukcjach obsługi.
3. The levels of accuracy and the relevant accuracy metrics of high-risk AI systems shall be declared in the accompanying instructions of use.
4. Systemy AI wysokiego ryzyka muszą być możliwie jak najodporniejsze na błędy, usterki lub niespójności, które mogą wystąpić w systemie lub w środowisku, w którym działa system, w szczególności w wyniku interakcji z osobami fizycznymi lub innymi systemami. W tym zakresie podejmuje się środki techniczne i organizacyjne.
4. High-risk AI systems shall be as resilient as possible regarding errors, faults or inconsistencies that may occur within the system or the environment in which the system operates, in particular due to their interaction with natural persons or other systems. Technical and organisational measures shall be taken in this regard.
Solidność systemów AI wysokiego ryzyka można osiągnąć dzięki rozwiązaniom technicznym gwarantującym redundancję, które mogą obejmować plany zakładające dostępność systemu zapasowego lub plany zapewniające przejście systemu w stan bezpieczny (tzw. „fail-safe”).
The robustness of high-risk AI systems may be achieved through technical redundancy solutions, which may include backup or fail-safe plans.
Systemy AI wysokiego ryzyka, które po wprowadzeniu na rynek lub oddaniu do użytku nadal się uczą, rozwija się w taki sposób, aby w możliwie największym stopniu wyeliminować lub ograniczyć ryzyko potencjalnie stronniczych wyników wpływających na dane wejściowe wykorzystywane na potrzeby przyszłych operacji (sprzężenie zwrotne) oraz aby zapewnić, by wszelkie tego typu sprzężenie zwrotne zostało odpowiednio uwzględnione przy pomocy odpowiednich środków ograniczających ryzyko.
High-risk AI systems that continue to learn after being placed on the market or put into service shall be developed in such a way as to eliminate or reduce as far as possible the risk of possibly biased outputs influencing input for future operations (feedback loops), and as to ensure that any such feedback loops are duly addressed with appropriate mitigation measures.
5. Systemy AI wysokiego ryzyka muszą być odporne na próby nieupoważnionych osób trzecich mające na celu zmianę ich wykorzystania, wyników lub skuteczności działania poprzez wykorzystanie słabych punktów systemu.
5. High-risk AI systems shall be resilient against attempts by unauthorised third parties to alter their use, outputs or performance by exploiting system vulnerabilities.
Rozwiązania techniczne mające na celu zapewnienie cyberbezpieczeństwa systemów AI wysokiego ryzyka muszą być dostosowane do odpowiednich okoliczności i ryzyka.
The technical solutions aiming to ensure the cybersecurity of high-risk AI systems shall be appropriate to the relevant circumstances and the risks.
Rozwiązania techniczne mające na celu eliminowanie słabych punktów charakterystycznych dla AI obejmują, w stosownych przypadkach, środki służące zapobieganiu atakom mającym na celu manipulowanie zbiorem danych treningowych (zatruwanie danych) lub elementami stosowanymi przy trenowaniu, które zostały poddane pretrenowaniu (zatruwanie modelu), wprowadzaniu danych wejściowych, które mają na celu spowodowanie błędu w modelu AI (przykłady kontradyktoryjne lub omijanie modelu), atakom na poufność lub wadom modelu, a także środki w zakresie wykrywania tych zagrożeń, reagowania na nie, ich rozwiązywania i ich kontrolowania.
The technical solutions to address AI specific vulnerabilities shall include, where appropriate, measures to prevent, detect, respond to, resolve and control for attacks trying to manipulate the training data set (data poisoning), or pre-trained components used in training (model poisoning), inputs designed to cause the AI model to make a mistake (adversarial examples or model evasion), confidentiality attacks or model flaws.
System zarządzania jakością
Quality management system
1. Dostawcy systemów AI wysokiego ryzyka wprowadzają system zarządzania jakością, który zapewnia zgodność z niniejszym rozporządzeniem. System ten dokumentuje się w systematyczny i uporządkowany sposób w formie pisemnych polityk, procedur i instrukcji oraz obejmuje on co najmniej następujące aspekty:
1. Providers of high-risk AI systems shall put a quality management system in place that ensures compliance with this Regulation. That system shall be documented in a systematic and orderly manner in the form of written policies, procedures and instructions, and shall include at least the following aspects:
a)
strategię na rzecz zgodności regulacyjnej, w tym zgodności z procedurami oceny zgodności i procedurami zarządzania zmianami w systemie AI wysokiego ryzyka;
(a)
a strategy for regulatory compliance, including compliance with conformity assessment procedures and procedures for the management of modifications to the high-risk AI system;
b)
techniki, procedury i systematyczne działania, które należy stosować na potrzeby projektowania oraz kontroli i weryfikacji projektu systemu AI wysokiego ryzyka;
(b)
techniques, procedures and systematic actions to be used for the design, design control and design verification of the high-risk AI system;
c)
techniki, procedury i systematyczne działania, które należy stosować na potrzeby rozwoju, kontroli jakości i zapewniania jakości systemu AI wysokiego ryzyka;
(c)
techniques, procedures and systematic actions to be used for the development, quality control and quality assurance of the high-risk AI system;
d)
procedury badania, testowania i walidacji, które należy przeprowadzić przed przystąpieniem do rozwoju systemu AI wysokiego ryzyka, w trakcie tego rozwoju i po jego zakończeniu, oraz częstotliwość, z jaką mają być przeprowadzane;
(d)
examination, test and validation procedures to be carried out before, during and after the development of the high-risk AI system, and the frequency with which they have to be carried out;
e)
specyfikacje techniczne, w tym normy, które należy zastosować, oraz w przypadkach gdy normy zharmonizowane nie są stosowane w pełni lub nie obejmują wszystkich odpowiednich wymogów ustanowionych w sekcji 2, środki, które należy zastosować do zapewnienia, by system AI wysokiego ryzyka był zgodny z tymi wymogami;
(e)
technical specifications, including standards, to be applied and, where the relevant harmonised standards are not applied in full or do not cover all of the relevant requirements set out in Section 2, the means to be used to ensure that the high-risk AI system complies with those requirements;
f)
systemy i procedury zarządzania danymi, w tym dotyczące nabywania danych, zbierania danych, analizy danych, etykietowania danych, przechowywania danych, filtrowania danych, eksploracji danych, agregacji danych, zatrzymywania danych i wszelkich innych operacji dotyczących danych, które przeprowadza się przed wprowadzeniem do obrotu lub oddaniem do użytku systemów AI wysokiego ryzyka i do celu wprowadzenia ich do obrotu lub oddania ich do użytku;
(f)
systems and procedures for data management, including data acquisition, data collection, data analysis, data labelling, data storage, data filtration, data mining, data aggregation, data retention and any other operation regarding the data that is performed before and for the purpose of the placing on the market or the putting into service of high-risk AI systems;
g)
system zarządzania ryzykiem, o którym mowa w art. 9;
(g)
the risk management system referred to in Article 9;
h)
ustanowienie, wdrożenie i obsługa systemu monitorowania po wprowadzeniu do obrotu, zgodnie z art. 72;
(h)
the setting-up, implementation and maintenance of a post-market monitoring system, in accordance with Article 72;
i)
procedury związane ze zgłaszaniem poważnego incydentu zgodnie z art. 73;
(i)
procedures related to the reporting of a serious incident in accordance with Article 73;
j)
porozumiewanie się z właściwymi organami krajowymi, innymi właściwymi organami, w tym organami zapewniającymi lub wspierającymi dostęp do danych, jednostkami notyfikowanymi, innymi operatorami, klientami lub innymi zainteresowanymi stronami;
(j)
the handling of communication with national competent authorities, other relevant authorities, including those providing or supporting the access to data, notified bodies, other operators, customers or other interested parties;
k)
systemy i procedury rejestrowania wszelkiej istotnej dokumentacji i wszelkich istotnych informacji;
(k)
systems and procedures for record-keeping of all relevant documentation and information;
l)
zarządzanie zasobami, w tym środki związane z bezpieczeństwem dostaw;
(l)
resource management, including security-of-supply related measures;
m)
ramy odpowiedzialności służące określeniu odpowiedzialności kierownictwa i pozostałego personelu w odniesieniu do wszystkich aspektów wymienionych w niniejszym ustępie.
(m)
an accountability framework setting out the responsibilities of the management and other staff with regard to all the aspects listed in this paragraph.
2. Wdrożenie aspektów, o których mowa w ust. 1, musi być proporcjonalne do wielkości organizacji dostawcy. W każdym przypadku dostawcy przestrzegają stopnia rygoryzmu i poziomu ochrony wymaganych do zapewnienia zgodności ich systemów AI wysokiego ryzyka z niniejszym rozporządzeniem.
2. The implementation of the aspects referred to in paragraph 1 shall be proportionate to the size of the provider’s organisation. Providers shall, in any event, respect the degree of rigour and the level of protection required to ensure the compliance of their high-risk AI systems with this Regulation.
3. Dostawcy systemów AI wysokiego ryzyka, którzy podlegają obowiązkom dotyczącym systemów zarządzania jakością lub równoważnym obowiązkom na podstawie odpowiednich sektorowych przepisów prawa Unii, mogą uwzględnić aspekty wymienione w ust. 1 jako część systemów zarządzania jakością zgodnie z tymi przepisami.
3. Providers of high-risk AI systems that are subject to obligations regarding quality management systems or an equivalent function under relevant sectoral Union law may include the aspects listed in paragraph 1 as part of the quality management systems pursuant to that law.
4. W odniesieniu do dostawców będących instytucjami finansowymi, które podlegają wymogom dotyczącym ich systemu zarządzania wewnętrznego, uzgodnień lub procedur na podstawie przepisów prawa Unii dotyczących usług finansowych, obowiązek wprowadzenia systemu zarządzania jakością, z wyjątkiem ust. 1 lit. g), h) oraz i) niniejszego artykułu, uznaje się za spełniony w przypadku zapewnienia zgodności z przepisami dotyczącymi zarządzania wewnętrznego, uzgodnień lub procedur zgodnie z odpowiednimi przepisami prawa Unii dotyczącymi usług finansowych. W tym celu uwzględnia się wszelkie normy zharmonizowane, o których mowa w art. 40.
4. For providers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law, the obligation to put in place a quality management system, with the exception of paragraph 1, points (g), (h) and (i) of this Article, shall be deemed to be fulfilled by complying with the rules on internal governance arrangements or processes pursuant to the relevant Union financial services law. To that end, any harmonised standards referred to in Article 40 shall be taken into account.
Działania naprawcze i obowiązek informacyjny
Corrective actions and duty of information
1. Dostawcy systemów AI wysokiego ryzyka, którzy uważają lub mają powody, by uważać, że system AI wysokiego ryzyka, który wprowadzili do obrotu lub oddali do użytku, nie jest zgodny z niniejszym rozporządzeniem, natychmiast podejmują niezbędne działania naprawcze w celu, stosownie do przypadku, zapewnienia zgodności tego systemu, wycofania go z rynku, wyłączenia go lub wycofania go z użytku. Informują oni o tym dystrybutorów danego systemu AI wysokiego ryzyka oraz, w stosownych przypadkach, odpowiednio podmioty stosujące, upoważnionego przedstawiciela i importerów.
1. Providers of high-risk AI systems which consider or have reason to consider that a high-risk AI system that they have placed on the market or put into service is not in conformity with this Regulation shall immediately take the necessary corrective actions to bring that system into conformity, to withdraw it, to disable it, or to recall it, as appropriate. They shall inform the distributors of the high-risk AI system concerned and, where applicable, the deployers, the authorised representative and importers accordingly.
2. W przypadku gdy system AI wysokiego ryzyka stwarza ryzyko w rozumieniu art. 79 ust. 1 i dostawca danego systemu dowie się o tym ryzyku, dostawca ten natychmiast wyjaśnia przyczyny tego ryzyka, w stosownych przypadkach we współpracy ze zgłaszającym podmiotem stosującym, oraz informuje organy nadzoru rynku właściwe w zakresie przedmiotowych systemów AI wysokiego ryzyka, oraz, w stosownych przypadkach, jednostkę notyfikowaną, która zgodnie z art. 44 wydała certyfikat dla danego systemu AI wysokiego ryzyka, w szczególności o charakterze danej niezgodności oraz o wszelkich podjętych działaniach naprawczych.
2. Where the high-risk AI system presents a risk within the meaning of Article 79(1) and the provider becomes aware of that risk, it shall immediately investigate the causes, in collaboration with the reporting deployer, where applicable, and inform the market surveillance authorities competent for the high-risk AI system concerned and, where applicable, the notified body that issued a certificate for that high-risk AI system in accordance with Article 44, in particular, of the nature of the non-compliance and of any relevant corrective action taken.
Upoważnieni przedstawiciele dostawców systemów AI wysokiego ryzyka
Authorised representatives of providers of high-risk AI systems
1. Przed udostępnieniem swoich systemów AI wysokiego ryzyka na rynku Unii dostawcy mający miejsce zamieszkania lub siedzibę w państwach trzecich ustanawiają – na podstawie pisemnego pełnomocnictwa – upoważnionego przedstawiciela mającego miejsce zamieszkania lub siedzibę w Unii.
1. Prior to making their high-risk AI systems available on the Union market, providers established in third countries shall, by written mandate, appoint an authorised representative which is established in the Union.
2. Dostawca umożliwia swojemu upoważnionemu przedstawicielowi wykonywanie zadań powierzonych mu na mocy pełnomocnictwa udzielonego przez dostawcę.
2. The provider shall enable its authorised representative to perform the tasks specified in the mandate received from the provider.
3. Upoważniony przedstawiciel wykonuje zadania powierzone mu na mocy pełnomocnictwa udzielonego przez dostawcę. Upoważniony przedstawiciel przekazuje organom nadzoru rynku, na wniosek, kopię pełnomocnictwa w jednym z oficjalnych języków instytucji Unii wskazanym przez właściwy organ. Do celów niniejszego rozporządzenia pełnomocnictwo uprawnia upoważnionego przedstawiciela do wykonywania następujących zadań:
3. The authorised representative shall perform the tasks specified in the mandate received from the provider. It shall provide a copy of the mandate to the market surveillance authorities upon request, in one of the official languages of the institutions of the Union, as indicated by the competent authority. For the purposes of this Regulation, the mandate shall empower the authorised representative to carry out the following tasks:
a)
sprawdzenie, czy zostały sporządzone deklaracja zgodności UE, o której mowa w art. 47, i dokumentacja techniczna, o której mowa w art. 11, oraz czy została przeprowadzona przez dostawcę odpowiednia procedura oceny zgodności;
(a)
verify that the EU declaration of conformity referred to in Article 47 and the technical documentation referred to in Article 11 have been drawn up and that an appropriate conformity assessment procedure has been carried out by the provider;
b)
przechowywanie do dyspozycji właściwych organów i krajowych organów lub jednostek, o których mowa w art. 74 ust. 10, przez okres 10 lat od wprowadzenia systemu AI wysokiego ryzyka do obrotu lub oddania go do użytku, danych kontaktowych dostawcy, który ustanowił upoważnionego przedstawiciela, kopii deklaracji zgodności UE, o której mowa w art. 47, dokumentacji technicznej oraz, w stosownych przypadkach, certyfikatu wydanego przez jednostkę notyfikowaną;
(b)
keep at the disposal of the competent authorities and national authorities or bodies referred to in Article 74(10), for a period of 10 years after the high-risk AI system has been placed on the market or put into service, the contact details of the provider that appointed the authorised representative, a copy of the EU declaration of conformity referred to in Article 47, the technical documentation and, if applicable, the certificate issued by the notified body;
c)
przekazywanie właściwemu organowi, na uzasadniony wniosek, wszelkich informacji i dokumentów, w tym tych, o których mowa w lit. b) niniejszego ustępu, niezbędnych do wykazania zgodności systemu AI wysokiego ryzyka z wymogami ustanowionymi w sekcji 2, w tym zapewnienie temu organowi dostępu do generowanych automatycznie przez system AI wysokiego ryzyka rejestrów zdarzeń, o których mowa w art. 12 ust. 1, w zakresie, w jakim tego rodzaju rejestry zdarzeń znajdują się pod kontrolą dostawcy;
(c)
provide a competent authority, upon a reasoned request, with all the information and documentation, including that referred to in point (b) of this subparagraph, necessary to demonstrate the conformity of a high-risk AI system with the requirements set out in Section 2, including access to the logs, as referred to in Article 12(1), automatically generated by the high-risk AI system, to the extent such logs are under the control of the provider;
d)
współpraca z właściwymi organami, na uzasadniony wniosek, w zakresie wszelkich działań, które organy te podejmują w odniesieniu do danego systemu AI wysokiego ryzyka, w szczególności, aby zmniejszyć i ograniczyć ryzyko, jakie stwarza ten system AI wysokiego ryzyka;
(d)
cooperate with competent authorities, upon a reasoned request, in any action the latter take in relation to the high-risk AI system, in particular to reduce and mitigate the risks posed by the high-risk AI system;
e)
w stosownych przypadkach spełnianie obowiązków rejestracyjnych, o których mowa w art. 49 ust. 1, lub, jeżeli rejestracji dokonuje sam dostawca, zapewnienie, by informacje, o których mowa w załączniku VIII sekcja A pkt 3, były prawidłowe.
(e)
where applicable, comply with the registration obligations referred to in Article 49(1), or, if the registration is carried out by the provider itself, ensure that the information referred to in point 3 of Section A of Annex VIII is correct.
Pełnomocnictwo daje upoważnionemu przedstawicielowi prawo do tego, aby właściwe organy mogły się zwracać do niego, obok albo zamiast do dostawcy, we wszystkich kwestiach dotyczących zapewnienia zgodności z niniejszym rozporządzeniem.
The mandate shall empower the authorised representative to be addressed, in addition to or instead of the provider, by the competent authorities, on all issues related to ensuring compliance with this Regulation.
4. Upoważniony przedstawiciel wypowiada pełnomocnictwo, jeśli uważa lub ma powody uważać, że dostawca działa w sposób sprzeczny ze swoimi obowiązkami wynikającymi z niniejszego rozporządzenia. W takim przypadku upoważniony przedstawiciel natychmiast informuje o wypowiedzeniu pełnomocnictwa i jego przyczynach odpowiedni organ nadzoru rynku, a także, w stosownych przypadkach, odpowiednią jednostkę notyfikowaną.
4. The authorised representative shall terminate the mandate if it considers or has reason to consider the provider to be acting contrary to its obligations pursuant to this Regulation. In such a case, it shall immediately inform the relevant market surveillance authority, as well as, where applicable, the relevant notified body, about the termination of the mandate and the reasons therefor.
1. Przed wprowadzeniem do obrotu systemu AI wysokiego ryzyka importerzy zapewniają jego zgodność z niniejszym rozporządzeniem, sprawdzając, czy:
1. Before placing a high-risk AI system on the market, importers shall ensure that the system is in conformity with this Regulation by verifying that:
a)
dostawca systemu AI wysokiego ryzyka przeprowadził odpowiednią procedurę oceny zgodności, o której mowa w art. 43;
(a)
the relevant conformity assessment procedure referred to in Article 43 has been carried out by the provider of the high-risk AI system;
b)
dostawca sporządził dokumentację techniczną zgodnie z art. 11 i załącznikiem IV;
(b)
the provider has drawn up the technical documentation in accordance with Article 11 and Annex IV;
c)
system opatrzono wymaganym oznakowaniem CE oraz dołączono do niego deklarację zgodności UE, o której mowa w art. 47, oraz instrukcję obsługi;
(c)
the system bears the required CE marking and is accompanied by the EU declaration of conformity referred to in Article 47 and instructions for use;
d)
dostawca ustanowił upoważnionego przedstawiciela zgodnie z art. 22 ust. 1.
(d)
the provider has appointed an authorised representative in accordance with Article 22(1).
2. W przypadku gdy importer ma wystarczające powody, aby uważać, że system AI wysokiego ryzyka jest niezgodny z niniejszym rozporządzeniem lub został sfałszowany lub sfałszowana została dołączona do niego dokumentacja, nie wprowadza tego systemu do obrotu, dopóki nie zostanie zapewniona jego zgodność z niniejszym rozporządzeniem. W przypadku gdy system AI wysokiego ryzyka stwarza ryzyko w rozumieniu art. 79 ust. 1, importer informuje o tym dostawcę systemu, upoważnionych przedstawicieli oraz organy nadzoru rynku.
2. Where an importer has sufficient reason to consider that a high-risk AI system is not in conformity with this Regulation, or is falsified, or accompanied by falsified documentation, it shall not place the system on the market until it has been brought into conformity. Where the high-risk AI system presents a risk within the meaning of Article 79(1), the importer shall inform the provider of the system, the authorised representative and the market surveillance authorities to that effect.
3. Importerzy podają w systemie AI wysokiego ryzyka, na opakowaniu tego systemu lub, w stosownych przypadkach, w dołączonej do niego dokumentacji swoją nazwę, zarejestrowaną nazwę handlową lub zarejestrowany znak towarowy i adres, pod którym można się z nimi skontaktować.
3. Importers shall indicate their name, registered trade name or registered trade mark, and the address at which they can be contacted on the high-risk AI system and on its packaging or its accompanying documentation, where applicable.
4. Importerzy zapewniają, aby w okresie, w którym ponoszą odpowiedzialność za system AI wysokiego ryzyka, warunki jego – stosownie do przypadku – przechowywania lub transportu nie zagrażały jego zgodności z wymogami ustanowionymi w sekcji 2.
4. Importers shall ensure that, while a high-risk AI system is under their responsibility, storage or transport conditions, where applicable, do not jeopardise its compliance with the requirements set out in Section 2.
5. Przez okres 10 lat od wprowadzenia systemu AI wysokiego ryzyka do obrotu lub oddania go do użytku, importerzy przechowują kopię certyfikatu wydanego przez jednostkę notyfikowaną, w stosownych przypadkach, kopię instrukcji obsługi oraz deklaracji zgodności UE, o której mowa w art. 47.
5. Importers shall keep, for a period of 10 years after the high-risk AI system has been placed on the market or put into service, a copy of the certificate issued by the notified body, where applicable, of the instructions for use, and of the EU declaration of conformity referred to in Article 47.
6. Na uzasadniony wniosek odpowiednich właściwych organów importerzy przekazują im wszelkie niezbędne informacje i dokumentację, w tym te, o których mowa w ust. 5, w celu wykazania zgodności systemu AI wysokiego ryzyka z wymogami ustanowionymi w sekcji 2, w języku łatwo zrozumiałym dla tych organów. W tym celu importerzy zapewniają również możliwość udostępnienia tym organom dokumentacji technicznej.
6. Importers shall provide the relevant competent authorities, upon a reasoned request, with all the necessary information and documentation, including that referred to in paragraph 5, to demonstrate the conformity of a high-risk AI system with the requirements set out in Section 2 in a language which can be easily understood by them. For this purpose, they shall also ensure that the technical documentation can be made available to those authorities.
7. Importerzy współpracują z odpowiednimi właściwymi organami w zakresie wszelkich działań, które organy te podejmują w odniesieniu do systemu AI wysokiego ryzyka wprowadzonego do obrotu przez importerów, w szczególności aby zmniejszyć i ograniczyć stwarzane przez ten system ryzyko.
7. Importers shall cooperate with the relevant competent authorities in any action those authorities take in relation to a high-risk AI system placed on the market by the importers, in particular to reduce and mitigate the risks posed by it.
Obligations of distributors
1. Przed udostępnieniem na rynku systemu AI wysokiego ryzyka dystrybutorzy sprawdzają, czy został on opatrzony wymaganym oznakowaniem zgodności CE, czy dołączono do niego kopię deklaracji zgodności UE, o której mowa w art. 47, i instrukcję obsługi oraz czy dostawca oraz – w stosownych przypadkach – importer tego systemu spełnili swoje obowiązki ustanowione w art. 16 lit. b) i c) oraz w art. 23 ust. 3.
1. Before making a high-risk AI system available on the market, distributors shall verify that it bears the required CE marking, that it is accompanied by a copy of the EU declaration of conformity referred to in Article 47 and instructions for use, and that the provider and the importer of that system, as applicable, have complied with their respective obligations as laid down in Article 16, points (b) and (c) and Article 23(3).
2. W przypadku gdy dystrybutor – na podstawie dostępnych mu informacji – uważa lub ma powód, aby uważać, że system AI wysokiego ryzyka nie jest zgodny z wymogami ustanowionymi w sekcji 2 niniejszego tytułu, nie udostępnia na rynku tego systemu AI wysokiego ryzyka, dopóki nie zostanie zapewniona zgodność systemu z tymi wymogami. Ponadto, jeżeli system AI wysokiego ryzyka stwarza ryzyko w rozumieniu art. 79 ust. 1, dystrybutor informuje o tym stosownie do przypadku dostawcę lub importera systemu.
2. Where a distributor considers or has reason to consider, on the basis of the information in its possession, that a high-risk AI system is not in conformity with the requirements set out in Section 2, it shall not make the high-risk AI system available on the market until the system has been brought into conformity with those requirements. Furthermore, where the high-risk AI system presents a risk within the meaning of Article 79(1), the distributor shall inform the provider or the importer of the system, as applicable, to that effect.
3. Dystrybutorzy zapewniają, aby w okresie, w którym ponoszą odpowiedzialność za system AI wysokiego ryzyka, warunki jego przechowywania lub transportu – stosownie do przypadku – nie zagrażały zgodności systemu z wymogami ustanowionymi w sekcji 2.
3. Distributors shall ensure that, while a high-risk AI system is under their responsibility, storage or transport conditions, where applicable, do not jeopardise the compliance of the system with the requirements set out in Section 2.
4. Dystrybutor, który uważa lub ma powód, aby – na podstawie dostępnych mu informacji – uważać, że system AI wysokiego ryzyka udostępniony przez niego na rynku jest niezgodny z wymogami ustanowionymi w sekcji 2, podejmuje działania naprawcze konieczne do zapewnienia zgodności tego systemu z tymi wymogami, do wycofania go z rynku lub wycofania go z użytku lub zapewnia podjęcie takich działań naprawczych przez, stosownie do przypadku, dostawcę, importera lub odpowiedniego operatora. W przypadku gdy system AI wysokiego ryzyka stwarza ryzyko w rozumieniu art. 79 ust. 1, dystrybutor natychmiast informuje o tym dostawcę lub importera systemu oraz organy właściwe w zakresie przedmiotowego system AI wysokiego ryzyka, przekazując szczegółowe informacje w szczególności na temat niezgodności systemu z wymogami i wszelkich podjętych działań naprawczych.
4. A distributor that considers or has reason to consider, on the basis of the information in its possession, a high-risk AI system which it has made available on the market not to be in conformity with the requirements set out in Section 2, shall take the corrective actions necessary to bring that system into conformity with those requirements, to withdraw it or recall it, or shall ensure that the provider, the importer or any relevant operator, as appropriate, takes those corrective actions. Where the high-risk AI system presents a risk within the meaning of Article 79(1), the distributor shall immediately inform the provider or importer of the system and the authorities competent for the high-risk AI system concerned, giving details, in particular, of the non-compliance and of any corrective actions taken.
5. Na uzasadniony wniosek odpowiedniego organu dystrybutorzy systemów AI wysokiego ryzyka przekazują temu organowi wszelkie informacje i dokumentację dotyczące ich działań zgodnie z ust. 1–4, niezbędne do wykazania zgodności tego systemu z wymogami określonymi w sekcji 2.
5. Upon a reasoned request from a relevant competent authority, distributors of a high-risk AI system shall provide that authority with all the information and documentation regarding their actions pursuant to paragraphs 1 to 4 necessary to demonstrate the conformity of that system with the requirements set out in Section 2.
6. Dystrybutorzy współpracują z odpowiednimi organami krajowymi w zakresie wszelkich działań, które organy te podejmują w odniesieniu do systemu AI wysokiego ryzyka udostępnionego na rynku przez dystrybutorów, w szczególności aby zmniejszyć lub ograniczyć stwarzane przez ten system ryzyko.
6. Distributors shall cooperate with the relevant competent authorities in any action those authorities take in relation to a high-risk AI system made available on the market by the distributors, in particular to reduce or mitigate the risk posed by it.
Odpowiedzialność w całym łańcuchu wartości AI
Responsibilities along the AI value chain
1. Do celów niniejszego rozporządzenia za dostawcę systemu AI wysokiego ryzyka uznaje się i obejmuje obowiązkami dostawcy ustanowionymi w art. 16 każdego dystrybutora, importera, podmiot stosujący lub inną stronę trzecią, jeżeli zachodzi którakolwiek z następujących okoliczności:
1. Any distributor, importer, deployer or other third-party shall be considered to be a provider of a high-risk AI system for the purposes of this Regulation and shall be subject to the obligations of the provider under Article 16, in any of the following circumstances:
a)
umieszczają oni swoją nazwę lub znak towarowy w systemie AI wysokiego ryzyka, który został już wprowadzony do obrotu lub oddany do użytku, bez uszczerbku dla ustaleń umownych przewidujących, że podział obowiązków następuje w inny sposób;
(a)
they put their name or trademark on a high-risk AI system already placed on the market or put into service, without prejudice to contractual arrangements stipulating that the obligations are otherwise allocated;
b)
we wprowadzonym już do obrotu lub oddanym do użytku systemie AI wysokiego ryzyka dokonują oni istotnej zmiany w taki sposób, że pozostaje on systemem AI wysokiego ryzyka zgodnie z art. 6;
(b)
they make a substantial modification to a high-risk AI system that has already been placed on the market or has already been put into service in such a way that it remains a high-risk AI system pursuant to Article 6;
c)
zmieniają oni przeznaczenie systemu AI, w tym systemu AI ogólnego przeznaczenia, który nie został zaklasyfikowany jako system AI wysokiego ryzyka i który został już wprowadzony do obrotu lub oddany do użytku, w taki sposób, że dany system AI staje się systemem AI wysokiego ryzyka zgodnie z art. 6.
(c)
they modify the intended purpose of an AI system, including a general-purpose AI system, which has not been classified as high-risk and has already been placed on the market or put into service in such a way that the AI system concerned becomes a high-risk AI system in accordance with Article 6.
2. W przypadku zaistnienia okoliczności, o których mowa w ust. 1, dostawcy, który pierwotnie wprowadził do obrotu lub oddał do użytku ten system AI, nie uznaje się już do celów niniejszego rozporządzenia za dostawcę tego konkretnego systemu AI. Ten pierwotny dostawca ściśle współpracuje z nowymi dostawcami i udostępnia niezbędne informacje oraz udziela racjonalnie oczekiwanego dostępu technicznego i innego wsparcia niezbędnych do spełnienia obowiązków określonych w niniejszym rozporządzeniu, w szczególności w odniesieniu do zgodności z kryteriami oceny zgodności systemów AI wysokiego ryzyka. Niniejszego ustępu nie stosuje się w przypadkach, gdy pierwotny dostawca wyraźnie określił, że jego system AI nie może zostać zmieniony w system AI wysokiego ryzyka, a zatem nie dotyczy go obowiązek przekazania dokumentacji.
2. Where the circumstances referred to in paragraph 1 occur, the provider that initially placed the AI system on the market or put it into service shall no longer be considered to be a provider of that specific AI system for the purposes of this Regulation. That initial provider shall closely cooperate with new providers and shall make available the necessary information and provide the reasonably expected technical access and other assistance that are required for the fulfilment of the obligations set out in this Regulation, in particular regarding the compliance with the conformity assessment of high-risk AI systems. This paragraph shall not apply in cases where the initial provider has clearly specified that its AI system is not to be changed into a high-risk AI system and therefore does not fall under the obligation to hand over the documentation.
3. W przypadku systemów AI wysokiego ryzyka, które stanowią związane z bezpieczeństwem elementy produktów objętych zakresem unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku I sekcja A, producenta produktów uznaje się za dostawcę systemu AI wysokiego ryzyka i podlega on obowiązkom ustanowionym w art. 16, jeżeli zachodzi którakolwiek z następujących okoliczności:
3. In the case of high-risk AI systems that are safety components of products covered by the Union harmonisation legislation listed in Section A of Annex I, the product manufacturer shall be considered to be the provider of the high-risk AI system, and shall be subject to the obligations under Article 16 under either of the following circumstances:
a)
system AI wysokiego ryzyka jest wprowadzany do obrotu wraz z produktem pod nazwą lub znakiem towarowym producenta produktu;
(a)
the high-risk AI system is placed on the market together with the product under the name or trademark of the product manufacturer;
b)
system AI wysokiego ryzyka jest oddawany do użytku pod nazwą lub znakiem towarowym producenta produktu po wprowadzeniu produktu do obrotu.
(b)
the high-risk AI system is put into service under the name or trademark of the product manufacturer after the product has been placed on the market.
4. Dostawca systemu AI wysokiego ryzyka i osoba trzecia dostarczająca system AI, narzędzia, usługi, komponenty lub procesy, które są wykorzystywane w systemie AI wysokiego ryzyka lub z nim zintegrowane, wskazują, w drodze pisemnej umowy, informacje, zdolności, dostęp techniczny i innego rodzaju pomoc opartą na powszechnie uznanym stanie wiedzy technicznej wymagane, aby umożliwić dostawcy systemu AI wysokiego ryzyka pełne spełnienie obowiązków ustanowionych w niniejszym rozporządzeniu. Niniejszego ustępu nie stosuje się do osób trzecich udostępniających publicznie na podstawie bezpłatnej licencji otwartego oprogramowania narzędzia, usługi, procesy lub komponenty inne niż modele AI ogólnego przeznaczenia.
4. The provider of a high-risk AI system and the third party that supplies an AI system, tools, services, components, or processes that are used or integrated in a high-risk AI system shall, by written agreement, specify the necessary information, capabilities, technical access and other assistance based on the generally acknowledged state of the art, in order to enable the provider of the high-risk AI system to fully comply with the obligations set out in this Regulation. This paragraph shall not apply to third parties making accessible to the public tools, services, processes, or components, other than general-purpose AI models, under a free and open-source licence.
Urząd ds. AI może opracować i zalecić dobrowolne wzorcowe postanowienia umowne dla umów zawieranych między dostawcami systemów AI wysokiego ryzyka a osobami trzecimi dostarczającymi narzędzia, usługi, komponenty lub procesy, które są wykorzystywane na potrzeby systemów AI wysokiego ryzyka lub zintegrowane z tymi systemami. Przy opracowywaniu dobrowolnych wzorcowych postanowień umownych, Urząd ds. AI bierze również pod uwagę ewentualne wymogi umowne mające zastosowanie w określonych sektorach lub przypadkach biznesowych. Dobrowolne wzorcowe postanowienia umowne są publikowane i udostępniane bezpłatnie w łatwym w użyciu formacie elektronicznym.
The AI Office may develop and recommend voluntary model terms for contracts between providers of high-risk AI systems and third parties that supply tools, services, components or processes that are used for or integrated into high-risk AI systems. When developing those voluntary model terms, the AI Office shall take into account possible contractual requirements applicable in specific sectors or business cases. The voluntary model terms shall be published and be available free of charge in an easily usable electronic format.
5. Ust. 2 i 3 pozostają bez uszczerbku dla konieczności przestrzegania i ochrony praw własności intelektualnej, poufnych informacji handlowych i tajemnic przedsiębiorstwa zgodnie z prawem Unii i prawem krajowym.
5. Paragraphs 2 and 3 are without prejudice to the need to observe and protect intellectual property rights, confidential business information and trade secrets in accordance with Union and national law.
Obowiązki podmiotów stosujących systemy AI wysokiego ryzyka
Obligations of deployers of high-risk AI systems
1. Podmioty stosujące systemy AI wysokiego ryzyka podejmują – na podstawie ust. 3 i 6 – odpowiednie środki techniczne i organizacyjne w celu zapewnienia, aby systemy takie były wykorzystywane zgodnie z dołączoną do nich instrukcją obsługi.
1. Deployers of high-risk AI systems shall take appropriate technical and organisational measures to ensure they use such systems in accordance with the instructions for use accompanying the systems, pursuant to paragraphs 3 and 6.
2. Podmioty stosujące powierzają sprawowanie nadzoru ze strony człowieka osobom fizycznym, które mają niezbędne kompetencje, przeszkolenie i uprawnienia, a także niezbędne wsparcie.
2. Deployers shall assign human oversight to natural persons who have the necessary competence, training and authority, as well as the necessary support.
3. Obowiązki ustanowione w ust. 1 i 2 pozostają bez uszczerbku dla innych obowiązków podmiotu stosującego wynikających z prawa Unii lub prawa krajowego oraz dla przysługującej podmiotowi stosującemu swobody organizowania swoich zasobów własnych i działań w celu wdrożenia wskazanych przez dostawcę środków nadzoru ze strony człowieka.
3. The obligations set out in paragraphs 1 and 2, are without prejudice to other deployer obligations under Union or national law and to the deployer’s freedom to organise its own resources and activities for the purpose of implementing the human oversight measures indicated by the provider.
4. Bez uszczerbku dla ust. 1 i 2 podmiot stosujący zapewnia, w zakresie, w jakim sprawuje on kontrolę nad danymi wejściowymi, adekwatność i wystarczającą reprezentatywność danych wejściowych w odniesieniu do przeznaczenia systemu AI wysokiego ryzyka.
4. Without prejudice to paragraphs 1 and 2, to the extent the deployer exercises control over the input data, that deployer shall ensure that input data is relevant and sufficiently representative in view of the intended purpose of the high-risk AI system.
5. Podmioty stosujące monitorują działanie systemu AI wysokiego ryzyka w oparciu o instrukcję obsługi i w stosownych przypadkach informują dostawców zgodnie z art. 72. W przypadku gdy podmioty stosujące mają powody uważać, że wykorzystanie systemu AI wysokiego ryzyka zgodnie z instrukcją obsługi może powodować, że ten system AI będzie stwarzał ryzyko w rozumieniu art. 79 ust. 1, bez zbędnej zwłoki informują o tym dostawcę lub dystrybutora oraz odpowiedni organ nadzoru rynku i zawieszają wykorzystywanie systemu. W przypadku gdy podmioty stosujące stwierdziły wystąpienie poważnego incydentu, natychmiast informują o tym incydencie najpierw dostawcę, a następnie importera lub dystrybutora oraz odpowiednie organy nadzoru rynku. Jeżeli podmiot stosujący nie jest w stanie skontaktować się z dostawcą, art. 73 stosuje się odpowiednio. Obowiązek ten nie obejmuje wrażliwych danych operacyjnych podmiotów stosujących systemy AI będących organami ścigania.
5. Deployers shall monitor the operation of the high-risk AI system on the basis of the instructions for use and, where relevant, inform providers in accordance with Article 72. Where deployers have reason to consider that the use of the high-risk AI system in accordance with the instructions may result in that AI system presenting a risk within the meaning of Article 79(1), they shall, without undue delay, inform the provider or distributor and the relevant market surveillance authority, and shall suspend the use of that system. Where deployers have identified a serious incident, they shall also immediately inform first the provider, and then the importer or distributor and the relevant market surveillance authorities of that incident. If the deployer is not able to reach the provider, Article 73 shall apply mutatis mutandis. This obligation shall not cover sensitive operational data of deployers of AI systems which are law enforcement authorities.
W odniesieniu do podmiotów stosujących będących instytucjami finansowymi, które podlegają wymogom dotyczącym ich systemu zarządzania wewnętrznego, uzgodnień lub procedur na podstawie przepisów prawa Unii dotyczących usług finansowych, obowiązek w zakresie monitorowania, o którym mowa w akapicie pierwszym, uznaje się za spełniony w przypadku zapewnienia zgodności z przepisami dotyczącymi uzgodnień, procedur i mechanizmów zarządzania wewnętrznego na podstawie odpowiednich przepisów dotyczących usług finansowych.
For deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law, the monitoring obligation set out in the first subparagraph shall be deemed to be fulfilled by complying with the rules on internal governance arrangements, processes and mechanisms pursuant to the relevant financial service law.
6. Podmioty stosujące systemy AI wysokiego ryzyka przechowują generowane automatycznie przez system AI wysokiego ryzyka rejestry zdarzeń – w zakresie, w jakim rejestry te znajdują się pod ich kontrolą – przez stosowny ze względu na przeznaczenie danego systemu AI wysokiego ryzyka okres, wynoszący co najmniej sześć miesięcy, o ile mające zastosowanie prawo Unii lub prawo krajowe, w szczególności prawo Unii dotyczące ochrony danych osobowych, nie stanowi inaczej.
6. Deployers of high-risk AI systems shall keep the logs automatically generated by that high-risk AI system to the extent such logs are under their control, for a period appropriate to the intended purpose of the high-risk AI system, of at least six months, unless provided otherwise in applicable Union or national law, in particular in Union law on the protection of personal data.
Podmioty stosujące będące instytucjami finansowymi, które podlegają wymogom dotyczącym ich systemu zarządzania wewnętrznego, uzgodnień lub procedur na podstawie przepisów prawa Unii dotyczących usług finansowych, prowadzą rejestry zdarzeń jako część dokumentacji prowadzonej na podstawie odpowiednich unijnych przepisów dotyczących usług finansowych.
Deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law shall maintain the logs as part of the documentation kept pursuant to the relevant Union financial service law.
7. Przed oddaniem do użytku lub wykorzystaniem systemu AI wysokiego ryzyka w miejscu pracy podmioty stosujące będące pracodawcami informują przedstawicieli pracowników i pracowników, których to dotyczy, że będzie w stosunku do nich wykorzystywany system AI wysokiego ryzyka. Informacje te przekazuje się, w stosownych przypadkach, zgodnie z zasadami i procedurami ustanowionymi w prawie Unii i prawie krajowym oraz praktyką w zakresie informowania pracowników i ich przedstawicieli.
7. Before putting into service or using a high-risk AI system at the workplace, deployers who are employers shall inform workers’ representatives and the affected workers that they will be subject to the use of the high-risk AI system. This information shall be provided, where applicable, in accordance with the rules and procedures laid down in Union and national law and practice on information of workers and their representatives.
8. Podmioty stosujące systemy AI wysokiego ryzyka, będące publicznymi organami lub instytucjami, organami i jednostkami organizacyjnymi Unii, spełniają obowiązki rejestracji, o których mowa w art. 49. Jeżeli takie podmioty stosujące ustalą, że system AI wysokiego ryzyka, który zamierzają wykorzystywać, nie został zarejestrowany w bazie danych UE, o której mowa w art. 71, nie stosują tego systemu i informują o tym dostawcę lub dystrybutora.
8. Deployers of high-risk AI systems that are public authorities, or Union institutions, bodies, offices or agencies shall comply with the registration obligations referred to in Article 49. When such deployers find that the high-risk AI system that they envisage using has not been registered in the EU database referred to in Article 71, they shall not use that system and shall inform the provider or the distributor.
9. W stosownych przypadkach, podmioty stosujące systemy AI wysokiego ryzyka korzystają z informacji przekazanych na podstawie art. 13 niniejszego rozporządzenia, aby spełnić spoczywając na nich obowiązki przeprowadzenia oceny skutków dla ochrony danych zgodnie z art. 35 rozporządzenia (UE) 2016/679 lub art. 27 dyrektywy (UE) 2016/680.
9. Where applicable, deployers of high-risk AI systems shall use the information provided under Article 13 of this Regulation to comply with their obligation to carry out a data protection impact assessment under Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680.
10. Bez uszczerbku dla dyrektywy (UE) 2016/680, w ramach postępowania przygotowawczego dotyczącego ukierunkowanego poszukiwania osoby podejrzanej o popełnienie przestępstwa lub skazanej za popełnienie przestępstwa podmiot stosujący system AI wysokiego ryzyka do celów zdalnej identyfikacji biometrycznej post factum zwraca się – ex ante lub bez zbędnej zwłoki, nie później jednak niż w ciągu 48 godzin – do organu wymiaru sprawiedliwości lub organu administracyjnego, którego decyzja jest wiążąca i podlega kontroli sądowej, z wnioskiem o zezwolenie na wykorzystanie tego systemu, z wyjątkiem sytuacji, gdy jest on wykorzystywany do wstępnej identyfikacji potencjalnego podejrzanego w oparciu o obiektywne i możliwe do zweryfikowania fakty bezpośrednio związane z przestępstwem. Każde wykorzystanie takiego systemu musi być ograniczone do tego, co jest bezwzględnie konieczne do prowadzenia postępowań przygotowawczych w sprawie konkretnego przestępstwa.
10. Without prejudice to Directive (EU) 2016/680, in the framework of an investigation for the targeted search of a person suspected or convicted of having committed a criminal offence, the deployer of a high-risk AI system for post-remote biometric identification shall request an authorisation, ex ante, or without undue delay and no later than 48 hours, by a judicial authority or an administrative authority whose decision is binding and subject to judicial review, for the use of that system, except when it is used for the initial identification of a potential suspect based on objective and verifiable facts directly linked to the offence. Each use shall be limited to what is strictly necessary for the investigation of a specific criminal offence.
W przypadku gdy wniosek o zezwolenie, o którym mowa w akapicie pierwszym, zostanie odrzucony, korzystanie z systemu zdalnej identyfikacji biometrycznej post factum, będące przedmiotem wniosku o zezwolenie, zostaje wstrzymane ze skutkiem natychmiastowym, a dane osobowe związane z wykorzystaniem systemu AI wysokiego ryzyka, w odniesieniu do którego złożono wniosek o zezwolenie, zostają usunięte.
If the authorisation requested pursuant to the first subparagraph is rejected, the use of the post-remote biometric identification system linked to that requested authorisation shall be stopped with immediate effect and the personal data linked to the use of the high-risk AI system for which the authorisation was requested shall be deleted.
W żadnym przypadku taki system AI wysokiego ryzyka służący do zdalnej identyfikacji biometrycznej post factum nie może być wykorzystywany do celów ścigania przestępstw w sposób nieukierunkowany, bez związku z przestępstwem, postępowaniem karnym, rzeczywistym i obecnym lub rzeczywistym i dającym się przewidzieć zagrożeniem popełnieniem przestępstwa lub poszukiwaniem konkretnej osoby zaginionej. Zapewnia się, aby organy ścigania mogły wydać żadnej decyzji wywołującej niepożądane skutki prawne dla danej osoby wyłącznie na podstawie wyników uzyskanych z systemu zdalnej identyfikacji biometrycznej post factum.
In no case shall such high-risk AI system for post-remote biometric identification be used for law enforcement purposes in an untargeted way, without any link to a criminal offence, a criminal proceeding, a genuine and present or genuine and foreseeable threat of a criminal offence, or the search for a specific missing person. It shall be ensured that no decision that produces an adverse legal effect on a person may be taken by the law enforcement authorities based solely on the output of such post-remote biometric identification systems.
Niniejszy ustęp pozostaje bez uszczerbku dla art. 9 rozporządzenia (UE) 2016/679 i art. 10 dyrektywy (UE) 2016/680 w odniesieniu do przetwarzania danych biometrycznych.
This paragraph is without prejudice to Article 9 of Regulation (EU) 2016/679 and Article 10 of Directive (EU) 2016/680 for the processing of biometric data.
Niezależnie od celu lub podmiotu stosującego każde wykorzystanie takich systemów AI wysokiego ryzyka musi zostać udokumentowane w odpowiednich aktach policyjnych i udostępnione na wniosek właściwego organu nadzoru rynku i krajowemu organowi ochrony danych, z wyłączeniem ujawniania wrażliwych danych operacyjnych związanych ze ściganiem przestępstw. Niniejszy akapit pozostaje bez uszczerbku dla uprawnień powierzonych organom nadzorczym dyrektywą (UE) 2016/680.
Regardless of the purpose or deployer, each use of such high-risk AI systems shall be documented in the relevant police file and shall be made available to the relevant market surveillance authority and the national data protection authority upon request, excluding the disclosure of sensitive operational data related to law enforcement. This subparagraph shall be without prejudice to the powers conferred by Directive (EU) 2016/680 on supervisory authorities.
Podmioty stosujące przedkładają właściwym organom nadzoru rynku i krajowym organom ochrony danych roczne sprawozdania dotyczące wykorzystania przez nie systemów zdalnej identyfikacji biometrycznej post factum, z wyłączeniem ujawniania wrażliwych danych operacyjnych związanych ze ściganiem przestępstw. Sprawozdania te mogą zostać zagregowane w celu uwzględnienia stosowania więcej niż jednego systemu.
Deployers shall submit annual reports to the relevant market surveillance and national data protection authorities on their use of post-remote biometric identification systems, excluding the disclosure of sensitive operational data related to law enforcement. The reports may be aggregated to cover more than one deployment.
Państwa członkowskie mogą wprowadzić, zgodnie z prawem Unii, bardziej restrykcyjne przepisy dotyczące korzystania z systemów zdalnej identyfikacji biometrycznej post factum.
Member States may introduce, in accordance with Union law, more restrictive laws on the use of post-remote biometric identification systems.
11. Bez uszczerbku dla art. 50 niniejszego rozporządzenia podmioty stosujące systemy wysokiego ryzyka, o których mowa w załączniku III, które to podmioty podejmują decyzje lub uczestniczą w podejmowaniu decyzji dotyczących osób fizycznych, informują osoby fizyczne o tym, że jest w stosunku do nich wykorzystywany system AI wysokiego ryzyka. W przypadku systemów AI wysokiego ryzyka wykorzystywanych do celów ścigania przestępstw stosuje się art. 13 dyrektywy (UE) 2016/680.
11. Without prejudice to Article 50 of this Regulation, deployers of high-risk AI systems referred to in Annex III that make decisions or assist in making decisions related to natural persons shall inform the natural persons that they are subject to the use of the high-risk AI system. For high-risk AI systems used for law enforcement purposes Article 13 of Directive (EU) 2016/680 shall apply.
12. Podmioty stosujące współpracują z odpowiednimi właściwymi organami przy wszelkich działaniach, które organy te podejmują w odniesieniu do systemu AI wysokiego ryzyka, w celu wykonywania niniejszego rozporządzenia.
12. Deployers shall cooperate with the relevant competent authorities in any action those authorities take in relation to the high-risk AI system in order to implement this Regulation.
Ocena skutków systemów AI wysokiego ryzyka dla praw podstawowych
Fundamental rights impact assessment for high-risk AI systems
1. Przed wdrożeniem systemu AI wysokiego ryzyka, o którym mowa w art. 6 ust. 2, z wyjątkiem systemów AI wysokiego ryzyka przeznaczonych do stosowania w obszarze wymienionym w załączniku III pkt 2, podmioty stosujące będące podmiotami prawa publicznego lub podmiotami prywatnymi świadczącymi usługi publiczne, oraz podmioty stosujące systemy AI wysokiego ryzyka, o których mowa w załączniku III pkt 5 lit. b) i c), przeprowadzają ocenę skutków w zakresie praw podstawowych, jakie może wywołać wykorzystanie takiego systemu. W tym celu podmioty stosujące przeprowadzają ocenę obejmującą:
1. Prior to deploying a high-risk AI system referred to in Article 6(2), with the exception of high-risk AI systems intended to be used in the area listed in point 2 of Annex III, deployers that are bodies governed by public law, or are private entities providing public services, and deployers of high-risk AI systems referred to in points 5 (b) and (c) of Annex III, shall perform an assessment of the impact on fundamental rights that the use of such system may produce. For that purpose, deployers shall perform an assessment consisting of:
a)
opis procesów podmiotu stosującego, w których system AI wysokiego ryzyka będzie wykorzystywany zgodnie z jego przeznaczeniem;
(a)
a description of the deployer’s processes in which the high-risk AI system will be used in line with its intended purpose;
b)
opis okresu, w którym każdy system AI wysokiego ryzyka ma być wykorzystywany i opis częstotliwości tego wykorzystywania;
(b)
a description of the period of time within which, and the frequency with which, each high-risk AI system is intended to be used;
c)
kategorie osób fizycznych i grup, na które może mieć wpływ wykorzystywanie systemu;
(c)
the categories of natural persons and groups likely to be affected by its use in the specific context;
d)
szczególne ryzyko szkody, które może mieć wpływ na kategorie osób fizycznych lub grupy osób zidentyfikowane zgodnie z lit. c) niniejszego ustępu, z uwzględnieniem informacji przekazanych przez dostawcę zgodnie z art. 13;
(d)
the specific risks of harm likely to have an impact on the categories of natural persons or groups of persons identified pursuant to point (c) of this paragraph, taking into account the information given by the provider pursuant to Article 13;
e)
opis wdrożenia środków nadzoru ze strony człowieka, zgodnie z instrukcją obsługi;
(e)
a description of the implementation of human oversight measures, according to the instructions for use;
f)
środki, jakie należy podjąć w przypadku urzeczywistnienia się tego ryzyka, w tym ustalenia dotyczące zarządzania wewnętrznego i mechanizmów rozpatrywania skarg.
(f)
the measures to be taken in the case of the materialisation of those risks, including the arrangements for internal governance and complaint mechanisms.
2. Obowiązek ustanowiony w ust. 1 ma zastosowanie do wykorzystania systemu AI wysokiego ryzyka po raz pierwszy. W podobnych przypadkach podmiot stosujący może polegać na wcześniej przeprowadzonych ocenach skutków dla praw podstawowych lub na istniejących ocenach skutków przeprowadzonych przez dostawcę. Jeżeli w trakcie wykorzystania systemu AI wysokiego ryzyka podmiot stosujący uzna, że którykolwiek z elementów wymienionych w ust. 1 uległ zmianie lub nie jest już aktualny, podmiot ten podejmuje niezbędne kroki w celu aktualizacji informacji.
2. The obligation laid down in paragraph 1 applies to the first use of the high-risk AI system. The deployer may, in similar cases, rely on previously conducted fundamental rights impact assessments or existing impact assessments carried out by provider. If, during the use of the high-risk AI system, the deployer considers that any of the elements listed in paragraph 1 has changed or is no longer up to date, the deployer shall take the necessary steps to update the information.
3. Po przeprowadzeniu oceny, o której mowa w ust. 1 niniejszego artykułu, podmiot stosujący powiadamia organ nadzoru rynku o jej wynikach, przedkładając jako element tego powiadomienia wypełniony wzór, o którym mowa w ust. 5 niniejszego artykułu. W przypadku, o którym mowa w art. 46 ust. 1, podmioty stosujące mogą zostać zwolnione z obowiązku dokonania powiadomienia.
3. Once the assessment referred to in paragraph 1 of this Article has been performed, the deployer shall notify the market surveillance authority of its results, submitting the filled-out template referred to in paragraph 5 of this Article as part of the notification. In the case referred to in Article 46(1), deployers may be exempt from that obligation to notify.
4. Jeżeli którykolwiek z obowiązków ustanowionych w niniejszym artykule został już spełniony w wyniku oceny skutków dla ochrony danych przeprowadzonej zgodnie z art. 35 rozporządzenia (UE) 2016/679 lub art. 27 dyrektywy (UE) 2016/680, ocena skutków w zakresie praw podstawowych, o której mowa w ust. 1 niniejszego artykułu, stanowi uzupełnieniem tej oceny skutków dla ochrony danych.
4. If any of the obligations laid down in this Article is already met through the data protection impact assessment conducted pursuant to Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680, the fundamental rights impact assessment referred to in paragraph 1 of this Article shall complement that data protection impact assessment.
5. Urząd ds. AI opracowuje wzór kwestionariusza, w tym za pomocą zautomatyzowanego narzędzia, aby ułatwić podmiotom stosującym spełnianie ich obowiązków wynikających z niniejszego artykułu w sposób uproszczony.
5. The AI Office shall develop a template for a questionnaire, including through an automated tool, to facilitate deployers in complying with their obligations under this Article in a simplified manner.
1. Każde państwo członkowskie wyznacza lub ustanawia przynajmniej jeden organ notyfikujący odpowiedzialny za opracowanie i stosowanie procedur koniecznych do oceny, wyznaczania i notyfikowania jednostek oceniających zgodność oraz za ich monitorowanie. Procedury te są przygotowywane wspólnie przez organy notyfikujące wszystkich państw członkowskich.
1. Each Member State shall designate or establish at least one notifying authority responsible for setting up and carrying out the necessary procedures for the assessment, designation and notification of conformity assessment bodies and for their monitoring. Those procedures shall be developed in cooperation between the notifying authorities of all Member States.
2. Państwa członkowskie mogą zdecydować, że ocena oraz monitorowanie, o których mowa w ust. 1, są prowadzone przez krajową jednostkę akredytującą w rozumieniu rozporządzenia (WE) nr 765/2008 oraz zgodnie z tym rozporządzeniem.
2. Member States may decide that the assessment and monitoring referred to in paragraph 1 is to be carried out by a national accreditation body within the meaning of, and in accordance with, Regulation (EC) No 765/2008.
3. Organy notyfikujące ustanawia się, organizuje się i zarządza się nimi w taki sposób, aby nie dopuścić do wystąpienia konfliktu interesów z jednostkami oceniającymi zgodność i aby zapewnić obiektywny i bezstronny charakter ich działalności.
3. Notifying authorities shall be established, organised and operated in such a way that no conflict of interest arises with conformity assessment bodies, and that the objectivity and impartiality of their activities are safeguarded.
4. Działalność organów notyfikujących organizuje się w taki sposób, aby decyzje dotyczące notyfikacji jednostek oceniających zgodność podejmowały kompetentne osoby, które nie przeprowadzały oceny tych jednostek.
4. Notifying authorities shall be organised in such a way that decisions relating to the notification of conformity assessment bodies are taken by competent persons different from those who carried out the assessment of those bodies.
5. Organy notyfikujące nie mogą oferować ani podejmować żadnych działań realizowanych przez jednostki oceniające zgodność ani świadczyć żadnych usług doradztwa na zasadzie komercyjnej lub konkurencyjnej.
5. Notifying authorities shall offer or provide neither any activities that conformity assessment bodies perform, nor any consultancy services on a commercial or competitive basis.
6. Organy notyfikujące zapewniają poufność otrzymywanych informacji zgodnie z art. 78.
6. Notifying authorities shall safeguard the confidentiality of the information that they obtain, in accordance with Article 78.
7. Organy notyfikujące muszą dysponować odpowiednią liczbą kompetentnych pracowników, aby należycie wykonywać powierzone im zadania. Kompetentni pracownicy muszą posiadać, w odpowiednich przypadkach, wiedzę fachową niezbędną do pełnienia ich funkcji w dziedzinach, takich jak technologie informacyjne, AI i prawo, w tym nadzór nad prawami podstawowymi.
7. Notifying authorities shall have an adequate number of competent personnel at their disposal for the proper performance of their tasks. Competent personnel shall have the necessary expertise, where applicable, for their function, in fields such as information technologies, AI and law, including the supervision of fundamental rights.
Wniosek jednostki oceniającej zgodność o notyfikację
Application of a conformity assessment body for notification
1. Jednostki oceniające zgodność przekazują wniosek o notyfikację organowi notyfikującemu państwa członkowskiego, w którym znajduje się ich siedziba.
1. Conformity assessment bodies shall submit an application for notification to the notifying authority of the Member State in which they are established.
2. Do wniosku o notyfikację załącza się opis czynności z zakresu oceny zgodności, modułu lub modułów oceny zgodności i rodzajów systemów AI, w odniesieniu do których jednostka oceniająca zgodność uważa się za kompetentną, a także wydany przez krajową jednostkę akredytującą certyfikat akredytacji (o ile takowy istnieje) poświadczający, że jednostka oceniająca zgodność spełnia wymogi ustanowione w art. 31.
2. The application for notification shall be accompanied by a description of the conformity assessment activities, the conformity assessment module or modules and the types of AI systems for which the conformity assessment body claims to be competent, as well as by an accreditation certificate, where one exists, issued by a national accreditation body attesting that the conformity assessment body fulfils the requirements laid down in Article 31.
Do wniosku załącza się również wszelkie ważne dokumenty dotyczące obowiązującego wyznaczenia – na podstawie innego unijnego prawodawstwa harmonizacyjnego – występującej z wnioskiem jednostki notyfikowanej.
Any valid document related to existing designations of the applicant notified body under any other Union harmonisation legislation shall be added.
3. Jeżeli dana jednostka oceniająca zgodność nie jest w stanie przedstawić certyfikatu akredytacji, przekazuje organowi notyfikującemu wszystkie dowody w postaci dokumentów niezbędne do zweryfikowania, potwierdzenia i regularnego monitorowania spełnienia przez tę jednostkę wymogów ustanowionych w art. 31.
3. Where the conformity assessment body concerned cannot provide an accreditation certificate, it shall provide the notifying authority with all the documentary evidence necessary for the verification, recognition and regular monitoring of its compliance with the requirements laid down in Article 31.
4. W odniesieniu do jednostek notyfikowanych wyznaczonych na podstawie innego unijnego prawodawstwa harmonizacyjnego w stosownych przypadkach dopuszcza się możliwość wykorzystania wszelkich dokumentów i certyfikatów dotyczących takiego wyznaczenia w charakterze dowodów w toku procedury wyznaczania przeprowadzanej zgodnie z niniejszym rozporządzeniem. Jednostka notyfikowana aktualizuje dokumentację, o której mowa w ust. 2 i 3 niniejszego artykułu, w każdym przypadku gdy wystąpią istotne zmiany, aby umożliwić organowi odpowiedzialnemu za jednostki notyfikowane monitorowanie i weryfikowanie, czy zapewniona jest ciągła zgodność ze wszystkimi wymogami ustanowionymi w art. 31.
4. For notified bodies which are designated under any other Union harmonisation legislation, all documents and certificates linked to those designations may be used to support their designation procedure under this Regulation, as appropriate. The notified body shall update the documentation referred to in paragraphs 2 and 3 of this Article whenever relevant changes occur, in order to enable the authority responsible for notified bodies to monitor and verify continuous compliance with all the requirements laid down in Article 31.
1. Organy notyfikujące mogą dokonywać notyfikacji wyłącznie w odniesieniu do tych jednostek oceniających zgodność, które spełniają wymogi ustanowione w art. 31.
1. Notifying authorities may notify only conformity assessment bodies which have satisfied the requirements laid down in Article 31.
2. Organy notyfikujące dokonują notyfikacji Komisji i pozostałym państwom członkowskim za pomocą narzędzia do notyfikacji elektronicznej opracowanego i obsługiwanego przez Komisję, o każdej jednostce oceniającej zgodność, o której mowa w ust. 1.
2. Notifying authorities shall notify the Commission and the other Member States, using the electronic notification tool developed and managed by the Commission, of each conformity assessment body referred to in paragraph 1.
3. Notyfikacja, o której mowa w ust. 2 niniejszego artykułu, zawiera wyczerpujące informacje na temat czynności z zakresu oceny zgodności, modułu lub modułów oceny zgodności i przedmiotowych rodzajów systemów AI oraz odpowiednie poświadczenie kompetencji. W przypadku gdy podstawą notyfikacji nie jest certyfikat akredytacji, o którym mowa w art. 29 ust. 2, organ notyfikujący przedkłada Komisji i pozostałym państwom członkowskim dowody w postaci dokumentów potwierdzające kompetencje jednostki oceniającej zgodność oraz wdrożone rozwiązania zapewniające regularne monitorowanie tej jednostki i nieustanne spełnianie przez nią wymagań ustanowionych w art. 31.
3. The notification referred to in paragraph 2 of this Article shall include full details of the conformity assessment activities, the conformity assessment module or modules, the types of AI systems concerned, and the relevant attestation of competence. Where a notification is not based on an accreditation certificate as referred to in Article 29(2), the notifying authority shall provide the Commission and the other Member States with documentary evidence which attests to the competence of the conformity assessment body and to the arrangements in place to ensure that that body will be monitored regularly and will continue to satisfy the requirements laid down in Article 31.
4. Dana jednostka oceniająca zgodność może wykonywać czynności jednostki notyfikowanej tylko wówczas, gdy Komisja lub pozostałe państwa członkowskie nie zgłosiły sprzeciwu w terminie dwóch tygodni od notyfikacji przez organ notyfikujący, w przypadku gdy notyfikacja ta obejmuje certyfikat akredytacji, o którym mowa w art. 29 ust. 2, lub w terminie dwóch miesięcy od notyfikacji przez organ notyfikujący, w przypadku gdy notyfikacja ta obejmuje dowody w postaci dokumentów, o których mowa w art. 29 ust. 3.
4. The conformity assessment body concerned may perform the activities of a notified body only where no objections are raised by the Commission or the other Member States within two weeks of a notification by a notifying authority where it includes an accreditation certificate referred to in Article 29(2), or within two months of a notification by the notifying authority where it includes documentary evidence referred to in Article 29(3).
5. W przypadku zgłoszenia sprzeciwu Komisja niezwłocznie przystępuje do konsultacji z odpowiednimi państwami członkowskimi i jednostką oceniającą zgodność. Na podstawie tych konsultacji Komisja podejmuje decyzję, czy dane zezwolenie jest uzasadnione. Komisja kieruje swoją decyzję do zainteresowanego państwa członkowskiego i odpowiedniej jednostki oceniającej zgodność.
5. Where objections are raised, the Commission shall, without delay, enter into consultations with the relevant Member States and the conformity assessment body. In view thereof, the Commission shall decide whether the authorisation is justified. The Commission shall address its decision to the Member State concerned and to the relevant conformity assessment body.
Wymogi dotyczące jednostek notyfikowanych
Requirements relating to notified bodies
1. Jednostkę notyfikowaną ustanawia się zgodnie z prawem krajowym danego państwa członkowskiego i ma ona osobowość prawną.
1. A notified body shall be established under the national law of a Member State and shall have legal personality.
2. Jednostki notyfikowane muszą spełniać wymogi organizacyjne, wymogi w zakresie zarządzania jakością oraz wymogi dotyczące zasobów i procesów niezbędne do tego, aby mogły wykonywać powierzone im zadania, jak również odpowiednie wymogi w zakresie cyberbezpieczeństwa.
2. Notified bodies shall satisfy the organisational, quality management, resources and process requirements that are necessary to fulfil their tasks, as well as suitable cybersecurity requirements.
3. Struktura organizacyjna jednostek notyfikowanych, podział obowiązków w tych jednostkach, obowiązująca w nich hierarchia służbowa oraz ich funkcjonowanie zapewniają, by działalność jednostek notyfikowanych oraz wyniki czynności z zakresu oceny zgodności prowadzonych przez te jednostki nie budziły żadnych wątpliwości.
3. The organisational structure, allocation of responsibilities, reporting lines and operation of notified bodies shall ensure confidence in their performance, and in the results of the conformity assessment activities that the notified bodies conduct.
4. Jednostki notyfikowane muszą być niezależne od dostawcy systemu AI wysokiego ryzyka, wobec którego podejmują czynności z zakresu oceny zgodności. Jednostki notyfikowane muszą być również niezależne od wszelkich innych operatorów, których interes gospodarczy wiąże się z systemami AI wysokiego ryzyka będącymi przedmiotem oceny, a także od wszelkich innych konkurentów dostawcy. Nie wyklucza to wykorzystania będących przedmiotem oceny systemów AI wysokiego ryzyka, które są niezbędne do prowadzenia działalności jednostki oceniającej zgodność, ani wykorzystania takich systemów AI wysokiego ryzyka do celów prywatnych.
4. Notified bodies shall be independent of the provider of a high-risk AI system in relation to which they perform conformity assessment activities. Notified bodies shall also be independent of any other operator having an economic interest in high-risk AI systems assessed, as well as of any competitors of the provider. This shall not preclude the use of assessed high-risk AI systems that are necessary for the operations of the conformity assessment body, or the use of such high-risk AI systems for personal purposes.
5. Jednostka oceniająca zgodność, jej kierownictwo najwyższego szczebla ani pracownicy odpowiedzialni za realizację zadań związanych z oceną zgodności nie mogą być bezpośrednio zaangażowani w projektowanie, rozwój, sprzedaż ani wykorzystywanie systemów AI wysokiego ryzyka, nie mogą też reprezentować stron zaangażowanych w taką działalność. Nie angażują się oni w żadną działalność, która może zagrozić niezależności ich osądów i wiarygodności w związku z czynnościami z zakresu oceny zgodności, do której zostali notyfikowani. Dotyczy to w szczególności usług konsultingowych.
5. Neither a conformity assessment body, its top-level management nor the personnel responsible for carrying out its conformity assessment tasks shall be directly involved in the design, development, marketing or use of high-risk AI systems, nor shall they represent the parties engaged in those activities. They shall not engage in any activity that might conflict with their independence of judgement or integrity in relation to conformity assessment activities for which they are notified. This shall, in particular, apply to consultancy services.
6. Jednostki notyfikowane organizuje się i zarządza się nimi w sposób gwarantujący niezależność, obiektywizm i bezstronność podejmowanych przez nie czynności. Jednostki notyfikowane dokumentują i wdrażają strukturę i procedury służące zagwarantowaniu ich bezstronności oraz propagowaniu i stosowaniu zasad bezstronności we wszystkich podejmowanych przez nie czynnościach organizacyjnych i kadrowych oraz we wszystkich ich czynnościach związanych z oceną.
6. Notified bodies shall be organised and operated so as to safeguard the independence, objectivity and impartiality of their activities. Notified bodies shall document and implement a structure and procedures to safeguard impartiality and to promote and apply the principles of impartiality throughout their organisation, personnel and assessment activities.
7. Jednostki notyfikowane dysponują udokumentowanymi procedurami, które zapewniają zachowanie poufności informacji – zgodnie z art. 78 – przez ich personel, komitety, jednostki zależne, podwykonawców oraz wszelkie stowarzyszone z nimi jednostki lub pracowników podmiotów zewnętrznych, które to informacje znalazły się w ich posiadaniu w toku czynności z zakresu oceny zgodności, chyba że ujawnienie takich informacji jest wymagane na mocy obowiązującego prawa. Personel jednostek notyfikowanych pozostaje związany tajemnicą zawodową w kwestii wszystkich informacji pozyskiwanych w toku wykonywania zadań powierzonych mu zgodnie z niniejszym rozporządzeniem, jednak nie w stosunku do organów notyfikujących państwa członkowskiego, w którym jednostki notyfikowane podejmują czynności.
7. Notified bodies shall have documented procedures in place ensuring that their personnel, committees, subsidiaries, subcontractors and any associated body or personnel of external bodies maintain, in accordance with Article 78, the confidentiality of the information which comes into their possession during the performance of conformity assessment activities, except when its disclosure is required by law. The staff of notified bodies shall be bound to observe professional secrecy with regard to all information obtained in carrying out their tasks under this Regulation, except in relation to the notifying authorities of the Member State in which their activities are carried out.
8. Jednostki notyfikowane dysponują procedurami prowadzenia czynności z uwzględnieniem rozmiaru dostawcy, sektora, w którym prowadzi on działalność, jego struktury oraz stopnia złożoności danego systemu AI.
8. Notified bodies shall have procedures for the performance of activities which take due account of the size of a provider, the sector in which it operates, its structure, and the degree of complexity of the AI system concerned.
9. Jednostki notyfikowane zawierają odpowiednie umowy ubezpieczenia od odpowiedzialności cywilnej w odniesieniu do podejmowanych przez siebie czynności z zakresu oceny zgodności, chyba że państwo członkowskie, w którym mają siedzibę, bierze na siebie odpowiedzialność z tego tytułu zgodnie z prawem krajowym lub bezpośrednia odpowiedzialność za ocenę zgodności spoczywa na danym państwie członkowskim.
9. Notified bodies shall take out appropriate liability insurance for their conformity assessment activities, unless liability is assumed by the Member State in which they are established in accordance with national law or that Member State is itself directly responsible for the conformity assessment.
10. Jednostki notyfikowane posiadają zdolność wykonywania wszystkich zadań wynikających z niniejszego rozporządzenia z zachowaniem najwyższego poziomu uczciwości zawodowej i wymaganych kompetencji w danej dziedzinie, niezależnie od tego, czy zadania te są wykonywane przez nie samodzielnie, czy też w ich imieniu i na ich odpowiedzialność.
10. Notified bodies shall be capable of carrying out all their tasks under this Regulation with the highest degree of professional integrity and the requisite competence in the specific field, whether those tasks are carried out by notified bodies themselves or on their behalf and under their responsibility.
11. Jednostki notyfikowane dysponują wystarczającymi kompetencjami wewnętrznymi pozwalającymi im skutecznie oceniać zadania wykonywane w ich imieniu przez podmioty zewnętrzne. Jednostka notyfikowana dysponuje stałą dostępnością wystarczającej liczby pracowników odpowiedzialnych za aspekty administracyjne, techniczne, prawne i naukowe dysponujących doświadczeniem i wiedzą w zakresie odnośnych rodzajów systemów AI, danych i metod przetwarzania danych oraz w zakresie wymogów ustanowionych w sekcji 2.
11. Notified bodies shall have sufficient internal competences to be able effectively to evaluate the tasks conducted by external parties on their behalf. The notified body shall have permanent availability of sufficient administrative, technical, legal and scientific personnel who possess experience and knowledge relating to the relevant types of AI systems, data and data computing, and relating to the requirements set out in Section 2.
12. Jednostki notyfikowane biorą udział w działaniach koordynacyjnych, o których mowa w art. 38. Angażują się także w działalność europejskich organizacji normalizacyjnych bezpośrednio lub za pośrednictwem swoich przedstawicieli lub zapewniają, by same posiadały znajomość odpowiednich norm i dysponowały zawsze aktualną wiedzą na ich temat.
12. Notified bodies shall participate in coordination activities as referred to in Article 38. They shall also take part directly, or be represented in, European standardisation organisations, or ensure that they are aware and up to date in respect of relevant standards.
1. Organ notyfikujący powiadamia Komisję i pozostałe państwa członkowskie za pomocą systemu notyfikacji elektronicznej, o którym mowa w art. 30 ust. 2, o wszelkich istotnych zmianach w notyfikacji danej jednostki notyfikowanej.
1. The notifying authority shall notify the Commission and the other Member States of any relevant changes to the notification of a notified body via the electronic notification tool referred to in Article 30(2).
2. Procedury ustanowione w art. 29 i 30 stosuje się do rozszerzenia zakresu notyfikacji.
2. The procedures laid down in Articles 29 and 30 shall apply to extensions of the scope of the notification.
W przypadku zmian w notyfikacji innych niż rozszerzenie jej zakresu stosuje się procedury ustanowione w ust. 3-9.
For changes to the notification other than extensions of its scope, the procedures laid down in paragraphs (3) to (9) shall apply.
3. W przypadku gdy jednostka notyfikowana podejmie decyzję o zaprzestaniu prowadzenia czynności z zakresu oceny zgodności, jak najszybciej informuje o tym organ notyfikujący i zainteresowanych dostawców, a w przypadku planowanego zaprzestania działalności – na co najmniej rok przed zaprzestaniem działalności. Certyfikaty wydane przez jednostkę notyfikowaną mogą pozostać ważne przez okres dziewięciu miesięcy po zaprzestaniu działalności jednostki notyfikowanej, pod warunkiem że inna jednostka notyfikowana potwierdzi na piśmie, że przejmie odpowiedzialność za objęte tymi certyfikatami systemy AI wysokiego ryzyka. Przed upływem tego okresu dziewięciu miesięcy ta inna jednostka notyfikowana przeprowadza pełną ocenę odnośnych systemów AI wysokiego ryzyka, zanim wyda nowe certyfikaty dla tych systemów. W przypadku gdy jednostka notyfikowana zaprzestała działalności, organ notyfikujący cofa jej wyznaczenie.
3. Where a notified body decides to cease its conformity assessment activities, it shall inform the notifying authority and the providers concerned as soon as possible and, in the case of a planned cessation, at least one year before ceasing its activities. The certificates of the notified body may remain valid for a period of nine months after cessation of the notified body’s activities, on condition that another notified body has confirmed in writing that it will assume responsibilities for the high-risk AI systems covered by those certificates. The latter notified body shall complete a full assessment of the high-risk AI systems affected by the end of that nine-month-period before issuing new certificates for those systems. Where the notified body has ceased its activity, the notifying authority shall withdraw the designation.
4. W przypadku gdy organ notyfikujący ma wystarczające powody, by uważać, że jednostka notyfikowana przestała spełniać wymogi określone w art. 31 lub nie spełnia swoich obowiązków, organ notyfikujący niezwłocznie wszczyna postępowanie wyjaśniające w tej sprawie z zachowaniem największej staranności. W takim przypadku organ notyfikujący informuje daną jednostkę notyfikowaną o zgłoszonym sprzeciwu i zapewnia jej możliwość ustosunkowania się do tego sprzeciwu. Jeżeli organ notyfikujący dojdzie do wniosku, że jednostka notyfikowana przestała spełniać wymogi ustanowione w art. 31 lub nie spełnia swoich obowiązków, organ ten, stosownie do przypadku, ogranicza, zawiesza lub cofa wyznaczenie, w zależności od powagi niespełnienia tych wymogów lub tych obowiązków. Informuje on o tym natychmiast Komisję i pozostałe państwa członkowskie.
4. Where a notifying authority has sufficient reason to consider that a notified body no longer meets the requirements laid down in Article 31, or that it is failing to fulfil its obligations, the notifying authority shall without delay investigate the matter with the utmost diligence. In that context, it shall inform the notified body concerned about the objections raised and give it the possibility to make its views known. If the notifying authority comes to the conclusion that the notified body no longer meets the requirements laid down in Article 31 or that it is failing to fulfil its obligations, it shall restrict, suspend or withdraw the designation as appropriate, depending on the seriousness of the failure to meet those requirements or fulfil those obligations. It shall immediately inform the Commission and the other Member States accordingly.
5. W przypadku gdy wyznaczenie zostało zawieszone, ograniczone lub całkowicie lub częściowo cofnięte, jednostka notyfikowana informuje o tym zainteresowanych dostawców w terminie 10 dni.
5. Where its designation has been suspended, restricted, or fully or partially withdrawn, the notified body shall inform the providers concerned within 10 days.
6. W przypadku ograniczenia, zawieszenia lub cofnięcia wyznaczenia organ notyfikujący podejmuje odpowiednie kroki w celu zapewnienia, by zachowana została dokumentacja danej jednostki notyfikowanej i była ona udostępniana organom notyfikującym w pozostałych państwach członkowskich oraz organom nadzoru rynku na ich wniosek.
6. In the event of the restriction, suspension or withdrawal of a designation, the notifying authority shall take appropriate steps to ensure that the files of the notified body concerned are kept, and to make them available to notifying authorities in other Member States and to market surveillance authorities at their request.
7. W przypadku ograniczenia, zawieszenia lub cofnięcia wyznaczenia organ notyfikujący:
7. In the event of the restriction, suspension or withdrawal of a designation, the notifying authority shall:
a)
ocenia skutki dla certyfikatów wydanych przez daną jednostkę notyfikowaną;
(a)
assess the impact on the certificates issued by the notified body;
b)
przedkłada Komisji i pozostałym państwom członkowskim sprawozdanie ze swoich ustaleń w terminie trzech miesięcy od powiadomienia o zmianach w wyznaczeniu;
(b)
submit a report on its findings to the Commission and the other Member States within three months of having notified the changes to the designation;
c)
zwraca się do jednostki notyfikowanej z żądaniem, by w celu zapewnienia ciągłości zgodności systemów AI wysokiego ryzyka na rynku zawiesiła lub cofnęła, w rozsądnym terminie ustalonym przez ten organ, wszelkie certyfikaty, które zostały nienależnie wydane;
(c)
require the notified body to suspend or withdraw, within a reasonable period of time determined by the authority, any certificates which were unduly issued, in order to ensure the continuing conformity of high-risk AI systems on the market;
d)
informuje Komisję i państwa członkowskie o certyfikatach, których zawieszenia lub cofnięcia zażądał;
(d)
inform the Commission and the Member States about certificates the suspension or withdrawal of which it has required;
e)
przekazuje właściwym organom krajowym państwa członkowskiego, w którym dostawca ma zarejestrowane miejsce prowadzenia działalności, wszelkie istotne informacje na temat certyfikatów, których zawieszenia lub cofnięcia zażądał; organy te podejmują w stosownych przypadkach odpowiednie środki w celu uniknięcia potencjalnego ryzyka dla zdrowia, bezpieczeństwa lub praw podstawowych.
(e)
provide the national competent authorities of the Member State in which the provider has its registered place of business with all relevant information about the certificates of which it has required the suspension or withdrawal; that authority shall take the appropriate measures, where necessary, to avoid a potential risk to health, safety or fundamental rights.
8. Z wyjątkiem certyfikatów nienależnie wydanych, w przypadkach, w których wyznaczenie zostało zawieszone lub ograniczone, certyfikaty pozostają ważne, jeżeli zachodzi którakolwiek z następujących okoliczności:
8. With the exception of certificates unduly issued, and where a designation has been suspended or restricted, the certificates shall remain valid in one of the following circumstances:
a)
organ notyfikujący potwierdził, w terminie jednego miesiąca od zawieszenia lub ograniczenia, że w odniesieniu do certyfikatów, których dotyczy zawieszenie lub ograniczenie, nie występuje ryzyko dla zdrowia, bezpieczeństwa lub praw podstawowych i określił czas działań służących temu, by znieść zawieszenie lub ograniczenie; lub
(a)
the notifying authority has confirmed, within one month of the suspension or restriction, that there is no risk to health, safety or fundamental rights in relation to certificates affected by the suspension or restriction, and the notifying authority has outlined a timeline for actions to remedy the suspension or restriction; or
b)
organ notyfikujący potwierdził, że w czasie trwania zawieszenia lub ograniczenia nie będą wydawane, zmieniane ani wydawane ponownie żadne certyfikaty powiązane z danym zawieszeniem, oraz stwierdza, czy dana jednostka notyfikowana jest zdolna do dalszego monitorowania i bycia odpowiedzialną za wydane już certyfikaty obowiązujące w okresie pokrywającym się z tym zawieszeniem lub ograniczeniem; w przypadku gdy organ notyfikujący ustali, że jednostka notyfikowana nie posiada zdolności do obsługi wydanych certyfikatów, dostawca systemu objętego danym certyfikatem – w terminie trzech miesięcy od zawieszenia lub ograniczenia – przekazuje właściwym organom krajowym w państwie członkowskim, w którym ma zarejestrowane miejsce prowadzenia działalności, potwierdzenie na piśmie, że inna wykwalifikowana jednostka notyfikowana tymczasowo przejmuje funkcje jednostki notyfikowanej w zakresie monitorowania certyfikatów i pozostanie ona odpowiedzialna za te certyfikaty w okresie zawieszenia lub ograniczenia wyznaczenia.
(b)
the notifying authority has confirmed that no certificates relevant to the suspension will be issued, amended or re-issued during the course of the suspension or restriction, and states whether the notified body has the capability of continuing to monitor and remain responsible for existing certificates issued for the period of the suspension or restriction; in the event that the notifying authority determines that the notified body does not have the capability to support existing certificates issued, the provider of the system covered by the certificate shall confirm in writing to the national competent authorities of the Member State in which it has its registered place of business, within three months of the suspension or restriction, that another qualified notified body is temporarily assuming the functions of the notified body to monitor and remain responsible for the certificates during the period of suspension or restriction.
9. Z wyjątkiem certyfikatów nienależnie wydanych, w przypadkach, w których wyznaczenie zostało cofnięte, certyfikaty pozostają ważne przez okres dziewięciu miesięcy w następujących okolicznościach:
9. With the exception of certificates unduly issued, and where a designation has been withdrawn, the certificates shall remain valid for a period of nine months under the following circumstances:
a)
właściwy organ krajowy w państwie członkowskim, w którym dostawca systemu AI wysokiego ryzyka objętego certyfikatem ma zarejestrowane miejsce prowadzenia działalności, potwierdził, że nie występuje ryzyko dla zdrowia, bezpieczeństwa lub praw podstawowych związane z danymi systemami AI wysokiego ryzyka; oraz
(a)
the national competent authority of the Member State in which the provider of the high-risk AI system covered by the certificate has its registered place of business has confirmed that there is no risk to health, safety or fundamental rights associated with the high-risk AI systems concerned; and
b)
inna jednostka notyfikowana potwierdziła na piśmie, że przejmie bezpośrednią odpowiedzialność za te systemy AI i zakończy swoją ocenę w terminie dwunastu miesięcy od cofnięcia wyznaczenia.
(b)
another notified body has confirmed in writing that it will assume immediate responsibility for those AI systems and completes its assessment within 12 months of the withdrawal of the designation.
W okolicznościach, o których mowa w akapicie pierwszym, właściwy organ krajowy w państwie członkowskim, w którym dostawca systemu objętego certyfikatem ma zarejestrowane miejsce prowadzenia działalności, może przedłużyć tymczasową ważność tych certyfikatów o dodatkowe trzymiesięczne okresy, które łącznie nie mogą przekraczać dwunastu miesięcy.
In the circumstances referred to in the first subparagraph, the national competent authority of the Member State in which the provider of the system covered by the certificate has its place of business may extend the provisional validity of the certificates for additional periods of three months, which shall not exceed 12 months in total.
Właściwy organ krajowy lub jednostka notyfikowana przejmująca funkcje jednostki notyfikowanej, której dotyczy zmiana wyznaczenia, natychmiast powiadamiają o tym Komisję, pozostałe państwa członkowskie i pozostałe jednostki notyfikowane.
The national competent authority or the notified body assuming the functions of the notified body affected by the change of designation shall immediately inform the Commission, the other Member States and the other notified bodies thereof.
Kwestionowanie kompetencji jednostek notyfikowanych
Challenge to the competence of notified bodies
1. W razie konieczności Komisja przeprowadza postępowanie wyjaśniające dotyczące wszystkich przypadków, w których ma podstawy, by wątpić w kompetencje jednostki notyfikowanej lub w ciągłość spełniania przez jednostkę notyfikowaną wymogów ustanowionych w art. 31 oraz wypełnianie mających zastosowanie obowiązków.
1. The Commission shall, where necessary, investigate all cases where there are reasons to doubt the competence of a notified body or the continued fulfilment by a notified body of the requirements laid down in Article 31 and of its applicable responsibilities.
2. Organ notyfikujący przekazuje Komisji, na wniosek, wszystkie istotne informacje dotyczące notyfikacji lub utrzymania kompetencji przez daną jednostkę notyfikowaną.
2. The notifying authority shall provide the Commission, on request, with all relevant information relating to the notification or the maintenance of the competence of the notified body concerned.
3. Komisja zapewnia zgodnie z art. 78 poufność wszystkich informacji wrażliwych uzyskanych w toku postępowań wyjaśniających prowadzonych zgodnie z niniejszym artykułem.
3. The Commission shall ensure that all sensitive information obtained in the course of its investigations pursuant to this Article is treated confidentially in accordance with Article 78.
4. W przypadku gdy Komisja stwierdzi, że jednostka notyfikowana nie spełnia wymogów notyfikacji lub przestała je spełniać, informuje o tym notyfikujące państwo członkowskie i zwraca się do niego o podjęcie koniecznych środków naprawczych, włącznie z zawieszeniem lub cofnięciem notyfikacji, jeżeli zachodzi taka potrzeba. W przypadku niepodjęcia przez państwo członkowskie koniecznych środków naprawczych Komisja może w drodze aktu wykonawczego zawiesić, ograniczyć lub cofnąć wyznaczenie. Ten akt wykonawczy przyjmuje się zgodnie z procedurą sprawdzającą, o której mowa w art. 98 ust. 2.
4. Where the Commission ascertains that a notified body does not meet or no longer meets the requirements for its notification, it shall inform the notifying Member State accordingly and request it to take the necessary corrective measures, including the suspension or withdrawal of the notification if necessary. Where the Member State fails to take the necessary corrective measures, the Commission may, by means of an implementing act, suspend, restrict or withdraw the designation. That implementing act shall be adopted in accordance with the examination procedure referred to in Article 98(2).
Normy zharmonizowane i dokumenty normalizacyjne
Harmonised standards and standardisation deliverables
1. W przypadku systemów AI wysokiego ryzyka oraz systemów AI ogólnego przeznaczenia spełniających normy zharmonizowane lub części tych norm, do których odniesienia opublikowano w Dzienniku Urzędowym Unii Europejskiej zgodnie z rozporządzeniem (UE) nr 1025/2012, domniemuje się, że spełniają one wymogi ustanowione w sekcji 2 niniejszego rozdziału lub, w stosownych przypadkach, obowiązki ustanowione w rozdziale V sekcja 2 i 3 niniejszego rozporządzenia, w zakresie, w jakim normy te obejmują te wymogi lub obowiązki.
1. High-risk AI systems or general-purpose AI models which are in conformity with harmonised standards or parts thereof the references of which have been published in the Official Journal of the European Union in accordance with Regulation (EU) No 1025/2012 shall be presumed to be in conformity with the requirements set out in Section 2 of this Chapter or, as applicable, with the obligations set out in of Chapter V, Sections 2 and 3, of this Regulation, to the extent that those standards cover those requirements or obligations.
2. Zgodnie z art. 10 rozporządzenia (UE) nr 1025/2012 Komisja wydaje bez zbędnej zwłoki wnioski o normalizację obejmujące wszystkie wymogi ustanowione w sekcji 2 niniejszego rozdziału oraz, w stosownych przypadkach, wnioski o normalizację obejmujące obowiązki ustanowione w rozdziale V sekcja 2 i 3 niniejszego rozporządzenia. We wniosku o normalizację zwraca się również o przedstawienie wyników sprawozdawczości i procesów dokumentowania w celu poprawy skuteczności działania zasobów systemów AI, takich jak zmniejszenie zużycia energii i innych zasobów przez system AI wysokiego ryzyka w jego cyklu życia, oraz wyników dotyczących efektywnego energetycznie rozwoju modeli AI ogólnego przeznaczenia. Przygotowując wniosek o normalizację, Komisja konsultuje się z Radą ds. AI i odpowiednimi zainteresowanymi stronami, w tym z forum doradczym.
2. In accordance with Article 10 of Regulation (EU) No 1025/2012, the Commission shall issue, without undue delay, standardisation requests covering all requirements set out in Section 2 of this Chapter and, as applicable, standardisation requests covering obligations set out in Chapter V, Sections 2 and 3, of this Regulation. The standardisation request shall also ask for deliverables on reporting and documentation processes to improve AI systems’ resource performance, such as reducing the high-risk AI system’s consumption of energy and of other resources during its lifecycle, and on the energy-efficient development of general-purpose AI models. When preparing a standardisation request, the Commission shall consult the Board and relevant stakeholders, including the advisory forum.
Wydając wniosek o normalizację do europejskich organizacji normalizacyjnych, Komisja określa, że normy muszą być jasne, spójne, w tym z normami opracowanymi w poszczególnych sektorach dla produktów objętych zakresem stosowania obowiązującego unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku I, i mieć na celu zapewnienie, by systemy AI wysokiego ryzyka lub modele AI ogólnego przeznaczenia wprowadzane do obrotu lub oddawane do użytku w Unii spełniały odpowiednie wymogi lub obowiązki ustanowione w niniejszym rozporządzeniu.
When issuing a standardisation request to European standardisation organisations, the Commission shall specify that standards have to be clear, consistent, including with the standards developed in the various sectors for products covered by the existing Union harmonisation legislation listed in Annex I, and aiming to ensure that high-risk AI systems or general-purpose AI models placed on the market or put into service in the Union meet the relevant requirements or obligations laid down in this Regulation.
Komisja zwraca się do europejskich organizacji normalizacyjnych o przedstawienie dowodów, że dokładają wszelkich starań, aby osiągnąć cele, o których mowa w akapicie pierwszym i drugim niniejszego ustępu, zgodnie z art. 24 rozporządzenia (UE) nr 1025/2012.
The Commission shall request the European standardisation organisations to provide evidence of their best efforts to fulfil the objectives referred to in the first and the second subparagraph of this paragraph in accordance with Article 24 of Regulation (EU) No 1025/2012.
3. Uczestnicy procesu normalizacji dążą do promowania inwestycji i innowacji w dziedzinie AI, w tym poprzez zwiększenie pewności prawa, a także konkurencyjności i wzrostu rynku Unii, do przyczynienia się do wzmocnienia globalnej współpracy w zakresie normalizacji, z uwzględnieniem istniejących w dziedzinie AI norm międzynarodowych zgodnych z wartościami Unii, prawami podstawowymi i interesem Unii, a także do poprawy zarządzania wielostronnego, zapewniając wyważoną reprezentację interesów i skuteczny udział wszystkich odpowiednich zainteresowanych stron zgodnie z art. 5, 6 i 7 rozporządzenia (UE) nr 1025/2012.
3. The participants in the standardisation process shall seek to promote investment and innovation in AI, including through increasing legal certainty, as well as the competitiveness and growth of the Union market, to contribute to strengthening global cooperation on standardisation and taking into account existing international standards in the field of AI that are consistent with Union values, fundamental rights and interests, and to enhance multi-stakeholder governance ensuring a balanced representation of interests and the effective participation of all relevant stakeholders in accordance with Articles 5, 6, and 7 of Regulation (EU) No 1025/2012.
1. Komisja może przyjmować akty wykonawcze ustanawiające wspólne specyfikacje w odniesieniu do wymogów ustanowionych w sekcji 2 niniejszego rozdziału lub, w stosownych przypadkach, obowiązków ustanowionych w rozdziale V sekcja 2 i 3, w przypadku gdy spełnione są następujące warunki:
1. The Commission may adopt, implementing acts establishing common specifications for the requirements set out in Section 2 of this Chapter or, as applicable, for the obligations set out in Sections 2 and 3 of Chapter V where the following conditions have been fulfilled:
a)
Komisja wystąpiła zgodnie z art. 10 ust. 1 rozporządzenia (UE) nr 1025/2012 do jednej lub kilku europejskich organizacji normalizacyjnych z wnioskiem o opracowanie normy zharmonizowanej w odniesieniu do wymogów określonych w sekcji 2 niniejszego rozdziału, lub, w stosownych przypadkach, w odniesieniu do obowiązków ustanowionych w rozdziale V sekcja 2 i 3, oraz:
(a)
the Commission has requested, pursuant to Article 10(1) of Regulation (EU) No 1025/2012, one or more European standardisation organisations to draft a harmonised standard for the requirements set out in Section 2 of this Chapter, or, as applicable, for the obligations set out in Sections 2 and 3 of Chapter V, and:
(i)
wniosek ten nie został przyjęty przez żadną z europejskich organizacji normalizacyjnych; lub
(i)
the request has not been accepted by any of the European standardisation organisations; or
(ii)
normy zharmonizowane stanowiące odpowiedź na ten wniosek nie zostały wydane w terminie określonym zgodnie z art. 10 ust. 1 rozporządzenia (UE) nr 1025/2012; lub
(ii)
the harmonised standards addressing that request are not delivered within the deadline set in accordance with Article 10(1) of Regulation (EU) No 1025/2012; or
(iii)
odpowiednie normy zharmonizowane w niewystarczającym stopniu uwzględniają obawy dotyczące praw podstawowych; lub
(iii)
the relevant harmonised standards insufficiently address fundamental rights concerns; or
(iv)
normy zharmonizowane nie są zgodne z wnioskiem; oraz
(iv)
the harmonised standards do not comply with the request; and
b)
w Dzienniku Urzędowym Unii Europejskiej nie opublikowano odniesienia do zharmonizowanych norm obejmujących wymogi, o których mowa w sekcji 2 niniejszego rozdziału, lub, w stosownych przypadkach, obowiązki, o których mowa w rozdziale V sekcja 2 i 3, zgodnie z przepisami rozporządzenia (UE) nr 1025/2012 i nie przewiduje się opublikowania takiego odniesienia w rozsądnym terminie.
(b)
no reference to harmonised standards covering the requirements referred to in Section 2 of this Chapter or, as applicable, the obligations referred to in Sections 2 and 3 of Chapter V has been published in the Official Journal of the European Union in accordance with Regulation (EU) No 1025/2012, and no such reference is expected to be published within a reasonable period.
Przygotowując projekt wspólnych specyfikacji, Komisja konsultuje się z forum doradczym, o którym mowa w art. 67.
When drafting the common specifications, the Commission shall consult the advisory forum referred to in Article 67.
Akty wykonawcze, o których mowa w akapicie pierwszym niniejszego ustępu, przyjmuje się zgodnie z procedurą sprawdzającą, o której mowa w art. 98 ust. 2.
The implementing acts referred to in the first subparagraph of this paragraph shall be adopted in accordance with the examination procedure referred to in Article 98(2).
2. Przed przygotowaniem projektu aktu wykonawczego Komisja informuje komitet, o którym mowa w art. 22 rozporządzenia (UE) nr 1025/2012, że uważa za spełnione warunki ustanowione w ust. 1 niniejszego artykułu.
2. Before preparing a draft implementing act, the Commission shall inform the committee referred to in Article 22 of Regulation (EU) No 1025/2012 that it considers the conditions laid down in paragraph 1 of this Article to be fulfilled.
3. W przypadku systemów AI wysokiego ryzyka lub modeli AI ogólnego przeznaczenia zgodnych ze wspólnymi specyfikacjami, o których mowa w ust. 1, lub z częściami tych specyfikacji domniemuje się, że są one zgodne z wymogami ustanowionymi w sekcji 2 niniejszego rozdziału lub, w stosownych przypadkach, spełniają obowiązki ustanowione w rozdziale V sekcja 2 i 3, w zakresie, w jakim te wspólne specyfikacje obejmują te wymogi i te obowiązki.
3. High-risk AI systems or general-purpose AI models which are in conformity with the common specifications referred to in paragraph 1, or parts of those specifications, shall be presumed to be in conformity with the requirements set out in Section 2 of this Chapter or, as applicable, to comply with the obligations referred to in Sections 2 and 3 of Chapter V, to the extent those common specifications cover those requirements or those obligations.
4. W przypadku gdy europejska organizacja normalizacyjna przyjmuje normę zharmonizowaną i proponuje Komisji opublikowanie odniesienia do niej w Dzienniku Urzędowym Unii Europejskiej, Komisja ocenia normę zharmonizowaną zgodnie z rozporządzeniem (UE) nr 1025/2012. W przypadku opublikowania odniesienia do normy zharmonizowanej w Dzienniku Urzędowym Unii Europejskiej Komisja uchyla akty wykonawcze, o których mowa w ust. 1, lub ich części, które obejmują te same wymogi ustanowione w sekcji 2 niniejszego rozdziału lub, w stosownych przypadkach, te same obowiązki ustanowione w rozdziale V sekcja 2 i 3.
4. Where a harmonised standard is adopted by a European standardisation organisation and proposed to the Commission for the publication of its reference in the Official Journal of the European Union, the Commission shall assess the harmonised standard in accordance with Regulation (EU) No 1025/2012. When reference to a harmonised standard is published in the Official Journal of the European Union, the Commission shall repeal the implementing acts referred to in paragraph 1, or parts thereof which cover the same requirements set out in Section 2 of this Chapter or, as applicable, the same obligations set out in Sections 2 and 3 of Chapter V.
5. W przypadku gdy dostawcy systemów AI wysokiego ryzyka lub modeli AI ogólnego przeznaczenia nie zapewnią zgodności ze wspólnymi specyfikacjami, o których mowa w ust. 1, należycie wykazują oni, że przyjęli rozwiązania techniczne, które są zgodne z wymogami, o których mowa w rozdziale I sekcja 2, lub, w stosownych przypadkach, spełniają obowiązki ustanowione w rozdziale V sekcja 2 i 3, na poziomie co najmniej równoważnym tym wspólnym specyfikacjom.
5. Where providers of high-risk AI systems or general-purpose AI models do not comply with the common specifications referred to in paragraph 1, they shall duly justify that they have adopted technical solutions that meet the requirements referred to in Section 2 of this Chapter or, as applicable, comply with the obligations set out in Sections 2 and 3 of Chapter V to a level at least equivalent thereto.
6. W przypadku gdy państwo członkowskie uważa, że wspólna specyfikacja nie jest całkowicie zgodna z wymogami ustanowionymi w sekcji 2 lub, w stosownych przypadkach, nie spełnia całkowicie obowiązków ustanowionych w rozdziale V sekcja 2 i 3, informuje o tym Komisję, przedstawiając szczegółowe wyjaśnienie. Komisja ocenia te informacje i w stosownym przypadku zmienia akt wykonawczy ustanawiający daną wspólną specyfikację.
6. Where a Member State considers that a common specification does not entirely meet the requirements set out in Section 2 or, as applicable, comply with obligations set out in Sections 2 and 3 of Chapter V, it shall inform the Commission thereof with a detailed explanation. The Commission shall assess that information and, if appropriate, amend the implementing act establishing the common specification concerned.
1. W odniesieniu do systemów AI wysokiego ryzyka wymienionych w załączniku III pkt 1, w przypadku gdy do wykazania zgodności systemu AI wysokiego ryzyka z wymogami ustanowionymi w sekcji 2 dostawca zastosował normy zharmonizowane, o których mowa w art. 40, lub, w stosownych przypadkach, wspólne specyfikacje, o których mowa w art. 41, dostawca wybiera jedną z następujących procedur oceny zgodności w oparciu o:
1. For high-risk AI systems listed in point 1 of Annex III, where, in demonstrating the compliance of a high-risk AI system with the requirements set out in Section 2, the provider has applied harmonised standards referred to in Article 40, or, where applicable, common specifications referred to in Article 41, the provider shall opt for one of the following conformity assessment procedures based on:
a)
kontrolę wewnętrzną, o której mowa w załączniku VI; lub
(a)
the internal control referred to in Annex VI; or
b)
ocenę systemu zarządzania jakością i ocenę dokumentacji technicznej przeprowadzaną z udziałem jednostki notyfikowanej, o której to procedurze mowa w załączniku VII.
(b)
the assessment of the quality management system and the assessment of the technical documentation, with the involvement of a notified body, referred to in Annex VII.
Przy wykazywaniu zgodności systemu AI wysokiego ryzyka z wymogami ustanowionymi w sekcji 2 dostawca postępuje zgodnie z procedurą oceny zgodności ustanowioną w załączniku VII, w przypadku gdy:
In demonstrating the compliance of a high-risk AI system with the requirements set out in Section 2, the provider shall follow the conformity assessment procedure set out in Annex VII where:
a)
normy zharmonizowane, o których mowa w art. 40, nie istnieją, a wspólne specyfikacje, o których mowa w art. 41, nie są dostępne;
(a)
harmonised standards referred to in Article 40 do not exist, and common specifications referred to in Article 41 are not available;
b)
dostawca nie zastosował normy zharmonizowanej lub zastosował jedynie jej część;
(b)
the provider has not applied, or has applied only part of, the harmonised standard;
c)
wspólne specyfikacje, o których mowa w lit. a), istnieją, ale dostawca ich nie zastosował;
(c)
the common specifications referred to in point (a) exist, but the provider has not applied them;
d)
co najmniej jedna z norm zharmonizowanych, o których mowa w lit. a), została opublikowana z ograniczeniem i jedynie w odniesieniu do tej części normy, której dotyczy ograniczenie.
(d)
one or more of the harmonised standards referred to in point (a) has been published with a restriction, and only on the part of the standard that was restricted.
Na potrzeby procedury oceny zgodności, o której mowa w załączniku VII, dostawca może wybrać dowolną jednostkę notyfikowaną. Jednak w przypadku gdy system ma zostać oddany do użytku przez organy ścigania, organy imigracyjne lub organy azylowe lub przez instytucje, organy i jednostki organizacyjne Unii, funkcję jednostki notyfikowanej pełni organ nadzoru rynku, o którym mowa odpowiednio w art. 74 ust. 8 lub ust. 9.
For the purposes of the conformity assessment procedure referred to in Annex VII, the provider may choose any of the notified bodies. However, where the high-risk AI system is intended to be put into service by law enforcement, immigration or asylum authorities or by Union institutions, bodies, offices or agencies, the market surveillance authority referred to in Article 74(8) or (9), as applicable, shall act as a notified body.
2. W przypadku systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 2–8, dostawcy postępują zgodnie z procedurą oceny zgodności opierającą się na kontroli wewnętrznej, o której mowa w załączniku VI i która nie przewiduje udziału jednostki notyfikowanej.
2. For high-risk AI systems referred to in points 2 to 8 of Annex III, providers shall follow the conformity assessment procedure based on internal control as referred to in Annex VI, which does not provide for the involvement of a notified body.
3. W przypadku systemów AI wysokiego ryzyka objętych zakresem stosowania unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku I sekcja A, dostawca postępuje zgodnie z odpowiednią procedurą oceny zgodności wymaganą na podstawie tych aktów prawnych. W odniesieniu do tego rodzaju systemów AI wysokiego ryzyka zastosowanie mają wymogi ustanowione w sekcji 2 niniejszego rozdziału i stanowią one jeden z elementów tej oceny. Zastosowanie mają również przepisy załącznika VII pkt 4.3, pkt 4.4, pkt 4.5 i pkt 4.6 akapit piąty.
3. For high-risk AI systems covered by the Union harmonisation legislation listed in Section A of Annex I, the provider shall follow the relevant conformity assessment procedure as required under those legal acts. The requirements set out in Section 2 of this Chapter shall apply to those high-risk AI systems and shall be part of that assessment. Points 4.3., 4.4., 4.5. and the fifth paragraph of point 4.6 of Annex VII shall also apply.
Na potrzeby tej oceny jednostki notyfikowane, które notyfikowano zgodnie z tymi aktami prawnymi, są uprawnione do przeprowadzania kontroli zgodności systemów AI wysokiego ryzyka z wymogami ustanowionymi w sekcji 2, o ile zgodność tych jednostek notyfikowanych z wymogami ustanowionymi w art. 31 ust. 4, 5, 10 i 11 została oceniona w kontekście procedury notyfikacyjnej przewidzianej w tych aktach prawnych.
For the purposes of that assessment, notified bodies which have been notified under those legal acts shall be entitled to control the conformity of the high-risk AI systems with the requirements set out in Section 2, provided that the compliance of those notified bodies with requirements laid down in Article 31(4), (5), (10) and (11) has been assessed in the context of the notification procedure under those legal acts.
W przypadku gdy akt prawny wymieniony w załączniku I sekcja A zapewnia producentowi produktu możliwość zrezygnowania z oceny zgodności przeprowadzanej przez stronę trzecią, pod warunkiem że producent ten zapewnił zgodność ze wszystkimi normami zharmonizowanymi obejmującymi wszystkie stosowne wymogi, taki producent może skorzystać z tej możliwości wyłącznie w przypadku, gdy zapewnił również zgodność z normami zharmonizowanymi lub – w stosownych przypadkach – wspólnymi specyfikacjami, o których mowa w art. 41, obejmującymi wszystkie wymogi ustanowione w sekcji 2 niniejszego rozdziału.
Where a legal act listed in Section A of Annex I enables the product manufacturer to opt out from a third-party conformity assessment, provided that that manufacturer has applied all harmonised standards covering all the relevant requirements, that manufacturer may use that option only if it has also applied harmonised standards or, where applicable, common specifications referred to in Article 41, covering all requirements set out in Section 2 of this Chapter.
4. Systemy AI wysokiego ryzyka, które poddano już procedurze oceny zgodności, poddaje się nowej procedurze oceny zgodności w przypadku gdy wprowadza się w nich istotne zmiany, niezależnie od tego, czy zmieniony system jest przeznaczony do dalszej dystrybucji lub czy ma być nadal wykorzystywany przez obecny podmiot stosujący.
4. High-risk AI systems that have already been subject to a conformity assessment procedure shall undergo a new conformity assessment procedure in the event of a substantial modification, regardless of whether the modified system is intended to be further distributed or continues to be used by the current deployer.
W przypadku systemów AI wysokiego ryzyka, które nadal uczą się po wprowadzeniu ich do obrotu lub po oddaniu ich do użytku, istotnej zmiany nie stanowią zmiany w systemie AI wysokiego ryzyka i jego skuteczności działania, które dostawca z góry zaplanował w chwili przeprowadzania początkowej oceny zgodności i które są częścią informacji zawartych w dokumentacji technicznej, o której mowa w pkt 2 lit. f) załącznika IV.
For high-risk AI systems that continue to learn after being placed on the market or put into service, changes to the high-risk AI system and its performance that have been pre-determined by the provider at the moment of the initial conformity assessment and are part of the information contained in the technical documentation referred to in point 2(f) of Annex IV, shall not constitute a substantial modification.
5. Komisja jest uprawniona do przyjmowania aktów delegowanych zgodnie z art. 97 w celu zmiany załączników VI i VII poprzez ich zmianę w świetle postępu technicznego.
5. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annexes VI and VII by updating them in light of technical progress.
6. Komisja jest uprawniona do przyjmowania aktów delegowanych zgodnie z art. 97 w celu zmiany ust. 1 i 2 niniejszego artykułu, aby objąć systemy AI wysokiego ryzyka, o których mowa w załączniku III pkt 2–8, procedurą oceny zgodności, o której mowa w załączniku VII, lub elementami tej procedury. Komisja przyjmuje takie akty delegowane, biorąc pod uwagę skuteczność procedury oceny zgodności opierającej się na kontroli wewnętrznej, o której mowa w załączniku VI, w zapobieganiu ryzyku dla zdrowia i bezpieczeństwa oraz ryzyku związanemu z ochroną praw podstawowych stwarzanemu przez takie systemy lub minimalizowaniu takiego ryzyka, a także uwzględniając dostępność odpowiednich zdolności i zasobów wśród jednostek notyfikowanych.
6. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend paragraphs 1 and 2 of this Article in order to subject high-risk AI systems referred to in points 2 to 8 of Annex III to the conformity assessment procedure referred to in Annex VII or parts thereof. The Commission shall adopt such delegated acts taking into account the effectiveness of the conformity assessment procedure based on internal control referred to in Annex VI in preventing or minimising the risks to health and safety and protection of fundamental rights posed by such systems, as well as the availability of adequate capacities and resources among notified bodies.
1. Certyfikaty wydane przez jednostki notyfikowane zgodnie z załącznikiem VII są sporządzane w języku łatwo zrozumiałym dla odpowiednich organów w państwie członkowskim, w którym jednostka notyfikowana ma siedzibę.
1. Certificates issued by notified bodies in accordance with Annex VII shall be drawn-up in a language which can be easily understood by the relevant authorities in the Member State in which the notified body is established.
2. Certyfikaty zachowują ważność przez wskazany w nich okres, który nie może przekraczać pięciu lat – w odniesieniu do systemów AI objętych zakresem stosowania załącznika I oraz czterech lat – w odniesieniu do systemów AI objętych zakresem stosowania załącznika III. Na wniosek dostawcy ważność certyfikatu można przedłużyć na kolejne okresy, które nie mogą każdorazowo przekraczać pięciu lat – w odniesieniu do systemów AI objętych zakresem stosowania załącznika I oraz czterech lat – w odniesieniu do systemów AI objętych zakresem stosowania załącznika III, w oparciu o wyniki ponownej oceny przeprowadzonej zgodnie z mającymi zastosowanie procedurami oceny zgodności. Wszelkie uzupełnienia do certyfikatu pozostają ważne, pod warunkiem, że uzupełniany certyfikat jest ważny.
2. Certificates shall be valid for the period they indicate, which shall not exceed five years for AI systems covered by Annex I, and four years for AI systems covered by Annex III. At the request of the provider, the validity of a certificate may be extended for further periods, each not exceeding five years for AI systems covered by Annex I, and four years for AI systems covered by Annex III, based on a re-assessment in accordance with the applicable conformity assessment procedures. Any supplement to a certificate shall remain valid, provided that the certificate which it supplements is valid.
3. Jeżeli jednostka notyfikowana ustali, że system AI przestał spełniać wymogi ustanowione w sekcji 2, zawiesza lub cofa wydany certyfikat lub nakłada na niego ograniczenia, biorąc pod uwagę zasadę proporcjonalności, chyba że dostawca systemu zapewni zgodność z tymi wymogami poprzez podjęcie odpowiedniego działania naprawczego w stosownym terminie wyznaczonym przez jednostkę notyfikowaną. Jednostka notyfikowana uzasadnia swoją decyzję.
3. Where a notified body finds that an AI system no longer meets the requirements set out in Section 2, it shall, taking account of the principle of proportionality, suspend or withdraw the certificate issued or impose restrictions on it, unless compliance with those requirements is ensured by appropriate corrective action taken by the provider of the system within an appropriate deadline set by the notified body. The notified body shall give reasons for its decision.
Od decyzji jednostek notyfikowanych, w tym dotyczących wydanych certyfikatów zgodności, przysługuje odwołanie.
An appeal procedure against decisions of the notified bodies, including on conformity certificates issued, shall be available.
Odstępstwo od procedury oceny zgodności
Derogation from conformity assessment procedure
1. Na zasadzie odstępstwa od art. 43 i na należycie uzasadniony wniosek organ nadzoru rynku może wydać zezwolenie na wprowadzenie do obrotu lub oddanie do użytku konkretnych systemów AI wysokiego ryzyka na terytorium danego państwa członkowskiego w związku z wystąpieniem nadzwyczajnych względów dotyczących bezpieczeństwa publicznego lub ochrony zdrowia i życia osób, ochrony środowiska lub ochrony kluczowych aktywów przemysłowych i infrastrukturalnych. Zezwolenie to wydaje się tymczasowo na okres przeprowadzenia niezbędnych procedur oceny zgodności, uwzględniając nadzwyczajne względy uzasadniające przedmiotowe odstępstwo. Dokłada się starań, aby procedury te ukończono bez zbędnej zwłoki.
1. By way of derogation from Article 43 and upon a duly justified request, any market surveillance authority may authorise the placing on the market or the putting into service of specific high-risk AI systems within the territory of the Member State concerned, for exceptional reasons of public security or the protection of life and health of persons, environmental protection or the protection of key industrial and infrastructural assets. That authorisation shall be for a limited period while the necessary conformity assessment procedures are being carried out, taking into account the exceptional reasons justifying the derogation. The completion of those procedures shall be undertaken without undue delay.
2. W należycie uzasadnionych pilnych przypadkach w związku z wystąpieniem nadzwyczajnych względów bezpieczeństwa publicznego lub w przypadku konkretnego, istotnego i bezpośredniego zagrożenia życia lub bezpieczeństwa fizycznego osób fizycznych, organy ścigania lub organy ochrony ludności mogą oddać do użytku określony system AI wysokiego ryzyka bez zezwolenia, o którym mowa w ust. 1, pod warunkiem że wniosek o takie zezwolenie zostanie bez zbędnej zwłoki złożony w trakcie wykorzystywania tego systemu lub tuż po nim. W przypadku odmowy wydania zezwolenia, o którym mowa w ust. 1, wykorzystywanie tego systemu AI wysokiego ryzyka wstrzymuje się ze skutkiem natychmiastowym, a wszystkie rezultaty i wyniki tego wykorzystania muszą zostać natychmiast odrzucone.
2. In a duly justified situation of urgency for exceptional reasons of public security or in the case of specific, substantial and imminent threat to the life or physical safety of natural persons, law-enforcement authorities or civil protection authorities may put a specific high-risk AI system into service without the authorisation referred to in paragraph 1, provided that such authorisation is requested during or after the use without undue delay. If the authorisation referred to in paragraph 1 is refused, the use of the high-risk AI system shall be stopped with immediate effect and all the results and outputs of such use shall be immediately discarded.
3. Zezwolenie, o którym mowa w ust. 1, wydaje się wyłącznie wówczas, gdy organ nadzoru rynku stwierdzi, że system AI wysokiego ryzyka jest zgodny z wymogami ustanowionymi w sekcji 2. Organ nadzoru rynku informuje Komisję i pozostałe państwa członkowskie o zezwoleniach wydanych zgodnie z ust. 1 i 2. Obowiązek ten nie obejmuje wrażliwych danych operacyjnych dotyczących działań organów ścigania.
3. The authorisation referred to in paragraph 1 shall be issued only if the market surveillance authority concludes that the high-risk AI system complies with the requirements of Section 2. The market surveillance authority shall inform the Commission and the other Member States of any authorisation issued pursuant to paragraphs 1 and 2. This obligation shall not cover sensitive operational data in relation to the activities of law-enforcement authorities.
4. Jeżeli w terminie 15 dni kalendarzowych od dnia otrzymania informacji, o której mowa w ust. 3, ani żadne państwo członkowskie, ani Komisja nie zgłoszą sprzeciwu dotyczącego zezwolenia wydanego przez organ nadzoru rynku państwa członkowskiego zgodnie z ust. 1, takie zezwolenie uznaje się za uzasadnione.
4. Where, within 15 calendar days of receipt of the information referred to in paragraph 3, no objection has been raised by either a Member State or the Commission in respect of an authorisation issued by a market surveillance authority of a Member State in accordance with paragraph 1, that authorisation shall be deemed justified.
5. Jeżeli w terminie 15 dni kalendarzowych od dnia otrzymania informacji, o której mowa w ust. 3, państwo członkowskie zgłosi sprzeciw dotyczący zezwolenia wydanego przez organ nadzoru rynku innego państwa członkowskiego lub w przypadku gdy Komisja uzna zezwolenie za sprzeczne z prawem Unii lub uzna za bezpodstawne dokonane przez państwo członkowskie stwierdzenie zgodności systemu, o czym mowa w ust. 3, Komisja niezwłocznie przystępuje do konsultacji z odpowiednim państwem członkowskim. W takim przypadku zasięga się opinii zainteresowanych operatorów i zapewnia się im możliwość przedstawienia ich stanowiska. Na tej podstawie Komisja podejmuje decyzję, czy dane zezwolenie jest uzasadnione. Komisja kieruje swoją decyzję do zainteresowanego państwa członkowskiego i odpowiednich operatorów.
5. Where, within 15 calendar days of receipt of the notification referred to in paragraph 3, objections are raised by a Member State against an authorisation issued by a market surveillance authority of another Member State, or where the Commission considers the authorisation to be contrary to Union law, or the conclusion of the Member States regarding the compliance of the system as referred to in paragraph 3 to be unfounded, the Commission shall, without delay, enter into consultations with the relevant Member State. The operators concerned shall be consulted and have the possibility to present their views. Having regard thereto, the Commission shall decide whether the authorisation is justified. The Commission shall address its decision to the Member State concerned and to the relevant operators.
6. W przypadku gdy Komisja uzna zezwolenie za bezpodstawne, organ nadzoru rynku zainteresowanego państwa członkowskiego cofa je.
6. Where the Commission considers the authorisation unjustified, it shall be withdrawn by the market surveillance authority of the Member State concerned.
7. W przypadku systemów AI wysokiego ryzyka powiązanych z produktami objętymi zakresem stosowania unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku I sekcja A stosuje się wyłącznie odstępstwa od oceny zgodności ustanowione w tym unijnym prawodawstwie harmonizacyjnym.
7. For high-risk AI systems related to products covered by Union harmonisation legislation listed in Section A of Annex I, only the derogations from the conformity assessment established in that Union harmonisation legislation shall apply.
EU declaration of conformity
1. Dostawca sporządza pisemną i nadającą się do odczytu maszynowego, podpisaną fizycznie lub elektronicznie, deklarację zgodności UE dla każdego systemu AI wysokiego ryzyka i przechowuje ją do dyspozycji właściwych organów krajowych przez okres 10 lat od dnia wprowadzenia systemu AI wysokiego ryzyka do obrotu lub oddania go do użytku. W deklaracji zgodności UE wskazuje się system AI wysokiego ryzyka, dla którego ją sporządzono. Kopię deklaracji zgodności UE przedkłada się odpowiednim właściwym organom krajowym na ich wniosek.
1. The provider shall draw up a written machine readable, physical or electronically signed EU declaration of conformity for each high-risk AI system, and keep it at the disposal of the national competent authorities for 10 years after the high-risk AI system has been placed on the market or put into service. The EU declaration of conformity shall identify the high-risk AI system for which it has been drawn up. A copy of the EU declaration of conformity shall be submitted to the relevant national competent authorities upon request.
2. W deklaracji zgodności UE stwierdza się, że dany system AI wysokiego ryzyka spełnia wymogi ustanowione w sekcji 2. Deklaracja zgodności UE zawiera informacje określone w załączniku V i musi zostać przetłumaczona na język łatwo zrozumiały dla właściwych organów krajowych państw członkowskich, w których dany system AI wysokiego ryzyka jest wprowadzany do obrotu lub udostępniany.
2. The EU declaration of conformity shall state that the high-risk AI system concerned meets the requirements set out in Section 2. The EU declaration of conformity shall contain the information set out in Annex V, and shall be translated into a language that can be easily understood by the national competent authorities of the Member States in which the high-risk AI system is placed on the market or made available.
3. W przypadku gdy systemy AI wysokiego ryzyka podlegają innemu unijnemu prawodawstwu harmonizacyjnemu, w którym również ustanowiono wymóg sporządzenia deklaracji zgodności UE, na potrzeby wszystkich przepisów prawa Unii mających zastosowanie do systemu AI wysokiego ryzyka sporządza się jedną deklarację zgodności UE. W deklaracji zamieszcza się wszystkie informacje niezbędne do zidentyfikowania unijnego prawodawstwa harmonizacyjnego, do którego się ona odnosi.
3. Where high-risk AI systems are subject to other Union harmonisation legislation which also requires an EU declaration of conformity, a single EU declaration of conformity shall be drawn up in respect of all Union law applicable to the high-risk AI system. The declaration shall contain all the information required to identify the Union harmonisation legislation to which the declaration relates.
4. Sporządzając deklarację zgodności UE, dostawca bierze na siebie odpowiedzialność za zgodność z wymogami ustanowionymi w sekcji 2. Dostawca odpowiednio zapewnia aktualność deklaracji zgodności UE.
4. By drawing up the EU declaration of conformity, the provider shall assume responsibility for compliance with the requirements set out in Section 2. The provider shall keep the EU declaration of conformity up-to-date as appropriate.
5. Komisja jest uprawniona do przyjmowania aktów delegowanych zgodnie z art. 97 w celu zmiany załącznika V poprzez zaktualizowanie treści deklaracji zgodności UE określonej w tym załączniku w celu wprowadzenia elementów, które stały się konieczne w świetle postępu technicznego.
5. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annex V by updating the content of the EU declaration of conformity set out in that Annex, in order to introduce elements that become necessary in light of technical progress.
1. Oznakowanie CE podlega ogólnym zasadom określonym w art. 30 rozporządzenia (WE) nr 765/2008.
1. The CE marking shall be subject to the general principles set out in Article 30 of Regulation (EC) No 765/2008.
2. W przypadku systemów AI wysokiego ryzyka dostarczanych w formie cyfrowej cyfrowe oznakowanie CE stosuje się wyłącznie wtedy, gdy można do niego łatwo dotrzeć za pośrednictwem interfejsu, poprzez który uzyskuje się dostęp do tego systemu, lub za pomocą łatwo dostępnego kodu nadającego się do odczytu maszynowego lub innych środków elektronicznych.
2. For high-risk AI systems provided digitally, a digital CE marking shall be used, only if it can easily be accessed via the interface from which that system is accessed or via an easily accessible machine-readable code or other electronic means.
3. Oznakowanie CE umieszcza się na systemie AI wysokiego ryzyka w sposób widoczny, czytelny i trwały. W przypadku gdy z uwagi na charakter systemu AI wysokiego ryzyka oznakowanie systemu w taki sposób nie jest możliwe lub zasadne, oznakowanie to umieszcza się na opakowaniu lub – w stosownych przypadkach – w dołączonej do systemu dokumentacji.
3. The CE marking shall be affixed visibly, legibly and indelibly for high-risk AI systems. Where that is not possible or not warranted on account of the nature of the high-risk AI system, it shall be affixed to the packaging or to the accompanying documentation, as appropriate.
4. W stosownych przypadkach oznakowaniu CE towarzyszy również numer identyfikacyjny jednostki notyfikowanej odpowiedzialnej za przeprowadzenie procedur oceny zgodności ustanowionych w art. 43. Numer identyfikacyjny jednostki notyfikowanej umieszcza sama jednostka lub, według wskazówek jednostki notyfikowanej, dostawca lub jego upoważniony przedstawiciel. Numer identyfikacyjny umieszcza się również na wszelkich materiałach promocyjnych zawierających informacje o tym, że system AI wysokiego ryzyka spełnia wymogi konieczne do opatrzenia go oznakowaniem CE.
4. Where applicable, the CE marking shall be followed by the identification number of the notified body responsible for the conformity assessment procedures set out in Article 43. The identification number of the notified body shall be affixed by the body itself or, under its instructions, by the provider or by the provider’s authorised representative. The identification number shall also be indicated in any promotional material which mentions that the high-risk AI system fulfils the requirements for CE marking.
5. W przypadku gdy systemy AI wysokiego ryzyka podlegają innym przepisom Unii, które również przewidują umieszczenie oznakowania CE, oznakowanie CE wskazuje, że dany system AI wysokiego ryzyka spełnia także wymogi zawarte w tych innych przepisach.
5. Where high-risk AI systems are subject to other Union law which also provides for the affixing of the CE marking, the CE marking shall indicate that the high-risk AI system also fulfil the requirements of that other law.
1. Przed wprowadzeniem do obrotu lub oddaniem do użytku systemu AI wysokiego ryzyka wymienionego w załączniku III, z wyjątkiem systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 2, dostawca lub – w stosownych przypadkach – jego upoważniony przedstawiciel rejestrują się i swój system w bazie danych UE, o której mowa w art. 71.
1. Before placing on the market or putting into service a high-risk AI system listed in Annex III, with the exception of high-risk AI systems referred to in point 2 of Annex III, the provider or, where applicable, the authorised representative shall register themselves and their system in the EU database referred to in Article 71.
2. Przed wprowadzeniem do obrotu lub oddaniem do użytku systemu AI, co do którego dostawca stwierdził, że nie jest systemem wysokiego ryzyka zgodnie z art. 6 ust. 3, dostawca ten lub – w stosownych przypadkach – jego upoważniony przedstawiciel rejestrują się i swój system w bazie danych UE, o której mowa w art. 71.
2. Before placing on the market or putting into service an AI system for which the provider has concluded that it is not high-risk according to Article 6(3), that provider or, where applicable, the authorised representative shall register themselves and that system in the EU database referred to in Article 71.
3. Przed oddaniem do użytku lub wykorzystaniem systemu AI wysokiego ryzyka wymienionego w załączniku III, z wyjątkiem systemów AI wysokiego ryzyka wymienionych w załączniku III pkt 2, podmioty stosujące będące publicznymi organami, instytucjami, organami lub jednostkami organizacyjnymi Unii lub osobami działającymi w ich imieniu rejestrują się, wybierają system i rejestrują jego wykorzystanie w bazie danych UE, o której mowa w art. 71.
3. Before putting into service or using a high-risk AI system listed in Annex III, with the exception of high-risk AI systems listed in point 2 of Annex III, deployers that are public authorities, Union institutions, bodies, offices or agencies or persons acting on their behalf shall register themselves, select the system and register its use in the EU database referred to in Article 71.
4. W przypadku systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 1, 6 i 7, w obszarach ścigania przestępstw, migracji, azylu i zarządzania kontrolą graniczną, rejestracji, o której mowa w ust. 1, 2 i 3 niniejszego artykułu, dokonuje się w bezpiecznej niepublicznej sekcji bazy danych UE, o której mowa w art. 71, i – stosownie do przypadku – zawiera wyłącznie następujące informacje, o których mowa w:
4. For high-risk AI systems referred to in points 1, 6 and 7 of Annex III, in the areas of law enforcement, migration, asylum and border control management, the registration referred to in paragraphs 1, 2 and 3 of this Article shall be in a secure non-public section of the EU database referred to in Article 71 and shall include only the following information, as applicable, referred to in:
a)
załączniku VIII sekcja A pkt 1–10, z wyjątkiem pkt 6, 8 i 9;
(a)
Section A, points 1 to 10, of Annex VIII, with the exception of points 6, 8 and 9;
b)
załączniku VIII sekcja B pkt 1–5 oraz pkt 8 i 9;
(b)
Section B, points 1 to 5, and points 8 and 9 of Annex VIII;
c)
załączniku VIII sekcja C pkt 1–3;
(c)
Section C, points 1 to 3, of Annex VIII;
d)
załączniku IX pkt 1, 2, 3 i 5.
(d)
points 1, 2, 3 and 5, of Annex IX.
Do odpowiednich zastrzeżonych sekcji bazy danych UE wymienionych w akapicie pierwszym niniejszego ustępu dostęp mają jedynie Komisja i organy krajowe, o których mowa w art. 74 ust. 8.
Only the Commission and national authorities referred to in Article 74(8) shall have access to the respective restricted sections of the EU database listed in the first subparagraph of this paragraph.
5. Systemy AI wysokiego ryzyka, o których mowa w załączniku III pkt 2, rejestruje się na poziomie krajowym.
5. High-risk AI systems referred to in point 2 of Annex III shall be registered at national level.
Obowiązki w zakresie przejrzystości dla dostawców i podmiotów stosujących niektóre systemy AI
Transparency obligations for providers and deployers of certain AI systems
1. Dostawcy zapewniają, aby systemy AI przeznaczone do wchodzenia w bezpośrednią interakcję z osobami fizycznymi projektowano i rozwijano w taki sposób, aby zainteresowane osoby fizyczne były informowane o tym, że prowadzą interakcję z systemem AI, chyba że jest to oczywiste z punktu widzenia osoby fizycznej, która jest dostatecznie poinformowana, uważna i ostrożna, z uwzględnieniem okoliczności i kontekstu wykorzystywania. Obowiązek ten nie ma zastosowania do systemów AI, których wykorzystywanie jest dozwolone na mocy prawa do celów wykrywania przestępstw, przeciwdziałania im, prowadzenia postępowań przygotowawczych w ich sprawie lub ścigania ich sprawców, z zastrzeżeniem odpowiednich zabezpieczeń w zakresie praw i wolności osób trzecich, chyba że systemy te udostępnia się ogółowi społeczeństwa na potrzeby składania zawiadomień o popełnieniu przestępstwa.
1. Providers shall ensure that AI systems intended to interact directly with natural persons are designed and developed in such a way that the natural persons concerned are informed that they are interacting with an AI system, unless this is obvious from the point of view of a natural person who is reasonably well-informed, observant and circumspect, taking into account the circumstances and the context of use. This obligation shall not apply to AI systems authorised by law to detect, prevent, investigate or prosecute criminal offences, subject to appropriate safeguards for the rights and freedoms of third parties, unless those systems are available for the public to report a criminal offence.
2. Dostawcy systemów AI, w tym systemów AI ogólnego zastosowania, generujących treści w postaci syntetycznych dźwięków, obrazów, wideo lub tekstu, zapewniają, aby wyniki systemu AI zostały oznakowane w formacie nadającym się do odczytu maszynowego i były wykrywalne jako sztucznie wygenerowane lub zmanipulowane. Dostawcy zapewniają skuteczność, interoperacyjność, solidność i niezawodność swoich rozwiązań technicznych w zakresie, w jakim jest to technicznie wykonalne, uwzględniając przy tym specyfikę i ograniczenia różnych rodzajów treści, koszty wdrażania oraz powszechnie uznany stan wiedzy technicznej, co może być odzwierciedlone w odpowiednich normach technicznych. Obowiązek ten nie ma zastosowania w zakresie, w jakim systemy AI pełnią funkcję wspomagającą w zakresie standardowej edycji lub nie zmieniają w istotny sposób przekazywanych przez podmiot stosujący danych wejściowych lub ich semantyki, ani w zakresie, w jakim jest to dozwolone na mocy prawa do celów wykrywania przestępstw, zapobiegania im, prowadzenia postępowań przygotowawczych w ich sprawie lub ścigania ich sprawców.
2. Providers of AI systems, including general-purpose AI systems, generating synthetic audio, image, video or text content, shall ensure that the outputs of the AI system are marked in a machine-readable format and detectable as artificially generated or manipulated. Providers shall ensure their technical solutions are effective, interoperable, robust and reliable as far as this is technically feasible, taking into account the specificities and limitations of various types of content, the costs of implementation and the generally acknowledged state of the art, as may be reflected in relevant technical standards. This obligation shall not apply to the extent the AI systems perform an assistive function for standard editing or do not substantially alter the input data provided by the deployer or the semantics thereof, or where authorised by law to detect, prevent, investigate or prosecute criminal offences.
3. Podmioty stosujące systemy rozpoznawania emocji lub systemy kategoryzacji biometrycznej informują osoby fizyczne, wobec których systemy te są stosowane, o fakcie ich stosowania i przetwarzają dane osobowe stosownie do przypadku zgodnie z rozporządzeniami (UE) 2016/679 i (UE) 2018/1725 oraz dyrektywą (UE) 2016/680. Obowiązek ten nie ma zastosowania do systemów AI wykorzystywanych do kategoryzacji biometrycznej i rozpoznawania emocji, których wykorzystywanie jest dozwolone z mocy prawa do celów wykrywania przestępstw, przeciwdziałania im i prowadzenia postępowań przygotowawczych w przestępstwami ich sprawach, z zastrzeżeniem odpowiednich zabezpieczeń w zakresie praw i wolności osób trzecich oraz zgodnie z prawem Unii.
3. Deployers of an emotion recognition system or a biometric categorisation system shall inform the natural persons exposed thereto of the operation of the system, and shall process the personal data in accordance with Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, as applicable. This obligation shall not apply to AI systems used for biometric categorisation and emotion recognition, which are permitted by law to detect, prevent or investigate criminal offences, subject to appropriate safeguards for the rights and freedoms of third parties, and in accordance with Union law.
4. Podmioty stosujące system AI, który generuje obrazy, treści audio lub wideo stanowiące treści deepfake lub który manipuluje takimi obrazami lub treściami, ujawniają, że treści te zostały sztucznie wygenerowane lub zmanipulowane. Obowiązek ten nie ma zastosowania, w przypadku gdy wykorzystywanie jest dozwolone na mocy prawa w celu wykrywania przestępstw, zapobiegania im, prowadzenia postępowań przygotowawczych w ich sprawie lub ścigania ich sprawców. W przypadku gdy treść stanowi część pracy lub programu o wyraźnie artystycznym, twórczym, satyrycznym, fikcyjnym lub analogicznym charakterze obowiązki w zakresie przejrzystości określone w niniejszym ustępie ograniczają się do ujawnienia istnienia takich wygenerowanych lub zmanipulowanych treści w odpowiedni sposób, który nie utrudnia wyświetlania lub korzystania z utworu.
4. Deployers of an AI system that generates or manipulates image, audio or video content constituting a deep fake, shall disclose that the content has been artificially generated or manipulated. This obligation shall not apply where the use is authorised by law to detect, prevent, investigate or prosecute criminal offence. Where the content forms part of an evidently artistic, creative, satirical, fictional or analogous work or programme, the transparency obligations set out in this paragraph are limited to disclosure of the existence of such generated or manipulated content in an appropriate manner that does not hamper the display or enjoyment of the work.
Podmioty stosujące system AI, który generuje tekst publikowany w celu informowania społeczeństwa o sprawach leżących w interesie publicznym lub manipuluje takim tekstem, ujawniają, że tekst został sztucznie wygenerowany lub zmanipulowany. Obowiązek ten nie ma zastosowania, w przypadku gdy wykorzystywanie jest dozwolone na mocy prawa w celu wykrywania przestępstw, zapobiegania im, prowadzenia postępowań przygotowawczych w ich sprawie lub ścigania ich sprawców lub w przypadku gdy treści wygenerowane przez AI zostały poddane weryfikacji przez człowieka lub kontroli redakcyjnej i gdy za publikację treści odpowiedzialność redakcyjną ponosi osoba fizyczna lub prawna.
Deployers of an AI system that generates or manipulates text which is published with the purpose of informing the public on matters of public interest shall disclose that the text has been artificially generated or manipulated. This obligation shall not apply where the use is authorised by law to detect, prevent, investigate or prosecute criminal offences or where the AI-generated content has undergone a process of human review or editorial control and where a natural or legal person holds editorial responsibility for the publication of the content.
5. Informacje, o których mowa w ust. 1–4, są przekazywane zainteresowanym osobom fizycznym w jasny i wyraźny sposób, najpóźniej w momencie pierwszej interakcji lub pierwszego stosowania. Informacje te muszą spełniać mające zastosowanie wymogi dostępności.
5. The information referred to in paragraphs 1 to 4 shall be provided to the natural persons concerned in a clear and distinguishable manner at the latest at the time of the first interaction or exposure. The information shall conform to the applicable accessibility requirements.
6. Ust. 1–4 nie mają wpływu na wymogi i obowiązki ustanowione w rozdziale III i pozostają bez uszczerbku dla innych obowiązków w zakresie przejrzystości ustanowionych w prawie Unii lub prawie krajowym w odniesieniu do podmiotów stosujących systemy AI.
6. Paragraphs 1 to 4 shall not affect the requirements and obligations set out in Chapter III, and shall be without prejudice to other transparency obligations laid down in Union or national law for deployers of AI systems.
7. Urząd ds. AI zachęca do opracowywania kodeksów praktyk na poziomie Unii i wspiera ich opracowanie, aby ułatwić skuteczne wykonywanie obowiązków w zakresie wykrywania i oznaczania treści sztucznie wygenerowanych lub zmanipulowanych. Komisja może przyjmować akty wykonawcze dotyczące zatwierdzenia tych kodeksów praktyk zgodnie z procedurą ustanowioną w art. 56 ust. 6. Jeżeli Komisja uzna, że kodeks nie jest odpowiedni, może przyjąć akt wykonawczy określający wspólne zasady wykonywania tych obowiązków zgodnie z procedurą sprawdzającą ustanowioną w art. 98 ust. 2.
7. The AI Office shall encourage and facilitate the drawing up of codes of practice at Union level to facilitate the effective implementation of the obligations regarding the detection and labelling of artificially generated or manipulated content. The Commission may adopt implementing acts to approve those codes of practice in accordance with the procedure laid down in Article 56 (6). If it deems the code is not adequate, the Commission may adopt an implementing act specifying common rules for the implementation of those obligations in accordance with the examination procedure laid down in Article 98(2).
1. W przypadku gdy model AI ogólnego przeznaczenia spełnia warunki, o których mowa w art. 51 ust. 1 lit. a), odpowiedni dostawca powiadamia Komisję niezwłocznie, a w każdym przypadku w terminie dwóch tygodni od spełnienia tego warunku lub od kiedy wiadomo, że zostanie on spełniony. Powiadomienie to zawiera informacje niezbędne do wykazania, że dany warunek został spełniony. Jeśli Komisja dowie się o stwarzającym ryzyko systemowe modelu AI ogólnego przeznaczenia, o którym nie została powiadomiona, może zdecydować o uznaniu go za model z ryzykiem systemowym.
1. Where a general-purpose AI model meets the condition referred to in Article 51(1), point (a), the relevant provider shall notify the Commission without delay and in any event within two weeks after that requirement is met or it becomes known that it will be met. That notification shall include the information necessary to demonstrate that the relevant requirement has been met. If the Commission becomes aware of a general-purpose AI model presenting systemic risks of which it has not been notified, it may decide to designate it as a model with systemic risk.
2. Dostawca spełniający warunek, o którym mowa w art. 51 ust. 1 lit. a), modelu AI ogólnego przeznaczenia z ryzykiem systemowym może wraz ze swoim powiadomieniem przedstawić wystarczająco uzasadnione argumenty wykazujące, że wyjątkowo, pomimo spełniania przez ten model AI ogólnego przeznaczenia przedmiotowego warunku, nie stwarza on – z uwagi na swoje szczególne cechy – ryzyka systemowego i nie powinien być w związku z tym zaklasyfikowany jako model AI ogólnego przeznaczenia z ryzykiem systemowym.
2. The provider of a general-purpose AI model that meets the condition referred to in Article 51(1), point (a), may present, with its notification, sufficiently substantiated arguments to demonstrate that, exceptionally, although it meets that requirement, the general-purpose AI model does not present, due to its specific characteristics, systemic risks and therefore should not be classified as a general-purpose AI model with systemic risk.
3. W przypadku gdy Komisja stwierdzi, że argumenty przedstawione zgodnie z ust. 2 nie są wystarczająco uzasadnione i że dany dostawca nie był w stanie wykazać, że dany model AI ogólnego przeznaczenia nie stwarza – z uwagi na swoje szczególne cechy – ryzyka systemowego, odrzuca te argumenty, a dany model AI ogólnego przeznaczenia uważa się za model AI ogólnego przeznaczenia z ryzykiem systemowym.
3. Where the Commission concludes that the arguments submitted pursuant to paragraph 2 are not sufficiently substantiated and the relevant provider was not able to demonstrate that the general-purpose AI model does not present, due to its specific characteristics, systemic risks, it shall reject those arguments, and the general-purpose AI model shall be considered to be a general-purpose AI model with systemic risk.
4. Komisja może – z urzędu lub w następstwie ostrzeżenia kwalifikowanego wydanego przez panel naukowy zgodnie z art. 90 ust. 1 lit. a) – uznać model AI ogólnego przeznaczenia za model stwarzający ryzyko systemowe na podstawie kryteriów określonych w załączniku XIII.
4. The Commission may designate a general-purpose AI model as presenting systemic risks, ex officio or following a qualified alert from the scientific panel pursuant to Article 90(1), point (a), on the basis of criteria set out in Annex XIII.
Komisja jest uprawniona do przyjmowania aktów delegowanych zgodnie z art. 97 w celu zmiany załącznika XIII poprzez określenie i zaktualizowanie kryteriów określonych w załączniku XIII.
The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annex XIII by specifying and updating the criteria set out in that Annex.
5. Na uzasadniony wniosek dostawcy, którego model został zgodnie z ust. 4 uznany za model AI ogólnego przeznaczenia z ryzykiem systemowym, Komisja bierze pod uwagę taki wniosek i może zdecydować o ponownej ocenie w celu stwierdzenia, czy dany model AI ogólnego przeznaczenia może być nadal uważany za stwarzający ryzyko systemowe na podstawie kryteriów określonych w załączniku XIII. Wniosek taki zawiera obiektywne, szczegółowe i nowe powody, które pojawiły się po podjęciu decyzji o uznaniu. Dostawcy mogą zwrócić się z wnioskiem o ponowną ocenę najwcześniej sześć miesięcy po podjęciu decyzji o uznaniu. W przypadku gdy w wyniku ponownej oceny Komisja zdecyduje się utrzymać uznanie modelu za model AI ogólnego przeznaczenia z ryzykiem systemowym, dostawcy mogą zwrócić się z wnioskiem o ponowną ocenę najwcześniej sześć miesięcy po podjęciu tej decyzji.
5. Upon a reasoned request of a provider whose model has been designated as a general-purpose AI model with systemic risk pursuant to paragraph 4, the Commission shall take the request into account and may decide to reassess whether the general-purpose AI model can still be considered to present systemic risks on the basis of the criteria set out in Annex XIII. Such a request shall contain objective, detailed and new reasons that have arisen since the designation decision. Providers may request reassessment at the earliest six months after the designation decision. Where the Commission, following its reassessment, decides to maintain the designation as a general-purpose AI model with systemic risk, providers may request reassessment at the earliest six months after that decision.
6. Komisja zapewnia publikację i aktualizację wykazu modeli AI ogólnego przeznaczenia z ryzykiem systemowym, bez uszczerbku dla konieczności przestrzegania i ochrony praw własności intelektualnej oraz poufnych informacji handlowych lub tajemnic przedsiębiorstwa zgodnie z prawem Unii i prawem krajowym.
6. The Commission shall ensure that a list of general-purpose AI models with systemic risk is published and shall keep that list up to date, without prejudice to the need to observe and protect intellectual property rights and confidential business information or trade secrets in accordance with Union and national law.
Obowiązki dostawców modeli AI ogólnego przeznaczenia
Obligations for providers of general-purpose AI models
1. Dostawcy modeli AI ogólnego przeznaczenia:
1. Providers of general-purpose AI models shall:
a)
sporządzają i aktualizują dokumentację techniczną modelu, w tym proces jego trenowania i testowania oraz wyniki jego oceny, zawierającą co najmniej informacje określone w załączniku XI do celów przekazania ich, na wniosek, Urzędowi ds. AI i właściwym organom krajowym;
(a)
draw up and keep up-to-date the technical documentation of the model, including its training and testing process and the results of its evaluation, which shall contain, at a minimum, the information set out in Annex XI for the purpose of providing it, upon request, to the AI Office and the national competent authorities;
b)
sporządzają, aktualizują i udostępniają informacje i dokumentację dostawcom systemów AI, którzy zamierzają zintegrować model AI ogólnego przeznaczenia ze swoimi systemami AI. Bez uszczerbku dla potrzeby przestrzegania i ochrony praw własności intelektualnej i poufnych informacji handlowych lub tajemnic przedsiębiorstwa zgodnie prawem Unii i prawem krajowym te informacje i dokumentacja:
(b)
draw up, keep up-to-date and make available information and documentation to providers of AI systems who intend to integrate the general-purpose AI model into their AI systems. Without prejudice to the need to observe and protect intellectual property rights and confidential business information or trade secrets in accordance with Union and national law, the information and documentation shall:
(i)
umożliwiają dostawcom systemów AI dobre zrozumienie możliwości i ograniczeń danego modelu AI ogólnego przeznaczenia oraz spełnienie ich obowiązków zgodnie z niniejszym rozporządzeniem; oraz
(i)
enable providers of AI systems to have a good understanding of the capabilities and limitations of the general-purpose AI model and to comply with their obligations pursuant to this Regulation; and
(ii)
zawierają co najmniej elementy określone w załączniku XII;
(ii)
contain, at a minimum, the elements set out in Annex XII;
c)
wprowadzają politykę służącą zapewnieniu zgodności z prawem Unii dotyczącym prawa autorskiego i praw pokrewnych, w szczególności z myślą o identyfikacji i zastosowaniu się, w tym poprzez najnowocześniejsze technologie, do zastrzeżenia praw wyrażonego zgodnie z art. 4 ust. 3 dyrektywy (UE) 2019/790;
(c)
put in place a policy to comply with Union law on copyright and related rights, and in particular to identify and comply with, including through state-of-the-art technologies, a reservation of rights expressed pursuant to Article 4(3) of Directive (EU) 2019/790;
d)
sporządzają i podają do wiadomości publicznej wystarczająco szczegółowe streszczenie na temat treści wykorzystanych do trenowania danego modelu AI ogólnego przeznaczenia, zgodnie ze wzorem dostarczonym przez Urząd ds. AI.
(d)
draw up and make publicly available a sufficiently detailed summary about the content used for training of the general-purpose AI model, according to a template provided by the AI Office.
2. Obowiązków określonych w ust. 1 lit. a) i b) nie stosuje się do dostawców modeli AI, które są udostępniane na podstawie bezpłatnej licencji otwartego oprogramowania umożliwiającej dostęp, wykorzystanie, zmianę i dystrybucję modelu i których parametry, w tym wagi, informacje o architekturze modelu oraz informacje o wykorzystaniu modelu są podawane do wiadomości publicznej. Wyjątku tego nie stosuje się do modeli AI ogólnego przeznaczenia z ryzykiem systemowym.
2. The obligations set out in paragraph 1, points (a) and (b), shall not apply to providers of AI models that are released under a free and open-source licence that allows for the access, usage, modification, and distribution of the model, and whose parameters, including the weights, the information on the model architecture, and the information on model usage, are made publicly available. This exception shall not apply to general-purpose AI models with systemic risks.
3. Dostawcy modeli AI ogólnego przeznaczenia współpracują w razie konieczności z Komisją i właściwymi organami krajowymi przy wykonywaniu ich kompetencji i uprawnień zgodnie z niniejszym rozporządzeniem.
3. Providers of general-purpose AI models shall cooperate as necessary with the Commission and the national competent authorities in the exercise of their competences and powers pursuant to this Regulation.
4. Do czasu opublikowania normy zharmonizowanej dostawcy modeli AI ogólnego przeznaczenia mogą opierać się na kodeksach praktyk w rozumieniu art. 56 w celu wykazania spełnienia obowiązków ustanowionych w ust. 1 niniejszego artykułu. Zgodność z europejskimi normami zharmonizowanymi stwarza dla dostawcy domniemanie spełnienia tych obowiązków w zakresie, w jakim normy te obejmują te obowiązki. Dostawcy modeli AI ogólnego przeznaczenia, którzy nie zobowiązują się do przestrzegania zatwierdzonego kodeksu praktyk lub nie zapewniają zgodności z europejską normą zharmonizowaną, przedstawiają Komisji do oceny adekwatne alternatywne środki służące zapewnieniu zgodności.
4. Providers of general-purpose AI models may rely on codes of practice within the meaning of Article 56 to demonstrate compliance with the obligations set out in paragraph 1 of this Article, until a harmonised standard is published. Compliance with European harmonised standards grants providers the presumption of conformity to the extent that those standards cover those obligations. Providers of general-purpose AI models who do not adhere to an approved code of practice or do not comply with a European harmonised standard shall demonstrate alternative adequate means of compliance for assessment by the Commission.
5. Do celu ułatwienia zgodności z załącznikiem XI, w szczególności jego pkt 2 lit. d) i e), Komisja jest uprawniona do przyjmowania zgodnie z art. 97 aktów delegowanych dotyczących szczegółowego określenia metod pomiaru i obliczeń umożliwiających porównywalną i weryfikowalną dokumentację.
5. For the purpose of facilitating compliance with Annex XI, in particular points 2 (d) and (e) thereof, the Commission is empowered to adopt delegated acts in accordance with Article 97 to detail measurement and calculation methodologies with a view to allowing for comparable and verifiable documentation.
6. Komisja jest uprawniona do przyjmowania aktów delegowanych zgodnie z art. 97 ust. 2 w celu zmiany załączników XI i XII w świetle postępu technicznego.
6. The Commission is empowered to adopt delegated acts in accordance with Article 97(2) to amend Annexes XI and XII in light of evolving technological developments.
7. Wszelkie informacje lub dokumentację uzyskane zgodnie z niniejszym artykułem, w tym tajemnice przedsiębiorstwa, traktuje się zgodnie z obowiązkami dotyczącymi poufności określonymi w art. 78.
7. Any information or documentation obtained pursuant to this Article, including trade secrets, shall be treated in accordance with the confidentiality obligations set out in Article 78.
Upoważnieni przedstawiciele dostawców modeli AI ogólnego przeznaczenia
Authorised representatives of providers of general-purpose AI models
1. Przed wprowadzeniem swoich modeli AI ogólnego przeznaczenia do obrotu w Unii dostawcy mający siedzibę w państwach trzecich ustanawiają – na podstawie pisemnego pełnomocnictwa – upoważnionego przedstawiciela mającego siedzibę w Unii.
1. Prior to placing a general-purpose AI model on the Union market, providers established in third countries shall, by written mandate, appoint an authorised representative which is established in the Union.
2. Dostawca umożliwia swojemu upoważnionemu przedstawicielowi wykonywanie zadań powierzonych mu na mocy pełnomocnictwa udzielonego przez dostawcę.
2. The provider shall enable its authorised representative to perform the tasks specified in the mandate received from the provider.
3. Upoważniony przedstawiciel wykonuje zadania powierzone mu na mocy pełnomocnictwa udzielonego przez dostawcę. Przekazuje on Urzędowi ds. AI na jego wniosek kopię pełnomocnictwa w jednym z oficjalnych języków instytucji Unii. Do celów niniejszego rozporządzenia pełnomocnictwo uprawnia upoważnionego przedstawiciela do wykonywania następujących zadań:
3. The authorised representative shall perform the tasks specified in the mandate received from the provider. It shall provide a copy of the mandate to the AI Office upon request, in one of the official languages of the institutions of the Union. For the purposes of this Regulation, the mandate shall empower the authorised representative to carry out the following tasks:
a)
sprawdzenie, czy dostawca sporządził dokumentację techniczną określoną w załączniku XI oraz czy wypełnił wszystkie obowiązki, o których mowa w art. 53, oraz, w stosownych przypadkach, w art. 55;
(a)
verify that the technical documentation specified in Annex XI has been drawn up and all obligations referred to in Article 53 and, where applicable, Article 55 have been fulfilled by the provider;
b)
przechowywanie kopii dokumentacji technicznej określonej w załączniku XI do dyspozycji Urzędu ds. AI i właściwych organów krajowych przez okres 10 lat od czasu wprowadzenia danego modelu AI ogólnego przeznaczenia do obrotu oraz danych kontaktowych dostawcy, który ustanowił danego upoważnionego przedstawiciela;
(b)
keep a copy of the technical documentation specified in Annex XI at the disposal of the AI Office and national competent authorities, for a period of 10 years after the general-purpose AI model has been placed on the market, and the contact details of the provider that appointed the authorised representative;
c)
przekazywanie Urzędowi ds. AI na uzasadniony wniosek wszystkich informacji i dokumentacji, w tym określonych w lit. b), niezbędnych do wykazania spełnienia obowiązków ustanowionych w niniejszym rozdziale;
(c)
provide the AI Office, upon a reasoned request, with all the information and documentation, including that referred to in point (b), necessary to demonstrate compliance with the obligations in this Chapter;
d)
współpraca z Urzędem ds. AI i właściwymi organami, na uzasadniony wniosek, we wszelkich podejmowanych przez nie działaniach odnoszących się do modelu AI ogólnego przeznaczenia, w tym kiedy model ten jest zintegrowany z systemami AI wprowadzanymi do obrotu lub oddawanymi do użytku w Unii.
(d)
cooperate with the AI Office and competent authorities, upon a reasoned request, in any action they take in relation to the general-purpose AI model, including when the model is integrated into AI systems placed on the market or put into service in the Union.
4. Pełnomocnictwo daje upoważnionemu przedstawicielowi prawo do tego, aby Urząd ds. AI lub właściwe organy mogły się zwracać do niego, obok albo zamiast do dostawcy, we wszystkich kwestiach dotyczących zapewnienia zgodności z niniejszym rozporządzeniem.
4. The mandate shall empower the authorised representative to be addressed, in addition to or instead of the provider, by the AI Office or the competent authorities, on all issues related to ensuring compliance with this Regulation.
5. Upoważniony przedstawiciel wypowiada pełnomocnictwo, jeśli sądzi lub ma powody sądzić, że dostawca działa w sposób sprzeczny z jego obowiązkami wynikającymi z niniejszego rozporządzenia. W takim przypadku informuje on również natychmiast Urząd ds. AI o wypowiedzeniu pełnomocnictwa i o jego przyczynach.
5. The authorised representative shall terminate the mandate if it considers or has reason to consider the provider to be acting contrary to its obligations pursuant to this Regulation. In such a case, it shall also immediately inform the AI Office about the termination of the mandate and the reasons therefor.
6. Obowiązek określony w niniejszym artykule nie dotyczy dostawców modeli AI ogólnego przeznaczenia, które są udostępniane na podstawie bezpłatnej licencji otwartego oprogramowania umożliwiającej dostęp, wykorzystanie, zmianę i dystrybucję modelu i których parametry, w tym wagi, informacje o architekturze modelu oraz informacje o wykorzystaniu modelu są podawane do wiadomości publicznej, chyba że te modele AI ogólnego przeznaczenia stwarzają ryzyko systemowe.
6. The obligation set out in this Article shall not apply to providers of general-purpose AI models that are released under a free and open-source licence that allows for the access, usage, modification, and distribution of the model, and whose parameters, including the weights, the information on the model architecture, and the information on model usage, are made publicly available, unless the general-purpose AI models present systemic risks.