Notice: This is a Juremy.com rendered version. Only European Union documents published in the Official Journal of the European Union are deemed authentic. Juremy accepts no responsibility or liability whatsoever with regard to the content of this document.
Base data © European Union, 1998-2024. Postprocessed and marked-up data © 2019-2024 Juremy.com, all rights reserved.
Render version: 0.1, render date: 2024-07-24
Službeni list
Europske unije
HR
Official Journal
of the European Union
EN
Serija L
L series
2024/1689
12.7.2024
2024/1689
12.7.2024
UREDBA (EU) 2024/1689 EUROPSKOG PARLAMENTA I VIJEĆA
REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL
od 13. lipnja 2024.
of 13 June 2024
o utvrđivanju usklađenih pravila o umjetnoj inteligenciji i o izmjeni uredaba (EZ) br. 300/2008, (EU) br. 167/2013, (EU) br. 168/2013, (EU) 2018/858, (EU) 2018/1139 i (EU) 2019/2144 te direktiva 2014/90/EU, (EU) 2016/797 i (EU) 2020/1828 (Akt o umjetnoj inteligenciji)
laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act)
(Tekst značajan za EGP)
(Text with EEA relevance)
EUROPSKI PARLAMENT I VIJEĆE EUROPSKE UNIJE,
THE EUROPEAN PARLIAMENT AND THE COUNCIL OF THE EUROPEAN UNION,
uzimajući u obzir Ugovor o funkcioniranju Europske unije, a posebno njegove članke 16. i 114.,
Having regard to the Treaty on the Functioning of the European Union, and in particular Articles 16 and 114 thereof,
uzimajući u obzir prijedlog Europske komisije,
Having regard to the proposal from the European Commission,
nakon prosljeđivanja nacrta zakonodavnog akta nacionalnim parlamentima,
After transmission of the draft legislative act to the national parliaments,
uzimajući u obzir mišljenje Europskoga gospodarskog i socijalnog odbora (1),
Having regard to the opinion of the European Economic and Social Committee (1),
uzimajući u obzir mišljenje Europske središnje banke (2),
Having regard to the opinion of the European Central Bank (2),
uzimajući u obzir mišljenje Odbora regija (3),
Having regard to the opinion of the Committee of the Regions (3),
u skladu s redovnim zakonodavnim postupkom (4),
Acting in accordance with the ordinary legislative procedure (4),
budući da:
Whereas:
(1)
Svrha je ove Uredbe poboljšati funkcioniranje unutarnjeg tržišta utvrđivanjem ujednačenog pravnog okvira, osobito za razvoj, stavljanje na tržište, stavljanje u upotrebu i korištenje sustava umjetne inteligencije („UI sustavi”) u Uniji, u skladu s vrijednostima Unije, promicati prihvaćanje antropocentrične i pouzdane umjetne inteligencije uz istodobno jamčenje visoke razine zaštite zdravlja, sigurnosti i temeljnih prava kako su sadržana u Povelji Europske unije o temeljnim pravima („Povelja”), uključujući demokraciju, vladavinu prava i zaštitu okoliša, zaštitu od štetnih učinaka UI sustavâ u Uniji, te podupirati inovacije. Ovom se Uredbom osigurava slobodno prekogranično kretanje robe i usluga temeljenih na umjetnoj inteligenciji, čime se države članice sprečava da nametnu ograničenja razvoju, stavljanju na tržište i korištenju UI sustavâ, osim ako je to izričito odobreno ovom Uredbom.
(1)
The purpose of this Regulation is to improve the functioning of the internal market by laying down a uniform legal framework in particular for the development, the placing on the market, the putting into service and the use of artificial intelligence systems (AI systems) in the Union, in accordance with Union values, to promote the uptake of human centric and trustworthy artificial intelligence (AI) while ensuring a high level of protection of health, safety, fundamental rights as enshrined in the Charter of Fundamental Rights of the European Union (the ‘Charter’), including democracy, the rule of law and environmental protection, to protect against the harmful effects of AI systems in the Union, and to support innovation. This Regulation ensures the free movement, cross-border, of AI-based goods and services, thus preventing Member States from imposing restrictions on the development, marketing and use of AI systems, unless explicitly authorised by this Regulation.
(2)
Ova bi se Uredba trebala primjenjivati u skladu s vrijednostima Unije sadržanima u Povelji i trebala bi olakšati zaštitu fizičkih osoba, poduzeća, demokracije, vladavine prava i okoliša, a istodobno poticati inovacije i zapošljavanje te učiniti Uniju predvodnikom u prihvaćanju pouzdane umjetne inteligencije.
(2)
This Regulation should be applied in accordance with the values of the Union enshrined as in the Charter, facilitating the protection of natural persons, undertakings, democracy, the rule of law and environmental protection, while boosting innovation and employment and making the Union a leader in the uptake of trustworthy AI.
(3)
UI sustavi mogu se lako uvesti u brojne različite sektore gospodarstva i mnoge dijelove društva, među ostalim i preko granica, te lako cirkulirati u cijeloj Uniji. Neke su države članice već razmotrile donošenje nacionalnih pravila kojima bi se zajamčilo da umjetna inteligencija bude pouzdana i sigurna te da se razvija i upotrebljava u skladu s obvezama u području temeljnih prava. Divergentna nacionalna pravila mogu dovesti do fragmentacije unutarnjeg tržišta i smanjiti pravnu sigurnost za operatere koji razvijaju, uvoze ili upotrebljavaju UI sustave. Stoga bi za postizanje pouzdane umjetne inteligencije trebalo osigurati dosljednu i visoku razinu zaštite u cijeloj Uniji, dok bi divergencije koje otežavaju slobodnu cirkulaciju, inovacije te uvođenje i prihvaćanje UI sustava i povezanih proizvoda i usluga na unutarnjem tržištu trebalo spriječiti utvrđivanjem ujednačenih obveza za operatere i jamčenjem ujednačene zaštite prevladavajućih razloga od javnog interesa i pravâ osoba na cijelom unutarnjem tržištu na temelju članka 114. Ugovora o funkcioniranju Europske unije (UFEU). U mjeri u kojoj ova Uredba sadržava specifična pravila o zaštiti pojedinaca u pogledu obrade osobnih podataka u vezi s ograničenjima korištenja UI sustavâ za daljinsku biometrijsku identifikaciju u svrhu kaznenog progona, korištenja UI sustavâ za procjene rizika u pogledu fizičkih osoba u svrhu kaznenog progona i korištenja UI sustavâ za biometrijsku kategorizaciju u svrhu kaznenog progona, primjereno je ovu Uredbu, u mjeri u kojoj se odnosi na ta specifična pravila, temeljiti na članku 16. UFEU-a. S obzirom na ta specifična pravila i pozivanje na članak 16. UFEU-a, primjereno je zatražiti mišljenje Europskog odbora za zaštitu podataka.
(3)
AI systems can be easily deployed in a large variety of sectors of the economy and many parts of society, including across borders, and can easily circulate throughout the Union. Certain Member States have already explored the adoption of national rules to ensure that AI is trustworthy and safe and is developed and used in accordance with fundamental rights obligations. Diverging national rules may lead to the fragmentation of the internal market and may decrease legal certainty for operators that develop, import or use AI systems. A consistent and high level of protection throughout the Union should therefore be ensured in order to achieve trustworthy AI, while divergences hampering the free circulation, innovation, deployment and the uptake of AI systems and related products and services within the internal market should be prevented by laying down uniform obligations for operators and guaranteeing the uniform protection of overriding reasons of public interest and of rights of persons throughout the internal market on the basis of Article 114 of the Treaty on the Functioning of the European Union (TFEU). To the extent that this Regulation contains specific rules on the protection of individuals with regard to the processing of personal data concerning restrictions of the use of AI systems for remote biometric identification for the purpose of law enforcement, of the use of AI systems for risk assessments of natural persons for the purpose of law enforcement and of the use of AI systems of biometric categorisation for the purpose of law enforcement, it is appropriate to base this Regulation, in so far as those specific rules are concerned, on Article 16 TFEU. In light of those specific rules and the recourse to Article 16 TFEU, it is appropriate to consult the European Data Protection Board.
(4)
Umjetna inteligencija skup je tehnologija koji se brzo razvija i doprinosi širokom spektru gospodarskih, okolišnih i društvenih koristi u cijelom nizu industrija i društvenih aktivnosti. Zahvaljujući boljem predviđanju, optimizaciji operacija i dodjeli resursa te personalizaciji digitalnih rješenja dostupnih pojedincima i organizacijama, korištenje umjetne inteligencije može poduzećima pružiti ključne konkurentske prednosti te podupirati društveno i okolišno korisne ishode, na primjer u zdravstvu, poljoprivredi, sigurnosti hrane, obrazovanju i osposobljavanju, medijima, sportu, kulturi, upravljanju infrastrukturom, energetici, prometu i logistici, javnim uslugama, sigurnosti, pravosuđu, resursnoj i energetskoj učinkovitosti, praćenju stanja okoliša, očuvanju i obnovi bioraznolikosti i ekosustavâ te ublažavanju klimatskih promjena i prilagodbi njima.
(4)
AI is a fast evolving family of technologies that contributes to a wide array of economic, environmental and societal benefits across the entire spectrum of industries and social activities. By improving prediction, optimising operations and resource allocation, and personalising digital solutions available for individuals and organisations, the use of AI can provide key competitive advantages to undertakings and support socially and environmentally beneficial outcomes, for example in healthcare, agriculture, food safety, education and training, media, sports, culture, infrastructure management, energy, transport and logistics, public services, security, justice, resource and energy efficiency, environmental monitoring, the conservation and restoration of biodiversity and ecosystems and climate change mitigation and adaptation.
(5)
Istodobno, ovisno o okolnostima njezine specifične primjene, korištenja i razine tehnološkog razvoja, umjetna inteligencija može stvoriti rizike i uzrokovati štetu javnim interesima i temeljnim pravima zaštićenima pravom Unije. Ta šteta može biti materijalna ili nematerijalna, uključujući tjelesnu, psihološku, društvenu ili ekonomsku štetu.
(5)
At the same time, depending on the circumstances regarding its specific application, use, and level of technological development, AI may generate risks and cause harm to public interests and fundamental rights that are protected by Union law. Such harm might be material or immaterial, including physical, psychological, societal or economic harm.
(6)
S obzirom na velik učinak koji umjetna inteligencija može imati na društvo i potrebu za izgradnjom povjerenja, ključno je da se umjetna inteligencija i njezin regulatorni okvir razvijaju u skladu s vrijednostima Unije sadržanima u članku 2. Ugovora o Europskoj uniji (UEU), temeljnim pravima i slobodama sadržanima u Ugovorima i, na temelju članka 6. UEU-a, u Povelji. Umjetna inteligencija neophodno bi trebala biti antropocentrična tehnologija. Trebala bi služiti kao alat namijenjen ljudima s krajnjim ciljem povećanja njihove dobrobiti.
(6)
Given the major impact that AI can have on society and the need to build trust, it is vital for AI and its regulatory framework to be developed in accordance with Union values as enshrined in Article 2 of the Treaty on European Union (TEU), the fundamental rights and freedoms enshrined in the Treaties and, pursuant to Article 6 TEU, the Charter. As a prerequisite, AI should be a human-centric technology. It should serve as a tool for people, with the ultimate aim of increasing human well-being.
(7)
Kako bi se osigurala dosljedna i visoka razina zaštite javnih interesa u smislu zdravlja, sigurnosti i temeljnih prava, trebalo bi utvrditi zajednička pravila za visokorizične UI sustave. Ta bi pravila trebala biti dosljedna s Poveljom, nediskriminirajuća i usklađena s međunarodnim trgovinskim obvezama Unije. Njima bi se ujedno trebalo uzeti u obzir Europsku deklaraciju o digitalnim pravima i načelima za digitalno desetljeće i Etičke smjernice za pouzdanu umjetnu inteligenciju koje je sastavila Stručna skupina na visokoj razini za umjetnu inteligenciju.
(7)
In order to ensure a consistent and high level of protection of public interests as regards health, safety and fundamental rights, common rules for high-risk AI systems should be established. Those rules should be consistent with the Charter, non-discriminatory and in line with the Union’s international trade commitments. They should also take into account the European Declaration on Digital Rights and Principles for the Digital Decade and the Ethics guidelines for trustworthy AI of the High-Level Expert Group on Artificial Intelligence (AI HLEG).
(8)
Stoga je potreban pravni okvir Unije kojim se utvrđuju usklađena pravila o umjetnoj inteligenciji kako bi se poticali razvoj, korištenje i prihvaćanje umjetne inteligencije na unutarnjem tržištu i istodobno ostvarila visoka razina zaštite javnih interesa, kao što su zdravlje i sigurnost te zaštita temeljnih prava, uključujući demokraciju, vladavinu prava i zaštitu okoliša, kako su priznata i zaštićena pravom Unije. Da bi se postigao taj cilj, trebalo bi utvrditi pravila kojima se uređuju stavljanje na tržište, stavljanje u upotrebu i korištenje određenih UI sustava, te tako osigurati neometano funkcioniranje unutarnjeg tržišta i omogućiti da ti sustavi ostvaruju koristi od načela slobodnog kretanja robe i usluga pogoduju. Ta bi pravila trebala biti jasna i snažna u zaštiti temeljnih prava, podupirati nova inovativna rješenja i pogodovati europskom ekosustavu javnih i privatnih aktera koji stvaraju UI sustave u skladu s vrijednostima Unije te ostvariti potencijal digitalne transformacije u svim regijama Unije. Utvrđivanjem tih pravila i mjera za potporu inovacijama s osobitim naglaskom na malim i srednjim poduzećima (MSP-ovi), uključujući start-up poduzeća, ovom se Uredbom doprinosi cilju promicanja europskog antropocentričnog pristupa umjetnoj inteligenciji i globalnog vodstva u razvoju sigurne, pouzdane i etične umjetne inteligencije kako je navelo Europsko vijeće (5) te se osigurava zaštita etičkih načela u skladu s izričitim zahtjevom Europskog parlamenta (6).
(8)
A Union legal framework laying down harmonised rules on AI is therefore needed to foster the development, use and uptake of AI in the internal market that at the same time meets a high level of protection of public interests, such as health and safety and the protection of fundamental rights, including democracy, the rule of law and environmental protection as recognised and protected by Union law. To achieve that objective, rules regulating the placing on the market, the putting into service and the use of certain AI systems should be laid down, thus ensuring the smooth functioning of the internal market and allowing those systems to benefit from the principle of free movement of goods and services. Those rules should be clear and robust in protecting fundamental rights, supportive of new innovative solutions, enabling a European ecosystem of public and private actors creating AI systems in line with Union values and unlocking the potential of the digital transformation across all regions of the Union. By laying down those rules as well as measures in support of innovation with a particular focus on small and medium enterprises (SMEs), including startups, this Regulation supports the objective of promoting the European human-centric approach to AI and being a global leader in the development of secure, trustworthy and ethical AI as stated by the European Council (5), and it ensures the protection of ethical principles, as specifically requested by the European Parliament (6).
(9)
Usklađena pravila koja se primjenjuju na stavljanje na tržište, stavljanje u upotrebu i korištenje visokorizičnih UI sustava trebala bi biti utvrđena u skladu s Uredbom (EZ) br. 765/2008 Europskog parlamenta i Vijeća (7), Odlukom br. 768/2008/EZ Europskog parlamenta i Vijeća (8) i Uredbom (EU) 2019/1020 Europskog parlamenta i Vijeća (9) (novi zakonodavni okvir). Usklađena pravila utvrđena u ovoj Uredbi trebala bi se primjenjivati u svim sektorima i, u skladu s novim zakonodavnim okvirom, ne bi trebala dovoditi u pitanje postojeće pravo Unije, osobito ono u području zaštite podataka, zaštite potrošača, temeljnih prava, zapošljavanja, zaštite radnika i sigurnosti proizvoda, koje ova Uredba dopunjuje. Kao posljedica toga sva prava i pravna sredstva predviđena tim pravom Unije za potrošače i druge osobe na koje UI sustavi mogu imati negativan učinak, među ostalim i u pogledu naknade potencijalne štete na temelju Direktive Vijeća 85/374/EEZ (10), i dalje su nepromijenjeni i u potpunosti se primjenjuju. Nadalje, u kontekstu zapošljavanja i zaštite radnika, ova Uredba stoga ne bi trebala utjecati na pravo Unije o socijalnoj politici i nacionalno radno pravo, u skladu s pravom Unije, koje se odnosi na zapošljavanje i radne uvjete, uključujući zdravlje i sigurnost na radu te odnos između poslodavaca i radnika. Ova Uredba ne bi trebala utjecati ni na ostvarivanje temeljnih prava priznatih u državama članicama i na razini Unije, uključujući pravo ili slobodu štrajka ili poduzimanja drugih mjera obuhvaćenih specifičnim sustavima država članica u području radnih odnosa, kao i pravo na dogovaranje, kroz pregovore, na sklapanje i provedbu kolektivnih ugovora ili na poduzimanje kolektivnih mjera u skladu s nacionalnim pravom. Ova Uredba ne bi trebala utjecati na odredbe čiji je cilj poboljšanje radnih uvjeta u radu putem platformi utvrđene u direktivi Europskog parlamenta i Vijeća o poboljšanju radnih uvjeta u radu putem platformi. Usto, cilj je ove Uredbe ojačati djelotvornost tih postojećih prava i pravnih sredstava utvrđivanjem posebnih zahtjeva i obveza, među ostalim i u pogledu transparentnosti, tehničke dokumentacije i vođenja evidencije o UI sustavima. Nadalje, obveze koje su na temelju ove Uredbe nametnute različitim operaterima uključenima u lanac vrijednosti umjetne inteligencije trebale bi se primjenjivati ne dovodeći u pitanje nacionalno pravo, u skladu s pravom Unije, koje ima učinak ograničavanja korištenja određenih UI sustava ako takvo pravo nije obuhvaćeno područjem primjene ove Uredbe ili ako se njime žele ostvariti drugi legitimni ciljevi od javnog interesa koji nisu ciljevi koji se nastoje ostvariti ovom Uredbom. Na primjer, ova Uredba ne bi trebala utjecati na nacionalno radno pravo ni na pravo o zaštiti maloljetnika, odnosno osoba mlađih od 18 godina, uzimajući u obzir Opću napomenu Ujedinjenih naroda br. 25 (2021.) o pravima djece u pogledu digitalnog okružja, u mjeri u kojoj ono nije specifično za UI sustave i njime se žele ostvariti drugi legitimni ciljevi od javnog interesa.
(9)
Harmonised rules applicable to the placing on the market, the putting into service and the use of high-risk AI systems should be laid down consistently with Regulation (EC) No 765/2008 of the European Parliament and of the Council (7), Decision No 768/2008/EC of the European Parliament and of the Council (8) and Regulation (EU) 2019/1020 of the European Parliament and of the Council (9) (New Legislative Framework). The harmonised rules laid down in this Regulation should apply across sectors and, in line with the New Legislative Framework, should be without prejudice to existing Union law, in particular on data protection, consumer protection, fundamental rights, employment, and protection of workers, and product safety, to which this Regulation is complementary. As a consequence, all rights and remedies provided for by such Union law to consumers, and other persons on whom AI systems may have a negative impact, including as regards the compensation of possible damages pursuant to Council Directive 85/374/EEC (10) remain unaffected and fully applicable. Furthermore, in the context of employment and protection of workers, this Regulation should therefore not affect Union law on social policy and national labour law, in compliance with Union law, concerning employment and working conditions, including health and safety at work and the relationship between employers and workers. This Regulation should also not affect the exercise of fundamental rights as recognised in the Member States and at Union level, including the right or freedom to strike or to take other action covered by the specific industrial relations systems in Member States as well as the right to negotiate, to conclude and enforce collective agreements or to take collective action in accordance with national law. This Regulation should not affect the provisions aiming to improve working conditions in platform work laid down in a Directive of the European Parliament and of the Council on improving working conditions in platform work. Moreover, this Regulation aims to strengthen the effectiveness of such existing rights and remedies by establishing specific requirements and obligations, including in respect of the transparency, technical documentation and record-keeping of AI systems. Furthermore, the obligations placed on various operators involved in the AI value chain under this Regulation should apply without prejudice to national law, in compliance with Union law, having the effect of limiting the use of certain AI systems where such law falls outside the scope of this Regulation or pursues legitimate public interest objectives other than those pursued by this Regulation. For example, national labour law and law on the protection of minors, namely persons below the age of 18, taking into account the UNCRC General Comment No 25 (2021) on children’s rights in relation to the digital environment, insofar as they are not specific to AI systems and pursue other legitimate public interest objectives, should not be affected by this Regulation.
(10)
Temeljno pravo na zaštitu osobnih podataka osobito je zajamčeno uredbama (EU) 2016/679 (11) i (EU) 2018/1725 (12) Europskog parlamenta i Vijeća te Direktivom (EU) 2016/680 Europskog parlamenta i Vijeća (13). Direktivom 2002/58/EZ Europskog parlamenta i Vijeća (14) dodatno se štiti privatni život i povjerljivost komunikacija, među ostalim i pružanjem uvjeta za svu pohranu osobnih i neosobnih podataka u terminalnoj opremi te pristup tim podacima s terminalne opreme. Ti su pravni akti Unije temelj za održivu i odgovornu obradu podataka, među ostalim i onda kada skupovi podataka uključuju kombinaciju osobnih i neosobnih podataka. Ovom se Uredbom ne nastoji utjecati na primjenu postojećeg prava Unije kojim se uređuje obrada osobnih podataka, uključujući zadaće i ovlasti neovisnih nadzornih tijela nadležnih za praćenje usklađenosti s tim instrumentima. Ona usto ne utječe na obveze dobavljačâ UI sustava i subjekata koji uvode te sustave u njihovoj ulozi voditelja obrade podataka ili izvršitelja obrade podataka koje proizlaze iz prava Unije o zaštiti osobnih podataka ili nacionalnog prava o zaštiti osobnih podataka u mjeri u kojoj dizajniranje, razvoj ili korištenje UI sustava uključuje obradu osobnih podataka. Također je primjereno pojasniti da ispitanici i dalje uživaju sva prava i jamstva koja su im dodijeljena tim pravom Unije, među ostalim i prava povezana s isključivo automatiziranim pojedinačnim donošenjem odluka, uključujući izradu profila. Usklađena pravila o stavljanju na tržište, stavljanju u upotrebu i korištenju UI sustava uspostavljena ovom Uredbom trebala bi olakšati djelotvornu provedbu i omogućiti ostvarivanje prava ispitanikâ i drugih pravnih sredstava zajamčenih na temelju prava Unije o zaštiti osobnih podataka i drugih temeljnih prava.
(10)
The fundamental right to the protection of personal data is safeguarded in particular by Regulations (EU) 2016/679 (11) and (EU) 2018/1725 (12) of the European Parliament and of the Council and Directive (EU) 2016/680 of the European Parliament and of the Council (13). Directive 2002/58/EC of the European Parliament and of the Council (14) additionally protects private life and the confidentiality of communications, including by way of providing conditions for any storing of personal and non-personal data in, and access from, terminal equipment. Those Union legal acts provide the basis for sustainable and responsible data processing, including where data sets include a mix of personal and non-personal data. This Regulation does not seek to affect the application of existing Union law governing the processing of personal data, including the tasks and powers of the independent supervisory authorities competent to monitor compliance with those instruments. It also does not affect the obligations of providers and deployers of AI systems in their role as data controllers or processors stemming from Union or national law on the protection of personal data in so far as the design, the development or the use of AI systems involves the processing of personal data. It is also appropriate to clarify that data subjects continue to enjoy all the rights and guarantees awarded to them by such Union law, including the rights related to solely automated individual decision-making, including profiling. Harmonised rules for the placing on the market, the putting into service and the use of AI systems established under this Regulation should facilitate the effective implementation and enable the exercise of the data subjects’ rights and other remedies guaranteed under Union law on the protection of personal data and of other fundamental rights.
(11)
Ovom se Uredbom ne bi trebale dovoditi u pitanje odredbe o odgovornosti pružatelja usluga posredovanja kako su utvrđene u Uredbi (EU) 2022/2065 Europskog parlamenta i Vijeća (15).
(11)
This Regulation should be without prejudice to the provisions regarding the liability of providers of intermediary services as set out in Regulation (EU) 2022/2065 of the European Parliament and of the Council (15).
(12)
Pojam „UI sustav” u ovoj bi Uredbi trebalo jasno definirati i usko ga uskladiti s radom međunarodnih organizacija koje se bave umjetnom inteligencijom kako bi se zajamčila pravna sigurnost te olakšala međunarodna konvergencija i široka prihvaćenost i pritom omogućila fleksibilnost za prilagođavanje brzom tehnološkom napretku u tom području. Nadalje, ta bi se definicija trebala temeljiti na ključnim značajkama UI sustavâ po kojima se razlikuje od jednostavnijih tradicionalnih softverskih sustava ili pristupâ programiranju te ne bi trebao obuhvaćati sustave koji se temelje na pravilima koja su definirale isključivo fizičke osobe za automatsko izvršavanje operacija. Ključna značajka UI sustava njihova je sposobnost zaključivanja. Ta sposobnost zaključivanja odnosi se na proces dobivanja izlaznih vrijednosti, kao što su predviđanja, sadržaj, preporuke ili odluke, koje mogu utjecati na fizička i virtualna okružja, te na sposobnost UI sustava da izvode modele ili algoritme, ili i modele i algoritme, iz ulaznih vrijednosti ili podataka. Tehnike koje omogućuju zaključivanje pri izgradnji UI sustava uključuju pristupe strojnog učenja koji s pomoću podataka uče kako postići određene ciljeve te pristupe temeljene na logici i znanju koji izvode zaključke iz kodiranog znanja ili simboličkog prikaza zadatka koji treba riješiti. Sposobnost UI sustava da zaključuje nadilazi osnovnu obradu podataka omogućujući učenje, rezoniranje ili modeliranje. Pojam „strojni” odnosi se na činjenicu da je rad UI sustava pogonjen strojevima. Upućivanjem na eksplicitne ili implicitne ciljeve ističe se da UI sustavi mogu raditi u skladu s eksplicitno definiranim ciljevima ili implicitnim ciljevima. Ciljevi UI sustava mogu se u specifičnom kontekstu razlikovati od namjene UI sustava. Za potrebe ove Uredbe okružja bi trebalo razumjeti kao kontekste u kojima UI sustavi rade, a izlazne vrijednosti koje UI sustav generira odražavaju različite funkcije UI sustava i uključuju predviđanja, sadržaj, preporuke ili odluke. UI sustavi dizajnirani su tako da rade s promjenjivim razinama autonomije, što znači da imaju određeni stupanj neovisnosti djelovanja od ljudske uključenosti i sposobnosti rada bez ljudske intervencije. Prilagodljivost koju bi UI sustav mogao pokazati nakon uvođenja odnosi se na sposobnosti samostalnog učenja, koje sustavu omogućuju da se mijenja dok je u upotrebi. UI sustavi mogu se upotrebljavati samostalno ili kao komponenta nekog proizvoda, neovisno o tome je li sustav fizički integriran u proizvod (ugrađen) ili služi funkcionalnosti proizvoda, a da nije integriran u njega (neugrađen).
(12)
The notion of ‘AI system’ in this Regulation should be clearly defined and should be closely aligned with the work of international organisations working on AI to ensure legal certainty, facilitate international convergence and wide acceptance, while providing the flexibility to accommodate the rapid technological developments in this field. Moreover, the definition should be based on key characteristics of AI systems that distinguish it from simpler traditional software systems or programming approaches and should not cover systems that are based on the rules defined solely by natural persons to automatically execute operations. A key characteristic of AI systems is their capability to infer. This capability to infer refers to the process of obtaining the outputs, such as predictions, content, recommendations, or decisions, which can influence physical and virtual environments, and to a capability of AI systems to derive models or algorithms, or both, from inputs or data. The techniques that enable inference while building an AI system include machine learning approaches that learn from data how to achieve certain objectives, and logic- and knowledge-based approaches that infer from encoded knowledge or symbolic representation of the task to be solved. The capacity of an AI system to infer transcends basic data processing by enabling learning, reasoning or modelling. The term ‘machine-based’ refers to the fact that AI systems run on machines. The reference to explicit or implicit objectives underscores that AI systems can operate according to explicit defined objectives or to implicit objectives. The objectives of the AI system may be different from the intended purpose of the AI system in a specific context. For the purposes of this Regulation, environments should be understood to be the contexts in which the AI systems operate, whereas outputs generated by the AI system reflect different functions performed by AI systems and include predictions, content, recommendations or decisions. AI systems are designed to operate with varying levels of autonomy, meaning that they have some degree of independence of actions from human involvement and of capabilities to operate without human intervention. The adaptiveness that an AI system could exhibit after deployment, refers to self-learning capabilities, allowing the system to change while in use. AI systems can be used on a stand-alone basis or as a component of a product, irrespective of whether the system is physically integrated into the product (embedded) or serves the functionality of the product without being integrated therein (non-embedded).
(13)
Pojam „subjekt koji uvodi sustav” iz ove Uredbe trebalo bi tumačiti kao svaku fizičku ili pravnu osobu, uključujući tijelo javne vlasti, javnu agenciju ili drugo javno tijelo, koja upotrebljava UI sustav u okviru svoje nadležnosti, osim ako se UI sustav upotrebljava u osobnoj neprofesionalnoj djelatnosti. Ovisno o vrsti UI sustava, njegovo korištenje može utjecati na osobe koje nisu subjekt koji ga uvodi.
(13)
The notion of ‘deployer’ referred to in this Regulation should be interpreted as any natural or legal person, including a public authority, agency or other body, using an AI system under its authority, except where the AI system is used in the course of a personal non-professional activity. Depending on the type of AI system, the use of the system may affect persons other than the deployer.
(14)
Pojam „biometrijski podaci” koji se upotrebljava u ovoj Uredbi trebalo bi tumačiti s obzirom na pojam biometrijskih podataka kako je definiran u članku 4. točki 14. Uredbe (EU) 2016/679, članku 3. točki 18. Uredbe (EU) 2018/1725 i članku 3. točki 13. Direktive (EU) 2016/680. Biometrijski podaci mogu omogućiti autentifikaciju, identifikaciju ili kategorizaciju fizičkih osoba i prepoznavanje njihovih emocija.
(14)
The notion of ‘biometric data’ used in this Regulation should be interpreted in light of the notion of biometric data as defined in Article 4, point (14) of Regulation (EU) 2016/679, Article 3, point (18) of Regulation (EU) 2018/1725 and Article 3, point (13) of Directive (EU) 2016/680. Biometric data can allow for the authentication, identification or categorisation of natural persons and for the recognition of emotions of natural persons.
(15)
Pojam „biometrijska identifikacija” iz ove Uredbe trebalo bi definirati kao automatizirano prepoznavanje fizičkih, fizioloških i bihevioralnih obilježja ljudi, kao što su lice, pokreti očiju, izrazi lica, oblik tijela, glas, govor, hod, držanje, srčani ritam, krvni tlak, miris i način tipkanja, u svrhu utvrđivanja identiteta pojedinca usporedbom njegovih biometrijskih podataka s biometrijskim podacima pojedinaca pohranjenima u referentnoj bazi podataka, neovisno o tome je li dotični pojedinac dao privolu. To isključuje UI sustave namijenjene za biometrijsku provjeru, uključujući autentifikaciju, čija je jedina svrha potvrditi da je određena fizička osoba doista ona kojom se predstavlja i potvrditi identitet fizičke osobe isključivo radi pristupa usluzi, otključavanja uređaja ili sigurnog pristupa prostorijama.
(15)
The notion of ‘biometric identification’ referred to in this Regulation should be defined as the automated recognition of physical, physiological and behavioural human features such as the face, eye movement, body shape, voice, prosody, gait, posture, heart rate, blood pressure, odour, keystrokes characteristics, for the purpose of establishing an individual’s identity by comparing biometric data of that individual to stored biometric data of individuals in a reference database, irrespective of whether the individual has given its consent or not. This excludes AI systems intended to be used for biometric verification, which includes authentication, whose sole purpose is to confirm that a specific natural person is the person he or she claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having security access to premises.
(16)
Pojam „biometrijska kategorizacija” iz ove Uredbe trebalo bi definirati kao razvrstavanje fizičkih osoba u određene kategorije na temelju njihovih biometrijskih podataka. Te specifične kategorije mogu se odnositi na aspekte kao što su spol, dob, boja kose, boja očiju, tetovaže, značajke ponašanja ili osobnosti, jezik, vjera, pripadnost nacionalnoj manjini, spolna ili politička orijentacija. To ne uključuje sustave za biometrijsku kategorizaciju koji su isključivo pomoćni element intrinzično povezan s drugom komercijalnom uslugom, što znači da se taj element iz objektivnih tehničkih razloga ne može upotrebljavati bez glavne usluge i da integracija tog elementa ili funkcionalnosti nije sredstvo za zaobilaženje primjenjivosti pravila ove Uredbe. Na primjer, filtri za kategorizaciju značajki lica ili tijela koji se upotrebljavaju na internetskim tržištima mogli bi biti takav pomoćni element jer se mogu upotrebljavati samo u vezi s glavnom uslugom koja se sastoji od prodaje proizvoda tako što se potrošaču omogućuje da pregleda prikaz proizvoda na sebi i tako što pomaže u donošenju odluke o kupnji. Filtri koji se upotrebljavaju na internetskim društvenim mrežama i kojima se kategoriziraju značajke lica ili tijela kako bi se korisnicima omogućilo dodavanje ili izmjena slika ili videozapisa također bi se mogli smatrati pomoćnim elementom jer se takvi filtri ne mogu upotrebljavati bez glavne usluge društvenih mreža koja se sastoji od dijeljenja sadržaja na internetu.
(16)
The notion of ‘biometric categorisation’ referred to in this Regulation should be defined as assigning natural persons to specific categories on the basis of their biometric data. Such specific categories can relate to aspects such as sex, age, hair colour, eye colour, tattoos, behavioural or personality traits, language, religion, membership of a national minority, sexual or political orientation. This does not include biometric categorisation systems that are a purely ancillary feature intrinsically linked to another commercial service, meaning that the feature cannot, for objective technical reasons, be used without the principal service, and the integration of that feature or functionality is not a means to circumvent the applicability of the rules of this Regulation. For example, filters categorising facial or body features used on online marketplaces could constitute such an ancillary feature as they can be used only in relation to the principal service which consists in selling a product by allowing the consumer to preview the display of the product on him or herself and help the consumer to make a purchase decision. Filters used on online social network services which categorise facial or body features to allow users to add or modify pictures or videos could also be considered to be ancillary feature as such filter cannot be used without the principal service of the social network services consisting in the sharing of content online.
(17)
Pojam „sustav za daljinsku biometrijsku identifikaciju” iz ove Uredbe trebalo bi definirati funkcionalno kao UI sustav namijenjen identifikaciji fizičkih osoba bez njihova aktivnog sudjelovanja, obično na daljinu, usporedbom biometrijskih podataka dotične osobe s biometrijskim podacima iz referentne baze podataka, bez obzira na specifičnu tehnologiju, specifične postupke ili specifične vrste biometrijskih podataka koji se upotrebljavaju. Takvi sustavi za daljinsku biometrijsku identifikaciju obično se upotrebljavaju za istodobno percipiranje više osoba ili njihova ponašanja kako bi se znatno olakšala identifikacija fizičkih osoba bez njihova aktivnog sudjelovanja. To isključuje UI sustave namijenjene za biometrijsku provjeru, uključujući autentifikaciju, čija je jedina svrha potvrditi da je određena fizička osoba doista ona kojom se predstavlja i potvrditi identitet fizičke osobe isključivo radi pristupa usluzi, otključavanja uređaja ili sigurnog pristupa prostorijama. To je isključenje opravdano činjenicom da će takvi sustavi vjerojatno manje utjecati na temeljna prava fizičkih osoba nego sustavi za daljinsku biometrijsku identifikaciju koji se mogu upotrebljavati za obradu biometrijskih podataka velikog broja osoba bez njihova aktivnog sudjelovanja. U slučaju sustava u stvarnom vremenu prikupljanje biometrijskih podataka, usporedba i identifikacija odvijaju se trenutačno, gotovo trenutačno ili u svakom slučaju bez znatnog vremenskog odmaka. U tom pogledu ne bi trebao postojati prostor za zaobilaženje pravila iz ove Uredbe o korištenju dotičnih UI sustava u stvarnom vremenu predviđanjem kratkih vremenskih odmaka. Sustavi u stvarnom vremenu uključuju korištenje materijala snimljenog „uživo” ili „gotovo uživo”, kao što je videozapis, zabilježenog kamerom ili drugim uređajem sa sličnom funkcijom. S druge strane, u slučaju sustava za naknadnu identifikaciju biometrijski su podaci već prethodno prikupljeni te se usporedba i identifikacija provode tek nakon znatnog vremenskog odmaka. To uključuje materijal, kao što su fotografije ili videozapisi zabilježeni nadzornim kamerama ili privatnim uređajima, snimljen prije nego što je sustav upotrijebljen za identifikaciju dotičnih fizičkih osoba.
(17)
The notion of ‘remote biometric identification system’ referred to in this Regulation should be defined functionally, as an AI system intended for the identification of natural persons without their active involvement, typically at a distance, through the comparison of a person’s biometric data with the biometric data contained in a reference database, irrespectively of the particular technology, processes or types of biometric data used. Such remote biometric identification systems are typically used to perceive multiple persons or their behaviour simultaneously in order to facilitate significantly the identification of natural persons without their active involvement. This excludes AI systems intended to be used for biometric verification, which includes authentication, the sole purpose of which is to confirm that a specific natural person is the person he or she claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having security access to premises. That exclusion is justified by the fact that such systems are likely to have a minor impact on fundamental rights of natural persons compared to the remote biometric identification systems which may be used for the processing of the biometric data of a large number of persons without their active involvement. In the case of ‘real-time’ systems, the capturing of the biometric data, the comparison and the identification occur all instantaneously, near-instantaneously or in any event without a significant delay. In this regard, there should be no scope for circumventing the rules of this Regulation on the ‘real-time’ use of the AI systems concerned by providing for minor delays. ‘Real-time’ systems involve the use of ‘live’ or ‘near-live’ material, such as video footage, generated by a camera or other device with similar functionality. In the case of ‘post’ systems, in contrast, the biometric data has already been captured and the comparison and identification occur only after a significant delay. This involves material, such as pictures or video footage generated by closed circuit television cameras or private devices, which has been generated before the use of the system in respect of the natural persons concerned.
(18)
Pojam „sustav za prepoznavanje emocija” iz ove Uredbe trebalo bi definirati kao UI sustav namijenjen prepoznavanju emocija ili namjera fizičkih osoba ili izvođenju zaključaka o njihovim emocijama ili namjerama na temelju njihovih biometrijskih podataka. Taj se pojam odnosi na emocije ili namjere kao što su sreća, tuga, ljutnja, iznenađenje, gađenje, osramoćenost, uzbuđenje, sram, prijezir, zadovoljstvo i zabavljenost. Ne uključuje fizička stanja, kao što su bol ili umor, među ostalim, primjerice, sustave koji se upotrebljavaju za otkrivanje stanja umora kod profesionalnih pilota ili vozača u svrhu sprečavanja nesreća. To također ne uključuje samo otkrivanje lako vidljivih izraza, gesta ili pokreta, osim ako se upotrebljavaju za identifikaciju ili izvođenje zaključaka o emocijama. Ti izrazi mogu biti osnovni izrazi lica, kao što su namrštenost ili osmjeh, ili geste kao što su pokreti ruku ili glave, ili značajke glasa osobe, kao što su podignut glas ili šaptanje.
(18)
The notion of ‘emotion recognition system’ referred to in this Regulation should be defined as an AI system for the purpose of identifying or inferring emotions or intentions of natural persons on the basis of their biometric data. The notion refers to emotions or intentions such as happiness, sadness, anger, surprise, disgust, embarrassment, excitement, shame, contempt, satisfaction and amusement. It does not include physical states, such as pain or fatigue, including, for example, systems used in detecting the state of fatigue of professional pilots or drivers for the purpose of preventing accidents. This does also not include the mere detection of readily apparent expressions, gestures or movements, unless they are used for identifying or inferring emotions. Those expressions can be basic facial expressions, such as a frown or a smile, or gestures such as the movement of hands, arms or head, or characteristics of a person’s voice, such as a raised voice or whispering.
(19)
Za potrebe ove Uredbe pojam „javno mjesto” trebalo bi razumjeti kao svako fizičko mjesto koje je dostupno neodređenom broju fizičkih osoba, bez obzira na to je li dotično mjesto u privatnom ili javnom vlasništvu i na aktivnost za koju se to mjesto može upotrebljavati, kao što su trgovina npr. trgovine, restorani, kafići, usluge npr. banke, profesionalne aktivnosti, ugostiteljstvo, sport npr. bazeni, teretane, stadioni, prijevoz npr. autobusne i željezničke postaje, postaje podzemne željeznice, zračne luke, prijevozna sredstva, zabava npr. kina, kazališta, muzeji, koncertne i konferencijske dvorane odnosno aktivnosti u slobodno vrijeme ili druge svrhe npr. javne ceste i trgovi, parkovi, šume, igrališta. Mjesto bi trebalo klasificirati kao javno i ako, bez obzira na potencijalni kapacitet ili sigurnosna ograničenja, pristup tom mjestu podliježe određenim unaprijed utvrđenim uvjetima koje može ispuniti neodređen broj osoba, kao što su kupnja ulaznice ili prijevozne karte, prethodna registracija ili određena dob. S druge strane, mjesto se ne bi trebalo smatrati javnim ako je pristup ograničen na specifične i definirane fizičke osobe putem prava Unije ili nacionalnog prava koje je izravno povezano s javnom sigurnošću ili zaštitom odnosno putem jasnog iskaza volje osobe koja ima odgovarajuće ovlasti na tom mjestu. Sama činjenična mogućnost pristupa kao što su otključana vrata ili otvoreni ulaz u ogradi ne znači da je mjesto javno ako postoje naznake ili okolnosti koje upućuju na suprotno kao što su znakovi kojima se zabranjuje ili ograničava pristup. Poslovni prostori poduzećâ i tvornica te uredi i mjesta rada kojima mogu pristupiti samo relevantni zaposlenici i pružatelji usluga nisu javna mjesta. Javna mjesta ne bi trebala uključivati zatvore ili graničnu kontrolu. Neka druga mjesta mogu se sastojati i od mjesta koja su javna mjesta i od mjesta koja to nisu, kao što je hodnik privatne stambene zgrade potreban za pristup liječničkoj ordinaciji ili zračna luka. Nisu obuhvaćeni internetski prostori jer oni nisu fizički prostori. Ipak, činjenicu je li određeno mjesto javno trebalo bi utvrditi na pojedinačnoj osnovi i pritom uzeti u obzir specifične okolnosti konkretne situacije.
(19)
For the purposes of this Regulation the notion of ‘publicly accessible space’ should be understood as referring to any physical space that is accessible to an undetermined number of natural persons, and irrespective of whether the space in question is privately or publicly owned, irrespective of the activity for which the space may be used, such as for commerce, for example, shops, restaurants, cafés; for services, for example, banks, professional activities, hospitality; for sport, for example, swimming pools, gyms, stadiums; for transport, for example, bus, metro and railway stations, airports, means of transport; for entertainment, for example, cinemas, theatres, museums, concert and conference halls; or for leisure or otherwise, for example, public roads and squares, parks, forests, playgrounds. A space should also be classified as being publicly accessible if, regardless of potential capacity or security restrictions, access is subject to certain predetermined conditions which can be fulfilled by an undetermined number of persons, such as the purchase of a ticket or title of transport, prior registration or having a certain age. In contrast, a space should not be considered to be publicly accessible if access is limited to specific and defined natural persons through either Union or national law directly related to public safety or security or through the clear manifestation of will by the person having the relevant authority over the space. The factual possibility of access alone, such as an unlocked door or an open gate in a fence, does not imply that the space is publicly accessible in the presence of indications or circumstances suggesting the contrary, such as. signs prohibiting or restricting access. Company and factory premises, as well as offices and workplaces that are intended to be accessed only by relevant employees and service providers, are spaces that are not publicly accessible. Publicly accessible spaces should not include prisons or border control. Some other spaces may comprise both publicly accessible and non-publicly accessible spaces, such as the hallway of a private residential building necessary to access a doctor’s office or an airport. Online spaces are not covered, as they are not physical spaces. Whether a given space is accessible to the public should however be determined on a case-by-case basis, having regard to the specificities of the individual situation at hand.
(20)
Kako bi se ostvarile najveće koristi od UI sustava i istodobno zaštitila temeljna prava, zdravlje i sigurnost te omogućila demokratska kontrola, pismenost u području umjetne inteligencije trebala bi dobavljačima, subjektima koji uvode sustav i osobama na koje utječe umjetna inteligencija osigurati vladanje potrebnim pojmovima kako bi mogli donositi informirane odluke o UI sustavima. Ti se pojmovi mogu razlikovati s obzirom na relevantni kontekst i mogu uključivati razumijevanje pravilne primjene tehničkih elemenata tijekom faze razvoja UI sustava, mjera koje treba primijeniti tijekom njegova korištenja, prikladnih načina tumačenja izlaznih vrijednosti UI sustava i, u slučaju osoba na koje utječe umjetna inteligencija, znanje potrebno za razumijevanje načina na koji će odluke donesene uz pomoć umjetne inteligencije utjecati na njih. U kontekstu primjene ove Uredbe pismenost u području umjetne inteligencije trebala bi svim relevantnim akterima u vrijednosnom lancu umjetne inteligencije pružiti uvide potrebne za osiguravanje odgovarajuće usklađenosti i njezina pravilnog izvršavanja. Nadalje, široka provedba mjera pismenosti u području umjetne inteligencije i uvođenje odgovarajućih daljnjih mjera mogli bi doprinijeti poboljšanju radnih uvjeta i u konačnici podržati konsolidaciju i inovacijski put pouzdane umjetne inteligencije u Uniji. Europsko vijeće za umjetnu inteligenciju („Vijeće za umjetnu inteligenciju”) trebalo bi podupirati Komisiju u promicanju alata za pismenost u području umjetne inteligencije, javne svijesti te razumijevanja koristi, rizika, zaštitnih mjera, prava i obveza povezanih s korištenjem UI sustava. U suradnji s relevantnim dionicima Komisija i države članice trebale bi olakšati izradu dobrovoljnih kodeksa ponašanja kako bi se unaprijedila pismenost u području umjetne inteligencije među osobama koje se bave razvojem, radom i korištenjem umjetne inteligencije.
(20)
In order to obtain the greatest benefits from AI systems while protecting fundamental rights, health and safety and to enable democratic control, AI literacy should equip providers, deployers and affected persons with the necessary notions to make informed decisions regarding AI systems. Those notions may vary with regard to the relevant context and can include understanding the correct application of technical elements during the AI system’s development phase, the measures to be applied during its use, the suitable ways in which to interpret the AI system’s output, and, in the case of affected persons, the knowledge necessary to understand how decisions taken with the assistance of AI will have an impact on them. In the context of the application this Regulation, AI literacy should provide all relevant actors in the AI value chain with the insights required to ensure the appropriate compliance and its correct enforcement. Furthermore, the wide implementation of AI literacy measures and the introduction of appropriate follow-up actions could contribute to improving working conditions and ultimately sustain the consolidation, and innovation path of trustworthy AI in the Union. The European Artificial Intelligence Board (the ‘Board’) should support the Commission, to promote AI literacy tools, public awareness and understanding of the benefits, risks, safeguards, rights and obligations in relation to the use of AI systems. In cooperation with the relevant stakeholders, the Commission and the Member States should facilitate the drawing up of voluntary codes of conduct to advance AI literacy among persons dealing with the development, operation and use of AI.
(21)
Kako bi se osigurali jednaki uvjeti i djelotvorna zaštita prava i sloboda pojedinaca u cijeloj Uniji, pravila utvrđena ovom Uredbom trebala bi se primjenjivati na dobavljače UI sustava na nediskriminirajući način, bez obzira na to imaju li poslovni nastan u Uniji ili trećoj zemlji, i na subjekte koji uvode UI sustave s poslovnim nastanom u Uniji.
(21)
In order to ensure a level playing field and an effective protection of rights and freedoms of individuals across the Union, the rules established by this Regulation should apply to providers of AI systems in a non-discriminatory manner, irrespective of whether they are established within the Union or in a third country, and to deployers of AI systems established within the Union.
(22)
Određeni bi UI sustavi s obzirom na njihov digitalni karakter trebali biti obuhvaćeni područjem primjene ove Uredbe čak i ako nisu stavljeni na tržište ni u upotrebu niti se upotrebljavaju u Uniji. To se, primjerice, odnosi na operatera s poslovnim nastanom u Uniji koji od operatera s poslovnim nastanom u trećoj zemlji naruči određene usluge povezane s aktivnošću koju obavlja UI sustav koji bi se smatrao visokorizičnim. U tim bi okolnostima UI sustav kojim se služi operater u trećoj zemlji mogao obrađivati podatke koji su zakonito prikupljeni u Uniji i preneseni iz nje te operateru ugovaratelju u Uniji dostaviti izlazne podatke UI sustava koje su rezultat te obrade, a da taj UI sustav nije stavljen ni na tržište ni u upotrebu niti se upotrebljava u Uniji. Kako bi se spriječilo zaobilaženje ove Uredbe i osigurala djelotvorna zaštita fizičkih osoba koje se nalaze u Uniji, ova bi se Uredba trebala primjenjivati i na dobavljače UI sustava i subjekte koji ih uvode koji imaju poslovni nastan u trećoj zemlji, u mjeri u kojoj se u Uniji namjeravaju upotrebljavati izlazni podaci tih sustava. Međutim, kako bi se uzeli u obzir postojeći aranžmani i posebne potrebe za budućom suradnjom sa stranim partnerima s kojima se razmjenjuju informacije i dokazi, ova se Uredba ne bi trebala primjenjivati na tijela javne vlasti treće zemlje ni na međunarodne organizacije kada djeluju u okviru suradnje ili međunarodnih sporazuma koji su na razini Unije ili na nacionalnoj razini sklopljeni s Unijom ili državama članicama radi suradnje u područjima kaznenog progona i pravosuđa, pod uvjetom da relevantna treća zemlja ili međunarodna organizacija osigura odgovarajuće zaštitne mjere u pogledu zaštite temeljnih prava i sloboda pojedinaca. To prema potrebi može obuhvaćati aktivnosti subjekata kojima su treće zemlje povjerile izvršavanje posebnih zadaća za potporu takvoj suradnji u područjima kaznenog progona i pravosuđa. Takvi okviri za suradnju ili sporazumi uspostavljeni su bilateralno između država članica i trećih zemalja ili između Europske unije, Europola i drugih agencija Unije te trećih zemalja i međunarodnih organizacija. Tijela nadležna za nadzor tijela kaznenog progona i pravosudnih tijela na temelju ove Uredbe trebala bi procijeniti uključuju li ti okviri za suradnju ili međunarodni sporazumi odgovarajuće zaštitne mjere u pogledu zaštite temeljnih prava i sloboda pojedinaca. Nacionalna tijela primatelji i institucije, tijela, uredi i agencije Unije koji se služe takvim izlaznim podacima u Uniji i dalje snose odgovornost za osiguravanje usklađenosti njihova korištenja s pravom Unije. Pri reviziji tih međunarodnih sporazuma ili sklapanju novih sporazuma u budućnosti ugovorne stranke trebale bi uložiti najveće moguće napore u usklađivanje tih sporazuma sa zahtjevima ove Uredbe.
(22)
In light of their digital nature, certain AI systems should fall within the scope of this Regulation even when they are not placed on the market, put into service, or used in the Union. This is the case, for example, where an operator established in the Union contracts certain services to an operator established in a third country in relation to an activity to be performed by an AI system that would qualify as high-risk. In those circumstances, the AI system used in a third country by the operator could process data lawfully collected in and transferred from the Union, and provide to the contracting operator in the Union the output of that AI system resulting from that processing, without that AI system being placed on the market, put into service or used in the Union. To prevent the circumvention of this Regulation and to ensure an effective protection of natural persons located in the Union, this Regulation should also apply to providers and deployers of AI systems that are established in a third country, to the extent the output produced by those systems is intended to be used in the Union. Nonetheless, to take into account existing arrangements and special needs for future cooperation with foreign partners with whom information and evidence is exchanged, this Regulation should not apply to public authorities of a third country and international organisations when acting in the framework of cooperation or international agreements concluded at Union or national level for law enforcement and judicial cooperation with the Union or the Member States, provided that the relevant third country or international organisation provides adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals. Where relevant, this may cover activities of entities entrusted by the third countries to carry out specific tasks in support of such law enforcement and judicial cooperation. Such framework for cooperation or agreements have been established bilaterally between Member States and third countries or between the European Union, Europol and other Union agencies and third countries and international organisations. The authorities competent for supervision of the law enforcement and judicial authorities under this Regulation should assess whether those frameworks for cooperation or international agreements include adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals. Recipient national authorities and Union institutions, bodies, offices and agencies making use of such outputs in the Union remain accountable to ensure their use complies with Union law. When those international agreements are revised or new ones are concluded in the future, the contracting parties should make utmost efforts to align those agreements with the requirements of this Regulation.
(23)
Ova bi se Uredba trebala primjenjivati i na institucije, tijela, urede i agencije Unije kada djeluju kao dobavljač UI sustava ili subjekt koji ga uvodi.
(23)
This Regulation should also apply to Union institutions, bodies, offices and agencies when acting as a provider or deployer of an AI system.
(24)
Ako se i u mjeri u kojoj se UI sustavi stavljaju na tržište, stavljaju u upotrebu ili se upotrebljavaju, s izmjenama ili bez njih, u vojne svrhe, obrambene svrhe ili u svrhe povezane s nacionalnom sigurnošću, te bi sustave trebalo isključiti iz područja primjene ove Uredbe neovisno o tome koja vrsta subjekta obavlja te aktivnosti, primjerice bez obzira na to radi li se o javnom ili privatnom subjektu. Kad je riječ o vojnim i obrambenim svrhama, takvo je isključenje opravdano i člankom 4. stavkom 2. UEU-a i posebnostima obrambene politike država članica i zajedničke obrambene politike Unije obuhvaćene glavom V. poglavljem 2. UEU-a koje podliježu međunarodnom javnom pravu, koje je stoga primjereniji pravni okvir za reguliranje UI sustavâ u kontekstu korištenja smrtonosne sile i drugih UI sustava u kontekstu vojnih i obrambenih aktivnosti. Kad je riječ o nacionalnoj sigurnosti, isključenje je opravdano kako činjenicom da nacionalna sigurnost ostaje isključiva odgovornost država članica, u skladu s člankom 4. stavkom 2. UEU-a, tako i posebnom prirodom i operativnim potrebama aktivnosti povezanih s nacionalnom sigurnošću i posebnim nacionalnim pravilima koja se primjenjuju na te aktivnosti. Međutim, ako se UI sustav koji je razvijen, stavljen na tržište, stavljen u upotrebu ili se njime služi u vojne svrhe, obrambene svrhe ili u svrhe povezane s nacionalnom sigurnošću privremeno ili trajno upotrebljava u druge svrhe, na primjer civilne ili humanitarne, u svrhu kaznenog progona ili za potrebe javne sigurnosti, takav bi sustav bio obuhvaćen područjem primjene ove Uredbe. U tom bi slučaju subjekt koji UI sustav upotrebljava u svrhe koje nisu vojne svrhe, obrambene svrhe ili svrhe povezane s nacionalnom sigurnošću trebao osigurati usklađenost UI sustava s ovom Uredbom, osim ako je sustav s njome već usklađen. UI sustavi koji se stavljaju na tržište ili u upotrebu u isključene svrhe, odnosno vojne svrhe, obrambene svrhe ili svrhe povezane s nacionalnom sigurnošću, i u jednu ili više svrha koje nisu isključene, kao što su civilne svrhe ili kazneni progon, obuhvaćeni su područjem primjene ove Uredbe i dobavljači tih sustava trebali bi osigurati usklađenost s ovom Uredbom. U tim slučajevima činjenica da UI sustav može biti obuhvaćen područjem primjene ove Uredbe ne bi trebala utjecati na mogućnost da subjekti koji provode aktivnosti povezane s nacionalnom sigurnošću te obrambene i vojne aktivnosti, bez obzira na vrstu subjekta koji te aktivnosti obavlja, upotrebljavaju UI sustave čija je upotreba isključena iz područja primjene ove Uredbe u svrhe povezane s nacionalnom sigurnošću te vojne i obrambene svrhe. UI sustav koji se stavlja na tržište u civilne svrhe ili u svrhu kaznenog progona i koji se, s izmjenama ili bez njih, upotrebljava u vojne svrhe, obrambene svrhe ili u svrhe povezane s nacionalnom sigurnošću ne bi trebao biti obuhvaćen područjem primjene ove Uredbe, bez obzira na vrstu subjekta koji obavlja te aktivnosti.
(24)
If, and insofar as, AI systems are placed on the market, put into service, or used with or without modification of such systems for military, defence or national security purposes, those should be excluded from the scope of this Regulation regardless of which type of entity is carrying out those activities, such as whether it is a public or private entity. As regards military and defence purposes, such exclusion is justified both by Article 4(2) TEU and by the specificities of the Member States’ and the common Union defence policy covered by Chapter 2 of Title V TEU that are subject to public international law, which is therefore the more appropriate legal framework for the regulation of AI systems in the context of the use of lethal force and other AI systems in the context of military and defence activities. As regards national security purposes, the exclusion is justified both by the fact that national security remains the sole responsibility of Member States in accordance with Article 4(2) TEU and by the specific nature and operational needs of national security activities and specific national rules applicable to those activities. Nonetheless, if an AI system developed, placed on the market, put into service or used for military, defence or national security purposes is used outside those temporarily or permanently for other purposes, for example, civilian or humanitarian purposes, law enforcement or public security purposes, such a system would fall within the scope of this Regulation. In that case, the entity using the AI system for other than military, defence or national security purposes should ensure the compliance of the AI system with this Regulation, unless the system is already compliant with this Regulation. AI systems placed on the market or put into service for an excluded purpose, namely military, defence or national security, and one or more non-excluded purposes, such as civilian purposes or law enforcement, fall within the scope of this Regulation and providers of those systems should ensure compliance with this Regulation. In those cases, the fact that an AI system may fall within the scope of this Regulation should not affect the possibility of entities carrying out national security, defence and military activities, regardless of the type of entity carrying out those activities, to use AI systems for national security, military and defence purposes, the use of which is excluded from the scope of this Regulation. An AI system placed on the market for civilian or law enforcement purposes which is used with or without modification for military, defence or national security purposes should not fall within the scope of this Regulation, regardless of the type of entity carrying out those activities.
(25)
Ovom bi se Uredbom trebale podupirati inovacije, trebala bi se poštovati sloboda znanosti te se njome ne bi smjele ugrožavati aktivnosti istraživanja i razvoja. Stoga je iz njezina područja primjene potrebno isključiti UI sustave i modele koji su posebno razvijeni i stavljeni u upotrebu isključivo u svrhu znanstvenog istraživanja i razvoja. Nadalje, potrebno je osigurati da ova Uredba na drugi način ne utječe na aktivnosti znanstvenog istraživanja i razvoja UI sustava ili modela prije njihova stavljanja na tržište ili u upotrebu. Kad je riječ o aktivnostima istraživanja, testiranja i razvoja u vezi s UI sustavima ili modelima usmjerenima na proizvode, odredbe ove Uredbe ne bi se trebale primjenjivati ni prije nego što se ti sustavi i modeli stave u upotrebu ili na tržište. Tim isključenjem ne dovodi se u pitanje obveza usklađivanja s ovom Uredbom ako se UI sustav obuhvaćen područjem primjene ove Uredbe stavlja na tržište ili u upotrebu kao rezultat takve aktivnosti istraživanja i razvoja niti se dovodi u pitanje primjena odredaba o regulatornim izoliranim okruženjima za umjetnu inteligenciju i testiranju u stvarnim uvjetima. Nadalje, ne dovodeći u pitanje isključenje UI sustava koji su posebno razvijeni i stavljeni u upotrebu isključivo u svrhu znanstvenog istraživanja i razvoja, svi ostali UI sustavi koji se mogu upotrebljavati za obavljanje bilo kakvih aktivnosti istraživanja i razvoja trebali bi i dalje podlijegati odredbama ove Uredbe. U svakom slučaju, aktivnosti istraživanja i razvoja trebale bi se provoditi u skladu s priznatim etičkim i profesionalnim standardima za znanstvena istraživanja i u skladu s primjenjivim pravom Unije.
(25)
This Regulation should support innovation, should respect freedom of science, and should not undermine research and development activity. It is therefore necessary to exclude from its scope AI systems and models specifically developed and put into service for the sole purpose of scientific research and development. Moreover, it is necessary to ensure that this Regulation does not otherwise affect scientific research and development activity on AI systems or models prior to being placed on the market or put into service. As regards product-oriented research, testing and development activity regarding AI systems or models, the provisions of this Regulation should also not apply prior to those systems and models being put into service or placed on the market. That exclusion is without prejudice to the obligation to comply with this Regulation where an AI system falling into the scope of this Regulation is placed on the market or put into service as a result of such research and development activity and to the application of provisions on AI regulatory sandboxes and testing in real world conditions. Furthermore, without prejudice to the exclusion of AI systems specifically developed and put into service for the sole purpose of scientific research and development, any other AI system that may be used for the conduct of any research and development activity should remain subject to the provisions of this Regulation. In any event, any research and development activity should be carried out in accordance with recognised ethical and professional standards for scientific research and should be conducted in accordance with applicable Union law.
(26)
Kako bi se uveo proporcionalan i djelotvoran skup obvezujućih pravila za UI sustave, trebalo bi slijediti jasno definiran pristup temeljen na riziku. Vrsta i sadržaj tih pravila u tom bi pristupu trebali biti primjereni intenzitetu i opsegu rizika koje mogu stvoriti UI sustavi. Stoga je potrebno zabraniti određene neprihvatljive prakse u području umjetne inteligencije te utvrditi zahtjeve za visokorizične UI sustave i obveze za relevantne operatere te obveze u pogledu transparentnosti za određene UI sustave.
(26)
In order to introduce a proportionate and effective set of binding rules for AI systems, a clearly defined risk-based approach should be followed. That approach should tailor the type and content of such rules to the intensity and scope of the risks that AI systems can generate. It is therefore necessary to prohibit certain unacceptable AI practices, to lay down requirements for high-risk AI systems and obligations for the relevant operators, and to lay down transparency obligations for certain AI systems.
(27)
Iako je pristup temeljen na riziku osnova za razmjeran i djelotvoran skup obvezujućih pravila, važno je podsjetiti na Etičke smjernice za pouzdanu umjetnu inteligenciju iz 2019. koje je izradila neovisna Stručna skupina za umjetnu inteligenciju koju je imenovala Komisija. U tim je smjernicama Stručna skupina za umjetnu inteligenciju razvila sedam neobvezujućih etičkih načela za umjetnu inteligenciju kojima se nastoji osigurati pouzdanost i etička prihvatljivost umjetne inteligencije. Tih sedam načela uključuju ljudsko djelovanje i nadzor; tehničku otpornost i sigurnost; privatnost i upravljanje podacima; transparentnost; raznolikost, nediskriminaciju i pravednost; dobrobit društva i okoliša te odgovornost. Ne dovodeći u pitanje pravno obvezujuće zahtjeve iz ove Uredbe i bilo koje drugo primjenjivo pravo Unije, te smjernice doprinose dizajniranju koherentne, pouzdane i antropocentrične umjetne inteligencije, u skladu s Poveljom i vrijednostima na kojima se Unija temelji. Prema smjernicama Stručne skupine za umjetnu inteligenciju, „ljudsko djelovanje i nadzor” znači da se UI sustavi razvijaju i upotrebljavaju kao alat koji služi ljudima, poštuje ljudsko dostojanstvo i osobnu autonomiju te funkcionira na način koji ljudi mogu na odgovarajući način kontrolirati i nadzirati. Tehnička otpornost i sigurnost znači da se UI sustavi razvijaju i upotrebljavaju na način kojim se omogućuje otpornost u slučaju problema i odupiranje pokušajima promjene korištenja ili učinkovitosti UI sustava s ciljem da se trećim stranama omogući nezakonita upotreba, te kojim se nenamjerna šteta svodi na najmanju moguću mjeru. Privatnost i upravljanje podacima znači da se UI sustavi razvijaju i upotrebljavaju u skladu s pravilima o privatnosti i zaštiti podataka, pri čemu se obrađuju podaci koji ispunjavaju visoke standarde u pogledu kvalitete i cjelovitosti. Transparentnost znači da se UI sustavi razvijaju i upotrebljavaju na način kojim se omogućuje odgovarajuća sljedivost i objašnjivost, uz istodobno informiranje ljudi o tome da komuniciraju ili su u interakciji s UI sustavom te propisno obavješćivanje subjekata koji uvode sustav o sposobnostima i ograničenjima tog UI sustava, a osoba na koje utječe UI sustav o njihovim pravima. Raznolikost, nediskriminacija i pravednost znači da se UI sustavi razvijaju i upotrebljavaju na način koji uključuje različite aktere i kojim se promiču jednak pristup, rodna ravnopravnost i kulturna raznolikost, pri čemu se izbjegavaju diskriminirajući učinci i nepravedne pristranosti koji su zabranjeni pravom Unije ili nacionalnim pravom. Dobrobit društva i okoliša znači da se UI sustavi razvijaju i upotrebljavaju na održiv i okolišno prihvatljiv način i u korist svih ljudi, uz istodobno praćenje i procjenu dugoročnih učinaka na pojedinca, društvo i demokraciju. Ta bi se načela trebala primjenjivati i pri dizajniranju i korištenju UI modela, kada je to moguće. Ona bi u svakom slučaju trebala služiti kao osnova za izradu kodeksa ponašanja na temelju ove Uredbe. Sve dionike, uključujući industriju, akademsku zajednicu, civilno društvo i organizacije za normizaciju, potiče se da prema potrebi uzmu u obzir etička načela za razvoj dobrovoljnih najboljih praksi i normi.
(27)
While the risk-based approach is the basis for a proportionate and effective set of binding rules, it is important to recall the 2019 Ethics guidelines for trustworthy AI developed by the independent AI HLEG appointed by the Commission. In those guidelines, the AI HLEG developed seven non-binding ethical principles for AI which are intended to help ensure that AI is trustworthy and ethically sound. The seven principles include human agency and oversight; technical robustness and safety; privacy and data governance; transparency; diversity, non-discrimination and fairness; societal and environmental well-being and accountability. Without prejudice to the legally binding requirements of this Regulation and any other applicable Union law, those guidelines contribute to the design of coherent, trustworthy and human-centric AI, in line with the Charter and with the values on which the Union is founded. According to the guidelines of the AI HLEG, human agency and oversight means that AI systems are developed and used as a tool that serves people, respects human dignity and personal autonomy, and that is functioning in a way that can be appropriately controlled and overseen by humans. Technical robustness and safety means that AI systems are developed and used in a way that allows robustness in the case of problems and resilience against attempts to alter the use or performance of the AI system so as to allow unlawful use by third parties, and minimise unintended harm. Privacy and data governance means that AI systems are developed and used in accordance with privacy and data protection rules, while processing data that meets high standards in terms of quality and integrity. Transparency means that AI systems are developed and used in a way that allows appropriate traceability and explainability, while making humans aware that they communicate or interact with an AI system, as well as duly informing deployers of the capabilities and limitations of that AI system and affected persons about their rights. Diversity, non-discrimination and fairness means that AI systems are developed and used in a way that includes diverse actors and promotes equal access, gender equality and cultural diversity, while avoiding discriminatory impacts and unfair biases that are prohibited by Union or national law. Social and environmental well-being means that AI systems are developed and used in a sustainable and environmentally friendly manner as well as in a way to benefit all human beings, while monitoring and assessing the long-term impacts on the individual, society and democracy. The application of those principles should be translated, when possible, in the design and use of AI models. They should in any case serve as a basis for the drafting of codes of conduct under this Regulation. All stakeholders, including industry, academia, civil society and standardisation organisations, are encouraged to take into account, as appropriate, the ethical principles for the development of voluntary best practices and standards.
(28)
Osim brojnih korisnih primjena umjetne inteligencije, ona se može i zloupotrijebiti te omogućiti nove i moćne alate za manipulativne i izrabljivačke prakse te prakse društvene kontrole. Takve su prakse osobito štetne i predstavljaju zlouporabu te bi ih trebalo zabraniti jer su protivne Unijinim vrijednostima poštovanja ljudskog dostojanstva, slobode, ravnopravnosti, demokracije i vladavine prava te temeljnih prava sadržanih u Povelji, uključujući pravo na nediskriminaciju, zaštitu podataka i privatnost te prava djeteta.
(28)
Aside from the many beneficial uses of AI, it can also be misused and provide novel and powerful tools for manipulative, exploitative and social control practices. Such practices are particularly harmful and abusive and should be prohibited because they contradict Union values of respect for human dignity, freedom, equality, democracy and the rule of law and fundamental rights enshrined in the Charter, including the right to non-discrimination, to data protection and to privacy and the rights of the child.
(29)
Manipulativne tehnike omogućene umjetnom inteligencijom mogu se upotrebljavati kako bi se osobe navelo na neželjeno ponašanje ili kako bi ih se obmanulo tako da ih se potiče na odluke na način kojim se podriva i narušava njihova autonomija, donošenje odluka i slobodan izbor. Stavljanje na tržište, stavljanje u upotrebu ili korištenje određenih UI sustava s ciljem ili učinkom bitnog iskrivljavanja ljudskog ponašanja, pri čemu je vjerojatno da će nastati znatna šteta, osobito ona koja ima dovoljno velike štetne učinke na fizičko ili psihološko zdravlje odnosno financijske interese, osobito su opasni te bi ih stoga trebalo zabraniti. U takvim se UI sustavima upotrebljavaju subliminalne komponente kao što su zvučni i slikovni podražaji te videopodražaji koje osobe ne mogu percipirati jer nadilaze ljudsku percepciju ili se upotrebljavaju druge manipulativne ili prijevarne tehnike kojima se podriva ili narušava autonomija, donošenje odluka ili slobodan izbor osobe na način da ljudi svjesno ne percipiraju te tehnike ili zbog kojih su, ako ih i jesu svjesni, svejedno prevareni ili ih ne mogu kontrolirati niti im se oduprijeti. To bi se, na primjer, moglo olakšati sučeljima mozak-računalo ili virtualnom stvarnošću jer se njima omogućuje viši stupanj kontrole toga koji se podražaji prikazuju osobama, u mjeri u kojoj bi oni mogli bitno iskriviti njihovo ponašanje na znatno štetan način. Osim toga, UI sustavi mogu na drugi način iskorištavati ranjivosti osobe ili određene skupine osoba zbog njihove dobi, invaliditeta u smislu Direktive (EU) 2019/882 Europskog parlamenta i Vijeća (16) ili određene socijalne ili gospodarske situacije zbog kojih bi te osobe mogle biti izloženije iskorištavanju, kao što su osobe koje žive u ekstremnom siromaštvu i etničke ili vjerske manjine. Takvi UI sustavi mogu se staviti na tržište, staviti u upotrebu ili se upotrebljavati s ciljem ili učinkom bitnog iskrivljavanja ponašanja osobe i to na način kojim se toj osobi ili drugoj osobi ili skupinama osoba uzrokuje znatan šteta ili je se može razumno očekivati da će se prouzročiti takva šteta, što uključuje štetu koja se može akumulirati s vremenom, te bi ih stoga trebalo zabraniti. Možda nije moguće pretpostaviti postojanje namjere da se iskrivi ponašanje ako je to iskrivljavanje ponašanja posljedica čimbenika izvan UI sustava koji su izvan kontrole dobavljača ili subjekta koji uvodi sustav, odnosno čimbenika koje dobavljač UI sustava ili subjekt koji ga uvodi ne mogu u razumnoj mjeri predvidjeti i stoga ublažiti. U svakom slučaju, nije potrebno da dobavljač UI sustava ili subjekt koji ga uvodi ima namjeru prouzročiti znatnu štetu pod uvjetom da ta šteta proizlazi iz manipulativne ili izrabljivačke prakse omogućene umjetnom inteligencijom. Zabrane takvih praksi u području umjetne inteligencije komplementarne su odredbama sadržanima u Direktivi 2005/29/EZ Europskog parlamenta i Vijeća (17), osobito u pogledu toga da su nepoštene poslovne prakse koje dovode do gospodarske ili financijske štete potrošačima zabranjene u svim okolnostima, bez obzira na to provode li se putem UI sustavâ ili na drugi način. Zabrane manipulativnih i izrabljivačkih praksi iz ove Uredbe ne bi trebale utjecati na zakonite prakse u kontekstu liječenja, kao što je psihološko liječenje mentalnih bolesti ili fizička rehabilitacija, ako se te prakse provode u skladu s primjenjivim pravom i medicinskim standardima, kao što su izričita privola pojedinaca ili njihovih zakonskih zastupnika. Osim toga, uobičajene i zakonite poslovne prakse, primjerice u području oglašavanja, koje su u skladu s primjenjivim pravom ne bi same po sebi trebalo smatrati štetnom manipulativnom praksom omogućenom umjetnom inteligencijom.
(29)
AI-enabled manipulative techniques can be used to persuade persons to engage in unwanted behaviours, or to deceive them by nudging them into decisions in a way that subverts and impairs their autonomy, decision-making and free choices. The placing on the market, the putting into service or the use of certain AI systems with the objective to or the effect of materially distorting human behaviour, whereby significant harms, in particular having sufficiently important adverse impacts on physical, psychological health or financial interests are likely to occur, are particularly dangerous and should therefore be prohibited. Such AI systems deploy subliminal components such as audio, image, video stimuli that persons cannot perceive, as those stimuli are beyond human perception, or other manipulative or deceptive techniques that subvert or impair person’s autonomy, decision-making or free choice in ways that people are not consciously aware of those techniques or, where they are aware of them, can still be deceived or are not able to control or resist them. This could be facilitated, for example, by machine-brain interfaces or virtual reality as they allow for a higher degree of control of what stimuli are presented to persons, insofar as they may materially distort their behaviour in a significantly harmful manner. In addition, AI systems may also otherwise exploit the vulnerabilities of a person or a specific group of persons due to their age, disability within the meaning of Directive (EU) 2019/882 of the European Parliament and of the Council (16), or a specific social or economic situation that is likely to make those persons more vulnerable to exploitation such as persons living in extreme poverty, ethnic or religious minorities. Such AI systems can be placed on the market, put into service or used with the objective to or the effect of materially distorting the behaviour of a person and in a manner that causes or is reasonably likely to cause significant harm to that or another person or groups of persons, including harms that may be accumulated over time and should therefore be prohibited. It may not be possible to assume that there is an intention to distort behaviour where the distortion results from factors external to the AI system which are outside the control of the provider or the deployer, namely factors that may not be reasonably foreseeable and therefore not possible for the provider or the deployer of the AI system to mitigate. In any case, it is not necessary for the provider or the deployer to have the intention to cause significant harm, provided that such harm results from the manipulative or exploitative AI-enabled practices. The prohibitions for such AI practices are complementary to the provisions contained in Directive 2005/29/EC of the European Parliament and of the Council (17), in particular unfair commercial practices leading to economic or financial harms to consumers are prohibited under all circumstances, irrespective of whether they are put in place through AI systems or otherwise. The prohibitions of manipulative and exploitative practices in this Regulation should not affect lawful practices in the context of medical treatment such as psychological treatment of a mental disease or physical rehabilitation, when those practices are carried out in accordance with the applicable law and medical standards, for example explicit consent of the individuals or their legal representatives. In addition, common and legitimate commercial practices, for example in the field of advertising, that comply with the applicable law should not, in themselves, be regarded as constituting harmful manipulative AI-enabled practices.
(30)
Trebalo bi zabraniti sustave biometrijske kategorizacije koji se temelje na biometrijskim podacima fizičkih osoba, kao što su lice ili otisak prstiju pojedinca, kako bi se deduciralo ili izvelo zaključke o njegovim političkim mišljenjima, članstvu u sindikatima, vjerskim ili filozofskim uvjerenjima, rasi, spolnom životu ili seksualnoj orijentaciji. Ta zabrana ne bi trebala obuhvaćati zakonito označivanje, filtriranje ili kategorizaciju skupova biometrijskih podataka prikupljenih u skladu s pravom Unije ili nacionalnim pravom na temelju biometrijskih podataka, kao što je razvrstavanje slika prema boji kose ili boji očiju, koji se, primjerice, mogu upotrebljavati u području kaznenog progona.
(30)
Biometric categorisation systems that are based on natural persons’ biometric data, such as an individual person’s face or fingerprint, to deduce or infer an individuals’ political opinions, trade union membership, religious or philosophical beliefs, race, sex life or sexual orientation should be prohibited. That prohibition should not cover the lawful labelling, filtering or categorisation of biometric data sets acquired in line with Union or national law according to biometric data, such as the sorting of images according to hair colour or eye colour, which can for example be used in the area of law enforcement.
(31)
UI sustavi koji omogućuju društveno vrednovanje fizičkih osoba koje upotrebljavaju javni ili privatni akteri mogu rezultirati diskriminatornim ishodima i isključivanjem određenih skupina. Njima se može prekršiti pravo na dostojanstvo i nediskriminaciju te vrijednosti kao što su ravnopravnost i pravda. Takvi UI sustavi evaluiraju ili klasificiraju fizičke osobe ili skupine fizičkih osoba na temelju višestrukih podataka povezanih s njihovim društvenim ponašanjem u višestrukim kontekstima ili poznatih, izvedenih ili predviđenih osobnih značajki ili značajki osobnosti tijekom određenih razdoblja. Društveni rejting dobiven takvim UI sustavima može rezultirati štetnim ili nepovoljnim tretmanom fizičkih osoba ili cijelih skupina fizičkih osoba u društvenim kontekstima koji nisu povezani s kontekstom u kojima su podaci izvorno generirani ili prikupljeni odnosno štetnim tretmanom koji je nerazmjeran ili neopravdan u odnosu na težinu posljedica njihova društvenog ponašanja. Stoga bi UI sustave koji uključuju takve neprihvatljive prakse vrednovanja i koji rezultiraju takvim štetnim ili nepovoljnim ishodima trebalo zabraniti. Ta zabrana ne bi trebala utjecati na zakonite prakse evaluacije fizičkih osoba koje se provode u specifičnu svrhu u skladu s pravom Unije i nacionalnim pravom.
(31)
AI systems providing social scoring of natural persons by public or private actors may lead to discriminatory outcomes and the exclusion of certain groups. They may violate the right to dignity and non-discrimination and the values of equality and justice. Such AI systems evaluate or classify natural persons or groups thereof on the basis of multiple data points related to their social behaviour in multiple contexts or known, inferred or predicted personal or personality characteristics over certain periods of time. The social score obtained from such AI systems may lead to the detrimental or unfavourable treatment of natural persons or whole groups thereof in social contexts, which are unrelated to the context in which the data was originally generated or collected or to a detrimental treatment that is disproportionate or unjustified to the gravity of their social behaviour. AI systems entailing such unacceptable scoring practices and leading to such detrimental or unfavourable outcomes should therefore be prohibited. That prohibition should not affect lawful evaluation practices of natural persons that are carried out for a specific purpose in accordance with Union and national law.
(32)
Korištenje UI sustava za daljinsku biometrijsku identifikaciju fizičkih osoba u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona osobito je intruzivno za prava i slobode dotičnih osoba, u onoj mjeri u kojoj može utjecati na privatni život velikog dijela stanovništva, pobuditi doživljaj stalnog nadzora i neizravno odvratiti od ostvarivanja slobode okupljanja i drugih temeljnih prava. Tehničke netočnosti UI sustava namijenjenih daljinskoj biometrijskoj identifikaciji fizičkih osoba mogu rezultirati pristranim rezultatima i imati diskriminacijske učinke. Takvi potencijalni pristrani rezultati i diskriminacijski učinci osobito su relevantni s obzirom na dob, etničku pripadnost, rasu, spol ili invaliditet. Osim toga, neposrednost učinka i ograničene mogućnosti za dodatne provjere ili ispravke u pogledu korištenja takvih sustava koji funkcioniraju u stvarnom vremenu nose povećane rizike za prava i slobode dotičnih osoba u kontekstu aktivnosti kaznenog progona ili na koje aktivnosti kaznenog progona utječu.
(32)
The use of AI systems for ‘real-time’ remote biometric identification of natural persons in publicly accessible spaces for the purpose of law enforcement is particularly intrusive to the rights and freedoms of the concerned persons, to the extent that it may affect the private life of a large part of the population, evoke a feeling of constant surveillance and indirectly dissuade the exercise of the freedom of assembly and other fundamental rights. Technical inaccuracies of AI systems intended for the remote biometric identification of natural persons can lead to biased results and entail discriminatory effects. Such possible biased results and discriminatory effects are particularly relevant with regard to age, ethnicity, race, sex or disabilities. In addition, the immediacy of the impact and the limited opportunities for further checks or corrections in relation to the use of such systems operating in real-time carry heightened risks for the rights and freedoms of the persons concerned in the context of, or impacted by, law enforcement activities.
(33)
Stoga bi trebalo zabraniti korištenje tih sustava u svrhu kaznenog progona, osim u taksativno popisanim i usko definiranim situacijama u kojima je ono nužno za ostvarenje znatnog javnog interesa, čija važnost premašuje rizike. Te situacije uključuju potragu za određenim žrtvama kaznenih djela, uključujući nestale osobe, određene prijetnje životu ili tjelesnoj sigurnosti fizičkih osoba ili prijetnje od terorističkih napada i lociranje ili identifikaciju počiniteljâ kaznenih djela ili osumnjičenikâ za kaznena djela iz priloga ovoj Uredbi, ako je za ta kaznena djela u dotičnoj državi članici zapriječena kazna zatvora ili oduzimanja slobode u maksimalnom trajanju od najmanje četiri godine i kako su definirana u pravu te države članice. Takvim pragom za kaznu zatvora ili oduzimanje slobode u skladu s nacionalnim pravom doprinosi se osiguravanju toga da kazneno djelo bude dovoljno teško da bi se moglo opravdati korištenje sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu. Nadalje, popis kaznenih djela naveden u prilogu ovoj Uredbi temelji se na 32 kaznena djela navedena u Okvirnoj odluci Vijeća 2002/584/PUP (18), uzimajući u obzir da su neka od tih kaznenih djela u praksi vjerojatno relevantnija od drugih, u smislu da bi primjena daljinske biometrijske identifikacije u stvarnom vremenu mogla biti predvidljivo potrebna i proporcionalna u vrlo promjenjivim opsezima za praktičnu provedbu lokalizacije ili identifikacije počinitelja različitih navedenih kaznenih djela ili osumnjičenika za ta kaznena djela i s obzirom na vjerojatne razlike u težini, vjerojatnosti i razmjeru štete ili mogućih negativnih posljedica. Izravna prijetnja životu ili tjelesnoj sigurnosti fizičkih osoba mogla bi također rezultirati iz ozbiljnog poremećaja kritične infrastrukture, kako je definirana u članku 2. točki 4. Direktive (EU) 2022/2557 Europskog parlamenta i Vijeća (19), ako bi poremećaj u radu ili uništenje takve kritične infrastrukture prouzročili izravnu prijetnju životu ili tjelesnoj sigurnosti osobe, među ostalim i putem teške štete pružanju osnovne opskrbe stanovništva ili izvršavanju temeljne funkcije države. Osim toga, ovom bi se Uredbom trebala očuvati sposobnost tijela kaznenog progona, tijela nadležnih za nadzor granica, tijela nadležnih za imigraciju ili tijela nadležnih za azil da provode provjere identiteta u prisutnosti dotične osobe, u skladu s uvjetima utvrđenima za takve provjere u pravu Unije i nacionalnom pravu. Tijela kaznenog progona, tijela nadležna za nadzor granica, tijela nadležna za imigraciju ili tijela nadležna za azil osobito bi se trebala moći koristiti informacijskim sustavima, u skladu s pravom Unije ili nacionalnim pravom, za identifikaciju osoba koje se tijekom provjere identiteta odbijaju identificirati ili nisu u stanju navesti ili dokazati svoj identitet, a da pritom ne moraju pribaviti prethodno odobrenje na temelju ove Uredbe. To bi, na primjer, mogla biti osoba uključena u kazneno djelo, koja nije voljna ili koja zbog nesreće ili zdravstvenog stanja nije u stanju otkriti svoj identitet tijelima kaznenog progona.
(33)
The use of those systems for the purpose of law enforcement should therefore be prohibited, except in exhaustively listed and narrowly defined situations, where the use is strictly necessary to achieve a substantial public interest, the importance of which outweighs the risks. Those situations involve the search for certain victims of crime including missing persons; certain threats to the life or to the physical safety of natural persons or of a terrorist attack; and the localisation or identification of perpetrators or suspects of the criminal offences listed in an annex to this Regulation, where those criminal offences are punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years and as they are defined in the law of that Member State. Such a threshold for the custodial sentence or detention order in accordance with national law contributes to ensuring that the offence should be serious enough to potentially justify the use of ‘real-time’ remote biometric identification systems. Moreover, the list of criminal offences provided in an annex to this Regulation is based on the 32 criminal offences listed in the Council Framework Decision 2002/584/JHA (18), taking into account that some of those offences are, in practice, likely to be more relevant than others, in that the recourse to ‘real-time’ remote biometric identification could, foreseeably, be necessary and proportionate to highly varying degrees for the practical pursuit of the localisation or identification of a perpetrator or suspect of the different criminal offences listed and having regard to the likely differences in the seriousness, probability and scale of the harm or possible negative consequences. An imminent threat to life or the physical safety of natural persons could also result from a serious disruption of critical infrastructure, as defined in Article 2, point (4) of Directive (EU) 2022/2557 of the European Parliament and of the Council (19), where the disruption or destruction of such critical infrastructure would result in an imminent threat to life or the physical safety of a person, including through serious harm to the provision of basic supplies to the population or to the exercise of the core function of the State. In addition, this Regulation should preserve the ability for law enforcement, border control, immigration or asylum authorities to carry out identity checks in the presence of the person concerned in accordance with the conditions set out in Union and national law for such checks. In particular, law enforcement, border control, immigration or asylum authorities should be able to use information systems, in accordance with Union or national law, to identify persons who, during an identity check, either refuse to be identified or are unable to state or prove their identity, without being required by this Regulation to obtain prior authorisation. This could be, for example, a person involved in a crime, being unwilling, or unable due to an accident or a medical condition, to disclose their identity to law enforcement authorities.
(34)
Kako bi se osiguralo odgovorno i proporcionalno korištenje tih sustava, važno je i utvrditi da bi u svakoj od tih taksativno popisanih i usko definiranih situacija trebalo uzeti u obzir određene elemente, osobito u pogledu prirode situacije zbog koje se zahtijeva njihova upotreba i posljedica te upotrebe za prava i slobode svih dotičnih osoba te u pogledu zaštitnih mjera i uvjeta propisanih za tu upotrebu. Osim toga, sustavi za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona trebali bi se upotrebljavati samo za potvrđivanje identiteta konkretno ciljanog pojedinca i ta bi upotreba trebala biti ograničena na ono što je nužno kad je riječ o razdoblju te zemljopisnom i personalnom području primjene, uzimajući osobito u obzir dokaze ili naznake u vezi s prijetnjama, žrtvama ili počiniteljem. Upotrebu sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima trebalo bi odobriti samo ako je relevantno tijelo kaznenog progona dovršilo procjenu učinka na temeljna prava i, osim ako je drukčije predviđeno u ovoj Uredbi, registriralo sustav u bazi podataka kako je utvrđeno u ovoj Uredbi. Referentna baza podataka osoba trebala bi biti primjerena za svaki slučaj korištenja u svakoj od gore navedenih situacija.
(34)
In order to ensure that those systems are used in a responsible and proportionate manner, it is also important to establish that, in each of those exhaustively listed and narrowly defined situations, certain elements should be taken into account, in particular as regards the nature of the situation giving rise to the request and the consequences of the use for the rights and freedoms of all persons concerned and the safeguards and conditions provided for with the use. In addition, the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement should be deployed only to confirm the specifically targeted individual’s identity and should be limited to what is strictly necessary concerning the period of time, as well as the geographic and personal scope, having regard in particular to the evidence or indications regarding the threats, the victims or perpetrator. The use of the real-time remote biometric identification system in publicly accessible spaces should be authorised only if the relevant law enforcement authority has completed a fundamental rights impact assessment and, unless provided otherwise in this Regulation, has registered the system in the database as set out in this Regulation. The reference database of persons should be appropriate for each use case in each of the situations mentioned above.
(35)
Uvjet za svaku upotrebu sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona trebalo bi biti izričito i specifično odobrenje pravosudnog tijela ili neovisnog upravnog tijela države članice čija je odluka obvezujuća. Takvo bi odobrenje u načelu trebalo pribaviti prije upotrebe UI sustava radi identifikacije jedne ili više osoba. Iznimke od tog pravila trebalo bi dopustiti u propisno opravdanim situacijama na temelju hitnosti, odnosno u situacijama u kojima je potreba za upotrebom dotičnih sustava takva da je praktično i objektivno nemoguće pribaviti odobrenje prije početka upotrebe UI sustava. U takvim hitnim situacijama upotreba UI sustava trebala bi biti ograničena na apsolutno nužni minimum te podlijegati odgovarajućim zaštitnim mjerama i uvjetima, kako je utvrđeno u nacionalnom pravu i kako je odredilo sâmo tijelo kaznenog progona u kontekstu svakog pojedinačnog hitnog slučaja upotrebe. Osim toga, tijelo kaznenog progona trebalo bi u takvim situacijama zatražiti takvo odobrenje uz navođenje razloga zbog kojih ga nije moglo zatražiti ranije, bez nepotrebne odgode, a najkasnije u roku od 24 sata. Ako je takvo odobrenje odbijeno, upotrebu sustavâ za biometrijsku identifikaciju u stvarnom vremenu povezanu s tim odobrenjem trebalo bi smjesta zaustaviti te bi sve podatke povezane s takvom upotrebom trebalo odbaciti i izbrisati. Takvi podaci uključuju ulazne podatke koje je UI sustav izravno prikupio tijekom upotrebe takvog sustava te rezultate i izlazne podatke upotrebe povezane s tim odobrenjem. Ne bi trebali uključivati ulazne podatke koji su zakonito pribavljeni u skladu s drugim pravom Unije ili nacionalnim pravom. U svakom slučaju, odluku koja proizvodi negativan pravni učinak na osobu ne bi trebalo donijeti isključivo na temelju izlaznih podataka sustava za daljinsku biometrijsku identifikaciju.
(35)
Each use of a ‘real-time’ remote biometric identification system in publicly accessible spaces for the purpose of law enforcement should be subject to an express and specific authorisation by a judicial authority or by an independent administrative authority of a Member State whose decision is binding. Such authorisation should, in principle, be obtained prior to the use of the AI system with a view to identifying a person or persons. Exceptions to that rule should be allowed in duly justified situations on grounds of urgency, namely in situations where the need to use the systems concerned is such as to make it effectively and objectively impossible to obtain an authorisation before commencing the use of the AI system. In such situations of urgency, the use of the AI system should be restricted to the absolute minimum necessary and should be subject to appropriate safeguards and conditions, as determined in national law and specified in the context of each individual urgent use case by the law enforcement authority itself. In addition, the law enforcement authority should in such situations request such authorisation while providing the reasons for not having been able to request it earlier, without undue delay and at the latest within 24 hours. If such an authorisation is rejected, the use of real-time biometric identification systems linked to that authorisation should cease with immediate effect and all the data related to such use should be discarded and deleted. Such data includes input data directly acquired by an AI system in the course of the use of such system as well as the results and outputs of the use linked to that authorisation. It should not include input that is legally acquired in accordance with another Union or national law. In any case, no decision producing an adverse legal effect on a person should be taken based solely on the output of the remote biometric identification system.
(36)
Kako bi obavljali svoje zadaće u skladu sa zahtjevima utvrđenima u ovoj Uredbi i nacionalnim pravilima, relevantno tijelo za nadzor tržišta i nacionalno tijelo za zaštitu podataka trebali bi biti obaviješteni o svakom korištenju sustava za biometrijsku identifikaciju u stvarnom vremenu. Tijela za nadzor tržišta i prijavljena nacionalna tijela za zaštitu podataka trebala bi Komisiji podnositi godišnje izvješće o korištenju sustava za biometrijsku identifikaciju u stvarnom vremenu.
(36)
In order to carry out their tasks in accordance with the requirements set out in this Regulation as well as in national rules, the relevant market surveillance authority and the national data protection authority should be notified of each use of the real-time biometric identification system. Market surveillance authorities and the national data protection authorities that have been notified should submit to the Commission an annual report on the use of real-time biometric identification systems.
(37)
Nadalje, primjereno je u kontekstu iscrpnog okvira utvrđenog ovom Uredbom predvidjeti da bi takvo korištenje na državnom području države članice u skladu s ovom Uredbom trebalo biti moguće samo ako i u mjeri u kojoj je dotična država članica odlučila izričito predvidjeti mogućnost odobravanja takvog korištenja u svojim podrobnim pravilima nacionalnog prava. Stoga države članice na temelju ove Uredbe i dalje mogu slobodno odlučiti da neće uopće predvidjeti takvu mogućnost ili mogu predvidjeti takvu mogućnost samo u odnosu na neke od ciljeva kojima se može opravdati odobreno korištenje utvrđeno u ovoj Uredbi. O takvim nacionalnim pravilima trebalo bi obavijestiti Komisiju u roku od 30 dana od njihova donošenja.
(37)
Furthermore, it is appropriate to provide, within the exhaustive framework set by this Regulation that such use in the territory of a Member State in accordance with this Regulation should only be possible where and in as far as the Member State concerned has decided to expressly provide for the possibility to authorise such use in its detailed rules of national law. Consequently, Member States remain free under this Regulation not to provide for such a possibility at all or to only provide for such a possibility in respect of some of the objectives capable of justifying authorised use identified in this Regulation. Such national rules should be notified to the Commission within 30 days of their adoption.
(38)
Korištenje UI sustavâ za daljinsku biometrijsku identifikaciju pojedinaca u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona nužno uključuje obradu biometrijskih podataka. Pravila iz ove Uredbe kojima se, podložno određenim iznimkama, zabranjuje takvo korištenje, koja se temelje na članku 16. UFEU-a, trebala bi se primjenjivati kao lex specialis u odnosu na pravila o obradi biometrijskih podataka iz članka 10. Direktive (EU) 2016/680, čime se na iscrpan način uređuje takvo korištenje i obrada biometrijskih podataka. Stoga bi takvo korištenje i obrada trebali biti mogući samo u onoj mjeri u kojoj su u skladu s okvirom utvrđenim ovom Uredbom, pri čemu ne bi trebao postojati prostor, izvan tog okvira, da nadležna tijela koja djeluju u svrhu kaznenog progona upotrebljavaju takve sustave i obrađuju takve povezane podatke na temelju razloga navedenih u članku 10. Direktive (EU) 2016/680. U tom kontekstu svrha ove Uredbe nije pružanje pravne osnove za obradu osobnih podataka na temelju članka 8. Direktive (EU) 2016/680. Međutim, korištenje sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u druge svrhe osim kaznenog progona, među ostalim kad ih upotrebljavaju nadležna tijela, ne bi trebalo biti obuhvaćeno posebnim okvirom o takvom korištenju u svrhu kaznenog progona utvrđenim ovom Uredbom. Takvo korištenje u druge svrhe osim kaznenog progona stoga ne bi trebalo podlijegati zahtjevu za odobrenje na temelju ove Uredbe te važećim podrobnim pravilima nacionalnog prava kojima se daje učinak tom odobrenju.
(38)
The use of AI systems for real-time remote biometric identification of natural persons in publicly accessible spaces for the purpose of law enforcement necessarily involves the processing of biometric data. The rules of this Regulation that prohibit, subject to certain exceptions, such use, which are based on Article 16 TFEU, should apply as lex specialis in respect of the rules on the processing of biometric data contained in Article 10 of Directive (EU) 2016/680, thus regulating such use and the processing of biometric data involved in an exhaustive manner. Therefore, such use and processing should be possible only in as far as it is compatible with the framework set by this Regulation, without there being scope, outside that framework, for the competent authorities, where they act for purpose of law enforcement, to use such systems and process such data in connection thereto on the grounds listed in Article 10 of Directive (EU) 2016/680. In that context, this Regulation is not intended to provide the legal basis for the processing of personal data under Article 8 of Directive (EU) 2016/680. However, the use of real-time remote biometric identification systems in publicly accessible spaces for purposes other than law enforcement, including by competent authorities, should not be covered by the specific framework regarding such use for the purpose of law enforcement set by this Regulation. Such use for purposes other than law enforcement should therefore not be subject to the requirement of an authorisation under this Regulation and the applicable detailed rules of national law that may give effect to that authorisation.
(39)
Svaka obrada biometrijskih podataka i drugih osobnih podataka povezana s korištenjem UI sustavâ za biometrijsku identifikaciju, osim obrade povezane s korištenjem sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona kako je uređeno ovom Uredbom, i dalje bi trebala ispunjavati sve zahtjeve koji proizlaze iz članka 10. Direktive (EU) 2016/680. U svrhe koje nisu kazneni progon, člankom 9. stavkom 1. Uredbe (EU) 2016/679 i člankom 10. stavkom 1. Uredbe (EU) 2018/1725 zabranjuje se obrada biometrijskih podataka koji podliježu ograničenim iznimkama kako je predviđeno u tim člancima. Primjenom članka 9. stavka 1. Uredbe (EU) 2016/679 nacionalna tijela za zaštitu podataka već su donijela odluke o zabrani upotrebe daljinske biometrijske identifikacije u svrhe koje nisu kazneni progon.
(39)
Any processing of biometric data and other personal data involved in the use of AI systems for biometric identification, other than in connection to the use of real-time remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement as regulated by this Regulation, should continue to comply with all requirements resulting from Article 10 of Directive (EU) 2016/680. For purposes other than law enforcement, Article 9(1) of Regulation (EU) 2016/679 and Article 10(1) of Regulation (EU) 2018/1725 prohibit the processing of biometric data subject to limited exceptions as provided in those Articles. In the application of Article 9(1) of Regulation (EU) 2016/679, the use of remote biometric identification for purposes other than law enforcement has already been subject to prohibition decisions by national data protection authorities.
(40)
U skladu s člankom 6.a Protokola br. 21 o stajalištu Ujedinjene Kraljevine i Irske s obzirom na područje slobode, sigurnosti i pravde, priloženog UEU-u i UFEU-u, Irsku ne obvezuju pravila utvrđena u članku 5. stavku 1. prvom podstavku točki (g), u mjeri u kojoj se primjenjuje na korištenje sustavâ biometrijske kategorizacije za aktivnosti u području policijske suradnje i pravosudne suradnje u kaznenim stvarima, u članku 5. stavku 1. prvom podstavku točki (d), u mjeri u kojoj se primjenjuje na korištenje UI sustava obuhvaćenih tom odredbom, u članku 5. stavku 1. prvom podstavku točki (h), u članku 5. stavcima od 2. do 6. i u članku 26. stavku 10. ove Uredbe, donesena na temelju članka 16. UFEU-a, koja se odnose na obradu osobnih podataka koju vrše države članice pri obavljanju aktivnosti koje su obuhvaćene dijelom trećim glavom V. poglavljem 4. ili poglavljem 5. UFEU-a ako Irsku ne obvezuju pravila koja uređuju oblike pravosudne suradnje u kaznenim stvarima ili policijske suradnje za koja se zahtijeva usklađenost s odredbama utvrđenima na temelju članka 16. UFEU-a.
(40)
In accordance with Article 6a of Protocol No 21 on the position of the United Kingdom and Ireland in respect of the area of freedom, security and justice, as annexed to the TEU and to the TFEU, Ireland is not bound by the rules laid down in Article 5(1), first subparagraph, point (g), to the extent it applies to the use of biometric categorisation systems for activities in the field of police cooperation and judicial cooperation in criminal matters, Article 5(1), first subparagraph, point (d), to the extent it applies to the use of AI systems covered by that provision, Article 5(1), first subparagraph, point (h), Article 5(2) to (6) and Article 26(10) of this Regulation adopted on the basis of Article 16 TFEU which relate to the processing of personal data by the Member States when carrying out activities falling within the scope of Chapter 4 or Chapter 5 of Title V of Part Three of the TFEU, where Ireland is not bound by the rules governing the forms of judicial cooperation in criminal matters or police cooperation which require compliance with the provisions laid down on the basis of Article 16 TFEU.
(41)
U skladu s člancima 2. i 2.a Protokola br. 22 o stajalištu Danske, priloženog UEU-u i UFEU-u, Dansku ne obvezuju pravila utvrđena u članku 5. stavku 1. točki (g), u mjeri u kojoj se primjenjuje na korištenje sustavâ biometrijske kategorizacije za aktivnosti u području policijske suradnje i pravosudne suradnje u kaznenim stvarima, u članku 5. stavku 1. prvom podstavku točki (d), u mjeri u kojoj se primjenjuju na korištenje UI sustava obuhvaćenih tom odredbom, u članku 5. stavku 1. prvom podstavku točki (h), u članku 5. stavcima od 2. do 6. i u članku 26. stavku 10. ove Uredbe, donesena na temelju članka 16. UFEU-a, niti ona podliježe primjeni tih pravila koja se odnose na obradu osobnih podataka koju vrše države članice pri obavljanju aktivnosti koje su obuhvaćene dijelom trećim glavom V. poglavljem 4. ili poglavljem 5. UFEU-a.
(41)
In accordance with Articles 2 and 2a of Protocol No 22 on the position of Denmark, annexed to the TEU and to the TFEU, Denmark is not bound by rules laid down in Article 5(1), first subparagraph, point (g), to the extent it applies to the use of biometric categorisation systems for activities in the field of police cooperation and judicial cooperation in criminal matters, Article 5(1), first subparagraph, point (d), to the extent it applies to the use of AI systems covered by that provision, Article 5(1), first subparagraph, point (h), (2) to (6) and Article 26(10) of this Regulation adopted on the basis of Article 16 TFEU, or subject to their application, which relate to the processing of personal data by the Member States when carrying out activities falling within the scope of Chapter 4 or Chapter 5 of Title V of Part Three of the TFEU.
(42)
U skladu s pretpostavkom nedužnosti, fizičke osobe u Uniji uvijek bi trebalo prosuđivati na temelju njihova stvarnog ponašanja. Fizičke osobe nikada ne se bi trebale prosuđivati na temelju ponašanja koje je umjetna inteligencija predvidjela isključivo na temelju njihova profiliranja, obilježja osobnosti ili značajki kao što su državljanstvo, mjesto rođenja, mjesto boravišta, broj djece, razina duga ili vrsta automobila, bez opravdane sumnje da je ta osoba uključena u kriminalnu aktivnost na temelju objektivnih provjerljivih činjenica i bez ljudske procjene tih činjenica. Stoga bi trebalo zabraniti procjene rizika u pogledu fizičkih osoba u svrhu procjene vjerojatnosti da će počiniti kaznena djela ili u svrhu predviđanja počinjenja stvarnog ili potencijalnog kaznenog djela isključivo na temelju profiliranja tih osoba ili procjene njihovih obilježja osobnosti i značajki. U svakom slučaju, ta se zabrana ne odnosi niti se dotiče analitike rizika koja se ne temelji na profiliranju pojedinaca ili na obilježjima osobnosti i značajkama pojedinaca, kao što su UI sustavi koji upotrebljavaju analitiku rizika u svrhu procjene vjerojatnosti počinjenja financijskih prijevara od strane poduzeća na temelju sumnjivih transakcija ili alate za analizu rizika kako bi predvidjeli vjerojatnost lokalizacije narkotika ili nezakonite robe od strane carinskih tijela, primjerice na temelju poznatih krijumčarskih ruta.
(42)
In line with the presumption of innocence, natural persons in the Union should always be judged on their actual behaviour. Natural persons should never be judged on AI-predicted behaviour based solely on their profiling, personality traits or characteristics, such as nationality, place of birth, place of residence, number of children, level of debt or type of car, without a reasonable suspicion of that person being involved in a criminal activity based on objective verifiable facts and without human assessment thereof. Therefore, risk assessments carried out with regard to natural persons in order to assess the likelihood of their offending or to predict the occurrence of an actual or potential criminal offence based solely on profiling them or on assessing their personality traits and characteristics should be prohibited. In any case, that prohibition does not refer to or touch upon risk analytics that are not based on the profiling of individuals or on the personality traits and characteristics of individuals, such as AI systems using risk analytics to assess the likelihood of financial fraud by undertakings on the basis of suspicious transactions or risk analytic tools to predict the likelihood of the localisation of narcotics or illicit goods by customs authorities, for example on the basis of known trafficking routes.
(43)
Trebalo bi zabraniti stavljanje na tržište, stavljanje u upotrebu u tu specifičnu svrhu ili korištenje UI sustava koji stvaraju ili proširuju baze podataka za prepoznavanje lica neciljanim prikupljanjem prikaza lica s interneta ili iz snimaka CCTV-a jer ta praksa doprinosi osjećaju masovnog nadzora i može dovesti do teških kršenja temeljnih prava, uključujući pravo na privatnost.
(43)
The placing on the market, the putting into service for that specific purpose, or the use of AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage, should be prohibited because that practice adds to the feeling of mass surveillance and can lead to gross violations of fundamental rights, including the right to privacy.
(44)
Postoji ozbiljna zabrinutost u pogledu znanstvene osnove UI sustavâ čiji je cilj utvrđivanje emocija ili izvođenje zaključaka o njima, osobito s obzirom na to da se izražavanje emocija znatno razlikuje među kulturama i situacijama, pa čak kod istog pojedinca. Među ključnim su nedostacima takvih sustava ograničena pouzdanost, nedostatak specifičnosti i ograničena mogućnost generalizacije. Stoga UI sustavi koji identificiraju emocije ili namjere fizičkih osoba ili izvode zaključke o njihovim emocijama ili namjerama na temelju njihovih biometrijskih podataka mogu dovesti do diskriminatornih ishoda te biti intruzivni za prava i slobode dotičnih osoba. S obzirom na neravnotežu moći u kontekstu rada ili obrazovanja, u kombinaciji s intruzivnom prirodom tih sustava, takvi bi sustavi mogli dovesti do štetnog ili nepovoljnog tretmana određenih fizičkih osoba ili cijelih skupina određenih fizičkih osoba. Stoga bi trebalo zabraniti stavljanje na tržište, stavljanje u upotrebu ili korištenje UI sustava namijenjenih za otkrivanje emocionalnog stanja pojedinaca u situacijama povezanima s radnim mjestom i obrazovanjem. Ta zabrana ne bi trebala obuhvaćati UI sustave koji se stavljaju na tržište isključivo iz medicinskih ili sigurnosnih razloga, kao što su sustavi namijenjeni terapijskoj upotrebi.
(44)
There are serious concerns about the scientific basis of AI systems aiming to identify or infer emotions, particularly as expression of emotions vary considerably across cultures and situations, and even within a single individual. Among the key shortcomings of such systems are the limited reliability, the lack of specificity and the limited generalisability. Therefore, AI systems identifying or inferring emotions or intentions of natural persons on the basis of their biometric data may lead to discriminatory outcomes and can be intrusive to the rights and freedoms of the concerned persons. Considering the imbalance of power in the context of work or education, combined with the intrusive nature of these systems, such systems could lead to detrimental or unfavourable treatment of certain natural persons or whole groups thereof. Therefore, the placing on the market, the putting into service, or the use of AI systems intended to be used to detect the emotional state of individuals in situations related to the workplace and education should be prohibited. That prohibition should not cover AI systems placed on the market strictly for medical or safety reasons, such as systems intended for therapeutical use.
(45)
Ova Uredba ne bi trebala utjecati na prakse koje su zabranjene pravom Unije, među ostalim u okviru prava o zaštiti podataka, nediskriminacijskog prava, prava o zaštiti potrošača i prava tržišnog natjecanja.
(45)
Practices that are prohibited by Union law, including data protection law, non-discrimination law, consumer protection law, and competition law, should not be affected by this Regulation.
(46)
Visokorizični UI sustavi trebali bi se stavljati na tržište Unije ili u upotrebu odnosno upotrebljavati se samo ako ispunjavaju određene obvezne zahtjeve. Tim bi se zahtjevima trebalo osigurati da visokorizični UI sustavi koji su dostupni u Uniji ili čije se izlazne vrijednosti na drugi način upotrebljavaju u Uniji ne predstavljaju neprihvatljiv rizik za važne javne interese Unije koji su priznati i zaštićeni pravom Unije. Na temelju novog zakonodavnog okvira, kako je pojašnjeno u obavijesti Komisije pod nazivom „‚Plavi vodič’ o provedbi pravila EU-a o proizvodima 2022.” (20), opće je pravilo da se više od jednog pravnog akta zakonodavstva Unije o usklađivanju, kao što su uredbe (EU) 2017/745 (21) i (EU) 2017/746 (22) Europskog parlamenta i Vijeća ili Direktiva 2006/42/EZ Europskog parlamenta i Vijeća (23), može primjenjivati na jedan proizvod jer se stavljanje na raspolaganje ili u upotrebu može provesti samo ako je proizvod u skladu sa svim primjenjivim zakonodavstvom Unije o usklađivanju. Kako bi se osigurala dosljednost i izbjegla nepotrebna administrativna opterećenja ili troškovi, dobavljači proizvoda koji sadržava jedan ili više visokorizičnih UI sustava, na koje se primjenjuju zahtjevi iz ove Uredbe i zahtjevi iz zakonodavstva Unije o usklađivanju navedeni u prilogu ovoj Uredbi, trebali bi biti fleksibilni u pogledu operativnih odluka o tome kako na najbolji način osigurati usklađenost proizvoda koji sadržava jedan ili više UI sustava sa svim primjenjivim zahtjevima zakonodavstva Unije o usklađivanju. UI sustavi utvrđeni kao visokorizični trebali bi biti ograničeni samo na one koji imaju znatan štetan učinak na zdravlje, sigurnost i temeljna prava osoba u Uniji i takvim bi se ograničenjem trebalo svesti na najmanju moguću mjeru bilo kakvo potencijalno ograničenje u pogledu međunarodne trgovine.
(46)
High-risk AI systems should only be placed on the Union market, put into service or used if they comply with certain mandatory requirements. Those requirements should ensure that high-risk AI systems available in the Union or whose output is otherwise used in the Union do not pose unacceptable risks to important Union public interests as recognised and protected by Union law. On the basis of the New Legislative Framework, as clarified in the Commission notice ‘The “Blue Guide” on the implementation of EU product rules 2022’ (20), the general rule is that more than one legal act of Union harmonisation legislation, such as Regulations (EU) 2017/745 (21) and (EU) 2017/746 (22) of the European Parliament and of the Council or Directive 2006/42/EC of the European Parliament and of the Council (23), may be applicable to one product, since the making available or putting into service can take place only when the product complies with all applicable Union harmonisation legislation. To ensure consistency and avoid unnecessary administrative burdens or costs, providers of a product that contains one or more high-risk AI systems, to which the requirements of this Regulation and of the Union harmonisation legislation listed in an annex to this Regulation apply, should have flexibility with regard to operational decisions on how to ensure compliance of a product that contains one or more AI systems with all applicable requirements of the Union harmonisation legislation in an optimal manner. AI systems identified as high-risk should be limited to those that have a significant harmful impact on the health, safety and fundamental rights of persons in the Union and such limitation should minimise any potential restriction to international trade.
(47)
UI sustavi mogli bi nepovoljno utjecati na zdravlje i sigurnost osoba, osobito ako ti sustavi funkcioniraju kao sigurnosne komponente proizvoda. U skladu s ciljevima zakonodavstva Unije o usklađivanju, kako bi se olakšalo slobodno kretanje proizvoda na unutarnjem tržištu i kako bi se zajamčilo da na tržište dolaze samo sigurni i sukladni proizvodi, važno je da se propisno spriječe i ublaže mogući sigurnosni rizici koje proizvod u cijelosti može predstavljati zbog svojih digitalnih komponenti, uključujući UI sustave. Na primjer, sve autonomniji roboti, bilo u kontekstu proizvodnje ili osobne skrbi i njege, trebali bi moći funkcionirati na siguran način i obavljati svoje zadaće u složenim okružjima. Slično tome, u zdravstvenom sektoru u kojem su rizici za život i zdravlje osobito visoki, sve sofisticiraniji dijagnostički sustavi i sustavi koji pomažu ljudima u donošenju odluka trebali bi biti pouzdani i točni.
(47)
AI systems could have an adverse impact on the health and safety of persons, in particular when such systems operate as safety components of products. Consistent with the objectives of Union harmonisation legislation to facilitate the free movement of products in the internal market and to ensure that only safe and otherwise compliant products find their way into the market, it is important that the safety risks that may be generated by a product as a whole due to its digital components, including AI systems, are duly prevented and mitigated. For instance, increasingly autonomous robots, whether in the context of manufacturing or personal assistance and care should be able to safely operate and performs their functions in complex environments. Similarly, in the health sector where the stakes for life and health are particularly high, increasingly sophisticated diagnostics systems and systems supporting human decisions should be reliable and accurate.
(48)
Razmjer nepovoljnih učinaka UI sustava na temeljna prava zaštićena Poveljom posebno je važan pri klasificiranju UI sustava kao visokorizičnog. Ta prava uključuju pravo na ljudsko dostojanstvo, poštovanje privatnog i obiteljskog života, zaštitu osobnih podataka, slobodu izražavanja i informiranja, slobodu okupljanja i udruživanja, pravo na nediskriminaciju, pravo na obrazovanje, zaštitu potrošača, prava radnika, prava osoba s invaliditetom, rodnu ravnopravnost, prava intelektualnog vlasništva, pravo na djelotvoran pravni lijek i na pošteno suđenje, pravo na obranu i pretpostavku nedužnosti te pravo na dobru upravu. Povrh tih prava, važno je naglasiti činjenicu da djeca imaju posebna prava sadržana u članku 24. Povelje i u Konvenciji Ujedinjenih naroda o pravima djeteta, podrobnije razrađena u Općoj napomeni br. 25 Odbora UN-a o pravima djece u pogledu digitalnog okružja, kojima se zahtijeva da se vodi računa o njihovoj ranjivosti te da se osiguraju zaštita i skrb potrebni za njihovu dobrobit. Pri procjeni težine štete koju pojedini UI sustav može prouzročiti, među ostalim i u pogledu zdravlja i sigurnosti osoba, trebalo bi uzeti u obzir i temeljno pravo na visoku razinu zaštite okoliša koje je utvrđeno u Povelji i provodi se u politikama Unije.
(48)
The extent of the adverse impact caused by the AI system on the fundamental rights protected by the Charter is of particular relevance when classifying an AI system as high risk. Those rights include the right to human dignity, respect for private and family life, protection of personal data, freedom of expression and information, freedom of assembly and of association, the right to non-discrimination, the right to education, consumer protection, workers’ rights, the rights of persons with disabilities, gender equality, intellectual property rights, the right to an effective remedy and to a fair trial, the right of defence and the presumption of innocence, and the right to good administration. In addition to those rights, it is important to highlight the fact that children have specific rights as enshrined in Article 24 of the Charter and in the United Nations Convention on the Rights of the Child, further developed in the UNCRC General Comment No 25 as regards the digital environment, both of which require consideration of the children’s vulnerabilities and provision of such protection and care as necessary for their well-being. The fundamental right to a high level of environmental protection enshrined in the Charter and implemented in Union policies should also be considered when assessing the severity of the harm that an AI system can cause, including in relation to the health and safety of persons.
(49)
Kad je riječ o visokorizičnim UI sustavima koji su sigurnosne komponente proizvodâ ili sustavâ odnosno koji su sâmi proizvodi ili sustavi obuhvaćeni područjem primjene Uredbe (EZ) br. 300/2008 Europskog parlamenta i Vijeća (24), Uredbe (EU) br. 167/2013 Europskog parlamenta i Vijeća (25), Uredbe (EU) br. 168/2013 Europskog parlamenta i Vijeća (26), Direktive 2014/90/EU Europskog parlamenta i Vijeća (27), Direktive (EU) 2016/797 Europskog parlamenta i Vijeća (28), Uredbe (EU) 2018/858 Europskog parlamenta i Vijeća (29), Uredbe (EU) 2018/1139 Europskog parlamenta i Vijeća (30) i Uredbe (EU) 2019/2144 Europskog parlamenta i Vijeća (31), primjereno je te akte izmijeniti kako bi se osiguralo da Komisija, na temelju tehničkih i regulatornih posebnosti svakog sektora te bez uplitanja u postojeće mehanizme upravljanja, ocjenjivanja sukladnosti i izvršavanja te rad tijela koja su u njima utvrđena, pri donošenju svih relevantnih delegiranih akata ili provedbenih akata na temelju tih akata uzima u obzir obvezne zahtjeve za visokorizične UI sustave utvrđene u ovoj Uredbi.
(49)
As regards high-risk AI systems that are safety components of products or systems, or which are themselves products or systems falling within the scope of Regulation (EC) No 300/2008 of the European Parliament and of the Council (24), Regulation (EU) No 167/2013 of the European Parliament and of the Council (25), Regulation (EU) No 168/2013 of the European Parliament and of the Council (26), Directive 2014/90/EU of the European Parliament and of the Council (27), Directive (EU) 2016/797 of the European Parliament and of the Council (28), Regulation (EU) 2018/858 of the European Parliament and of the Council (29), Regulation (EU) 2018/1139 of the European Parliament and of the Council (30), and Regulation (EU) 2019/2144 of the European Parliament and of the Council (31), it is appropriate to amend those acts to ensure that the Commission takes into account, on the basis of the technical and regulatory specificities of each sector, and without interfering with existing governance, conformity assessment and enforcement mechanisms and authorities established therein, the mandatory requirements for high-risk AI systems laid down in this Regulation when adopting any relevant delegated or implementing acts on the basis of those acts.
(50)
Kad je riječ o UI sustavima koji su sigurnosne komponente proizvodâ ili koji su sâmi proizvodi, a obuhvaćeni su područjem primjene određenog zakonodavstva Unije o usklađivanju navedenog u prilogu ovoj Uredbi, primjereno ih je klasificirati kao visokorizične na temelju ove Uredbe ako je dotični proizvod predmet postupka ocjenjivanja sukladnosti koji provodi tijelo za ocjenjivanje sukladnosti kao treća strana na temelju relevantnog zakonodavstva Unije o usklađivanju. Takvi su proizvodi osobito strojevi, igračke, dizala, oprema i zaštitni sustavi namijenjeni za korištenje u potencijalno eksplozivnim atmosferama, radijska oprema, tlačna oprema, oprema za rekreacijska plovila, žičare, aparati na plinovita goriva, medicinski proizvodi i in vitro dijagnostički medicinski proizvodi, automobili i zrakoplovi.
(50)
As regards AI systems that are safety components of products, or which are themselves products, falling within the scope of certain Union harmonisation legislation listed in an annex to this Regulation, it is appropriate to classify them as high-risk under this Regulation if the product concerned undergoes the conformity assessment procedure with a third-party conformity assessment body pursuant to that relevant Union harmonisation legislation. In particular, such products are machinery, toys, lifts, equipment and protective systems intended for use in potentially explosive atmospheres, radio equipment, pressure equipment, recreational craft equipment, cableway installations, appliances burning gaseous fuels, medical devices, in vitro diagnostic medical devices, automotive and aviation.
(51)
Klasifikacija UI sustava kao visokorizičnog na temelju ove Uredbe ne bi nužno trebala značiti da se proizvod čija je sigurnosna komponenta UI sustav ili da se sâm UI sustav kao proizvod smatra „visokorizičnim” na temelju kriterija utvrđenih u relevantnom zakonodavstvu Unije o usklađivanju koje se primjenjuje na taj proizvod. To se osobito odnosi na uredbe (EU) 2017/745 i (EU) 2017/746 ako je predviđeno da treća strana provodi ocjenjivanje sukladnosti za srednjorizične i visokorizične proizvode.
(51)
The classification of an AI system as high-risk pursuant to this Regulation should not necessarily mean that the product whose safety component is the AI system, or the AI system itself as a product, is considered to be high-risk under the criteria established in the relevant Union harmonisation legislation that applies to the product. This is, in particular, the case for Regulations (EU) 2017/745 and (EU) 2017/746, where a third-party conformity assessment is provided for medium-risk and high-risk products.
(52)
Kad je riječ o samostalnim UI sustavima, odnosno visokorizičnim UI sustavima koji nisu sigurnosne komponente proizvoda ili koji su sâmi proizvodi, primjereno ih je klasificirati kao visokorizične ako, s obzirom na njihovu namjenu, kod njih postoji visok rizik od štete za zdravlje i sigurnost ili temeljna prava osoba, uzimajući u obzir i težinu moguće štete i njezinu vjerojatnost nastanka, te ako se upotrebljavaju u nekoliko posebnih unaprijed definiranih područja navedenih u ovoj Uredbi. Utvrđivanje tih sustava temelji se na istoj metodologiji i kriterijima predviđenima i za sve buduće izmjene popisa visokorizičnih UI sustava koje bi Komisija trebala biti ovlaštena donijeti delegiranim aktima kako bi se uzeo u obzir brz tempo tehnološkog razvoja i moguće promjene u korištenju UI sustavâ.
(52)
As regards stand-alone AI systems, namely high-risk AI systems other than those that are safety components of products, or that are themselves products, it is appropriate to classify them as high-risk if, in light of their intended purpose, they pose a high risk of harm to the health and safety or the fundamental rights of persons, taking into account both the severity of the possible harm and its probability of occurrence and they are used in a number of specifically pre-defined areas specified in this Regulation. The identification of those systems is based on the same methodology and criteria envisaged also for any future amendments of the list of high-risk AI systems that the Commission should be empowered to adopt, via delegated acts, to take into account the rapid pace of technological development, as well as the potential changes in the use of AI systems.
(53)
Važno je pojasniti i da mogu postojati posebni slučajevi u kojima UI sustavi na koje se upućuje u unaprijed definiranim područjima navedenima u ovoj Uredbi ne dovode do znatnog rizika od štete za pravne interese zaštićene na temelju tih područja jer bitno ne utječu na donošenje odluka ili ne štete znatno tim interesima. Za potrebe ove Uredbe UI sustav koji bitno ne utječe na ishod donošenja odluka trebalo bi razumjeti kao UI sustav koji ne utječe na sadržaj, a time ni na ishod donošenja odluka, bilo da je odluke donose ljudi ili da je donošenje odluka automatizirano. UI sustav koji bitno ne utječe na ishod donošenja odluka mogao bi uključivati situacije u kojima je ispunjen jedan od sljedećih uvjeta ili više njih. Prvi takav uvjet trebao bi biti da je UI sustav namijenjen obavljanju uske postupovne zadaće, kao što je UI sustav koji pretvara nestrukturirane podatke u strukturirane podatke, UI sustav koji dolazne dokumente klasificira u kategorije ili UI sustav koji se upotrebljava za otkrivanje duplikata među velikim brojem primjena. Te su zadaće toliko uske i ograničene da predstavljaju samo ograničene rizike koji se ne povećavaju korištenjem UI sustava u kontekstu koji je naveden kao visokorizična upotreba u prilogu ovoj Uredbi. Drugi uvjet trebao bi biti da je zadaća koju obavlja UI sustav namijenjena poboljšanju rezultata prethodno završene ljudske aktivnosti koja može biti relevantna za potrebe visokorizičnih upotreba navedenih u prilogu ovog Uredbi. S obzirom na te značajke UI sustav samo je dodatak ljudskoj aktivnosti uz posljedično smanjeni rizik. Na primjer, taj bi se uvjet primjenjivao na UI sustave namijenjene poboljšanju jezika koji se upotrebljava u prethodno izrađenim dokumentima, primjerice u vezi s profesionalnim tonom, akademskim stilom jezika ili usklađivanjem teksta s određenim porukama robne marke. Treći uvjet trebao bi biti da je namjena UI sustava otkrivanje obrazaca donošenja odluka ili odstupanja od prethodnih obrazaca donošenja odluka. Rizik bi se smanjio jer korištenje UI sustava slijedi nakon prethodno dovršene ljudske procjene, koju ono ne namjerava zamijeniti niti utjecati na nju bez odgovarajućeg preispitivanja koje provodi čovjek. Takvi UI sustavi obuhvaćaju, na primjer, sustave koji se na temelju određenog obrasca nastavnikova ocjenjivanja mogu upotrebljavati za ex post provjeru toga je li nastavnik možda odstupio od svojeg obrasca ocjenjivanja kako bi se upozorilo na moguće nedosljednosti ili nepravilnosti. Četvrti uvjet trebao bi biti da je UI sustav namijenjen obavljanju zadaće koja je samo pripremna za procjenu relevantnu za svrhe UI sustava navedenih u prilogu ovoj Uredbi, čime se mogući učinak izlaznih vrijednosti sustava čini vrlo niskim u smislu predstavljanja rizika za procjenu koja treba uslijediti. Taj uvjet obuhvaća, među ostalim, pametna rješenja za postupanje s datotekama, koja uključuju različite funkcije poput indeksiranja, pretraživanja, obrade teksta i govora ili povezivanja podataka s drugim izvorima podataka, ili UI sustave koji se upotrebljavaju za prevođenje početnih dokumenata. U svakom slučaju, za UI sustave koji se upotrebljavaju u slučajevima visokih rizika koji su navedeni u prilogu ovoj Uredbi trebalo bi smatrati da predstavljaju znatne rizike od štete za zdravlje, sigurnost ili temeljna prava fizičkih osoba ako UI sustav podrazumijeva izradu profila u smislu članka 4. točke 4. Uredbe (EU) 2016/679 ili članka 3. točke 4. Direktive (EU) 2016/680 ili članka 3. točke 5. Uredbe (EU) 2018/1725. Kako bi se osigurale sljedivost i transparentnost, dobavljač koji na temelju prethodno navedenih uvjeta smatra da UI sustav nije visokorizičan trebao bi sastaviti dokumentaciju o ocjenjivanju prije nego što taj sustav bude stavljen na tržište ili u upotrebu i trebao bi tu dokumentaciju na zahtjev dostaviti nacionalnim nadležnim tijelima. Taj dobavljač trebao bi biti obvezan registrirati UI sustav u bazi podataka EU-a uspostavljenoj na temelju ove Uredbe. Kako bi se pružilo dodatno usmjeravanje za praktičnu provedbu uvjeta na temelju kojih UI sustavi navedeni u prilogu ovoj Uredbi iznimno nisu visokorizični, Komisija bi nakon savjetovanja s Vijećem za umjetnu inteligenciju trebala pružiti smjernice u kojima se precizira ta praktična provedba, dopunjene sveobuhvatnim popisom praktičnih primjera slučajeva upotrebe UI sustava koji su visokorizični i primjera upotrebe UI sustava koji nisu visokorizični.
(53)
It is also important to clarify that there may be specific cases in which AI systems referred to in pre-defined areas specified in this Regulation do not lead to a significant risk of harm to the legal interests protected under those areas because they do not materially influence the decision-making or do not harm those interests substantially. For the purposes of this Regulation, an AI system that does not materially influence the outcome of decision-making should be understood to be an AI system that does not have an impact on the substance, and thereby the outcome, of decision-making, whether human or automated. An AI system that does not materially influence the outcome of decision-making could include situations in which one or more of the following conditions are fulfilled. The first such condition should be that the AI system is intended to perform a narrow procedural task, such as an AI system that transforms unstructured data into structured data, an AI system that classifies incoming documents into categories or an AI system that is used to detect duplicates among a large number of applications. Those tasks are of such narrow and limited nature that they pose only limited risks which are not increased through the use of an AI system in a context that is listed as a high-risk use in an annex to this Regulation. The second condition should be that the task performed by the AI system is intended to improve the result of a previously completed human activity that may be relevant for the purposes of the high-risk uses listed in an annex to this Regulation. Considering those characteristics, the AI system provides only an additional layer to a human activity with consequently lowered risk. That condition would, for example, apply to AI systems that are intended to improve the language used in previously drafted documents, for example in relation to professional tone, academic style of language or by aligning text to a certain brand messaging. The third condition should be that the AI system is intended to detect decision-making patterns or deviations from prior decision-making patterns. The risk would be lowered because the use of the AI system follows a previously completed human assessment which it is not meant to replace or influence, without proper human review. Such AI systems include for instance those that, given a certain grading pattern of a teacher, can be used to check ex post whether the teacher may have deviated from the grading pattern so as to flag potential inconsistencies or anomalies. The fourth condition should be that the AI system is intended to perform a task that is only preparatory to an assessment relevant for the purposes of the AI systems listed in an annex to this Regulation, thus making the possible impact of the output of the system very low in terms of representing a risk for the assessment to follow. That condition covers, inter alia, smart solutions for file handling, which include various functions from indexing, searching, text and speech processing or linking data to other data sources, or AI systems used for translation of initial documents. In any case, AI systems used in high-risk use-cases listed in an annex to this Regulation should be considered to pose significant risks of harm to the health, safety or fundamental rights if the AI system implies profiling within the meaning of Article 4, point (4) of Regulation (EU) 2016/679 or Article 3, point (4) of Directive (EU) 2016/680 or Article 3, point (5) of Regulation (EU) 2018/1725. To ensure traceability and transparency, a provider who considers that an AI system is not high-risk on the basis of the conditions referred to above should draw up documentation of the assessment before that system is placed on the market or put into service and should provide that documentation to national competent authorities upon request. Such a provider should be obliged to register the AI system in the EU database established under this Regulation. With a view to providing further guidance for the practical implementation of the conditions under which the AI systems listed in an annex to this Regulation are, on an exceptional basis, non-high-risk, the Commission should, after consulting the Board, provide guidelines specifying that practical implementation, completed by a comprehensive list of practical examples of use cases of AI systems that are high-risk and use cases that are not.
(54)
Budući da biometrijski podaci čine posebnu kategoriju osobnih podataka, nekoliko kritičnih slučajeva korištenja biometrijskih sustava primjereno je klasificirati visokorizičnima, u mjeri u kojoj je njihovo korištenje dopušteno na temelju relevantnog prava Unije i nacionalnog prava. Tehničke netočnosti UI sustava namijenjenih daljinskoj biometrijskoj identifikaciji fizičkih osoba mogu rezultirati pristranim rezultatima i imati diskriminacijske učinke. Rizik od takvih pristranih rezultata i diskriminacijskih učinaka osobito je relevantna s obzirom na dob, etničku pripadnost, rasu, spol ili invaliditet. Stoga bi sustave za daljinsku biometrijsku identifikaciju trebalo klasificirati kao visokorizične s obzirom na rizike koje predstavljaju. Takva klasifikacija isključuje UI sustave namijenjene za biometrijsku provjeru, uključujući autentifikaciju, čija je jedina svrha potvrditi da je određena fizička osoba doista osoba kojom se predstavlja i potvrditi identitet fizičke osobe isključivo u svrhu pristupa usluzi, otključavanja uređaja ili sigurnog pristupa prostorijama. Osim toga, UI sustave namijenjene za biometrijsku kategorizaciju u skladu s osjetljivim atributima ili značajkama zaštićenima na temelju članka 9. stavka 1. Uredbe (EU) 2016/679 na osnovi biometrijskih podataka, u mjeri u kojoj nisu zabranjeni na temelju ove Uredbe, i sustave za prepoznavanje emocija koji nisu zabranjeni na temelju ove Uredbe trebalo bi klasificirati kao visokorizične. Biometrijski sustavi namijenjeni isključivo za omogućavanje kibernetičke sigurnosti i mjera zaštite osobnih podataka ne bi se trebali smatrati visokorizičnim UI sustavima.
(54)
As biometric data constitutes a special category of personal data, it is appropriate to classify as high-risk several critical-use cases of biometric systems, insofar as their use is permitted under relevant Union and national law. Technical inaccuracies of AI systems intended for the remote biometric identification of natural persons can lead to biased results and entail discriminatory effects. The risk of such biased results and discriminatory effects is particularly relevant with regard to age, ethnicity, race, sex or disabilities. Remote biometric identification systems should therefore be classified as high-risk in view of the risks that they pose. Such a classification excludes AI systems intended to be used for biometric verification, including authentication, the sole purpose of which is to confirm that a specific natural person is who that person claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having secure access to premises. In addition, AI systems intended to be used for biometric categorisation according to sensitive attributes or characteristics protected under Article 9(1) of Regulation (EU) 2016/679 on the basis of biometric data, in so far as these are not prohibited under this Regulation, and emotion recognition systems that are not prohibited under this Regulation, should be classified as high-risk. Biometric systems which are intended to be used solely for the purpose of enabling cybersecurity and personal data protection measures should not be considered to be high-risk AI systems.
(55)
Kad je riječ o upravljanju kritičnom infrastrukturom i njezinu radu, primjereno je kao visokorizične klasificirati one UI sustave koji su namijenjeni upotrebi kao sigurnosne komponente u upravljanju kritičnom digitalnom infrastrukturom navedenom u točki 8. Priloga Direktivi (EU) 2022/2557 i radu takve infrastrukture, u cestovnom prometu te u opskrbi vodom, plinom, grijanjem i električnom energijom jer bi njihov kvar ili neispravnost mogli ugroziti život i zdravlje osoba u velikim razmjerima te znatno poremetiti uobičajeno odvijanje društvenih i gospodarskih aktivnosti. Sigurnosne komponente kritične infrastrukture, uključujući kritičnu digitalnu infrastrukturu, sustavi su koji se upotrebljavaju za izravnu zaštitu fizičkog integriteta kritične infrastrukture ili zdravlja i sigurnosti osoba i imovine, ali koji nisu potrebni za funkcioniranje sustava. Kvar ili neispravnost takvih komponenti može izravno dovesti do rizika za fizički integritet kritične infrastrukture, a time i do rizika za zdravlje i sigurnost osoba i imovine. Komponente namijenjene korištenju isključivo u svrhe kibernetičke sigurnosti ne bi trebalo smatrati sigurnosnim komponentama. Primjeri sigurnosnih komponenti takve kritične infrastrukture mogu uključivati sustave za praćenje tlaka vode ili sustave za kontrolu protupožarnog alarma u centrima za računalstvo u oblaku.
(55)
As regards the management and operation of critical infrastructure, it is appropriate to classify as high-risk the AI systems intended to be used as safety components in the management and operation of critical digital infrastructure as listed in point (8) of the Annex to Directive (EU) 2022/2557, road traffic and the supply of water, gas, heating and electricity, since their failure or malfunctioning may put at risk the life and health of persons at large scale and lead to appreciable disruptions in the ordinary conduct of social and economic activities. Safety components of critical infrastructure, including critical digital infrastructure, are systems used to directly protect the physical integrity of critical infrastructure or the health and safety of persons and property but which are not necessary in order for the system to function. The failure or malfunctioning of such components might directly lead to risks to the physical integrity of critical infrastructure and thus to risks to health and safety of persons and property. Components intended to be used solely for cybersecurity purposes should not qualify as safety components. Examples of safety components of such critical infrastructure may include systems for monitoring water pressure or fire alarm controlling systems in cloud computing centres.
(56)
Uvođenje UI sustavâ u obrazovanje važno je kako bi se promicalo visokokvalitetno digitalno obrazovanje i osposobljavanje te kako bi se svim učenicima i nastavnicima omogućilo da steknu i dijele potrebne digitalne vještine i kompetencije, uključujući medijsku pismenost i kritičko razmišljanje, kako bi aktivno sudjelovali u gospodarstvu, društvu i demokratskim procesima. Međutim, UI sustave koji se upotrebljavaju u obrazovanju ili strukovnom osposobljavanju, osobito za odlučivanje o pristupu ili upisu, za razvrstavanje osoba u ustanove ili programe za obrazovanje i strukovno osposobljavanje na svim razinama, za evaluaciju ishoda učenja osoba, za procjenu odgovarajuće razine obrazovanja pojedinca i bitan utjecaj na razinu obrazovanja i osposobljavanja koju će pojedinci steći ili kojoj će moći pristupiti odnosno za praćenje i otkrivanje zabranjenog ponašanja učenika tijekom testiranja trebalo bi klasificirati kao visokorizične UI sustavi jer mogu odrediti obrazovni i profesionalni tijek života osobe i stoga mogu utjecati na njezinu mogućnost da osigura sredstva za život. Ako se dizajniraju i upotrebljavaju na nepravilan način, takvi sustavi mogu biti osobito intruzivni i kršiti pravo na obrazovanje i osposobljavanje i pravo na nediskriminaciju te perpetuirati povijesne obrasce diskriminacije, primjerice protiv žena, određenih dobnih skupina, osoba s invaliditetom odnosno osoba određenog rasnog ili etničkog podrijetla ili seksualne orijentacije.
(56)
The deployment of AI systems in education is important to promote high-quality digital education and training and to allow all learners and teachers to acquire and share the necessary digital skills and competences, including media literacy, and critical thinking, to take an active part in the economy, society, and in democratic processes. However, AI systems used in education or vocational training, in particular for determining access or admission, for assigning persons to educational and vocational training institutions or programmes at all levels, for evaluating learning outcomes of persons, for assessing the appropriate level of education for an individual and materially influencing the level of education and training that individuals will receive or will be able to access or for monitoring and detecting prohibited behaviour of students during tests should be classified as high-risk AI systems, since they may determine the educational and professional course of a person’s life and therefore may affect that person’s ability to secure a livelihood. When improperly designed and used, such systems may be particularly intrusive and may violate the right to education and training as well as the right not to be discriminated against and perpetuate historical patterns of discrimination, for example against women, certain age groups, persons with disabilities, or persons of certain racial or ethnic origins or sexual orientation.
(57)
UI sustavi koji se upotrebljavaju za zapošljavanje, kadrovsko upravljanje i pristup samozapošljavanju, osobito za zapošljavanje i odabir osoba, za donošenje odluka koje utječu na uvjete radnog odnosa, promaknuće ili otkazivanje radnih ugovornih odnosa, za dodjelu zadataka na osnovi individualnog ponašanja, osobnih obilježja ili značajki i za praćenje ili evaluaciju osoba u radnim ugovornim odnosima također bi trebali biti klasificirani kao visokorizični jer bi ti sustavi mogli znatno utjecati na buduće izglede za razvoj karijere, sredstva za život tih osoba i radnička prava. Relevantni radni ugovorni odnosi trebali bi na smislen način uključivati zaposlenike i osobe koji pružaju usluge putem platformi kako je navedeno u programu rada Komisije za 2021. U cijelom procesu zapošljavanja i pri evaluaciji, promaknuću ili zadržavanju osoba u radnim ugovornim odnosima takvi sustavi mogu perpetuirati povijesne obrasce diskriminacije, primjerice protiv žena, određenih dobnih skupina, osoba s invaliditetom odnosno osoba određenog rasnog ili etničkog podrijetla ili seksualne orijentacije. UI sustavi koji se upotrebljavaju za praćenje učinkovitosti i ponašanja takvih osoba mogu ujedno narušavati njihova temeljna prava na zaštitu osobnih podataka i privatnost.
(57)
AI systems used in employment, workers management and access to self-employment, in particular for the recruitment and selection of persons, for making decisions affecting terms of the work-related relationship, promotion and termination of work-related contractual relationships, for allocating tasks on the basis of individual behaviour, personal traits or characteristics and for monitoring or evaluation of persons in work-related contractual relationships, should also be classified as high-risk, since those systems may have an appreciable impact on future career prospects, livelihoods of those persons and workers’ rights. Relevant work-related contractual relationships should, in a meaningful manner, involve employees and persons providing services through platforms as referred to in the Commission Work Programme 2021. Throughout the recruitment process and in the evaluation, promotion, or retention of persons in work-related contractual relationships, such systems may perpetuate historical patterns of discrimination, for example against women, certain age groups, persons with disabilities, or persons of certain racial or ethnic origins or sexual orientation. AI systems used to monitor the performance and behaviour of such persons may also undermine their fundamental rights to data protection and privacy.
(58)
Još jedno područje u kojem UI sustavima treba posvetiti posebnu pozornost jest dostupnost i uživanje određenih osnovnih privatnih i javnih usluga i naknada potrebnih za potpuno sudjelovanje u društvu ili poboljšanje životnog standarda osoba. Osobito, fizičke osobe koje podnose zahtjev za osnovne naknade i usluge javne pomoći od tijela javne vlasti ili ih od njih primaju, odnosno zdravstvene usluge, naknade socijalne sigurnosti, socijalne usluge kojima se pruža zaštita u slučajevima kao što su majčinstvo, bolest, nesreće na radu, uzdržavanost ili starost i gubitak zaposlenja te socijalna i stambena pomoć, obično ovise o tim naknadama i uslugama te su u ranjivom položaju u odnosu na nadležna tijela. Ako se UI sustavi upotrebljavaju za određivanje toga trebaju li tijela takve naknade i usluge dodijeliti, uskratiti, smanjiti, ukinuti ili tražiti njihov povrat, uključujući određivanje toga imaju li korisnici legitimno pravo na takve naknade ili usluge, ti sustavi mogu znatno utjecati na sredstva za život tih osoba i kršiti njihova temeljna prava, kao što je pravo na socijalnu zaštitu, nediskriminaciju, ljudsko dostojanstvo ili djelotvorno pravno sredstvo, te bi ih stoga trebalo klasificirati kao visokorizične. Međutim, ova Uredba ne bi trebala otežavati razvoj i primjenu inovativnih pristupa u javnoj upravi, koja bi imala koristi od šire upotrebe usklađenih i sigurnih UI sustava, pod uvjetom da ti sustavi ne podrazumijevaju velik rizik za pravne i fizičke osobe. Usto, UI sustave koji se upotrebljavaju za evaluaciju kreditnog rejtinga ili kreditne sposobnosti fizičkih osoba trebalo bi klasificirati kao visokorizične jer određuju pristup tih osoba financijskim resursima ili osnovnim uslugama kao što su stanovanje, električna energija i telekomunikacijske usluge. UI sustavi koji se upotrebljavaju u tu svrhu mogu dovesti do diskriminacije osoba ili skupina te perpetuirati povijesne obrasce diskriminacije, primjerice na temelju rasnog ili etničkog podrijetla, roda, invaliditeta, dobi ili seksualne orijentacije, ili mogu stvoriti nove vrste diskriminacijskih učinaka. Međutim, UI sustavi predviđeni pravom Unije u svrhu otkrivanja prijevara u ponudi financijskih usluga i u bonitetne svrhe za izračun kapitalnih zahtjeva kreditnih institucija i društava za osiguranje ne bi se trebali smatrati visokorizičnima na temelju ove Uredbe. Nadalje, UI sustavi namijenjeni procjeni rizika i određivanju cijena u odnosu na fizičke osobe za zdravstveno i životno osiguranje mogu znatno utjecati i na sredstva za život tih osoba, a ako nisu propisno dizajnirani, razvijeni i korišteni, mogu kršiti njihova temeljna prava i dovesti do ozbiljnih posljedica za život i zdravlje ljudi, uključujući financijsku isključenost i diskriminaciju. Na kraju, UI sustavi koji se upotrebljavaju za evaluaciju i klasifikaciju hitnih poziva fizičkih osoba ili za dispečiranje ili određivanje prioriteta pri dispečiranju hitnih službi, uključujući policiju, vatrogasce i medicinsku pomoć, kao i sustavi za trijažu pacijenata pri pružanju hitne skrbi, isto bi se trebali smatrati visokorizičnima jer donose odluke u situacijama koje su kritične za život i zdravlje osoba te za njihovu imovinu.
(58)
Another area in which the use of AI systems deserves special consideration is the access to and enjoyment of certain essential private and public services and benefits necessary for people to fully participate in society or to improve one’s standard of living. In particular, natural persons applying for or receiving essential public assistance benefits and services from public authorities namely healthcare services, social security benefits, social services providing protection in cases such as maternity, illness, industrial accidents, dependency or old age and loss of employment and social and housing assistance, are typically dependent on those benefits and services and in a vulnerable position in relation to the responsible authorities. If AI systems are used for determining whether such benefits and services should be granted, denied, reduced, revoked or reclaimed by authorities, including whether beneficiaries are legitimately entitled to such benefits or services, those systems may have a significant impact on persons’ livelihood and may infringe their fundamental rights, such as the right to social protection, non-discrimination, human dignity or an effective remedy and should therefore be classified as high-risk. Nonetheless, this Regulation should not hamper the development and use of innovative approaches in the public administration, which would stand to benefit from a wider use of compliant and safe AI systems, provided that those systems do not entail a high risk to legal and natural persons. In addition, AI systems used to evaluate the credit score or creditworthiness of natural persons should be classified as high-risk AI systems, since they determine those persons’ access to financial resources or essential services such as housing, electricity, and telecommunication services. AI systems used for those purposes may lead to discrimination between persons or groups and may perpetuate historical patterns of discrimination, such as that based on racial or ethnic origins, gender, disabilities, age or sexual orientation, or may create new forms of discriminatory impacts. However, AI systems provided for by Union law for the purpose of detecting fraud in the offering of financial services and for prudential purposes to calculate credit institutions’ and insurance undertakings’ capital requirements should not be considered to be high-risk under this Regulation. Moreover, AI systems intended to be used for risk assessment and pricing in relation to natural persons for health and life insurance can also have a significant impact on persons’ livelihood and if not duly designed, developed and used, can infringe their fundamental rights and can lead to serious consequences for people’s life and health, including financial exclusion and discrimination. Finally, AI systems used to evaluate and classify emergency calls by natural persons or to dispatch or establish priority in the dispatching of emergency first response services, including by police, firefighters and medical aid, as well as of emergency healthcare patient triage systems, should also be classified as high-risk since they make decisions in very critical situations for the life and health of persons and their property.
(59)
S obzirom na njihovu ulogu i odgovornost, postupcima tijelâ kaznenog progona koji uključuju određene oblike korištenja UI sustavâ svojstvena je znatna neravnoteža moći i mogu dovesti do nadzora, uhićenja ili oduzimanja slobode fizičkih osoba, kao i do drugih nepovoljnih učinaka na temeljna prava zajamčena Poveljom. Posebice, ako UI sustav nije treniran s pomoću visokokvalitetnih podataka, ne ispunjava odgovarajuće zahtjeve u pogledu svoje učinkovitosti, točnosti ili otpornosti ili nije pravilno dizajniran i testiran prije stavljanja na tržište ili u upotrebu, može izdvajati ljude na diskriminatoran ili na drugačije netočan ili nepravedan način. Nadalje, ostvarivanje važnih postupovnih temeljnih prava, kao što su pravo na djelotvorno pravno sredstvo i na pošteno suđenje te pravo na obranu i pretpostavku nedužnosti, moglo bi biti otežano, osobito ako takvi UI sustavi nisu dovoljno transparentni, objašnjivi i dokumentirani. Stoga je primjereno, u mjeri u kojoj je njihovo korištenje dopušteno na temelju relevantnog prava Unije i nacionalnog prava, klasificirati kao visokorizične one UI sustave koji su namijenjeni korištenju u kontekstu kaznenog progona ako su točnost, pouzdanost i transparentnost osobito važne kako bi se izbjegli nepovoljni utjecaji, zadržalo povjerenje javnosti te osigurala odgovornost i djelotvorna pravna zaštita. S obzirom na prirodu tih aktivnosti i s njima povezane rizike, ti visokorizični UI sustavi trebali bi osobito uključivati UI sustave namijenjene za korištenje od strane tijela kaznenog progona ili u njihovo ime ili za korištenje od strane institucija, tijela, ureda ili agencija Unije radi potpore tijelima kaznenog progona za procjenu rizika fizičke osobe da postane žrtva kaznenih djela, kao poligrafi i slični alati, za evaluaciju pouzdanosti dokaza tijekom istrage ili progona kaznenih djela i, u mjeri u kojoj to nije zabranjeno na temelju ove Uredbe, za procjenu rizika da fizička osoba počini ili ponovno počini kazneno djelo ne isključivo na osnovi izrade profila fizičkih osoba ili procjene osobina i značajki ili prethodnog kriminalnog ponašanja fizičkih osoba ili skupina, za izradu profila tijekom otkrivanja, istrage ili progona kaznenih djela. UI sustave posebno namijenjene za upravne postupke poreznih i carinskih tijela i financijsko-obavještajnih jedinica koje provode administrativne zadaće analize informacija na temelju prava Unije o sprečavanju pranja novca ne bi trebalo klasificirati kao visokorizične UI sustave koje tijela kaznenog progona upotrebljavaju u svrhu sprečavanja, otkrivanja, istrage i progona kaznenih djela. Tijela kaznenog progona ni druga relevantna tijela ne bi smjela koristiti UI alate tako da postanu čimbenik nejednakosti ili isključenosti. Ne bi se trebao zanemariti utjecaj korištenja UI alata na prava osumnjičenika na obranu, osobito s obzirom na poteškoću u dobivanju smislenih informacija o funkcioniranju tih sustava i posljedičnu poteškoću u osporavanju njihovih rezultata na sudu, osobito za fizičke osobe pod istragom.
(59)
Given their role and responsibility, actions by law enforcement authorities involving certain uses of AI systems are characterised by a significant degree of power imbalance and may lead to surveillance, arrest or deprivation of a natural person’s liberty as well as other adverse impacts on fundamental rights guaranteed in the Charter. In particular, if the AI system is not trained with high-quality data, does not meet adequate requirements in terms of its performance, its accuracy or robustness, or is not properly designed and tested before being put on the market or otherwise put into service, it may single out people in a discriminatory or otherwise incorrect or unjust manner. Furthermore, the exercise of important procedural fundamental rights, such as the right to an effective remedy and to a fair trial as well as the right of defence and the presumption of innocence, could be hampered, in particular, where such AI systems are not sufficiently transparent, explainable and documented. It is therefore appropriate to classify as high-risk, insofar as their use is permitted under relevant Union and national law, a number of AI systems intended to be used in the law enforcement context where accuracy, reliability and transparency is particularly important to avoid adverse impacts, retain public trust and ensure accountability and effective redress. In view of the nature of the activities and the risks relating thereto, those high-risk AI systems should include in particular AI systems intended to be used by or on behalf of law enforcement authorities or by Union institutions, bodies, offices, or agencies in support of law enforcement authorities for assessing the risk of a natural person to become a victim of criminal offences, as polygraphs and similar tools, for the evaluation of the reliability of evidence in in the course of investigation or prosecution of criminal offences, and, insofar as not prohibited under this Regulation, for assessing the risk of a natural person offending or reoffending not solely on the basis of the profiling of natural persons or the assessment of personality traits and characteristics or the past criminal behaviour of natural persons or groups, for profiling in the course of detection, investigation or prosecution of criminal offences. AI systems specifically intended to be used for administrative proceedings by tax and customs authorities as well as by financial intelligence units carrying out administrative tasks analysing information pursuant to Union anti-money laundering law should not be classified as high-risk AI systems used by law enforcement authorities for the purpose of prevention, detection, investigation and prosecution of criminal offences. The use of AI tools by law enforcement and other relevant authorities should not become a factor of inequality, or exclusion. The impact of the use of AI tools on the defence rights of suspects should not be ignored, in particular the difficulty in obtaining meaningful information on the functioning of those systems and the resulting difficulty in challenging their results in court, in particular by natural persons under investigation.
(60)
UI sustavi koji se upotrebljavaju u području migracija, azila i upravljanja nadzorom državne granice utječu na osobe koje su često u osobito ranjivu položaju i koje ovise o ishodu postupaka nadležnih tijela javne vlasti. Točnost, nediskriminacija i transparentnost UI sustava koji se upotrebljavaju u tim kontekstima stoga su posebno važne kako bi se zajamčilo poštovanje temeljnih prava zahvaćenih osoba, osobito njihovih prava na slobodno kretanje, nediskriminaciju, zaštitu privatnog života i osobnih podataka, međunarodnu zaštitu i dobru upravu. Stoga je primjereno klasificirati kao visokorizične, u mjeri u kojoj je njihovo korištenje dopušteno na temelju relevantnog prava Unije i nacionalnog prava, UI sustave namijenjene za korištenje od strane nadležnih tijela javne vlasti ili institucija, tijela, ureda ili agencija Unije ili u njihovo ime, a koji su zaduženi za zadaće u području migracija, azila i upravljanja nadzorom državne granice, kao poligrafe i slične alate, za procjenu određenih rizika koje predstavljaju fizičke osobe koje ulaze na državno područje države članice ili podnose zahtjev za vizu ili azil, za pomoć nadležnim tijelima javne vlasti u razmatranju, uključujući povezanu procjenu pouzdanosti dokaza, zahtjevâ za azil, viza i boravišnih dozvola te povezanih pritužbi u pogledu cilja utvrđivanja prihvatljivosti fizičkih osoba koje podnose zahtjev za određeni status, u svrhu otkrivanja, priznavanja ili identifikacije fizičkih osoba u kontekstu migracija, azila i upravljanja nadzorom državne granice, uz iznimku provjere putnih isprava. UI sustavi koji se upotrebljavaju u području migracija, azila i upravljanja nadzorom državne granice obuhvaćeni ovom Uredbom trebali bi biti u skladu s relevantnim postupovnim zahtjevima utvrđenima Uredbom (EZ) 810/2009 Europskog parlamenta i Vijeća (32), Direktivom 2013/32/EU Europskog parlamenta i Vijeća (33) i drugim relevantnim pravom Unije. Države članice odnosno institucije, tijela, uredi ili agencije Unije ni u kojem slučaju ne bi smjeli koristiti UI sustave u području migracija, azila i upravljanja nadzorom državne granice kao sredstvo za zaobilaženje svojih međunarodnih obveza na temelju Konvencije UN-a o statusu izbjeglica potpisane u Ženevi 28. srpnja 1951., kako je izmijenjena Protokolom od 31. siječnja 1967. Njima se ne bi trebalo ni na koji način kršiti načelo zabrane prisilnog udaljenja ili vraćanja niti uskraćivati sigurne i djelotvorne zakonite načine za dolazak na područje Unije, uključujući pravo na međunarodnu zaštitu.
(60)
AI systems used in migration, asylum and border control management affect persons who are often in particularly vulnerable position and who are dependent on the outcome of the actions of the competent public authorities. The accuracy, non-discriminatory nature and transparency of the AI systems used in those contexts are therefore particularly important to guarantee respect for the fundamental rights of the affected persons, in particular their rights to free movement, non-discrimination, protection of private life and personal data, international protection and good administration. It is therefore appropriate to classify as high-risk, insofar as their use is permitted under relevant Union and national law, AI systems intended to be used by or on behalf of competent public authorities or by Union institutions, bodies, offices or agencies charged with tasks in the fields of migration, asylum and border control management as polygraphs and similar tools, for assessing certain risks posed by natural persons entering the territory of a Member State or applying for visa or asylum, for assisting competent public authorities for the examination, including related assessment of the reliability of evidence, of applications for asylum, visa and residence permits and associated complaints with regard to the objective to establish the eligibility of the natural persons applying for a status, for the purpose of detecting, recognising or identifying natural persons in the context of migration, asylum and border control management, with the exception of verification of travel documents. AI systems in the area of migration, asylum and border control management covered by this Regulation should comply with the relevant procedural requirements set by the Regulation (EC) No 810/2009 of the European Parliament and of the Council (32), the Directive 2013/32/EU of the European Parliament and of the Council (33), and other relevant Union law. The use of AI systems in migration, asylum and border control management should, in no circumstances, be used by Member States or Union institutions, bodies, offices or agencies as a means to circumvent their international obligations under the UN Convention relating to the Status of Refugees done at Geneva on 28 July 1951 as amended by the Protocol of 31 January 1967. Nor should they be used to in any way infringe on the principle of non-refoulement, or to deny safe and effective legal avenues into the territory of the Union, including the right to international protection.
(61)
Određene UI sustave namijenjene sudovanju i demokratskim procesima trebalo bi klasificirati kao visokorizične s obzirom na njihov potencijalno velik utjecaj na demokraciju, vladavinu prava, osobne slobode te pravo na djelotvoran pravno sredstvo i na pošteno suđenje. Točnije, radi odgovora na rizike od mogućih pristranosti, pogrešaka i netransparentnosti, primjereno je klasificirati kao visokorizične one UI sustave koji su namijenjeni korištenju od strane pravosudnog tijela ili u njegovo ime za pomoć pravosudnim tijelima u istraživanju i tumačenju činjenica i prava te primjeni prava na konkretan skup činjenica. UI sustavi namijenjeni korištenju od strane tijela za alternativno rješavanje sporova u te svrhe također bi se trebali smatrati visokorizičnima ako ishodi postupka alternativnog rješavanja sporova proizvode pravne učinke za stranke. Alati umjetne inteligencije mogu biti potpora ovlasti sudaca za donošenje odluka ili neovisnosti sudstva, ali ih ne bi smjeli zamijeniti: konačno donošenje odluka mora i dalje biti aktivnost koju obavljaju ljudi. Klasifikacija UI sustava kao visokorizičnih ne bi se trebala odnositi na UI sustave namijenjene isključivo pomoćnim administrativnim aktivnostima koje ne utječu na stvarno sudovanje u pojedinačnim slučajevima, kao što su anonimizacija ili pseudonimizacija sudskih odluka, dokumenata ili podataka, komunikacija među osobljem ili administrativne zadaće.
(61)
Certain AI systems intended for the administration of justice and democratic processes should be classified as high-risk, considering their potentially significant impact on democracy, the rule of law, individual freedoms as well as the right to an effective remedy and to a fair trial. In particular, to address the risks of potential biases, errors and opacity, it is appropriate to qualify as high-risk AI systems intended to be used by a judicial authority or on its behalf to assist judicial authorities in researching and interpreting facts and the law and in applying the law to a concrete set of facts. AI systems intended to be used by alternative dispute resolution bodies for those purposes should also be considered to be high-risk when the outcomes of the alternative dispute resolution proceedings produce legal effects for the parties. The use of AI tools can support the decision-making power of judges or judicial independence, but should not replace it: the final decision-making must remain a human-driven activity. The classification of AI systems as high-risk should not, however, extend to AI systems intended for purely ancillary administrative activities that do not affect the actual administration of justice in individual cases, such as anonymisation or pseudonymisation of judicial decisions, documents or data, communication between personnel, administrative tasks.
(62)
Ne dovodeći u pitanja pravila predviđena u Uredbi (EU) 2024/900. Europskog parlamenta i Vijeća (34), te kako bi se uklonili rizici od neopravdanog vanjskog uplitanja u pravo glasa utvrđeno u članku 39. Povelje i od nerazmjernih učinaka na demokraciju i vladavinu prava, UI sustave namijenjene za korištenje kako bi se utjecalo na ishod izbora ili referenduma ili na ponašanje fizičkih osoba tijekom glasovanja na izborima ili referendumima trebalo bi klasificirati kao visokorizične UI sustave, uz iznimku UI sustava čijim izlaznim vrijednostima fizičke osobe nisu izravno izložene, kao što su alati koji se upotrebljavaju za organizaciju, optimizaciju i strukturiranje političkih kampanja s administrativnog i logističkog stajališta.
(62)
Without prejudice to the rules provided for in Regulation (EU) 2024/900 of the European Parliament and of the Council (34), and in order to address the risks of undue external interference with the right to vote enshrined in Article 39 of the Charter, and of adverse effects on democracy and the rule of law, AI systems intended to be used to influence the outcome of an election or referendum or the voting behaviour of natural persons in the exercise of their vote in elections or referenda should be classified as high-risk AI systems with the exception of AI systems whose output natural persons are not directly exposed to, such as tools used to organise, optimise and structure political campaigns from an administrative and logistical point of view.
(63)
Činjenicu da je pojedini UI sustav klasificiran kao visokorizičan na temelju ove Uredbe ne bi trebalo tumačiti kao da je korištenje tog sustava zakonito na temelju drugih pravnih akata Unije ili nacionalnog prava usklađenog s pravom Unije, primjerice prava o zaštiti osobnih podataka, o korištenju poligrafa i sličnih alata ili drugih sustava kojima se utvrđuje emocionalno stanje fizičkih osoba. Svako takvo korištenje trebalo bi se i dalje ostvarivati samo u skladu s primjenjivim zahtjevima koji proizlaze iz Povelje te primjenjivih akata sekundarnog prava Unije i nacionalnog prava. Ovu Uredbu ne bi trebalo tumačiti kao pružanje pravne osnove za obradu osobnih podataka, uključujući, ako je to relevantno, posebne kategorije osobnih podataka, osim ako je u ovoj Uredbi izričito predviđeno drugačije.
(63)
The fact that an AI system is classified as a high-risk AI system under this Regulation should not be interpreted as indicating that the use of the system is lawful under other acts of Union law or under national law compatible with Union law, such as on the protection of personal data, on the use of polygraphs and similar tools or other systems to detect the emotional state of natural persons. Any such use should continue to occur solely in accordance with the applicable requirements resulting from the Charter and from the applicable acts of secondary Union law and national law. This Regulation should not be understood as providing for the legal ground for processing of personal data, including special categories of personal data, where relevant, unless it is specifically otherwise provided for in this Regulation.
(64)
Kako bi se smanjili rizici visokorizičnih UI sustava koji su stavljeni na tržište ili u upotrebu i kako bi se osigurala visoka razina pouzdanosti, na visokorizične UI sustave trebali bi se primjenjivati određeni obvezni zahtjevi, uzimajući u obzir namjenu i kontekst korištenja UI sustava i u skladu sa sustavom upravljanja rizikom koji treba uspostaviti dobavljač. Mjerama koje dobavljači donose radi usklađivanja s obveznim zahtjevima ove Uredbe trebalo bi uzeti u obzir općepriznata najnovija dostignuća u području umjetne inteligencije i te bi mjere trebale biti razmjerne i djelotvorne za postizanje ciljeva ove Uredbe. Na temelju novog zakonodavnog okvira, kako je pojašnjeno u obavijesti Komisije pod nazivom „‚Plavi vodič’ o provedbi pravila EU-a o proizvodima 2022.”, opće je pravilo da se više od jednog pravnog akta zakonodavstva Unije o usklađivanju može primjenjivati na jedan proizvod jer se stavljanje na raspolaganje ili u upotrebu može provesti samo ako je proizvod u skladu sa svim primjenjivim zakonodavstvom Unije o usklađivanju. Opasnosti UI sustavâ obuhvaćene zahtjevima ove Uredbe odnose se na različite aspekte od onih u postojećem zakonodavstvu Unije o usklađivanju te bi se stoga zahtjevima ove Uredbe dopunio postojeći skup zakonodavstva Unije o usklađivanju. Na primjer, strojevi ili medicinski proizvodi u koje je ugrađen UI sustav mogli bi predstavljati rizike koji nisu obuhvaćeni osnovnim zdravstvenim i sigurnosnim zahtjevima utvrđenima u relevantnom zakonodavstvu Unije o usklađivanju jer se to sektorsko pravo ne bavi rizicima specifičnima za UI sustave. Zbog toga je potrebna istovremena i komplementarna primjena raznih zakonodavnih akata. Kako bi se osigurala dosljednost i izbjeglo nepotrebno administrativno opterećenje i nepotrebni troškovi, dobavljači proizvoda koji sadržava jedan ili više visokorizičnih UI sustava, na koje se primjenjuju zahtjevi iz ove Uredbe i zahtjevi iz zakonodavstva Unije o usklađivanju na temelju novog zakonodavnog okvira i navedeni u prilogu ovoj Uredbi, trebali bi biti fleksibilni u pogledu operativnih odluka o tome kako na najbolji način osigurati usklađenost proizvoda koji sadržava jedan ili više UI sustava sa svim primjenjivim zahtjevima zakonodavstva Unije o usklađivanju. Ta bi fleksibilnost mogla značiti, na primjer, odluku dobavljača da dio potrebnih postupaka testiranja i izvješćivanja, informacija i dokumentacije koji se zahtijevaju na temelju ove Uredbe integrira u već postojeću dokumentaciju i postupke koji se zahtijevaju na temelju postojećeg zakonodavstva Unije o usklađivanju koje se temelji na novom zakonodavnom okviru i koje je navedeno u prilogu ovoj Uredbi. To ni na koji način ne bi trebalo umanjiti obvezu dobavljača da poštuje sve primjenjive zahtjeve.
(64)
To mitigate the risks from high-risk AI systems placed on the market or put into service and to ensure a high level of trustworthiness, certain mandatory requirements should apply to high-risk AI systems, taking into account the intended purpose and the context of use of the AI system and according to the risk-management system to be established by the provider. The measures adopted by the providers to comply with the mandatory requirements of this Regulation should take into account the generally acknowledged state of the art on AI, be proportionate and effective to meet the objectives of this Regulation. Based on the New Legislative Framework, as clarified in Commission notice ‘The “Blue Guide” on the implementation of EU product rules 2022’, the general rule is that more than one legal act of Union harmonisation legislation may be applicable to one product, since the making available or putting into service can take place only when the product complies with all applicable Union harmonisation legislation. The hazards of AI systems covered by the requirements of this Regulation concern different aspects than the existing Union harmonisation legislation and therefore the requirements of this Regulation would complement the existing body of the Union harmonisation legislation. For example, machinery or medical devices products incorporating an AI system might present risks not addressed by the essential health and safety requirements set out in the relevant Union harmonised legislation, as that sectoral law does not deal with risks specific to AI systems. This calls for a simultaneous and complementary application of the various legislative acts. To ensure consistency and to avoid an unnecessary administrative burden and unnecessary costs, providers of a product that contains one or more high-risk AI system, to which the requirements of this Regulation and of the Union harmonisation legislation based on the New Legislative Framework and listed in an annex to this Regulation apply, should have flexibility with regard to operational decisions on how to ensure compliance of a product that contains one or more AI systems with all the applicable requirements of that Union harmonised legislation in an optimal manner. That flexibility could mean, for example a decision by the provider to integrate a part of the necessary testing and reporting processes, information and documentation required under this Regulation into already existing documentation and procedures required under existing Union harmonisation legislation based on the New Legislative Framework and listed in an annex to this Regulation. This should not, in any way, undermine the obligation of the provider to comply with all the applicable requirements.
(65)
Sustav upravljanja rizikom trebao bi se sastojati od kontinuiranog iterativnog procesa koji se planira i izvodi tijekom cijelog životnog ciklusa visokorizičnog UI sustava. Taj bi proces trebao biti usmjeren na utvrđivanje i ublažavanje relevantnih rizika UI sustavâ za zdravlje, sigurnost i temeljna prava. Sustav upravljanja rizikom trebalo bi redovito preispitivati i ažurirati kako bi se osigurala njegova kontinuirana djelotvornost, kao i obrazlaganje i dokumentiranje svih važnih donesenih odluka i poduzetih mjera koje podliježu ovoj Uredbi. Tim bi procesom trebalo osigurati da dobavljač utvrdi rizike ili nepovoljne učinke i provede mjere za ublažavanje poznatih i razumno predvidljivih rizika UI sustavâ za zdravlje, sigurnost i temeljna prava s obzirom na njihovu namjenu i razumno predvidljivu pogrešnu upotrebu, uključujući moguće rizike koji proizlaze iz interakcije između UI sustava i okružja u kojem djeluje. Sustav upravljanja rizikom trebao bi primjenjivati najprikladnije mjere upravljanja rizikom s obzirom na najnovija dostignuća u području umjetne inteligencije. Pri utvrđivanju najprikladnijih mjera upravljanja rizikom dobavljač bi trebao dokumentirati i objasniti donesene odluke te, prema potrebi, uključiti stručnjake i vanjske dionike. Pri utvrđivanju razumno predvidljive pogrešne upotrebe visokorizičnih UI sustava dobavljač bi trebao obuhvatiti korištenja UI sustavâ za koja se, iako nisu izravno obuhvaćena namjenom i navedena u uputama za korištenje, ipak može razumno pretpostaviti da će proizaći iz lako predvidljivog ljudskog ponašanja u kontekstu specifičnih značajki i korištenja određenog UI sustava. Sve poznate i predvidljive okolnosti povezane s korištenjem visokorizičnog UI sustava u skladu s njegovom namjenom ili u uvjetima razumno predvidljive pogrešne upotrebe, koja može prouzročiti rizike za zdravlje i sigurnost ili temeljna prava, trebale bi biti navedene u uputama za korištenje koje pruža dobavljač. Time treba osigurati da ih je subjekt koji uvodi sustav svjestan i da ih uzme u obzir pri korištenju visokorizičnog UI sustava. Utvrđivanje i provedba mjera za ublažavanje rizika od predvidljive pogrešne upotrebe na temelju ove Uredbe ne bi trebali iziskivati posebno dodatno osposobljavanje za visokorizični UI sustav od strane dobavljača kako bi ih se riješila razumno predvidljiva pogrešna upotreba. Međutim, dobavljače se potiče da razmotre takve dodatne mjere osposobljavanja kako bi se ublažile razumno predvidljive pogrešne upotrebe ako je to potrebno i primjereno.
(65)
The risk-management system should consist of a continuous, iterative process that is planned and run throughout the entire lifecycle of a high-risk AI system. That process should be aimed at identifying and mitigating the relevant risks of AI systems on health, safety and fundamental rights. The risk-management system should be regularly reviewed and updated to ensure its continuing effectiveness, as well as justification and documentation of any significant decisions and actions taken subject to this Regulation. This process should ensure that the provider identifies risks or adverse impacts and implements mitigation measures for the known and reasonably foreseeable risks of AI systems to the health, safety and fundamental rights in light of their intended purpose and reasonably foreseeable misuse, including the possible risks arising from the interaction between the AI system and the environment within which it operates. The risk-management system should adopt the most appropriate risk-management measures in light of the state of the art in AI. When identifying the most appropriate risk-management measures, the provider should document and explain the choices made and, when relevant, involve experts and external stakeholders. In identifying the reasonably foreseeable misuse of high-risk AI systems, the provider should cover uses of AI systems which, while not directly covered by the intended purpose and provided for in the instruction for use may nevertheless be reasonably expected to result from readily predictable human behaviour in the context of the specific characteristics and use of a particular AI system. Any known or foreseeable circumstances related to the use of the high-risk AI system in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, which may lead to risks to the health and safety or fundamental rights should be included in the instructions for use that are provided by the provider. This is to ensure that the deployer is aware and takes them into account when using the high-risk AI system. Identifying and implementing risk mitigation measures for foreseeable misuse under this Regulation should not require specific additional training for the high-risk AI system by the provider to address foreseeable misuse. The providers however are encouraged to consider such additional training measures to mitigate reasonable foreseeable misuses as necessary and appropriate.
(66)
Zahtjevi bi se trebali primjenjivati na visokorizične UI sustave u pogledu upravljanja rizikom, kvalitete i relevantnosti korištenih skupova podataka, tehničke dokumentacije i vođenja evidencije, transparentnosti i pružanja informacija subjektima koji uvode sustav, ljudskog nadzora te otpornosti, točnosti i kibernetičke sigurnosti. Ti su zahtjevi potrebni kako bi se djelotvorno ublažili rizici za zdravlje, sigurnost i temeljna prava. S obzirom na to da druge mjere kojima se manje ograničava trgovina nisu u razumnoj mjeri dostupne ti zahtjevi nisu neopravdana ograničenja u području trgovine.
(66)
Requirements should apply to high-risk AI systems as regards risk management, the quality and relevance of data sets used, technical documentation and record-keeping, transparency and the provision of information to deployers, human oversight, and robustness, accuracy and cybersecurity. Those requirements are necessary to effectively mitigate the risks for health, safety and fundamental rights. As no other less trade restrictive measures are reasonably available those requirements are not unjustified restrictions to trade.
(67)
Visokokvalitetni podaci i pristup njima imaju ključnu ulogu u pružanju strukture i osiguravanju učinkovitosti mnogih UI sustava, posebno kad se upotrebljavaju tehnike s treniranjem modelâ, s ciljem da visokorizični UI sustav funkcionira kako je predviđeno i sigurno te da ne postane izvor diskriminacije koja je zabranjena pravom Unije. Visokokvalitetni skupovi podataka za treniranje, validaciju i testiranje zahtijevaju provedbu odgovarajućih praksi upravljanja i rukovanja podacima. Skupovi podataka za treniranje, validaciju i testiranje, uključujući oznake, trebali bi biti relevantni, dovoljno reprezentativni i u najvećoj mogućoj mjeri biti bez pogrešaka te potpuni s obzirom na namjenu sustava. Kako bi se olakšala usklađenost s pravom Unije o zaštiti podataka, kao što je Uredba (EU) 2016/679, prakse upravljanja i rukovanja podacima trebale bi u slučaju osobnih podataka uključivati transparentnost u vezi s izvornom svrhom prikupljanja podataka. Skupovi podataka trebali bi imati i odgovarajuća statistička obilježja, među ostalim i u pogledu osoba ili skupina osoba u vezi s kojima se visokorizični UI sustav namjerava koristiti, pri čemu se posebna pažnja posvećuje ublažavanju mogućih pristranosti u skupovima podataka, koje bi mogle utjecati na zdravlje i sigurnost osoba, negativno utjecati na temeljna prava ili dovesti do diskriminacije zabranjene pravom Unije, osobito ako izlazne vrijednosti utječu na ulazne vrijednosti za buduće operacije (povratne veze). Pristranosti mogu primjerice biti inherentne temeljnim skupovima podataka, osobito kad se upotrebljavaju povijesni podaci, ili se mogu generirati kad se sustavi implementiraju u stvarnom svijetu. Na rezultate koje pružaju UI sustavi mogle bi utjecati takve inherentne pristranosti koje imaju tendenciju postupnog povećanja, čime se perpetuira i pojačava postojeća diskriminacija, posebno za osobe koje pripadaju određenim skupinama ranjivih osoba, uključujući rasne ili etničke skupine. Zahtjev da skupovi podataka u najvećoj mogućoj mjeri budu potpuni i bez pogrešaka ne bi trebao utjecati na primjenu tehnika za zaštitu privatnosti u kontekstu razvoja i testiranja UI sustavâ. U skupovima podataka osobito se u obzir uzimaju, u mjeri u kojoj to iziskuje njihova namjena, obilježja, značajke ili elementi specifični za zemljopisno, kontekstualno, bihevioralno ili funkcionalno okružje u kojem se UI sustav namjerava upotrebljavati. Zahtjevi povezani s upravljanjem podacima mogu se ispuniti angažiranjem trećih strana koje nude certificirane usluge usklađivanja, uključujući provjeru upravljanja podacima, cjelovitosti skupa podataka te prakse treniranja, validacije i testiranja podataka, u mjeri u kojoj je osigurana usklađenost sa zahtjevima u pogledu podataka iz ove Uredbe.
(67)
High-quality data and access to high-quality data plays a vital role in providing structure and in ensuring the performance of many AI systems, especially when techniques involving the training of models are used, with a view to ensure that the high-risk AI system performs as intended and safely and it does not become a source of discrimination prohibited by Union law. High-quality data sets for training, validation and testing require the implementation of appropriate data governance and management practices. Data sets for training, validation and testing, including the labels, should be relevant, sufficiently representative, and to the best extent possible free of errors and complete in view of the intended purpose of the system. In order to facilitate compliance with Union data protection law, such as Regulation (EU) 2016/679, data governance and management practices should include, in the case of personal data, transparency about the original purpose of the data collection. The data sets should also have the appropriate statistical properties, including as regards the persons or groups of persons in relation to whom the high-risk AI system is intended to be used, with specific attention to the mitigation of possible biases in the data sets, that are likely to affect the health and safety of persons, have a negative impact on fundamental rights or lead to discrimination prohibited under Union law, especially where data outputs influence inputs for future operations (feedback loops). Biases can for example be inherent in underlying data sets, especially when historical data is being used, or generated when the systems are implemented in real world settings. Results provided by AI systems could be influenced by such inherent biases that are inclined to gradually increase and thereby perpetuate and amplify existing discrimination, in particular for persons belonging to certain vulnerable groups, including racial or ethnic groups. The requirement for the data sets to be to the best extent possible complete and free of errors should not affect the use of privacy-preserving techniques in the context of the development and testing of AI systems. In particular, data sets should take into account, to the extent required by their intended purpose, the features, characteristics or elements that are particular to the specific geographical, contextual, behavioural or functional setting which the AI system is intended to be used. The requirements related to data governance can be complied with by having recourse to third parties that offer certified compliance services including verification of data governance, data set integrity, and data training, validation and testing practices, as far as compliance with the data requirements of this Regulation are ensured.
(68)
Kad je riječ o razvoju i procjeni visokorizičnih UI sustava, određeni akteri, kao što su dobavljači, prijavljena tijela i drugi relevantni subjekti, na primjer europski centri za digitalne inovacije, centri za testiranje i eksperimentiranje te istraživači, trebali bi imati pristup visokokvalitetnim skupovima podataka unutar područjâ aktivnosti tih aktera povezanih s ovom Uredbom. Zajednički europski podatkovni prostori koje je uspostavila Komisija te olakšavanje razmjene podataka među poduzećima i s državnim upravama u javnom interesu bit će ključni za osiguravanje pouzdanog, odgovornog i nediskriminirajućeg pristupa visokokvalitetnim podacima za treniranje, validaciju i testiranje UI sustavâ. Na primjer, u području zdravstva zajednički europski prostor za zdravstvene podatke olakšat će nediskriminirajući pristup zdravstvenim podacima i treniranje algoritama umjetne inteligencije s pomoću tih skupova podataka tako da se očuvaju privatnost, sigurnost, pravovremenost, transparentnost i pouzdanost uz odgovarajuće institucijsko upravljanje. Relevantna nadležna tijela, uključujući sektorska tijela, koja pružaju ili olakšavaju pristup podacima, mogu olakšati i pružanje visokokvalitetnih podataka za treniranje, validaciju i testiranje UI sustavâ.
(68)
For the development and assessment of high-risk AI systems, certain actors, such as providers, notified bodies and other relevant entities, such as European Digital Innovation Hubs, testing experimentation facilities and researchers, should be able to access and use high-quality data sets within the fields of activities of those actors which are related to this Regulation. European common data spaces established by the Commission and the facilitation of data sharing between businesses and with government in the public interest will be instrumental to provide trustful, accountable and non-discriminatory access to high-quality data for the training, validation and testing of AI systems. For example, in health, the European health data space will facilitate non-discriminatory access to health data and the training of AI algorithms on those data sets, in a privacy-preserving, secure, timely, transparent and trustworthy manner, and with an appropriate institutional governance. Relevant competent authorities, including sectoral ones, providing or supporting the access to data may also support the provision of high-quality data for the training, validation and testing of AI systems.
(69)
Pravo na privatnost i zaštitu osobnih podataka mora biti zajamčeno tijekom cijelog životnog ciklusa UI sustava. U tom su pogledu načela smanjenja količine podataka te tehničke i integrirane zaštite podataka, kako su utvrđena u pravu Unije o zaštiti podataka, primjenjiva tijekom obrade osobnih podataka. Mjere koje dobavljači poduzimaju kako bi osigurali usklađenost s tim načelima mogu uključivati ne samo anonimizaciju i kriptiranje, nego i upotrebu tehnologije kojom se omogućuje dovođenje algoritama u podatke i treniranje UI sustavâ bez prijenosa između strana ili kopiranja samih neobrađenih ili strukturiranih podataka, ne dovodeći u pitanje zahtjeve u pogledu upravljanja podacima predviđene u ovoj Uredbi.
(69)
The right to privacy and to protection of personal data must be guaranteed throughout the entire lifecycle of the AI system. In this regard, the principles of data minimisation and data protection by design and by default, as set out in Union data protection law, are applicable when personal data are processed. Measures taken by providers to ensure compliance with those principles may include not only anonymisation and encryption, but also the use of technology that permits algorithms to be brought to the data and allows training of AI systems without the transmission between parties or copying of the raw or structured data themselves, without prejudice to the requirements on data governance provided for in this Regulation.
(70)
Kako bi se prava drugih osoba zaštitila od diskriminacije koja bi mogla proizaći iz pristranosti UI sustavâ, dobavljači bi iznimno trebali, u mjeri u kojoj je to nužno u svrhu otkrivanja i ispravljanja pristranosti u vezi s visokorizičnim UI sustavima, podložno odgovarajućim zaštitnim mjerama za temeljna prava i slobode fizičkih osoba i nakon primjene svih primjenjivih uvjeta utvrđenih na temelju ove Uredbe, dodatno uz uvjete utvrđene u uredbama (EU) 2016/679 i (EU) 2018/1725 te Direktivi (EU) 2016/680, moći obrađivati i posebne kategorije osobnih podataka kao pitanje od znatnog javnog interesa u smislu članka 9. stavka 2. točke (g) Uredbe (EU) 2016/679 i članka 10. stavka 2. točke (g) Uredbe (EU) 2018/1725.
(70)
In order to protect the right of others from the discrimination that might result from the bias in AI systems, the providers should, exceptionally, to the extent that it is strictly necessary for the purpose of ensuring bias detection and correction in relation to the high-risk AI systems, subject to appropriate safeguards for the fundamental rights and freedoms of natural persons and following the application of all applicable conditions laid down under this Regulation in addition to the conditions laid down in Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, be able to process also special categories of personal data, as a matter of substantial public interest within the meaning of Article 9(2), point (g) of Regulation (EU) 2016/679 and Article 10(2), point (g) of Regulation (EU) 2018/1725.
(71)
Postojanje razumljivih informacija o načinu na koji su visokorizični UI sustavi razvijeni i načinu njihova rada tijekom cijelog njihova životnog ciklusa ključno je za omogućivanje sljedivosti tih sustava, provjeru usklađenosti sa zahtjevima ove Uredbe te praćenje njihova rada i praćenje nakon stavljanja na tržište. Za to je potrebno vođenje evidencije i dostupnost tehničke dokumentacije koja sadržava informacije potrebne za procjenu usklađenosti UI sustava s relevantnim zahtjevima i olakšavanje praćenja nakon stavljanja na tržište. Takve informacije trebale bi uključivati opće značajke, sposobnosti i ograničenja sustava, algoritme, podatke, postupke treniranja, testiranja i validacije koji su primijenjeni, kao i dokumentaciju o relevantnom sustavu upravljanja rizikom te bi trebale biti sastavljene u obliku koji je jasan i razumljiv. Tehnička dokumentacija trebala bi se ažurirati na odgovarajući način tijekom cijelog životnog ciklusa UI sustava. Nadalje, kod visokorizičnih UI sustava trebalo bi biti tehnički omogućeno automatsko bilježenje događaja putem vođenja evidencije tijekom cijelog životnog ciklusa sustava.
(71)
Having comprehensible information on how high-risk AI systems have been developed and how they perform throughout their lifetime is essential to enable traceability of those systems, verify compliance with the requirements under this Regulation, as well as monitoring of their operations and post market monitoring. This requires keeping records and the availability of technical documentation, containing information which is necessary to assess the compliance of the AI system with the relevant requirements and facilitate post market monitoring. Such information should include the general characteristics, capabilities and limitations of the system, algorithms, data, training, testing and validation processes used as well as documentation on the relevant risk-management system and drawn in a clear and comprehensive form. The technical documentation should be kept up to date, appropriately throughout the lifetime of the AI system. Furthermore, high-risk AI systems should technically allow for the automatic recording of events, by means of logs, over the duration of the lifetime of the system.
(72)
Kako bi se pristupilo rješavanju problema povezanih s netransparentnošću i složenošću određenih UI sustava i pomoglo subjektima koji uvode UI sustav da ispune svoje obveze na temelju ove Uredbe, za visokorizične UI sustave trebalo bi zahtijevati transparentnost prije njihova stavljanja na tržište ili u upotrebu. Visokorizični UI sustavi trebali bi biti dizajnirani tako da subjekti koji ih uvode mogu razumjeti kako UI sustav funkcionira, evaluirati njegovu funkcionalnost te razumjeti njegove prednosti i ograničenja. Visokorizični UI sustavi trebali bi biti popraćeni odgovarajućim informacijama u obliku uputa za korištenje. Takve informacije trebale bi uključivati značajke, sposobnosti i ograničenja rada UI sustava. Oni bi obuhvaćali informacije o mogućim poznatim i predvidljivim okolnostima povezanima s korištenjem visokorizičnog UI sustava, uključujući djelovanje subjekta koji uvodi sustav koje može utjecati na ponašanje i učinkovitost sustava, u okviru kojeg UI sustav može prouzročiti rizike za zdravlje, sigurnost i temeljna prava, o promjenama koje je dobavljač unaprijed odredio i ocijenio u pogledu sukladnosti te o relevantnim mjerama ljudskog nadzora, uključujući mjere kojima se subjektima koji uvode sustav olakšava tumačenje izlaznih vrijednosti UI sustava. Transparentnost, uključujući popratne upute za korištenje, trebala bi pomoći subjektima koji uvode sustav pri njegovu korištenju i poduprijeti njihovo informirano donošenje odluka. Subjekti koji uvode sustav trebali bi, među ostalim, biti u boljoj poziciji da pravilno odaberu sustav koji namjeravaju upotrebljavati s obzirom na obveze koje se na njih primjenjuju, biti informirani o namjeravanim i isključenim upotrebama te pravilno i primjereno upotrebljavati UI sustav. Kako bi se poboljšale čitljivost i pristupačnost informacija sadržanih u uputama za korištenje, trebalo bi, prema potrebi, u njih uključiti ilustrativne primjere, na primjer o ograničenjima te o namjeravanim i isključenim upotrebama UI sustava. Dobavljači bi trebali osigurati da sva dokumentacija, uključujući upute za korištenje, sadržava smislene, sveobuhvatne, pristupačne i razumljive informacije, uzimajući u obzir potrebe i predvidljivo znanje ciljanih subjekata koji uvode sustav. Upute za korištenje trebale bi biti dostupne na jeziku koji bez poteškoća razumiju ciljani subjekti koji uvode sustav, a određuje ga dotična država članica.
(72)
To address concerns related to opacity and complexity of certain AI systems and help deployers to fulfil their obligations under this Regulation, transparency should be required for high-risk AI systems before they are placed on the market or put it into service. High-risk AI systems should be designed in a manner to enable deployers to understand how the AI system works, evaluate its functionality, and comprehend its strengths and limitations. High-risk AI systems should be accompanied by appropriate information in the form of instructions of use. Such information should include the characteristics, capabilities and limitations of performance of the AI system. Those would cover information on possible known and foreseeable circumstances related to the use of the high-risk AI system, including deployer action that may influence system behaviour and performance, under which the AI system can lead to risks to health, safety, and fundamental rights, on the changes that have been pre-determined and assessed for conformity by the provider and on the relevant human oversight measures, including the measures to facilitate the interpretation of the outputs of the AI system by the deployers. Transparency, including the accompanying instructions for use, should assist deployers in the use of the system and support informed decision making by them. Deployers should, inter alia, be in a better position to make the correct choice of the system that they intend to use in light of the obligations applicable to them, be educated about the intended and precluded uses, and use the AI system correctly and as appropriate. In order to enhance legibility and accessibility of the information included in the instructions of use, where appropriate, illustrative examples, for instance on the limitations and on the intended and precluded uses of the AI system, should be included. Providers should ensure that all documentation, including the instructions for use, contains meaningful, comprehensive, accessible and understandable information, taking into account the needs and foreseeable knowledge of the target deployers. Instructions for use should be made available in a language which can be easily understood by target deployers, as determined by the Member State concerned.
(73)
Visokorizične UI sustave trebalo bi dizajnirati i razvijati tako da fizičke osobe mogu nadzirati njihovo funkcioniranje, osigurati da se upotrebljavaju kako je predviđeno i da se njihovi učinci rješavaju tijekom životnog ciklusa sustava. U tom bi cilju dobavljač sustava prije njegova stavljanja na tržište ili u upotrebu trebao utvrditi odgovarajuće mjere ljudskog nadzora. Prema potrebi takvim bi mjerama osobito trebalo osigurati da su u sustav ugrađena operativna ograničenja koja sam sustav ne može promijeniti i da on reagira na ljudske operatere te da fizičke osobe zadužene za ljudski nadzor imaju potrebne kompetencije, osposobljavanje i ovlasti za obavljanje te zadaće. Također je neophodno, prema potrebi, osigurati da visokorizični UI sustavi uključuju mehanizme za usmjeravanje i informiranje fizičke osobe zadužene za ljudski nadzor kako bi donijela informirane odluke o tome treba li, kada i kako intervenirati da bi se izbjegle negativne posljedice ili rizici odnosno sustav zaustavio ako ne funkcionira kako je predviđeno. S obzirom na znatne posljedice za osobe ako u određenim sustavima za biometrijsku identifikaciju dođe do netočnih rezultata, primjereno je za te sustave predvidjeti zahtjev u pogledu pojačanog ljudskog nadzora tako da subjekt koji uvodi sustav ne može poduzeti nikakve radnje ili odluke na temelju identifikacije proizišle iz sustava ako identifikaciju nisu zasebno provjerile i potvrdile najmanje dvije fizičke osobe. Te osobe mogle bi biti iz jednog ili više subjekata i mogle bi uključivati osobu koja upravlja sustavom ili ga upotrebljava. Taj zahtjev ne bi trebao predstavljati nepotrebno opterećenje ili uzrokovati kašnjenja i moglo bi biti dovoljno da se zasebne provjere koje provode različite osobe automatski bilježe u evidenciji koju generira sustav. S obzirom na posebnosti područjâ kaznenog progona, migracija, nadzora državne granice i azila, taj se zahtjev ne bi trebao primjenjivati ako se u skladu s pravom Unije ili nacionalnim pravom smatra da je primjena tog zahtjeva nerazmjerna.
(73)
High-risk AI systems should be designed and developed in such a way that natural persons can oversee their functioning, ensure that they are used as intended and that their impacts are addressed over the system’s lifecycle. To that end, appropriate human oversight measures should be identified by the provider of the system before its placing on the market or putting into service. In particular, where appropriate, such measures should guarantee that the system is subject to in-built operational constraints that cannot be overridden by the system itself and is responsive to the human operator, and that the natural persons to whom human oversight has been assigned have the necessary competence, training and authority to carry out that role. It is also essential, as appropriate, to ensure that high-risk AI systems include mechanisms to guide and inform a natural person to whom human oversight has been assigned to make informed decisions if, when and how to intervene in order to avoid negative consequences or risks, or stop the system if it does not perform as intended. Considering the significant consequences for persons in the case of an incorrect match by certain biometric identification systems, it is appropriate to provide for an enhanced human oversight requirement for those systems so that no action or decision may be taken by the deployer on the basis of the identification resulting from the system unless this has been separately verified and confirmed by at least two natural persons. Those persons could be from one or more entities and include the person operating or using the system. This requirement should not pose unnecessary burden or delays and it could be sufficient that the separate verifications by the different persons are automatically recorded in the logs generated by the system. Given the specificities of the areas of law enforcement, migration, border control and asylum, this requirement should not apply where Union or national law considers the application of that requirement to be disproportionate.
(74)
Visokorizični UI sustavi trebali bi imati ujednačen učinak tijekom cijelog životnog ciklusa te posjedovati odgovarajuću razinu točnosti, otpornosti i kibernetičke sigurnosti s obzirom na njihovu namjenu i u skladu s općepriznatim najnovijim dostignućima. Komisija i relevantne organizacije i dionici potiču se da uzmu u obzir ublažavanje rizika i negativnih učinaka UI sustava. Očekivana razina parametara učinkovitosti trebala bi se navesti u popratnim uputama za korištenje. Dobavljači se pozivaju da te informacije dostave subjektima koji uvode sustav na jasan i lako razumljiv način, bez nesporazuma ili obmanjujućih izjava. Pravom Unije o zakonskom mjeriteljstvu, uključujući direktive 2014/31/EU (35) i 2014/32/EU (36) Europskog parlamenta i Vijeća, nastoji se osigurati točnost mjerenja te doprinijeti transparentnosti i pravednosti poslovnih transakcija. U tom kontekstu, u suradnji s relevantnim dionicima i organizacijama, kao što su tijela za mjeriteljstvo i utvrđivanje referentnih vrijednosti, Komisija bi prema potrebi trebala poticati razvoj referentnih vrijednosti i metodologija mjerenja za UI sustave. Komisija bi pritom trebala uzeti u obzir međunarodne partnere koji rade na mjeriteljstvu i relevantnim mjernim pokazateljima povezanima s umjetnom inteligencijom te surađivati s njima.
(74)
High-risk AI systems should perform consistently throughout their lifecycle and meet an appropriate level of accuracy, robustness and cybersecurity, in light of their intended purpose and in accordance with the generally acknowledged state of the art. The Commission and relevant organisations and stakeholders are encouraged to take due consideration of the mitigation of risks and the negative impacts of the AI system. The expected level of performance metrics should be declared in the accompanying instructions of use. Providers are urged to communicate that information to deployers in a clear and easily understandable way, free of misunderstandings or misleading statements. Union law on legal metrology, including Directives 2014/31/EU (35) and 2014/32/EU (36) of the European Parliament and of the Council, aims to ensure the accuracy of measurements and to help the transparency and fairness of commercial transactions. In that context, in cooperation with relevant stakeholders and organisation, such as metrology and benchmarking authorities, the Commission should encourage, as appropriate, the development of benchmarks and measurement methodologies for AI systems. In doing so, the Commission should take note and collaborate with international partners working on metrology and relevant measurement indicators relating to AI.
(75)
Tehnička otpornost ključan je zahtjev za visokorizične UI sustave. Trebali bi biti otporni na štetno ili na drugi način nepoželjno ponašanje koje bi moglo proizaći iz ograničenjâ unutar sustava ili okružja u kojem sustavi rade (npr. pogreške, kvarovi, nedosljednosti, neočekivane situacije). Stoga bi trebalo poduzeti tehničke i organizacijske mjere kako bi se osigurala otpornost visokorizičnih UI sustava, na primjer dizajniranjem i razvojem odgovarajućih tehničkih rješenja za sprečavanje ili što veće smanjenje štetnog ili na drugi način nepoželjnog ponašanja. Ta tehnička rješenja mogu obuhvaćati, na primjer, mehanizme koji omogućuju sustavu da sigurno prekine svoj rad (sigurnosni planovi) u slučaju određenih anomalija ili ako se rad odvija izvan određenih unaprijed utvrđenih granica. Nepostojanje zaštite od tih rizika moglo bi imati posljedice za sigurnost ili negativno utjecati na temeljna prava, primjerice zbog pogrešnih odluka ili krivih ili pristranih izlaznih vrijednosti koje generira UI sustav.
(75)
Technical robustness is a key requirement for high-risk AI systems. They should be resilient in relation to harmful or otherwise undesirable behaviour that may result from limitations within the systems or the environment in which the systems operate (e.g. errors, faults, inconsistencies, unexpected situations). Therefore, technical and organisational measures should be taken to ensure robustness of high-risk AI systems, for example by designing and developing appropriate technical solutions to prevent or minimise harmful or otherwise undesirable behaviour. Those technical solution may include for instance mechanisms enabling the system to safely interrupt its operation (fail-safe plans) in the presence of certain anomalies or when operation takes place outside certain predetermined boundaries. Failure to protect against these risks could lead to safety impacts or negatively affect the fundamental rights, for example due to erroneous decisions or wrong or biased outputs generated by the AI system.
(76)
Kibernetička sigurnost ključna je za otpornost UI sustavâ na pokušaje zlonamjernih trećih strana da iskoriste slabe točke tih sustava kako bi im izmijenili način korištenja, ponašanje, učinkovitost ili ugrozili njihova sigurnosna svojstva. U kibernetičkim napadima na UI sustave moguće je iskoristiti resurse specifične za umjetnu inteligenciju, kao što su skupovi podataka za treniranje (npr. trovanje podataka) ili istrenirani modeli (npr. neprijateljski napadi ili utvrđivanje pripadnosti) ili iskoristiti slabe točke digitalnih resursa UI sustava odnosno osnovne IKT infrastrukture. Kako bi se osigurala razina kibernetičke sigurnosti primjerena rizicima, dobavljači visokorizičnih UI sustava trebali bi stoga poduzeti odgovarajuće mjere, kao što su sigurnosne kontrole, prema potrebi uzimajući u obzir i osnovnu IKT infrastrukturu.
(76)
Cybersecurity plays a crucial role in ensuring that AI systems are resilient against attempts to alter their use, behaviour, performance or compromise their security properties by malicious third parties exploiting the system’s vulnerabilities. Cyberattacks against AI systems can leverage AI specific assets, such as training data sets (e.g. data poisoning) or trained models (e.g. adversarial attacks or membership inference), or exploit vulnerabilities in the AI system’s digital assets or the underlying ICT infrastructure. To ensure a level of cybersecurity appropriate to the risks, suitable measures, such as security controls, should therefore be taken by the providers of high-risk AI systems, also taking into account as appropriate the underlying ICT infrastructure.
(77)
Ne dovodeći u pitanje zahtjeve koji se odnose na otpornost i točnost utvrđene u ovoj Uredbi, visokorizični UI sustavi obuhvaćeni područjem primjene uredbe Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima u skladu s tom uredbom mogu dokazati sukladnost s kibernetičkosigurnosnim zahtjevima ove Uredbe ispunjavanjem osnovnih kibernetičkosigurnosnih zahtjeva iz te uredbe. Ako visokorizični UI sustavi ispunjavaju osnovne zahtjeve iz uredbe Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima trebalo bi ih smatrati usklađenima s kibernetičkosigurnosnim zahtjevima utvrđenima u ovoj Uredbi u mjeri u kojoj je ispunjavanje tih zahtjeva dokazano u EU izjavi o sukladnosti izdanoj na temelju te uredbe ili u dijelovima te izjave. U tom cilju, tijekom procjene kibernetičkosigurnosnih rizika povezanih s proizvodima s digitalnim elementima koji su klasificirani kao visokorizični UI sustav u skladu s ovom Uredbom, koja se provodi na temelju uredbe Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima, trebalo bi uzeti u obzir rizike za kibernetičku otpornost UI sustava kad se radi o pokušajima neovlaštenih trećih strana da promijene njegovo korištenje, ponašanje ili učinkovitost, uključujući ranjivosti specifične za umjetnu inteligenciju kao što su trovanje podacima ili neprijateljski napadi, kao i, kada je to relevantno, rizike za temeljna prava kako je propisano ovom Uredbom.
(77)
Without prejudice to the requirements related to robustness and accuracy set out in this Regulation, high-risk AI systems which fall within the scope of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, in accordance with that regulation may demonstrate compliance with the cybersecurity requirements of this Regulation by fulfilling the essential cybersecurity requirements set out in that regulation. When high-risk AI systems fulfil the essential requirements of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, they should be deemed compliant with the cybersecurity requirements set out in this Regulation in so far as the achievement of those requirements is demonstrated in the EU declaration of conformity or parts thereof issued under that regulation. To that end, the assessment of the cybersecurity risks, associated to a product with digital elements classified as high-risk AI system according to this Regulation, carried out under a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, should consider risks to the cyber resilience of an AI system as regards attempts by unauthorised third parties to alter its use, behaviour or performance, including AI specific vulnerabilities such as data poisoning or adversarial attacks, as well as, as relevant, risks to fundamental rights as required by this Regulation.
(78)
Postupak ocjenjivanja sukladnosti predviđen ovom Uredbom trebao bi se primjenjivati u odnosu na osnovne kibernetičkosigurnosne zahtjeve za proizvod s digitalnim elementima obuhvaćen uredbom Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima koji je klasificiran kao visokorizični UI sustav na temelju ove Uredbe. Međutim, to pravilo ne bi trebalo rezultirati smanjenjem potrebne razine jamstva za kritične proizvode s digitalnim elementima obuhvaćene uredbom Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima. Stoga, odstupajući od tog pravila, visokorizični UI sustavi koji su obuhvaćeni područjem primjene ove Uredbe i ujedno su klasificirani kao važni i kritični proizvodi s digitalnim elementima na temelju uredbe Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima te na koje se primjenjuje postupak ocjenjivanja sukladnosti na temelju unutarnje kontrole utvrđen u prilogu ovoj Uredbi podliježu odredbama o ocjenjivanju sukladnosti iz uredbe Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima u mjeri u kojoj se to odnosi na osnovne kibernetičkosigurnosne zahtjeve iz te uredbe. U tom bi se slučaju na sve ostale aspekte obuhvaćene ovom Uredbom trebale primjenjivati odgovarajuće odredbe o ocjenjivanju sukladnosti na temelju unutarnje kontrole utvrđene u prilogu ovoj Uredbi. Na osnovi znanja i stručnosti ENISA-e u području kibernetičkosigurnosne politike i zadaća dodijeljenih ENISA-i na temelju Uredbe (EU) 2019/881 Europskog parlamenta i Vijeća (37), Komisija bi trebala surađivati s ENISA-om u pitanjima povezanima s kibernetičkom sigurnošću UI sustavâ.
(78)
The conformity assessment procedure provided by this Regulation should apply in relation to the essential cybersecurity requirements of a product with digital elements covered by a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements and classified as a high-risk AI system under this Regulation. However, this rule should not result in reducing the necessary level of assurance for critical products with digital elements covered by a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements. Therefore, by way of derogation from this rule, high-risk AI systems that fall within the scope of this Regulation and are also qualified as important and critical products with digital elements pursuant to a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements and to which the conformity assessment procedure based on internal control set out in an annex to this Regulation applies, are subject to the conformity assessment provisions of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements insofar as the essential cybersecurity requirements of that regulation are concerned. In this case, for all the other aspects covered by this Regulation the respective provisions on conformity assessment based on internal control set out in an annex to this Regulation should apply. Building on the knowledge and expertise of ENISA on the cybersecurity policy and tasks assigned to ENISA under the Regulation (EU) 2019/881 of the European Parliament and of the Council (37), the Commission should cooperate with ENISA on issues related to cybersecurity of AI systems.
(79)
Primjereno je da određena fizička ili pravna osoba, koja je definirana kao dobavljač, preuzme odgovornost za stavljanje visokorizičnog UI sustava na tržište ili u upotrebu, bez obzira na to je li ta fizička ili pravna osoba ista osoba koja je dizajnirala ili razvila sustav.
(79)
It is appropriate that a specific natural or legal person, defined as the provider, takes responsibility for the placing on the market or the putting into service of a high-risk AI system, regardless of whether that natural or legal person is the person who designed or developed the system.
(80)
Kao potpisnice Konvencije Ujedinjenih naroda o pravima osoba s invaliditetom, Unija i države članice imaju pravnu obvezu štititi osobe s invaliditetom od diskriminacije i promicati njihovu ravnopravnost, osigurati da osobe s invaliditetom imaju pristup informacijskim i komunikacijskim tehnologijama i sustavima na ravnopravnoj osnovi te zajamčiti poštovanje privatnosti osoba s invaliditetom. S obzirom na sve veću važnost i upotrebu UI sustavâ, primjenom univerzalnih načela dizajna na sve nove tehnologije i usluge trebao bi se osigurati potpun i ravnopravan pristup za sve osobe na koje bi tehnologije umjetne inteligencije mogle utjecati ili koje te tehnologije upotrebljavaju, uključujući osobe s invaliditetom, na način kojim se u cijelosti poštuju njihovo inherentno dostojanstvo i raznolikost. Stoga je ključno da dobavljači osiguraju potpunu usklađenost sa zahtjevima u pogledu pristupačnosti, uključujući Direktivu (EU) 2016/2102 Europskog parlamenta i Vijeća (38) i Direktivu (EU) 2019/882. Dobavljači bi trebali osigurati integriranu usklađenost s tim zahtjevima. Stoga bi potrebne mjere trebalo što je više moguće uključiti u dizajn visokorizičnog UI sustava.
(80)
As signatories to the United Nations Convention on the Rights of Persons with Disabilities, the Union and the Member States are legally obliged to protect persons with disabilities from discrimination and promote their equality, to ensure that persons with disabilities have access, on an equal basis with others, to information and communications technologies and systems, and to ensure respect for privacy for persons with disabilities. Given the growing importance and use of AI systems, the application of universal design principles to all new technologies and services should ensure full and equal access for everyone potentially affected by or using AI technologies, including persons with disabilities, in a way that takes full account of their inherent dignity and diversity. It is therefore essential that providers ensure full compliance with accessibility requirements, including Directive (EU) 2016/2102 of the European Parliament and of the Council (38) and Directive (EU) 2019/882. Providers should ensure compliance with these requirements by design. Therefore, the necessary measures should be integrated as much as possible into the design of the high-risk AI system.
(81)
Dobavljač bi trebao uspostaviti pouzdan sustav upravljanja kvalitetom, osigurati realizaciju postupka ocjenjivanja sukladnosti koji se zahtijeva, sastaviti relevantnu dokumentaciju i uspostaviti pouzdan sustav praćenja nakon stavljanja na tržište. Dobavljači visokorizičnih UI sustava koji podliježu obvezama u pogledu sustavâ upravljanja kvalitetom u skladu s relevantnim sektorskim pravom Unije trebali bi imati mogućnost uključiti elemente sustava upravljanja kvalitetom predviđenog u ovoj Uredbi u postojeći sustav upravljanja kvalitetom predviđen u tom drugom sektorskom pravu Unije. Komplementarnost ove Uredbe i postojećeg sektorskog prava Unije trebala bi se uzeti u obzir i u budućim aktivnostima normizacije ili smjernicama koje donosi Komisija. Tijela javne vlasti koja stavljaju visokorizične UI sustave u upotrebu za vlastite potrebe mogu donijeti i provoditi pravila za sustav upravljanja kvalitetom u okviru sustava upravljanja kvalitetom donesenog na nacionalnoj ili regionalnoj razini, prema potrebi, uzimajući u obzir posebnosti sektora te nadležnosti i organizaciju dotičnog tijela javne vlasti.
(81)
The provider should establish a sound quality management system, ensure the accomplishment of the required conformity assessment procedure, draw up the relevant documentation and establish a robust post-market monitoring system. Providers of high-risk AI systems that are subject to obligations regarding quality management systems under relevant sectoral Union law should have the possibility to include the elements of the quality management system provided for in this Regulation as part of the existing quality management system provided for in that other sectoral Union law. The complementarity between this Regulation and existing sectoral Union law should also be taken into account in future standardisation activities or guidance adopted by the Commission. Public authorities which put into service high-risk AI systems for their own use may adopt and implement the rules for the quality management system as part of the quality management system adopted at a national or regional level, as appropriate, taking into account the specificities of the sector and the competences and organisation of the public authority concerned.
(82)
Kako bi se omogućilo izvršavanje ove Uredbe i osigurali jednaki uvjeti za operatere te uzimajući u obzir različite oblike stavljanja digitalnih proizvoda na raspolaganje, važno je osigurati da osoba s poslovnim nastanom u Uniji u svim okolnostima može nadležnim tijelima pružiti sve potrebne informacije o usklađenosti pojedinog UI sustava. Stoga bi dobavljači s poslovnim nastanom u trećim zemljama trebali pisanim ovlaštenjem imenovati ovlaštenog zastupnika s poslovnim nastanom u Uniji prije stavljanja svojih UI sustava na raspolaganje u Uniji. Taj ovlašteni zastupnik ima ključnu ulogu u osiguravanju usklađenosti visokorizičnih UI sustava koje ti dobavljači koji nemaju poslovni nastan u Uniji stavljaju na tržište ili u upotrebu u Uniji i služi kao njihova osoba za kontakt s poslovnim nastanom u Uniji.
(82)
To enable enforcement of this Regulation and create a level playing field for operators, and, taking into account the different forms of making available of digital products, it is important to ensure that, under all circumstances, a person established in the Union can provide authorities with all the necessary information on the compliance of an AI system. Therefore, prior to making their AI systems available in the Union, providers established in third countries should, by written mandate, appoint an authorised representative established in the Union. This authorised representative plays a pivotal role in ensuring the compliance of the high-risk AI systems placed on the market or put into service in the Union by those providers who are not established in the Union and in serving as their contact person established in the Union.
(83)
S obzirom na prirodu i složenost lanca vrijednosti za UI sustave te u skladu s načelima novog zakonodavnog okvira, ključno je osigurati pravnu sigurnost i olakšati usklađenost s ovom Uredbom. Stoga je potrebno pojasniti ulogu i posebne obveze relevantnih operatera duž tog lanca vrijednosti, kao što su uvoznici i distributeri koji mogu doprinijeti razvoju UI sustava. U određenim situacijama ti bi operateri mogli istodobno djelovati u više uloga i stoga bi trebali kumulativno ispunjavati sve relevantne obveze povezane s tim ulogama. Na primjer, operater bi mogao istodobno djelovati kao distributer i uvoznik.
(83)
In light of the nature and complexity of the value chain for AI systems and in line with the New Legislative Framework, it is essential to ensure legal certainty and facilitate the compliance with this Regulation. Therefore, it is necessary to clarify the role and the specific obligations of relevant operators along that value chain, such as importers and distributors who may contribute to the development of AI systems. In certain situations those operators could act in more than one role at the same time and should therefore fulfil cumulatively all relevant obligations associated with those roles. For example, an operator could act as a distributor and an importer at the same time.
(84)
Kako bi se zajamčila pravna sigurnost, potrebno je pojasniti da bi se pod određenim posebnim uvjetima svaki dobavljač, uvoznik, subjekt koji uvodi sustav ili treća strana trebali smatrati dobavljačem visokorizičnog UI sustava i stoga preuzeti sve relevantne obveze. To bi bio slučaj ako ta strana stavi svoje ime ili žig na visokorizični UI sustav koji je već stavljen na tržište ili u upotrebu, ne dovodeći u pitanje ugovorne aranžmane u kojima je utvrđena drukčija raspodjela obveza. To bi bio slučaj i ako ta strana bitno izmijeni visokorizični UI sustav koji je već stavljen na tržište ili u upotrebu na način da on i dalje bude visokorizičan u skladu s ovom Uredbom, ili ako izmijeni namjenu UI sustava, uključujući UI sustav opće namjene, koji nije bio klasificiran kao visokorizičan i već je stavljen na tržište ili u upotrebu, na način da UI sustav postane visokorizičan u skladu s ovom Uredbom. Te bi se odredbe trebale primjenjivati ne dovodeći u pitanje detaljnije odredbe utvrđene u određenom zakonodavstvu Unije o usklađivanju na temelju novog zakonodavnog okvira, zajedno s kojima bi se ova Uredba trebala primjenjivati. Na primjer, članak 16. stavak 2. Uredbe (EU) 2017/745, u kojem se navodi da određene promjene ne bi trebalo smatrati izmjenama proizvoda koje mogu utjecati na njegovu usklađenost s primjenjivim zahtjevima, trebao bi se i dalje primjenjivati na visokorizične UI sustave koji su medicinski proizvodi u smislu te uredbe.
(84)
To ensure legal certainty, it is necessary to clarify that, under certain specific conditions, any distributor, importer, deployer or other third-party should be considered to be a provider of a high-risk AI system and therefore assume all the relevant obligations. This would be the case if that party puts its name or trademark on a high-risk AI system already placed on the market or put into service, without prejudice to contractual arrangements stipulating that the obligations are allocated otherwise. This would also be the case if that party makes a substantial modification to a high-risk AI system that has already been placed on the market or has already been put into service in a way that it remains a high-risk AI system in accordance with this Regulation, or if it modifies the intended purpose of an AI system, including a general-purpose AI system, which has not been classified as high-risk and has already been placed on the market or put into service, in a way that the AI system becomes a high-risk AI system in accordance with this Regulation. Those provisions should apply without prejudice to more specific provisions established in certain Union harmonisation legislation based on the New Legislative Framework, together with which this Regulation should apply. For example, Article 16(2) of Regulation (EU) 2017/745, establishing that certain changes should not be considered to be modifications of a device that could affect its compliance with the applicable requirements, should continue to apply to high-risk AI systems that are medical devices within the meaning of that Regulation.
(85)
UI sustavi opće namjene mogu se upotrebljavati samostalno kao visokorizični UI sustavi ili mogu biti komponente drugih visokorizičnih UI sustava. Stoga, zbog njihove specifične prirode i radi jamčenja pravedne podjele odgovornosti diljem lanca vrijednosti umjetne inteligencije, neovisno o tome mogu li ih drugi dobavljači upotrebljavati samostalno kao visokorizične UI sustave ili kao komponente visokorizičnih UI sustava i ako na temelju ove Uredbe nije drugačije predviđeno, dobavljači takvih sustava trebali bi blisko surađivati s dobavljačima relevantnih visokorizičnih UI sustava kako bi im se omogućilo ispunjavanje relevantnih obveza na temelju ove Uredbe i s nadležnim tijelima osnovanima na temelju ove Uredbe.
(85)
General-purpose AI systems may be used as high-risk AI systems by themselves or be components of other high-risk AI systems. Therefore, due to their particular nature and in order to ensure a fair sharing of responsibilities along the AI value chain, the providers of such systems should, irrespective of whether they may be used as high-risk AI systems as such by other providers or as components of high-risk AI systems and unless provided otherwise under this Regulation, closely cooperate with the providers of the relevant high-risk AI systems to enable their compliance with the relevant obligations under this Regulation and with the competent authorities established under this Regulation.
(86)
Ako se u skladu s uvjetima utvrđenima u ovoj Uredbi dobavljač koji je prvotno stavio UI sustav na tržište ili u upotrebu više ne smatra dobavljačem za potrebe ove Uredbe i ako taj dobavljač nije izričito isključio pretvaranje UI sustava u visokorizični UI sustav, bivši dobavljač ipak bi trebao blisko surađivati i staviti na raspolaganje potrebne informacije te pružiti razumno očekivani tehnički pristup i drugu pomoć koji su potrebni za ispunjavanje obveza utvrđenih u ovoj Uredbi, posebno u pogledu usklađenosti s ocjenjivanjem sukladnosti visokorizičnih UI sustava.
(86)
Where, under the conditions laid down in this Regulation, the provider that initially placed the AI system on the market or put it into service should no longer be considered to be the provider for the purposes of this Regulation, and when that provider has not expressly excluded the change of the AI system into a high-risk AI system, the former provider should nonetheless closely cooperate and make available the necessary information and provide the reasonably expected technical access and other assistance that are required for the fulfilment of the obligations set out in this Regulation, in particular regarding the compliance with the conformity assessment of high-risk AI systems.
(87)
Usto, ako se visokorizični UI sustav koji je sigurnosna komponenta proizvoda obuhvaćenog zakonodavstvom Unije o usklađivanju na temelju novog zakonodavnog okvira ne stavlja na tržište ili u upotrebu neovisno o proizvodu, proizvođač proizvoda definiran u tom zakonodavstvu trebao bi ispunjavati obveze dobavljača utvrđene u ovoj Uredbi, a osobito osigurati da UI sustav ugrađen u konačni proizvod ispunjava zahtjeve iz ove Uredbe.
(87)
In addition, where a high-risk AI system that is a safety component of a product which falls within the scope of Union harmonisation legislation based on the New Legislative Framework is not placed on the market or put into service independently from the product, the product manufacturer defined in that legislation should comply with the obligations of the provider established in this Regulation and should, in particular, ensure that the AI system embedded in the final product complies with the requirements of this Regulation.
(88)
U vrijednosnom lancu umjetne inteligencije često više strana dobavlja UI sustave, alate i usluge, ali i komponente ili procese koje dobavljač potom ugrađuje u UI sustav s različitim ciljevima, među ostalim radi treniranja modela, ponovnog treniranja modela, testiranja i evaluacije modela, integracije u softver ili drugih aspekata razvoja modela. Te strane imaju važnu ulogu u lancu vrijednosti prema dobavljaču visokorizičnog UI sustava u koji su integrirani njihovi UI sustavi, alati, usluge, komponente ili procesi te bi tom dobavljaču u pisanom obliku trebale pružiti potrebne informacije, mogućnosti, tehnički pristup i drugu pomoć na temelju općepriznatih najnovijih dostignuća kako bi dobavljač mogao u potpunosti ispuniti obveze utvrđene u ovoj Uredbi, a da se pritom ne dovedu u pitanje njihova prava intelektualnog vlasništva ili poslovne tajne.
(88)
Along the AI value chain multiple parties often supply AI systems, tools and services but also components or processes that are incorporated by the provider into the AI system with various objectives, including the model training, model retraining, model testing and evaluation, integration into software, or other aspects of model development. Those parties have an important role to play in the value chain towards the provider of the high-risk AI system into which their AI systems, tools, services, components or processes are integrated, and should provide by written agreement this provider with the necessary information, capabilities, technical access and other assistance based on the generally acknowledged state of the art, in order to enable the provider to fully comply with the obligations set out in this Regulation, without compromising their own intellectual property rights or trade secrets.
(89)
Treće strane koje javnosti na raspolaganje stavljaju UI alate, usluge, procese ili komponente koji nisu UI modeli opće namjene ne bi trebale biti obvezne ispunjavati zahtjeve u vezi s odgovornošću duž lanca vrijednosti umjetne inteligencije, posebno prema dobavljaču koji ih je koristio ili integrirao, ako su ti UI alati, usluge, procesi ili komponente dostupni na temelju besplatne licencije za softver otvorenog koda. Razvojne programere besplatnih UI alata, usluga, procesa otvorenog koda ili komponenti koji nisu UI modeli opće namjene trebalo bi poticati da primjenjuju široko prihvaćene prakse dokumentiranja, kao što su kartice modela i podatkovne kartice kako bi se ubrzala razmjena informacija duž vrijednosnog lanca umjetne inteligencije i omogućilo promicanje pouzdanih UI sustava u Uniji.
(89)
Third parties making accessible to the public tools, services, processes, or AI components other than general-purpose AI models, should not be mandated to comply with requirements targeting the responsibilities along the AI value chain, in particular towards the provider that has used or integrated them, when those tools, services, processes, or AI components are made accessible under a free and open-source licence. Developers of free and open-source tools, services, processes, or AI components other than general-purpose AI models should be encouraged to implement widely adopted documentation practices, such as model cards and data sheets, as a way to accelerate information sharing along the AI value chain, allowing the promotion of trustworthy AI systems in the Union.
(90)
Komisija bi mogla razviti i preporučiti dobrovoljne modele ugovornih uvjeta između dobavljača visokorizičnih UI sustava i trećih strana koji isporučuju alate, usluge, komponente ili procese koji se upotrebljavaju u visokorizičnim UI sustavima ili su u njih integrirani kako bi se olakšala suradnja duž lanca vrijednosti. Pri izradi dobrovoljnih modela ugovornih uvjeta Komisija bi trebala uzeti u obzir i moguće ugovorne zahtjeve primjenjive u određenim sektorima ili poslovnim modelima.
(90)
The Commission could develop and recommend voluntary model contractual terms between providers of high-risk AI systems and third parties that supply tools, services, components or processes that are used or integrated in high-risk AI systems, to facilitate the cooperation along the value chain. When developing voluntary model contractual terms, the Commission should also take into account possible contractual requirements applicable in specific sectors or business cases.
(91)
S obzirom na prirodu UI sustavâ i rizike za sigurnost i temeljna prava koji se potencijalno mogu povezati s njihovim korištenjem, među ostalim u pogledu potrebe da se osigura propisno praćenje učinkovitosti UI sustava u stvarnim uvjetima, primjereno je utvrditi posebne odgovornosti za subjekte koji ih uvode. Subjekti koji uvode UI sustave osobito bi trebali poduzeti primjerene tehničke i organizacijske mjere kako bi osigurali da upotrebljavaju visokorizične UI sustave u skladu s uputama za korištenje te bi, prema potrebi, trebalo predvidjeti određene druge obveze u pogledu praćenja funkcioniranja UI sustavâ i vođenja evidencije. Nadalje, subjekti koji uvode sustav trebali bi osigurati da osobe kojima je povjerena provedba uputa za korištenje i ljudskog nadzora kako je utvrđeno u ovoj Uredbi imaju potrebne kompetencije, osobito odgovarajuću razinu pismenosti, osposobljavanja i ovlasti u području umjetne inteligencije, za pravilno obavljanje tih zadaća. Tim se obvezama ne bi trebale dovoditi u pitanje druge obveze subjekata koji uvode UI sustave u pogledu visokorizičnih UI sustava na temelju prava Unije ili nacionalnog prava.
(91)
Given the nature of AI systems and the risks to safety and fundamental rights possibly associated with their use, including as regards the need to ensure proper monitoring of the performance of an AI system in a real-life setting, it is appropriate to set specific responsibilities for deployers. Deployers should in particular take appropriate technical and organisational measures to ensure they use high-risk AI systems in accordance with the instructions of use and certain other obligations should be provided for with regard to monitoring of the functioning of the AI systems and with regard to record-keeping, as appropriate. Furthermore, deployers should ensure that the persons assigned to implement the instructions for use and human oversight as set out in this Regulation have the necessary competence, in particular an adequate level of AI literacy, training and authority to properly fulfil those tasks. Those obligations should be without prejudice to other deployer obligations in relation to high-risk AI systems under Union or national law.
(92)
Ovom se Uredbom ne dovode u pitanje obveze poslodavaca da obavijeste radnike ili njihove predstavnike ili da se savjetuju s njima na temelju prava i prakse Unije ili nacionalnog prava i prakse, uključujući Direktivu 2002/14/EZ Europskog parlamenta i Vijeća (39), o odlukama o stavljanju u upotrebu ili korištenju UI sustavâ. I dalje je potrebno osigurati obavješćivanje radnika i njihovih predstavnika o planiranom uvođenju visokorizičnih UI sustava na radnom mjestu ako nisu ispunjeni uvjeti za te obveze obavješćivanja ili obavješćivanja i savjetovanja iz drugih pravnih instrumenata. Nadalje, takvo pravo na obavješćivanje sporedno je i potrebno u odnosu na cilj zaštite temeljnih prava na kojem se temelji ova Uredba. Stoga bi u ovoj Uredbi trebalo utvrditi obvezu obavješćivanja u tu svrhu, a da se pritom ne utječe na postojeća prava radnika.
(92)
This Regulation is without prejudice to obligations for employers to inform or to inform and consult workers or their representatives under Union or national law and practice, including Directive 2002/14/EC of the European Parliament and of the Council (39), on decisions to put into service or use AI systems. It remains necessary to ensure information of workers and their representatives on the planned deployment of high-risk AI systems at the workplace where the conditions for those information or information and consultation obligations in other legal instruments are not fulfilled. Moreover, such information right is ancillary and necessary to the objective of protecting fundamental rights that underlies this Regulation. Therefore, an information requirement to that effect should be laid down in this Regulation, without affecting any existing rights of workers.
(93)
Iako rizici povezani s UI sustavima mogu proizlaziti iz načina na koji su ti sustavi dizajnirani, mogu biti uzrokovani i načinom na koji se oni koriste. Subjekti koji uvode visokorizične UI sustave stoga imaju ključnu ulogu u osiguravanju zaštite temeljnih prava, čime se dopunjuju obveze dobavljača pri razvoju UI sustava. Subjekti koji uvode UI sustave u najboljem su položaju da razumiju kako će se visokorizični UI sustav konkretno koristiti te stoga mogu utvrditi potencijalne znatne rizike koji nisu predviđeni u fazi razvoja, zahvaljujući preciznijem poznavanju konteksta korištenja te osoba ili skupina osoba koje bi vjerojatno bile zahvaćene, uključujući skupine ranjivih osoba. Subjekti koji uvode visokorizične UI sustave navedene u prilogu ovoj Uredbi također imaju ključnu ulogu u informiranju fizičkih osoba i trebali bi, kada donose odluke ili pomažu u donošenju odluka povezanih s fizičkim osobama, ako je primjenjivo, obavijestiti fizičke osobe da podliježu korištenju visokorizičnog UI sustava. Te informacije trebale bi obuhvaćati namjenu sustava i vrstu odluka koje donosi. Subjekt koji uvodi sustav trebao bi obavijestiti fizičke osobe i o njihovu pravu na objašnjenje predviđenom na temelju ove Uredbe. Kad je riječ o visokorizičnim UI sustavima koji se upotrebljavaju u svrhu kaznenog progona, tu bi obvezu trebalo provesti u skladu s člankom 13. Direktive (EU) 2016/680.
(93)
Whilst risks related to AI systems can result from the way such systems are designed, risks can as well stem from how such AI systems are used. Deployers of high-risk AI system therefore play a critical role in ensuring that fundamental rights are protected, complementing the obligations of the provider when developing the AI system. Deployers are best placed to understand how the high-risk AI system will be used concretely and can therefore identify potential significant risks that were not foreseen in the development phase, due to a more precise knowledge of the context of use, the persons or groups of persons likely to be affected, including vulnerable groups. Deployers of high-risk AI systems listed in an annex to this Regulation also play a critical role in informing natural persons and should, when they make decisions or assist in making decisions related to natural persons, where applicable, inform the natural persons that they are subject to the use of the high-risk AI system. This information should include the intended purpose and the type of decisions it makes. The deployer should also inform the natural persons about their right to an explanation provided under this Regulation. With regard to high-risk AI systems used for law enforcement purposes, that obligation should be implemented in accordance with Article 13 of Directive (EU) 2016/680.
(94)
Svaka obrada biometrijskih podataka povezana s korištenjem UI sustava za biometrijsku identifikaciju u svrhu kaznenog progona mora biti u skladu s člankom 10. Direktive (EU) 2016/680, kojim se takva obrada dopušta samo ako je to nužno, podložno odgovarajućim zaštitnim mjerama u pogledu prava i sloboda ispitanika i ako je to dopušteno pravom Unije ili pravom države članice. Pri takvom korištenju, ako je odobreno, moraju se poštovati i načela utvrđena u članku 4. stavku 1. Direktive (EU) 2016/680, uključujući zakonitost, pravednost i transparentnost, ograničenje svrhe, točnost i ograničenje pohrane.
(94)
Any processing of biometric data involved in the use of AI systems for biometric identification for the purpose of law enforcement needs to comply with Article 10 of Directive (EU) 2016/680, that allows such processing only where strictly necessary, subject to appropriate safeguards for the rights and freedoms of the data subject, and where authorised by Union or Member State law. Such use, when authorised, also needs to respect the principles laid down in Article 4 (1) of Directive (EU) 2016/680 including lawfulness, fairness and transparency, purpose limitation, accuracy and storage limitation.
(95)
Ne dovodeći u pitanje primjenjivo pravo Unije, osobito Uredbu (EU) 2016/679 i Direktivu (EU) 2016/680, uzimajući u obzir intruzivnu prirodu sustava za naknadnu daljinsku biometrijsku identifikaciju, korištenje sustava za naknadnu daljinsku biometrijsku identifikaciju trebalo bi podlijegati zaštitnim mjerama. Sustavi za naknadnu daljinsku biometrijsku identifikaciju uvijek bi se trebali upotrebljavati na način koji je proporcionalan, legitiman i nužan te stoga ciljan u smislu pojedinaca koje treba identificirati, lokacije i vremenskog opsega te se temeljiti na zatvorenom skupu podataka sa zakonito pribavljenog videozapisa. U svakom slučaju, sustavi za naknadnu daljinsku biometrijsku identifikaciju ne bi se trebali upotrebljavati u okviru kaznenog progona kako bi doveli do neselektivnog nadzora. Uvjeti za naknadnu daljinsku biometrijsku identifikaciju ni u kojem slučaju ne bi trebali biti osnova za zaobilaženje uvjeta zabrane i strogih iznimaka za daljinsku biometrijsku identifikaciju u stvarnom vremenu.
(95)
Without prejudice to applicable Union law, in particular Regulation (EU) 2016/679 and Directive (EU) 2016/680, considering the intrusive nature of post-remote biometric identification systems, the use of post-remote biometric identification systems should be subject to safeguards. Post-remote biometric identification systems should always be used in a way that is proportionate, legitimate and strictly necessary, and thus targeted, in terms of the individuals to be identified, the location, temporal scope and based on a closed data set of legally acquired video footage. In any case, post-remote biometric identification systems should not be used in the framework of law enforcement to lead to indiscriminate surveillance. The conditions for post-remote biometric identification should in any case not provide a basis to circumvent the conditions of the prohibition and strict exceptions for real time remote biometric identification.
(96)
Kako bi se učinkovito osigurala zaštita temeljnih prava, subjekti koji uvode visokorizične UI sustave koji su javnopravna tijela ili privatni subjekti koji pružaju javne usluge i subjekti koji uvode određene visokorizične UI sustave navedene u prilogu ovoj Uredbi, kao što su bankarski ili osiguravateljski subjekti, trebali bi prije stavljanja tih sustava u upotrebu provesti procjenu učinka na temeljna prava. Usluge važne za pojedince koje su javne prirode mogu pružati i privatni subjekti. Privatni subjekti koji pružaju takve javne usluge povezani su sa zadaćama od javnog interesa, primjerice u područjima obrazovanja, zdravstvene skrbi, socijalnih usluga, stanovanja i sudovanja. Cilj je procjene učinka na temeljna prava da subjekt koji uvodi sustav utvrdi specifične rizike za prava pojedinaca ili skupina pojedinaca na koje bi mogao utjecati te utvrdi mjere koje se moraju poduzeti u slučaju materijalizacije tih rizika. Procjenu učinka trebala bi provesti prije uvođenja visokorizičnog UI sustava te bi je trebalo ažurirati ako subjekt koji uvodi sustav smatra da se promijenio bilo koji od relevantnih čimbenika. U procjeni učinka trebalo bi utvrditi relevantne procese subjekta koji uvodi sustav u kojima će se visokorizični UI sustav upotrebljavati u skladu sa svojom namjenom te bi ona trebala uključivati opis razdoblja i učestalosti upotrebe sustava, kao i posebnih kategorija fizičkih osoba i skupina na koje će vjerojatno utjecati u specifičnom kontekstu upotrebe. Procjena bi trebala uključivati i utvrđivanje specifičnih rizika od štete koja bi mogla utjecati na temeljna prava tih osoba ili skupina. Pri provedbi te procjene subjekt koji uvodi UI sustav trebao bi uzeti u obzir informacije relevantne za pravilnu procjenu učinka, uključujući, ali ne ograničavajući se na informacije koje je dobavljač visokorizičnog UI sustava naveo u uputama za korištenje. S obzirom na utvrđene rizike, subjekti koji uvode sustav trebali bi utvrditi mjere koje treba poduzeti u slučaju materijalizacije tih rizika, uključujući na primjer aranžmane upravljanja u tom specifičnom kontekstu upotrebe, kao što su aranžmani za ljudski nadzor u skladu s uputama za korištenje ili postupci rješavanja pritužbi i pravne zaštite, jer bi oni mogli biti ključni za ublažavanje rizika za temeljna prava u konkretnim slučajevima korištenja. Nakon provedbe te procjene učinka subjekt koji uvodi sustav trebao bi obavijestiti relevantno tijelo za nadzor tržišta. Prema potrebi, za prikupljanje relevantnih informacija potrebnih za procjenu učinka subjekti koji uvode visokorizični UI sustav, posebno kada se UI sustavi upotrebljavaju u javnom sektoru, mogli bi u provedbu takvih procjena učinka i osmišljavanje mjera koje se moraju poduzeti u slučaju materijalizacije rizika uključiti relevantne dionike, među kojima su predstavnici skupina osoba na koje će UI sustav vjerojatno utjecati, neovisni stručnjaci i organizacije civilnog društva. Europski ured za umjetnu inteligenciju (Ured za umjetnu inteligenciju) trebao bi izraditi predložak upitnika kako bi se olakšala usklađenost i smanjilo administrativno opterećenje za subjekte koji uvode UI sustav.
(96)
In order to efficiently ensure that fundamental rights are protected, deployers of high-risk AI systems that are bodies governed by public law, or private entities providing public services and deployers of certain high-risk AI systems listed in an annex to this Regulation, such as banking or insurance entities, should carry out a fundamental rights impact assessment prior to putting it into use. Services important for individuals that are of public nature may also be provided by private entities. Private entities providing such public services are linked to tasks in the public interest such as in the areas of education, healthcare, social services, housing, administration of justice. The aim of the fundamental rights impact assessment is for the deployer to identify the specific risks to the rights of individuals or groups of individuals likely to be affected, identify measures to be taken in the case of a materialisation of those risks. The impact assessment should be performed prior to deploying the high-risk AI system, and should be updated when the deployer considers that any of the relevant factors have changed. The impact assessment should identify the deployer’s relevant processes in which the high-risk AI system will be used in line with its intended purpose, and should include a description of the period of time and frequency in which the system is intended to be used as well as of specific categories of natural persons and groups who are likely to be affected in the specific context of use. The assessment should also include the identification of specific risks of harm likely to have an impact on the fundamental rights of those persons or groups. While performing this assessment, the deployer should take into account information relevant to a proper assessment of the impact, including but not limited to the information given by the provider of the high-risk AI system in the instructions for use. In light of the risks identified, deployers should determine measures to be taken in the case of a materialisation of those risks, including for example governance arrangements in that specific context of use, such as arrangements for human oversight according to the instructions of use or, complaint handling and redress procedures, as they could be instrumental in mitigating risks to fundamental rights in concrete use-cases. After performing that impact assessment, the deployer should notify the relevant market surveillance authority. Where appropriate, to collect relevant information necessary to perform the impact assessment, deployers of high-risk AI system, in particular when AI systems are used in the public sector, could involve relevant stakeholders, including the representatives of groups of persons likely to be affected by the AI system, independent experts, and civil society organisations in conducting such impact assessments and designing measures to be taken in the case of materialisation of the risks. The European Artificial Intelligence Office (AI Office) should develop a template for a questionnaire in order to facilitate compliance and reduce the administrative burden for deployers.
(97)
Pojam UI modela opće namjene trebao bi biti jasno definiran i odvojen od pojma UI sustava kako bi se omogućila pravna sigurnost. Definicija bi se trebala temeljiti na ključnim funkcionalnim značajkama UI modela opće namjene, posebno općenitosti i sposobnosti kompetentnog obavljanja širokog raspona različitih zadaća. Ti se modeli obično treniraju s pomoću velikih količina podataka putem različitih metoda, kao što su samostalno nadzirano, nenadzirano ili podržano učenje. UI modeli opće namjene mogu se staviti na tržište na različite načine, među ostalim putem programskih knjižnica, aplikacijskih programskih sučelja, izravnim preuzimanjem ili kao fizička kopija. Ti se modeli mogu dodatno izmijeniti ili prilagoditi novim modelima. Iako su UI modeli ključne komponente UI sustava, oni sami po sebi nisu UI sustavi. UI modeli zahtijevaju dodavanje dodatnih komponenti kao što je korisničko sučelje, kako bi postali UI sustavi. UI modeli obično su integrirani u UI sustave i čine njihov sastavni dio. Ovom se Uredbom utvrđuju posebna pravila za UI modele opće namjene i UI modele opće namjene koji predstavljaju sistemske rizike, koja bi se trebala primjenjivati i kada su ti modeli integrirani u UI sustav ili su njegov dio. Trebalo bi podrazumijevati da bi se obveze dobavljača UI modela opće namjene trebale primjenjivati nakon što se ti modeli stave na tržište. Ako dobavljač UI modela opće namjene integrira vlastiti model u vlastiti UI sustav koji je stavljen na raspolaganje na tržištu ili u upotrebu, trebalo bi smatrati da je taj model stavljen na tržište te bi se stoga obveze iz ove Uredbe koje se odnose na modele trebale nastaviti primjenjivati uz one za UI sustave. Obveze utvrđene za modele ni u kojem slučaju ne bi se trebale primjenjivati kada se vlastiti model upotrebljava za isključivo unutarnje procese koji nisu ključni za pružanje proizvoda ili usluge trećim stranama i kada to ne utječe na prava fizičkih osoba. S obzirom na njihove potencijalne znatno negativne učinke, UI modeli opće namjene sa sistemskim rizikom uvijek bi trebali podlijegati relevantnim obvezama na temelju ove Uredbe. Definicija ne bi trebala obuhvaćati UI modele koji se upotrebljavaju prije njihova stavljanja na tržište isključivo u svrhu istraživanja, razvoja i izrade prototipa. Time se ne dovodi u pitanje obveza usklađivanja s ovom Uredbom kada se, nakon takvih aktivnosti, model stavi na tržište.
(97)
The notion of general-purpose AI models should be clearly defined and set apart from the notion of AI systems to enable legal certainty. The definition should be based on the key functional characteristics of a general-purpose AI model, in particular the generality and the capability to competently perform a wide range of distinct tasks. These models are typically trained on large amounts of data, through various methods, such as self-supervised, unsupervised or reinforcement learning. General-purpose AI models may be placed on the market in various ways, including through libraries, application programming interfaces (APIs), as direct download, or as physical copy. These models may be further modified or fine-tuned into new models. Although AI models are essential components of AI systems, they do not constitute AI systems on their own. AI models require the addition of further components, such as for example a user interface, to become AI systems. AI models are typically integrated into and form part of AI systems. This Regulation provides specific rules for general-purpose AI models and for general-purpose AI models that pose systemic risks, which should apply also when these models are integrated or form part of an AI system. It should be understood that the obligations for the providers of general-purpose AI models should apply once the general-purpose AI models are placed on the market. When the provider of a general-purpose AI model integrates an own model into its own AI system that is made available on the market or put into service, that model should be considered to be placed on the market and, therefore, the obligations in this Regulation for models should continue to apply in addition to those for AI systems. The obligations laid down for models should in any case not apply when an own model is used for purely internal processes that are not essential for providing a product or a service to third parties and the rights of natural persons are not affected. Considering their potential significantly negative effects, the general-purpose AI models with systemic risk should always be subject to the relevant obligations under this Regulation. The definition should not cover AI models used before their placing on the market for the sole purpose of research, development and prototyping activities. This is without prejudice to the obligation to comply with this Regulation when, following such activities, a model is placed on the market.
(98)
Budući da bi se općenitost modela, među ostalim, mogla utvrditi i s pomoću niza parametara, trebalo bi smatrati da modeli s najmanje milijardu parametara i trenirani s pomoću velike količine podataka uz primjenu samostalnog nadzora u širokim razmjerima pokazuju znatnu razinu općenitosti i kompetentno obavljaju širok raspon različitih zadaća.
(98)
Whereas the generality of a model could, inter alia, also be determined by a number of parameters, models with at least a billion of parameters and trained with a large amount of data using self-supervision at scale should be considered to display significant generality and to competently perform a wide range of distinctive tasks.
(99)
Veliki generativni UI modeli tipičan su primjer UI modela opće namjene s obzirom na to da omogućuju fleksibilnu proizvodnju sadržaja, primjerice u obliku teksta, audiozapisa, slika ili videozapisa, koji mogu lako obavljati širok raspon različitih zadaća.
(99)
Large generative AI models are a typical example for a general-purpose AI model, given that they allow for flexible generation of content, such as in the form of text, audio, images or video, that can readily accommodate a wide range of distinctive tasks.
(100)
Ako je UI model opće namjene integriran u UI sustav ili je njegov sastavni dio, taj bi se sustav trebao smatrati UI sustavom opće namjene ako zbog te integracije taj sustav može služiti različitim namjenama. UI sustav opće namjene može se upotrebljavati izravno ili može biti integriran u druge UI sustave.
(100)
When a general-purpose AI model is integrated into or forms part of an AI system, this system should be considered to be general-purpose AI system when, due to this integration, this system has the capability to serve a variety of purposes. A general-purpose AI system can be used directly, or it may be integrated into other AI systems.
(101)
Dobavljači UI modela opće namjene imaju posebnu ulogu i odgovornost duž vrijednosnog lanca umjetne inteligencije jer modeli koje pružaju mogu biti osnova za niz sustava niže u lancu, koje često pružaju dobavljači niže u lancu koji zahtijevaju dobro razumijevanje modela i njihovih sposobnosti kako bi omogućili integraciju takvih modela u svoje proizvode i ispunili svoje obveze na temelju ove Uredbe ili drugih uredaba. Stoga bi trebalo utvrditi razmjerne mjere transparentnosti, uključujući sastavljanje i ažuriranje dokumentacije te pružanje informacija o UI modelu opće namjene za dobavljače niže u lancu. Dobavljač UI modela opće namjene trebao bi pripremiti i ažurirati tehničku dokumentaciju kako bi je na zahtjev stavio na raspolaganje Uredu za umjetnu inteligenciju i nacionalnim nadležnim tijelima. Minimalni skup elemenata koje treba uključiti u takvu dokumentaciju trebalo bi utvrditi u specifičnim prilozima ovoj Uredbi. Komisiju bi trebalo ovlastiti da izmijeni te priloge delegiranim aktima s obzirom na tehnološki razvoj.
(101)
Providers of general-purpose AI models have a particular role and responsibility along the AI value chain, as the models they provide may form the basis for a range of downstream systems, often provided by downstream providers that necessitate a good understanding of the models and their capabilities, both to enable the integration of such models into their products, and to fulfil their obligations under this or other regulations. Therefore, proportionate transparency measures should be laid down, including the drawing up and keeping up to date of documentation, and the provision of information on the general-purpose AI model for its usage by the downstream providers. Technical documentation should be prepared and kept up to date by the general-purpose AI model provider for the purpose of making it available, upon request, to the AI Office and the national competent authorities. The minimal set of elements to be included in such documentation should be set out in specific annexes to this Regulation. The Commission should be empowered to amend those annexes by means of delegated acts in light of evolving technological developments.
(102)
Softver i podaci, uključujući modele, koji se objavljuju na temelju besplatne licencije za softver otvorenog koda koja omogućuje njihovo otvoreno dijeljenje i zbog koje im korisnici mogu slobodno pristupiti, upotrebljavati ih, mijenjati i redistribuirati njih ili njihove izmijenjene verzije, mogu doprinijeti istraživanju i inovacijama na tržištu i pružiti znatne prilike za rast gospodarstva Unije. Trebalo bi razmotriti UI modele opće namjene objavljene na temelju besplatnih licencija za softver otvorenog koda kako bi se osigurala visoka razina transparentnosti i otvorenosti ako su njihovi parametri, uključujući težinske faktore, informacije o arhitekturi modela i informacije o upotrebi modela javno dostupni. Licenciju bi trebalo smatrati besplatnom licencijom za softver otvorenog koda i kada omogućuje korisnicima da pokrenu, kopiraju, distribuiraju, proučavaju, mijenjaju i poboljšavaju softver i podatke, uključujući modele, pod uvjetom da je priznat izvorni pružatelj modela i da se poštuju identični ili usporedivi uvjeti distribucije.
(102)
Software and data, including models, released under a free and open-source licence that allows them to be openly shared and where users can freely access, use, modify and redistribute them or modified versions thereof, can contribute to research and innovation in the market and can provide significant growth opportunities for the Union economy. General-purpose AI models released under free and open-source licences should be considered to ensure high levels of transparency and openness if their parameters, including the weights, the information on the model architecture, and the information on model usage are made publicly available. The licence should be considered to be free and open-source also when it allows users to run, copy, distribute, study, change and improve software and data, including models under the condition that the original provider of the model is credited, the identical or comparable terms of distribution are respected.
(103)
Besplatne UI komponente otvorenog koda obuhvaćaju softver i podatke, uključujući modele i UI modele opće namjene, alate, usluge ili procese UI sustava. Besplatne UI komponente otvorenog koda mogu se pružati različitim kanalima, uključujući njihov razvoj u otvorenim repozitorijima. Za potrebe ove Uredbe na UI komponente koje se pružaju uz naplatu ili se na drugi način monetiziraju, među ostalim i pružanjem tehničke podrške ili drugih usluga povezanih s UI komponentom, među ostalim i putem softverske platforme, ili upotrebom osobnih podataka u svrhe koje nisu isključivo povećanje sigurnosti, kompatibilnosti ili interoperabilnosti softvera, uz iznimku transakcija među mikropoduzećima, ne bi se trebale primjenjivati iznimke za besplatne UI komponente otvorenog koda. Činjenica da se UI komponente stavljaju na raspolaganje putem otvorenih repozitorija ne bi sama po sebi trebala predstavljati monetizaciju.
(103)
Free and open-source AI components covers the software and data, including models and general-purpose AI models, tools, services or processes of an AI system. Free and open-source AI components can be provided through different channels, including their development on open repositories. For the purposes of this Regulation, AI components that are provided against a price or otherwise monetised, including through the provision of technical support or other services, including through a software platform, related to the AI component, or the use of personal data for reasons other than exclusively for improving the security, compatibility or interoperability of the software, with the exception of transactions between microenterprises, should not benefit from the exceptions provided to free and open-source AI components. The fact of making AI components available through open repositories should not, in itself, constitute a monetisation.
(104)
Dobavljači UI modela opće namjene koji se objavljuju na temelju besplatne licencije otvorenog koda i čiji su parametri, uključujući težinske faktore, informacije o arhitekturi modela i informacije o upotrebi modela, javno dostupni trebali bi podlijegati iznimkama u pogledu zahtjeva povezanih s transparentnošću nametnutih za UI modele opće namjene, osim ako se može smatrati da predstavljaju sistemski rizik, pri čemu se okolnost da je model transparentan i popraćen licencijom otvorenog koda ne bi trebala smatrati dovoljnim razlogom za isključenje ispunjavanja obveza iz ove Uredbe. U svakom slučaju, s obzirom na to da se objavom UI modelâ opće namjene na temelju besplatne licencije otvorenog koda nužno ne otkrivaju bitne informacije o skupu podataka koji se upotrebljava za treniranje ili doradu modela i o tome kako je time osigurana usklađenost s pravom o autorskom pravu, iznimka od ispunjavanja zahtjeva povezanih s transparentnošću predviđena za UI modele opće namjene ne bi se trebala odnositi na obvezu izrade sažetka o sadržaju koji se upotrebljava za treniranje modela i na obvezu uspostave politike usklađivanja s pravom Unije o autorskom pravu, posebno radi utvrđivanja i poštovanja pridržaja prava u skladu s člankom 4. stavkom 3. Direktive (EU) 2019/790 Europskog parlamenta i Vijeća (40).
(104)
The providers of general-purpose AI models that are released under a free and open-source licence, and whose parameters, including the weights, the information on the model architecture, and the information on model usage, are made publicly available should be subject to exceptions as regards the transparency-related requirements imposed on general-purpose AI models, unless they can be considered to present a systemic risk, in which case the circumstance that the model is transparent and accompanied by an open-source license should not be considered to be a sufficient reason to exclude compliance with the obligations under this Regulation. In any case, given that the release of general-purpose AI models under free and open-source licence does not necessarily reveal substantial information on the data set used for the training or fine-tuning of the model and on how compliance of copyright law was thereby ensured, the exception provided for general-purpose AI models from compliance with the transparency-related requirements should not concern the obligation to produce a summary about the content used for model training and the obligation to put in place a policy to comply with Union copyright law, in particular to identify and comply with the reservation of rights pursuant to Article 4(3) of Directive (EU) 2019/790 of the European Parliament and of the Council (40).
(105)
UI modeli opće namjene, osobito veliki generativni UI modeli koji mogu generirati tekst, slike i druge sadržaje, pružaju jedinstvene mogućnosti za inovacije, ali i izazove za umjetnike, autore i druge kreatore te za način na koji se njihov kreativni sadržaj stvara, distribuira, upotrebljava i konzumira. Za razvoj i treniranje takvih modela potreban je pristup velikim količinama teksta, slika, videozapisa i drugih podataka. Tehnike rudarenja teksta i podataka mogu se u tom kontekstu u velikoj mjeri upotrebljavati za pronalaženje i analizu takvog sadržaja, koji može biti zaštićen autorskim pravom i povezanih pravima. Za svako korištenje sadržaja zaštićenog autorskim pravom potrebno je odobrenje nositelja prava nad tim sadržajem, osim ako se primjenjuju relevantne iznimke i ograničenja autorskog prava. Direktivom (EU) 2019/790 uvedene su iznimke i ograničenja kojima se omogućuje reproduciranje i izvlačenje djela ili drugih sadržaja u svrhu rudarenja teksta i podataka, pod određenim uvjetima. Na temelju tih pravila nositelji prava mogu odlučiti pridržati svoja prava nad svojim djelima ili drugim sadržajima kako bi spriječili rudarenje teksta i podataka, osim ako se rudarenje teksta i podataka provodi za potrebe znanstvenog istraživanja. Ako je nositelj prava izričito pridržao prava na izuzeće na primjeren način, dobavljači UI modelâ opće namjene moraju od njega dobiti odobrenje ako žele provoditi rudarenje teksta i podataka nad takvim djelima.
(105)
General-purpose AI models, in particular large generative AI models, capable of generating text, images, and other content, present unique innovation opportunities but also challenges to artists, authors, and other creators and the way their creative content is created, distributed, used and consumed. The development and training of such models require access to vast amounts of text, images, videos and other data. Text and data mining techniques may be used extensively in this context for the retrieval and analysis of such content, which may be protected by copyright and related rights. Any use of copyright protected content requires the authorisation of the rightsholder concerned unless relevant copyright exceptions and limitations apply. Directive (EU) 2019/790 introduced exceptions and limitations allowing reproductions and extractions of works or other subject matter, for the purpose of text and data mining, under certain conditions. Under these rules, rightsholders may choose to reserve their rights over their works or other subject matter to prevent text and data mining, unless this is done for the purposes of scientific research. Where the rights to opt out has been expressly reserved in an appropriate manner, providers of general-purpose AI models need to obtain an authorisation from rightsholders if they want to carry out text and data mining over such works.
(106)
Dobavljači koji stavljaju UI modele opće namjene na tržište Unije trebali bi osigurati usklađenost s relevantnim obvezama iz ove Uredbe. U tu bi svrhu dobavljači UI modela opće namjene trebali uspostaviti politiku usklađivanja s pravom Unije o autorskom pravu i povezanim pravima, posebno radi utvrđivanja i poštovanja pridržaja prava koji su izrazili nositelji prava u skladu s člankom 4. stavkom 3. Direktive (EU) 2019/790. Svaki dobavljač koji na tržište Unije stavlja UI model opće namjene trebao bi ispunjavati tu obvezu, bez obzira na jurisdikciju u kojoj se odvijaju radnje povezane s autorskim pravima na kojima se temelji treniranje tih UI modela opće namjene. To je potrebno kako bi se osigurali jednaki uvjeti među dobavljačima UI modela opće namjene prema kojima nijedan dobavljač ne bi trebao moći steći konkurentsku prednost na tržištu Unije primjenom nižih standarda autorskih prava od onih koji su predviđeni u Uniji.
(106)
Providers that place general-purpose AI models on the Union market should ensure compliance with the relevant obligations in this Regulation. To that end, providers of general-purpose AI models should put in place a policy to comply with Union law on copyright and related rights, in particular to identify and comply with the reservation of rights expressed by rightsholders pursuant to Article 4(3) of Directive (EU) 2019/790. Any provider placing a general-purpose AI model on the Union market should comply with this obligation, regardless of the jurisdiction in which the copyright-relevant acts underpinning the training of those general-purpose AI models take place. This is necessary to ensure a level playing field among providers of general-purpose AI models where no provider should be able to gain a competitive advantage in the Union market by applying lower copyright standards than those provided in the Union.
(107)
Kako bi se povećala transparentnost podataka koji se upotrebljavaju u prethodnom treniranju i treniranju UI modela opće namjene, uključujući tekst i podatke zaštićene autorskim pravom, primjereno je da dobavljači takvih modela sastave i objave dovoljno detaljan sažetak sadržaja koji se upotrebljava za treniranje UI modela opće namjene. Uzimajući u obzir potrebu za zaštitom poslovnih tajni i povjerljivih poslovnih informacija, taj bi sažetak trebao biti općenito sveobuhvatan u svojem opsegu, a ne tehnički detaljan, kako bi se strankama s legitimnim interesima, uključujući nositelje autorskih prava, olakšalo ostvarivanje i izvršavanje njihovih prava na temelju prava Unije, na primjer navođenjem glavnih zbirki ili skupova podataka koji su upotrijebljeni pri treniranju modela, kao što su velike privatne ili javne baze podataka ili arhive podataka, te pružanjem opisnog objašnjenja o drugim korištenim izvorima podataka. Primjereno je da Ured za umjetnu inteligenciju dostavi predložak sažetka, koji bi trebao biti jednostavan, djelotvoran i omogućiti dobavljaču da dostavi traženi sažetak u opisnom obliku.
(107)
In order to increase transparency on the data that is used in the pre-training and training of general-purpose AI models, including text and data protected by copyright law, it is adequate that providers of such models draw up and make publicly available a sufficiently detailed summary of the content used for training the general-purpose AI model. While taking into due account the need to protect trade secrets and confidential business information, this summary should be generally comprehensive in its scope instead of technically detailed to facilitate parties with legitimate interests, including copyright holders, to exercise and enforce their rights under Union law, for example by listing the main data collections or sets that went into training the model, such as large private or public databases or data archives, and by providing a narrative explanation about other data sources used. It is appropriate for the AI Office to provide a template for the summary, which should be simple, effective, and allow the provider to provide the required summary in narrative form.
(108)
Kad je riječ o obvezama nametnutima dobavljačima UI modela opće namjene da uspostave politiku usklađivanja s pravom Unije o autorskom pravu i objave sažetak sadržaja koji se upotrebljava za treniranje, Ured za umjetnu inteligenciju trebao bi pratiti je li dobavljač ispunio te obveze bez provjere ili pojedinačnog ocjenjivanja podataka korištenih za treniranje u pogledu usklađenosti s autorskim pravom. Ova Uredba ne utječe na izvršavanje pravila o autorskom pravu kako su predviđena pravom Unije.
(108)
With regard to the obligations imposed on providers of general-purpose AI models to put in place a policy to comply with Union copyright law and make publicly available a summary of the content used for the training, the AI Office should monitor whether the provider has fulfilled those obligations without verifying or proceeding to a work-by-work assessment of the training data in terms of copyright compliance. This Regulation does not affect the enforcement of copyright rules as provided for under Union law.
(109)
Usklađenost s obvezama koje se primjenjuju na dobavljače UI modela opće namjene trebala bi biti razmjerna i primjerena vrsti dobavljača modela, isključujući potrebu za usklađenosti za osobe koje razvijaju ili upotrebljavaju modele u neprofesionalne ili znanstveno-istraživačke svrhe, no koje bi ipak trebalo poticati da dobrovoljno ispune te zahtjeve. Ne dovodeći u pitanje pravo Unije o autorskom pravu, pri ispunjavanju tih obveza trebalo bi uzeti u obzir veličinu dobavljača i omogućiti pojednostavnjene načine usklađivanja za MSP-ove, uključujući start-up poduzeća, koji ne bi trebali predstavljati pretjerani trošak niti obeshrabrivati korištenje takvih modela. U slučaju izmjene ili dorade modela, obveze dobavljača UI modela opće namjene trebale bi biti ograničene na tu izmjenu ili doradu, na primjer dopunjavanjem već postojeće tehničke dokumentacije informacijama o izmjenama, uključujući nove izvore podataka za treniranje, kako bi se ispunile obveze u pogledu vrijednosnog lanca predviđene u ovoj Uredbi.
(109)
Compliance with the obligations applicable to the providers of general-purpose AI models should be commensurate and proportionate to the type of model provider, excluding the need for compliance for persons who develop or use models for non-professional or scientific research purposes, who should nevertheless be encouraged to voluntarily comply with these requirements. Without prejudice to Union copyright law, compliance with those obligations should take due account of the size of the provider and allow simplified ways of compliance for SMEs, including start-ups, that should not represent an excessive cost and not discourage the use of such models. In the case of a modification or fine-tuning of a model, the obligations for providers of general-purpose AI models should be limited to that modification or fine-tuning, for example by complementing the already existing technical documentation with information on the modifications, including new training data sources, as a means to comply with the value chain obligations provided in this Regulation.
(110)
UI modeli opće namjene mogli bi predstavljati sistemske rizike koji uključuju, ali nisu ograničeni na, sve stvarne ili razumno predvidljive negativne učinke povezane s velikim nesrećama, poremećajima u kritičnim sektorima i ozbiljnim posljedicama za javno zdravlje i sigurnost; sve stvarne ili razumno predvidljive negativne učinke na demokratske procese, javnu i gospodarsku sigurnost; širenje nezakonitog, lažnog ili diskriminirajućeg sadržaja. Trebalo bi razumjeti da se sistemski rizici povećavaju s kapacitetom i dosegom modela, da se mogu pojaviti tijekom cijelog životnog ciklusa modela i da na njih utječu uvjeti pogrešne upotrebe, pouzdanost modela, pravednost modela i sigurnost modela, razinu autonomije modela, njegov pristup alatima, novi ili kombinirani modaliteti, strategije objave i distribucije, potencijal za uklanjanje zaštitnih mehanizama i drugi čimbenici. Konkretno, u međunarodnim pristupima dosad je utvrđeno da je potrebno posvetiti pozornost rizicima od moguće namjerne pogrešne upotrebe ili nenamjernim problemima u kontroli koji se odnose na usklađivanje s ljudskom namjerom; kemijskim, biološkim, radiološkim i nuklearnim rizicima, kao što su načini na koje se mogu smanjiti prepreke za pristup, uključujući za razvoj oružja, nabavu njihova dizajna ili njihovu upotrebu; ofenzivnim kibernetičkim sposobnostima, kao što su načini omogućavanja otkrivanja, iskorištavanja ili operativne upotrebe slabih točaka; učincima interakcije i upotrebe alata, uključujući, na primjer, sposobnost kontrole fizičkih sustava i ometanja kritične infrastrukture; rizicima povezanima s modelima koji izrađuju svoje kopije ili se „samorepliciraju” ili treniraju druge modele; načinima na koje modeli mogu dovesti do štetne pristranosti i diskriminacije uz rizike za pojedince, zajednice ili društva; olakšavanju širenja dezinformacija ili ugrožavanju privatnosti prijetnjama demokratskim vrijednostima i ljudskim pravima; riziku od toga da bi određeni događaj mogao dovesti do lančane reakcije sa znatnim negativnim učincima koji bi mogli utjecati na cijeli grad, cijelu aktivnost u nekoj domeni ili cijelu zajednicu.
(110)
General-purpose AI models could pose systemic risks which include, but are not limited to, any actual or reasonably foreseeable negative effects in relation to major accidents, disruptions of critical sectors and serious consequences to public health and safety; any actual or reasonably foreseeable negative effects on democratic processes, public and economic security; the dissemination of illegal, false, or discriminatory content. Systemic risks should be understood to increase with model capabilities and model reach, can arise along the entire lifecycle of the model, and are influenced by conditions of misuse, model reliability, model fairness and model security, the level of autonomy of the model, its access to tools, novel or combined modalities, release and distribution strategies, the potential to remove guardrails and other factors. In particular, international approaches have so far identified the need to pay attention to risks from potential intentional misuse or unintended issues of control relating to alignment with human intent; chemical, biological, radiological, and nuclear risks, such as the ways in which barriers to entry can be lowered, including for weapons development, design acquisition, or use; offensive cyber capabilities, such as the ways in vulnerability discovery, exploitation, or operational use can be enabled; the effects of interaction and tool use, including for example the capacity to control physical systems and interfere with critical infrastructure; risks from models of making copies of themselves or ‘self-replicating’ or training other models; the ways in which models can give rise to harmful bias and discrimination with risks to individuals, communities or societies; the facilitation of disinformation or harming privacy with threats to democratic values and human rights; risk that a particular event could lead to a chain reaction with considerable negative effects that could affect up to an entire city, an entire domain activity or an entire community.
(111)
Primjereno je uspostaviti metodologiju za klasifikaciju UI modela opće namjene kao UI modela opće namjene sa sistemskim rizicima. Budući da sistemski rizici proizlaze iz posebno visokih sposobnosti, trebalo bi smatrati da UI model opće namjene predstavlja sistemske rizike ako ima sposobnosti visokog učinka, koje se ocjenjuje na temelju odgovarajućih tehničkih alata i metodologija, ili ako zbog svojeg dosega znatno utječe na unutarnje tržište. Sposobnosti visokog učinka kod UI modela opće namjene znači sposobnosti koje odgovaraju sposobnostima zabilježenima kod najnaprednijih UI modela opće namjene ili ih nadilaze. Cijeli raspon sposobnosti modela mogao bi se bolje razumjeti nakon njegova stavljanja na tržište ili pri interakciji dobavljačâ s modelom. U skladu s najnovijim dostignućima u trenutku stupanja na snagu ove Uredbe, kumulativna količina računanja korištena za treniranje UI modela opće namjene iskazana brojem matematičkih operacija nad brojevima s pomičnim zarezom jedna je od relevantnih približnih vrijednosti za sposobnosti modela. Kumulativna količina računanja korištena za treniranje uključuje računanje korišteno u svim aktivnostima i metode namijenjene poboljšanju sposobnosti modela prije uvođenja, kao što su prethodno treniranje, generiranje sintetičkih podataka i dorada. Stoga bi trebalo utvrditi početni prag za matematičke operacije nad brojevima s pomičnim zarezom, koji, ako ga UI model opće namjene dosegne, dovodi do pretpostavke da je riječ o UI modelu opće namjene sa sistemskim rizicima. Taj bi prag trebalo s vremenom prilagoditi kako bi odražavao tehnološke i industrijske promjene, kao što su algoritamska poboljšanja ili povećana učinkovitost hardvera, te bi ga trebalo dopuniti referentnim vrijednostima i pokazateljima sposobnosti modela. U tu bi svrhu Ured za umjetnu inteligenciju trebao surađivati sa znanstvenom zajednicom, strukom, civilnim društvom i drugim stručnjacima. Pragovi, kao i alati i referentne vrijednosti za procjenu sposobnosti visokog učinka, trebali bi u velikoj mjeri predvidjeti općenitost, sposobnosti i povezani sistemski rizik UI modela opće namjene te bi se njima moglo uzeti u obzir način na koji će se model staviti na tržište ili broj korisnika na koji bi mogao utjecati. Kako bi se taj sustav dopunio, Komisija bi trebala moći donijeti pojedinačne odluke kojima se UI model opće namjene određuje kao UI model opće namjene sa sistemskim rizikom ako se utvrdi da takav model ima sposobnosti ili učinak jednakovrijedan onima koji su obuhvaćeni utvrđenim pragom. Ta bi se odluka trebala donijeti na temelju opće procjene kriterijâ za određivanje UI modela opće namjene sa sistemskim rizikom navedenih u prilogu ovoj Uredbi, kao što su kvaliteta ili veličina skupa podataka za treniranje, broj poslovnih i krajnjih korisnika, njihovi ulazni i izlazni modaliteti, razina autonomije i skalabilnosti ili alati kojima ima pristup. Na obrazloženi zahtjev dobavljača čiji je model određen kao UI model opće namjene sa sistemskim rizikom Komisija bi takav zahtjev trebala uzeti u obzir i može odlučiti ponovno ocijeniti može li se i dalje smatrati da UI model opće namjene predstavlja sistemske rizike.
(111)
It is appropriate to establish a methodology for the classification of general-purpose AI models as general-purpose AI model with systemic risks. Since systemic risks result from particularly high capabilities, a general-purpose AI model should be considered to present systemic risks if it has high-impact capabilities, evaluated on the basis of appropriate technical tools and methodologies, or significant impact on the internal market due to its reach. High-impact capabilities in general-purpose AI models means capabilities that match or exceed the capabilities recorded in the most advanced general-purpose AI models. The full range of capabilities in a model could be better understood after its placing on the market or when deployers interact with the model. According to the state of the art at the time of entry into force of this Regulation, the cumulative amount of computation used for the training of the general-purpose AI model measured in floating point operations is one of the relevant approximations for model capabilities. The cumulative amount of computation used for training includes the computation used across the activities and methods that are intended to enhance the capabilities of the model prior to deployment, such as pre-training, synthetic data generation and fine-tuning. Therefore, an initial threshold of floating point operations should be set, which, if met by a general-purpose AI model, leads to a presumption that the model is a general-purpose AI model with systemic risks. This threshold should be adjusted over time to reflect technological and industrial changes, such as algorithmic improvements or increased hardware efficiency, and should be supplemented with benchmarks and indicators for model capability. To inform this, the AI Office should engage with the scientific community, industry, civil society and other experts. Thresholds, as well as tools and benchmarks for the assessment of high-impact capabilities, should be strong predictors of generality, its capabilities and associated systemic risk of general-purpose AI models, and could take into account the way the model will be placed on the market or the number of users it may affect. To complement this system, there should be a possibility for the Commission to take individual decisions designating a general-purpose AI model as a general-purpose AI model with systemic risk if it is found that such model has capabilities or an impact equivalent to those captured by the set threshold. That decision should be taken on the basis of an overall assessment of the criteria for the designation of a general-purpose AI model with systemic risk set out in an annex to this Regulation, such as quality or size of the training data set, number of business and end users, its input and output modalities, its level of autonomy and scalability, or the tools it has access to. Upon a reasoned request of a provider whose model has been designated as a general-purpose AI model with systemic risk, the Commission should take the request into account and may decide to reassess whether the general-purpose AI model can still be considered to present systemic risks.
(112)
Također je potrebno pojasniti proceduru za klasifikaciju UI modela opće namjene kao UI modela opće namjene sa sistemskim rizicima. Za UI model opće namjene koji je dosegao primjenjivi prag za sposobnosti visokog učinka trebalo bi se pretpostaviti da je riječ o UI modelu opće namjene sa sistemskim rizikom. Dobavljač bi trebao obavijestiti Ured za umjetnu inteligenciju najkasnije dva tjedna nakon što su zahtjevi ispunjeni ili nakon što postane poznato da će UI model opće namjene ispunjavati zahtjeve koji dovode do te pretpostavke. To je posebno važno u odnosu na prag matematičkih operacija nad brojevima s pomičnim zarezom jer je za treniranje UI modela opće namjene potrebno znatno planiranje koje uključuje prethodnu dodjelu računalnih resursa te stoga dobavljači UI modela opće namjene mogu znati bi li njihov model dosegnuo prag prije završetka postupka treniranja. U kontekstu te obavijesti dobavljač bi trebao moći dokazati da, zbog posebnih značajki UI modela opće namjene, taj model iznimno ne predstavlja sistemske rizike te da ga stoga ne bi trebalo klasificirati kao UI model opće namjene sa sistemskim rizicima. Te su informacije vrijedne Uredu za umjetnu inteligenciju kako bi predvidio stavljanje na tržište UI modela opće namjene sa sistemskim rizicima, a dobavljači mogu rano početi surađivati s Uredom za umjetnu inteligenciju. Te su informacije posebno važne u pogledu UI modela opće namjene koji se planiraju objaviti kao otvoreni kod, s obzirom na to da bi nakon objave modela otvorenog koda moglo biti teže provesti potrebne mjere za osiguravanje usklađenosti s obvezama iz ove Uredbe.
(112)
It is also necessary to clarify a procedure for the classification of a general-purpose AI model with systemic risks. A general-purpose AI model that meets the applicable threshold for high-impact capabilities should be presumed to be a general-purpose AI models with systemic risk. The provider should notify the AI Office at the latest two weeks after the requirements are met or it becomes known that a general-purpose AI model will meet the requirements that lead to the presumption. This is especially relevant in relation to the threshold of floating point operations because training of general-purpose AI models takes considerable planning which includes the upfront allocation of compute resources and, therefore, providers of general-purpose AI models are able to know if their model would meet the threshold before the training is completed. In the context of that notification, the provider should be able to demonstrate that, because of its specific characteristics, a general-purpose AI model exceptionally does not present systemic risks, and that it thus should not be classified as a general-purpose AI model with systemic risks. That information is valuable for the AI Office to anticipate the placing on the market of general-purpose AI models with systemic risks and the providers can start to engage with the AI Office early on. That information is especially important with regard to general-purpose AI models that are planned to be released as open-source, given that, after the open-source model release, necessary measures to ensure compliance with the obligations under this Regulation may be more difficult to implement.
(113)
Ako Komisija sazna da UI model opće namjene ispunjava zahtjeve da ga se klasificira kao UI model opće namjene sa sistemskim rizikom, a prethodno nije bio poznat ili o njemu relevantni dobavljač nije obavijestio Komisiju, Komisija bi trebala biti ovlaštena odrediti ga kao takvoga. Sustav kvalificiranih upozorenja trebao bi osigurati da znanstveno povjerenstvo obavijesti Ured za umjetnu inteligenciju o UI modelima opće namjene koje bi potencijalno trebalo klasificirati kao UI modele opće namjene sa sistemskim rizikom, kao i o aktivnostima praćenja Ureda za umjetnu inteligenciju.
(113)
If the Commission becomes aware of the fact that a general-purpose AI model meets the requirements to classify as a general-purpose AI model with systemic risk, which previously had either not been known or of which the relevant provider has failed to notify the Commission, the Commission should be empowered to designate it so. A system of qualified alerts should ensure that the AI Office is made aware by the scientific panel of general-purpose AI models that should possibly be classified as general-purpose AI models with systemic risk, in addition to the monitoring activities of the AI Office.
(114)
Dobavljači UI modela opće namjene koji predstavljaju sistemske rizike trebali bi, uz obveze predviđene za dobavljače UI modela opće namjene, podlijegati obvezama usmjerenima na utvrđivanje i ublažavanje tih rizika i osiguravanje odgovarajuće razine kibernetičkosigurnosne zaštite, bez obzira na to pružaju li se kao samostalni model ili su ugrađeni u UI sustav ili proizvod. Kako bi se postigli ti ciljevi, ovom bi se Uredbom od dobavljača trebalo zahtijevati da provedu potrebne evaluacije modela, posebno prije njihova prvog stavljanja na tržište, uključujući provođenje i dokumentiranje neprijateljskog testiranja modela, također, prema potrebi, unutarnjim testiranjem ili neovisnim vanjskim testiranjem. Osim toga, dobavljači UI modela opće namjene sa sistemskim rizicima trebali bi kontinuirano procjenjivati i ublažavati sistemske rizike, među ostalim i, primjerice, uspostavom politika upravljanja rizikom, kao što su postupci odgovornosti i upravljanja, provedbom praćenja nakon stavljanja na tržište, poduzimanjem odgovarajućih mjera tijekom cijelog životnog ciklusa modela i suradnjom s relevantnim akterima duž lanca vrijednosti umjetne inteligencije.
(114)
The providers of general-purpose AI models presenting systemic risks should be subject, in addition to the obligations provided for providers of general-purpose AI models, to obligations aimed at identifying and mitigating those risks and ensuring an adequate level of cybersecurity protection, regardless of whether it is provided as a standalone model or embedded in an AI system or a product. To achieve those objectives, this Regulation should require providers to perform the necessary model evaluations, in particular prior to its first placing on the market, including conducting and documenting adversarial testing of models, also, as appropriate, through internal or independent external testing. In addition, providers of general-purpose AI models with systemic risks should continuously assess and mitigate systemic risks, including for example by putting in place risk-management policies, such as accountability and governance processes, implementing post-market monitoring, taking appropriate measures along the entire model’s lifecycle and cooperating with relevant actors along the AI value chain.
(115)
Dobavljači UI modela opće namjene sa sistemskim rizicima trebali bi procijeniti i ublažiti moguće sistemske rizike. Ako, unatoč nastojanjima da se utvrde i spriječe rizici povezani s UI modelom opće namjene koji bi mogao predstavljati sistemske rizike, razvoj ili korištenje modela uzrokuju ozbiljan incident, dobavljač UI modela opće namjene trebao bi bez nepotrebne odgode pratiti incident i izvješćivati Komisiju i nacionalna nadležna tijela o svim relevantnim informacijama i mogućim korektivnim mjerama. Nadalje, dobavljači bi trebali osigurati odgovarajuću razinu kibernetičkosigurnosne zaštite modela i njegove fizičke infrastrukture, prema potrebi, tijekom cijelog životnog ciklusa modela. Kibernetičkosigurnosnom zaštitom koja je povezana sa sistemskim rizicima povezanima sa zlonamjernom upotrebom ili napadima trebalo bi na odgovarajući način uzeti u obzir slučajno curenje iz modela, neovlaštena objavljivanja, zaobilaženje sigurnosnih mjera i obranu od kibernetičkih napada, neovlaštenog pristupa ili krađe modela. Ta bi se zaštita mogla olakšati osiguravanjem težinskih faktora modela, algoritama, poslužitelja i skupova podataka, primjerice mjerama operativne sigurnosti za informacijsku sigurnost, posebnim kibernetičkosigurnosnim politikama, odgovarajućim tehničkim i utvrđenim rješenjima te kontrolama kibernetičkog i fizičkog pristupa, koji su primjereni relevantnim okolnostima i uključenim rizicima.
(115)
Providers of general-purpose AI models with systemic risks should assess and mitigate possible systemic risks. If, despite efforts to identify and prevent risks related to a general-purpose AI model that may present systemic risks, the development or use of the model causes a serious incident, the general-purpose AI model provider should without undue delay keep track of the incident and report any relevant information and possible corrective measures to the Commission and national competent authorities. Furthermore, providers should ensure an adequate level of cybersecurity protection for the model and its physical infrastructure, if appropriate, along the entire model lifecycle. Cybersecurity protection related to systemic risks associated with malicious use or attacks should duly consider accidental model leakage, unauthorised releases, circumvention of safety measures, and defence against cyberattacks, unauthorised access or model theft. That protection could be facilitated by securing model weights, algorithms, servers, and data sets, such as through operational security measures for information security, specific cybersecurity policies, adequate technical and established solutions, and cyber and physical access controls, appropriate to the relevant circumstances and the risks involved.
(116)
Ured za umjetnu inteligenciju trebao bi poticati i olakšati izradu, preispitivanje i prilagodbu kodeksâ prakse, uzimajući u obzir međunarodne pristupe. Svi dobavljači UI modela opće namjene mogli bi biti pozvani na sudjelovanje. Kako bi se osiguralo da se kodeksima prakse odražavaju najnovija dostignuća i na odgovarajući način uzimaju u obzir različite perspektive, Ured za umjetnu inteligenciju trebao bi surađivati s relevantnim nacionalnim nadležnim tijelima te bi se, prema potrebi, mogao savjetovati s organizacijama civilnog društva i drugim relevantnim dionicima i stručnjacima, uključujući znanstveno povjerenstvo, radi izrade takvih kodeksa. Kodeksi prakse trebali bi obuhvaćati obveze dobavljača UI modela opće namjene i UI modela opće namjene koji predstavljaju sistemske rizike. Osim toga, kad je riječ o sistemskim rizicima, kodeksi prakse trebali bi pomoći u uspostavi taksonomije vrste i prirode sistemskih rizika na razini Unije, uključujući njihove izvore. Kodeksi prakse trebali bi biti usmjereni i na posebne mjere procjene i ublažavanja rizika.
(116)
The AI Office should encourage and facilitate the drawing up, review and adaptation of codes of practice, taking into account international approaches. All providers of general-purpose AI models could be invited to participate. To ensure that the codes of practice reflect the state of the art and duly take into account a diverse set of perspectives, the AI Office should collaborate with relevant national competent authorities, and could, where appropriate, consult with civil society organisations and other relevant stakeholders and experts, including the Scientific Panel, for the drawing up of such codes. Codes of practice should cover obligations for providers of general-purpose AI models and of general-purpose AI models presenting systemic risks. In addition, as regards systemic risks, codes of practice should help to establish a risk taxonomy of the type and nature of the systemic risks at Union level, including their sources. Codes of practice should also be focused on specific risk assessment and mitigation measures.
(117)
Kodeksi prakse trebali bi biti središnji alat za pravilno ispunjavanje obveza predviđenih na temelju ove Uredbe za dobavljače UI modela opće namjene. Dobavljači bi se trebali moći osloniti na kodekse prakse kako bi dokazali ispunjavanje obveza. Komisija provedbenim aktima može odlučiti odobriti kodeks prakse i učiniti ga općenito valjanim u Uniji ili, alternativno, utvrditi zajednička pravila za provedbu relevantnih obveza ako do početka primjene ove Uredbe kodeks prakse ne može biti dovršen ili ga Ured za umjetnu inteligenciju ne smatra adekvatnim. Nakon što se usklađena norma objavi i Ured za umjetnu inteligenciju ocijeni je prikladnom za obuhvaćanje relevantnih obveza, ispunjavanje europske usklađene norme dobavljačima bi trebalo omogućiti pretpostavku sukladnosti. Nadalje, dobavljači UI modela opće namjene trebali bi moći dokazati ispunjavanje obveza s pomoću alternativnih odgovarajućih sredstava ako kodeksi prakse ili usklađene norme nisu dostupni ili ako odluče da se neće oslanjati na njih.
(117)
The codes of practice should represent a central tool for the proper compliance with the obligations provided for under this Regulation for providers of general-purpose AI models. Providers should be able to rely on codes of practice to demonstrate compliance with the obligations. By means of implementing acts, the Commission may decide to approve a code of practice and give it a general validity within the Union, or, alternatively, to provide common rules for the implementation of the relevant obligations, if, by the time this Regulation becomes applicable, a code of practice cannot be finalised or is not deemed adequate by the AI Office. Once a harmonised standard is published and assessed as suitable to cover the relevant obligations by the AI Office, compliance with a European harmonised standard should grant providers the presumption of conformity. Providers of general-purpose AI models should furthermore be able to demonstrate compliance using alternative adequate means, if codes of practice or harmonised standards are not available, or they choose not to rely on those.
(118)
Ovom se Uredbom reguliraju UI sustavi i modeli uvođenjem određenih zahtjeva i obveza za relevantne aktere na tržištu koji ih stavljaju na tržište ili u upotrebu ili ih upotrebljavaju u Uniji, čime se dopunjuju obveze pružatelja usluga posredovanja koji takve sustave ili modele ugrađuju u svoje usluge regulirane Uredbom (EU) 2022/2065. U mjeri u kojoj su takvi sustavi ili modeli ugrađeni u određene vrlo velike internetske platforme ili vrlo velike internetske tražilice, na njih se primjenjuje okvir za upravljanje rizicima predviđen u Uredbi (EU) 2022/2065. Stoga bi trebalo pretpostaviti da su odgovarajuće obveze iz ove Uredbe ispunjene, osim ako se u takvim modelima pojave znatni sistemski rizici koji nisu obuhvaćeni Uredbom (EU) 2022/2065. Unutar tog okvira pružatelji vrlo velikih internetskih platformi i vrlo velikih internetskih tražilica obvezni su procijeniti potencijalne sistemske rizike koji proizlaze iz dizajna, funkcioniranja i korištenja njihovih usluga, uključujući način na koji dizajn algoritamskih sustava koji se upotrebljavaju u usluzi može doprinijeti takvim rizicima, kao i sistemske rizike koji proizlaze iz mogućih pogrešnih upotreba. Ti su pružatelji također obvezni poduzeti odgovarajuće mjere za ublažavanje rizika za temeljna prava.
(118)
This Regulation regulates AI systems and AI models by imposing certain requirements and obligations for relevant market actors that are placing them on the market, putting into service or use in the Union, thereby complementing obligations for providers of intermediary services that embed such systems or models into their services regulated by Regulation (EU) 2022/2065. To the extent that such systems or models are embedded into designated very large online platforms or very large online search engines, they are subject to the risk-management framework provided for in Regulation (EU) 2022/2065. Consequently, the corresponding obligations of this Regulation should be presumed to be fulfilled, unless significant systemic risks not covered by Regulation (EU) 2022/2065 emerge and are identified in such models. Within this framework, providers of very large online platforms and very large online search engines are obliged to assess potential systemic risks stemming from the design, functioning and use of their services, including how the design of algorithmic systems used in the service may contribute to such risks, as well as systemic risks stemming from potential misuses. Those providers are also obliged to take appropriate mitigating measures in observance of fundamental rights.
(119)
S obzirom na brz tempo inovacija i tehnološki razvoj digitalnih usluga u području primjene različitih instrumenata prava Unije, posebno imajući na umu upotrebu i percepciju njihovih primatelja, UI sustavi koji podliježu ovoj Uredbi mogu se pružati kao usluge posredovanja ili njihovi dijelovi u smislu Uredbe (EU) 2022/2065, koje bi trebalo tumačiti na tehnološki neutralan način. Na primjer, UI sustavi mogu se upotrebljavati za pružanje internetskih tražilica, posebno u mjeri u kojoj UI sustav, kao što je internetski chatbot, u načelu pretražuje sve internetske stranice, zatim uključuje rezultate u svoje postojeće znanje i upotrebljava nadopunjeno znanje kako bi generirao jedan izlazni rezultat koji objedinjuje različite izvore informacija.
(119)
Considering the quick pace of innovation and the technological evolution of digital services in scope of different instruments of Union law in particular having in mind the usage and the perception of their recipients, the AI systems subject to this Regulation may be provided as intermediary services or parts thereof within the meaning of Regulation (EU) 2022/2065, which should be interpreted in a technology-neutral manner. For example, AI systems may be used to provide online search engines, in particular, to the extent that an AI system such as an online chatbot performs searches of, in principle, all websites, then incorporates the results into its existing knowledge and uses the updated knowledge to generate a single output that combines different sources of information.
(120)
Nadalje, obveze propisane u ovoj Uredbi za dobavljače i za subjekte koji uvode određene UI sustave kako bi se omogućilo prepoznavanje i otkrivanje umjetno stvorenih ili manipuliranih izlaznih rezultata tih sustava posebno su relevantne za olakšavanje djelotvorne provedbe Uredbe (EU) 2022/2065. To se posebno odnosi na obveze pružatelja vrlo velikih internetskih platformi ili vrlo velikih internetskih tražilica da utvrde i ublaže sistemske rizike koji mogu proizaći iz širenja umjetno stvorenog ili manipuliranog sadržaja, posebno rizik od stvarnih ili predvidljivih negativnih učinaka na demokratske procese, građanski diskurs i izborne procese, među ostalim dezinformiranjem.
(120)
Furthermore, obligations placed on providers and deployers of certain AI systems in this Regulation to enable the detection and disclosure that the outputs of those systems are artificially generated or manipulated are particularly relevant to facilitate the effective implementation of Regulation (EU) 2022/2065. This applies in particular as regards the obligations of providers of very large online platforms or very large online search engines to identify and mitigate systemic risks that may arise from the dissemination of content that has been artificially generated or manipulated, in particular risk of the actual or foreseeable negative effects on democratic processes, civic discourse and electoral processes, including through disinformation.
(121)
Normizacija bi trebala imati ključnu ulogu u pružanju tehničkih rješenja dobavljačima kako bi se osigurala usklađenost s ovom Uredbom, u skladu s najnovijim dostignućima, kako bi se promicale inovacije te konkurentnost i rast na jedinstvenom tržištu. Poštovanje usklađenih normi kako su definirane u članku 2. točki 1. podtočki (c) Uredbe (EU) br. 1025/2012 Europskog parlamenta i Vijeća (41), za koje se obično očekuje da odražavaju najnovija dostignuća, trebalo bi biti sredstvo kojim će dobavljači dokazivati sukladnost sa zahtjevima ove Uredbe. Stoga bi u skladu s člancima 5. i 6. Uredbe (EU) br. 1025/2012 trebalo poticati uravnoteženu zastupljenost interesa koja uključuje sve relevantne dionike u razvoju normi, posebno MSP-ove, organizacije potrošača te dionike u području okoliša i socijalne dionike. Kako bi se olakšala sukladnost, Komisija bi trebala izdati zahtjeve za normizaciju bez nepotrebne odgode. Pri izradi zahtjeva za normizaciju Komisija bi se trebala savjetovati sa savjetodavnim forumom i Vijećem za umjetnu inteligenciju kako bi obuhvatila relevantno stručno znanje. Međutim, u nedostatku relevantnih upućivanja na usklađene norme, Komisija bi trebala moći provedbenim aktima i nakon savjetovanja sa savjetodavnim forumom utvrditi zajedničke specifikacije za određene zahtjeve na temelju ove Uredbe. Zajednička specifikacija trebala bi biti iznimno zamjensko rješenje kako bi se dobavljaču olakšalo ispunjavanje zahtjeva iz ove Uredbe kada nijedna europska organizacija za normizaciju nije prihvatila zahtjev za normizaciju ili kada se relevantnim usklađenim normama u nedovoljnoj mjeri rješavaju problemi u području temeljnih prava ili kada usklađene norme nisu u skladu sa zahtjevom ili kada dođe do kašnjenja u donošenju odgovarajuće usklađene norme. Ako je takvo kašnjenje u donošenju usklađene norme posljedica tehničke složenosti te norme, Komisija bi to trebala razmotriti prije razmatranja utvrđivanja zajedničkih specifikacija. Pri izradi zajedničkih specifikacija Komisiju se potiče na suradnju s međunarodnim partnerima i međunarodnim tijelima za normizaciju.
(121)
Standardisation should play a key role to provide technical solutions to providers to ensure compliance with this Regulation, in line with the state of the art, to promote innovation as well as competitiveness and growth in the single market. Compliance with harmonised standards as defined in Article 2, point (1)(c), of Regulation (EU) No 1025/2012 of the European Parliament and of the Council (41), which are normally expected to reflect the state of the art, should be a means for providers to demonstrate conformity with the requirements of this Regulation. A balanced representation of interests involving all relevant stakeholders in the development of standards, in particular SMEs, consumer organisations and environmental and social stakeholders in accordance with Articles 5 and 6 of Regulation (EU) No 1025/2012 should therefore be encouraged. In order to facilitate compliance, the standardisation requests should be issued by the Commission without undue delay. When preparing the standardisation request, the Commission should consult the advisory forum and the Board in order to collect relevant expertise. However, in the absence of relevant references to harmonised standards, the Commission should be able to establish, via implementing acts, and after consultation of the advisory forum, common specifications for certain requirements under this Regulation. The common specification should be an exceptional fall back solution to facilitate the provider’s obligation to comply with the requirements of this Regulation, when the standardisation request has not been accepted by any of the European standardisation organisations, or when the relevant harmonised standards insufficiently address fundamental rights concerns, or when the harmonised standards do not comply with the request, or when there are delays in the adoption of an appropriate harmonised standard. Where such a delay in the adoption of a harmonised standard is due to the technical complexity of that standard, this should be considered by the Commission before contemplating the establishment of common specifications. When developing common specifications, the Commission is encouraged to cooperate with international partners and international standardisation bodies.
(122)
Ne dovodeći u pitanje upotrebu usklađenih normi i zajedničkih specifikacija, primjereno je da se za dobavljače visokorizičnog UI sustava koji je treniran i testiran na podacima koji odražavaju specifično zemljopisno, bihevioralno, kontekstualno ili funkcionalno okružje u kojem se UI sustav namjerava upotrebljavati smatra da su sukladni s relevantnom mjerom predviđenom u zahtjevu u pogledu upravljanja podacima utvrđenom u ovoj Uredbi. Ne dovodeći u pitanje zahtjeve koji se odnose na otpornost i točnost utvrđene u ovoj Uredbi, u skladu s člankom 54. stavkom 3. Uredbe (EU) 2019/881, za visokorizične UI sustave koji su certificirani ili za koje je izdana izjava o sukladnosti u okviru programa kibernetičke sigurnosti na temelju te uredbe i na koje su objavljena upućivanja u Službenom listu Europske unije trebalo bi pretpostaviti da ispunjavaju kibernetičkosigurnosne zahtjeve iz ove Uredbe u mjeri u kojoj certifikat o kibernetičkoj sigurnosti ili izjava o sukladnosti ili njihovi dijelovi obuhvaćaju kibernetičkosigurnosne zahtjeve iz ove Uredbe. Time se i dalje ne dovodi u pitanje dobrovoljna priroda tog programa kibernetičke sigurnosti.
(122)
It is appropriate that, without prejudice to the use of harmonised standards and common specifications, providers of a high-risk AI system that has been trained and tested on data reflecting the specific geographical, behavioural, contextual or functional setting within which the AI system is intended to be used, should be presumed to comply with the relevant measure provided for under the requirement on data governance set out in this Regulation. Without prejudice to the requirements related to robustness and accuracy set out in this Regulation, in accordance with Article 54(3) of Regulation (EU) 2019/881, high-risk AI systems that have been certified or for which a statement of conformity has been issued under a cybersecurity scheme pursuant to that Regulation and the references of which have been published in the Official Journal of the European Union should be presumed to comply with the cybersecurity requirement of this Regulation in so far as the cybersecurity certificate or statement of conformity or parts thereof cover the cybersecurity requirement of this Regulation. This remains without prejudice to the voluntary nature of that cybersecurity scheme.
(123)
Kako bi se osigurala visoka razina pouzdanosti visokorizičnih UI sustava, ti bi sustavi trebali podlijegati ocjenjivanju sukladnosti prije njihova stavljanja na tržište ili u upotrebu.
(123)
In order to ensure a high level of trustworthiness of high-risk AI systems, those systems should be subject to a conformity assessment prior to their placing on the market or putting into service.
(124)
Kako bi se opterećenje za operatere svelo na najmanju moguću mjeru i izbjeglo moguće udvostručavanje, za visokorizične UI sustave povezane s proizvodima koji su obuhvaćeni postojećim zakonodavstvom Unije o usklađivanju na temelju novog zakonodavnog okvira, usklađenost tih UI sustava sa zahtjevima ove Uredbe trebala bi se ocjenjivati u okviru ocjenjivanja sukladnosti koje je već predviđeno u tom pravu. Primjenjivost zahtjevâ ove Uredbe stoga ne bi trebala utjecati na specifičnu logiku, metodologiju ili opću strukturu ocjenjivanja sukladnosti na temelju relevantnog zakonodavstva Unije o usklađivanju.
(124)
It is appropriate that, in order to minimise the burden on operators and avoid any possible duplication, for high-risk AI systems related to products which are covered by existing Union harmonisation legislation based on the New Legislative Framework, the compliance of those AI systems with the requirements of this Regulation should be assessed as part of the conformity assessment already provided for in that law. The applicability of the requirements of this Regulation should thus not affect the specific logic, methodology or general structure of conformity assessment under the relevant Union harmonisation legislation.
(125)
S obzirom na složenost visokorizičnih UI sustava i s njima povezane rizike, važno je razviti odgovarajući sustav postupka ocjenjivanja sukladnosti visokorizičnih UI sustava koji uključuje prijavljena tijela, tzv. ocjenjivanje sukladnosti koje provodi treća strana. Međutim, s obzirom na trenutačno iskustvo profesionalnih certifikatora proizvoda prije stavljanja na tržište u području sigurnosti proizvoda i različitu prirodu uključenih rizika, primjereno je, barem u početnoj fazi primjene ove Uredbe, ograničiti područje primjene ocjenjivanja sukladnosti visokorizičnih UI sustava koje provodi treća strana, osim za one sustave koji su povezani s proizvodima. Stoga bi ocjenjivanje sukladnosti takvih sustava u pravilu trebao provoditi dobavljač na vlastitu odgovornost, uz jedinu iznimku UI sustava namijenjenih za biometriju.
(125)
Given the complexity of high-risk AI systems and the risks that are associated with them, it is important to develop an adequate conformity assessment procedure for high-risk AI systems involving notified bodies, so-called third party conformity assessment. However, given the current experience of professional pre-market certifiers in the field of product safety and the different nature of risks involved, it is appropriate to limit, at least in an initial phase of application of this Regulation, the scope of application of third-party conformity assessment for high-risk AI systems other than those related to products. Therefore, the conformity assessment of such systems should be carried out as a general rule by the provider under its own responsibility, with the only exception of AI systems intended to be used for biometrics.
(126)
Za ocjenjivanje sukladnosti koje provodi treća strana kada je to potrebno, nacionalna nadležna tijela trebala bi na temelju ove Uredbe prijavljivati prijavljena tijela, pod uvjetom da ispunjavaju niz zahtjeva, ponajprije u pogledu neovisnosti, kompetentnosti, nepostojanja sukoba interesa i odgovarajućih kibernetičkosigurnosnih zahtjeva. Nacionalna nadležna tijela trebala bi Komisiji i drugim državama članicama slati obavijesti o prijavljivanju tih tijela pomoću alata za elektroničko prijavljivanje koji je razvila i kojim upravlja Komisija u skladu s člankom R23. Priloga I. Odluci br. 768/2008/EZ.
(126)
In order to carry out third-party conformity assessments when so required, notified bodies should be notified under this Regulation by the national competent authorities, provided that they comply with a set of requirements, in particular on independence, competence, absence of conflicts of interests and suitable cybersecurity requirements. Notification of those bodies should be sent by national competent authorities to the Commission and the other Member States by means of the electronic notification tool developed and managed by the Commission pursuant to Article R23 of Annex I to Decision No 768/2008/EC.
(127)
U skladu s obvezama Unije na temelju Sporazuma Svjetske trgovinske organizacije o tehničkim preprekama u trgovini primjereno je olakšati uzajamno prihvaćanje rezultata ocjenjivanja sukladnosti koje su proizvela nadležna tijela za ocjenjivanje sukladnosti, bez obzira na to na kojem području imaju poslovni nastan, pod uvjetom da ta tijela za ocjenjivanje sukladnosti osnovana na temelju prava treće zemlje ispunjavaju primjenjive zahtjeve ove Uredbe i da je Unija sklopila odgovarajući sporazum. U tom kontekstu Komisija bi trebala aktivno istražiti moguće međunarodne instrumente u tu svrhu, a posebno nastojati sklopiti sporazume o uzajamnom priznavanju s trećim zemljama.
(127)
In line with Union commitments under the World Trade Organization Agreement on Technical Barriers to Trade, it is adequate to facilitate the mutual recognition of conformity assessment results produced by competent conformity assessment bodies, independent of the territory in which they are established, provided that those conformity assessment bodies established under the law of a third country meet the applicable requirements of this Regulation and the Union has concluded an agreement to that extent. In this context, the Commission should actively explore possible international instruments for that purpose and in particular pursue the conclusion of mutual recognition agreements with third countries.
(128)
U skladu sa zajednički utvrđenim pojmom znatne izmjene za proizvode regulirane zakonodavstvom Unije o usklađivanju primjereno je da se svaki put kad dođe do promjene koja može utjecati na usklađenost visokorizičnog UI sustava s ovom Uredbom (npr. promjena operativnog sustava ili softverske arhitekture) ili kad se promijeni namjena sustava, taj UI sustav smatra novim UI sustavom koji bi trebao proći novo ocjenjivanje sukladnosti. Međutim, promjene algoritma i učinkovitosti UI sustava koji nakon stavljanja na tržište ili u upotrebu nastavljaju „učiti”, odnosno automatski prilagođavati način izvršavanja funkcija, ne bi trebale predstavljati znatnu izmjenu, pod uvjetom da je te promjene unaprijed odredio dobavljač i da su ocijenjene u trenutku ocjenjivanja sukladnosti.
(128)
In line with the commonly established notion of substantial modification for products regulated by Union harmonisation legislation, it is appropriate that whenever a change occurs which may affect the compliance of a high-risk AI system with this Regulation (e.g. change of operating system or software architecture), or when the intended purpose of the system changes, that AI system should be considered to be a new AI system which should undergo a new conformity assessment. However, changes occurring to the algorithm and the performance of AI systems which continue to ‘learn’ after being placed on the market or put into service, namely automatically adapting how functions are carried out, should not constitute a substantial modification, provided that those changes have been pre-determined by the provider and assessed at the moment of the conformity assessment.
(129)
Visokorizični UI sustavi trebali bi nositi oznaku CE koja upućuje na njihovu sukladnost s ovom Uredbom kako bi se mogli slobodno kretati na unutarnjem tržištu. Kad je riječ o visokorizičnim UI sustavima ugrađenima u proizvod, fizička oznaka CE trebala bi biti pričvršćena na njih te se može dopuniti digitalnom oznakom CE. Za visokorizične UI sustave koji se pružaju samo digitalno trebalo bi upotrebljavati digitalnu oznaku CE. Države članice ne bi trebale stvarati neopravdane zapreke stavljanju na tržište ili u upotrebu visokorizičnih UI sustava koji ispunjavaju zahtjeve utvrđene u ovoj Uredbi i nose oznaku CE.
(129)
High-risk AI systems should bear the CE marking to indicate their conformity with this Regulation so that they can move freely within the internal market. For high-risk AI systems embedded in a product, a physical CE marking should be affixed, and may be complemented by a digital CE marking. For high-risk AI systems only provided digitally, a digital CE marking should be used. Member States should not create unjustified obstacles to the placing on the market or the putting into service of high-risk AI systems that comply with the requirements laid down in this Regulation and bear the CE marking.
(130)
Po određenim uvjetima brza dostupnost inovativnih tehnologija može biti ključna za zdravlje i sigurnost osoba, zaštitu okoliša i klimatske promjene te za društvo u cjelini. Stoga je primjereno da bi zbog iznimnih razloga povezanih s javnom sigurnošću ili zaštitom života i zdravlja fizičkih osoba, zaštitom okoliša i ključne industrijske i infrastrukturne imovine, tijela za nadzor tržišta mogla odobriti stavljanje na tržište ili u upotrebu UI sustava za koje nije proveden postupak ocjenjivanja sukladnosti. U propisno opravdanim situacijama, kako je predviđeno u ovoj Uredbi, tijela kaznenog progona ili tijela civilne zaštite mogu staviti u upotrebu određeni visokorizični UI sustav bez odobrenja tijela za nadzor tržišta, pod uvjetom da se takvo odobrenje zatraži tijekom ili nakon korištenja bez nepotrebne odgode.
(130)
Under certain conditions, rapid availability of innovative technologies may be crucial for health and safety of persons, the protection of the environment and climate change and for society as a whole. It is thus appropriate that under exceptional reasons of public security or protection of life and health of natural persons, environmental protection and the protection of key industrial and infrastructural assets, market surveillance authorities could authorise the placing on the market or the putting into service of AI systems which have not undergone a conformity assessment. In duly justified situations, as provided for in this Regulation, law enforcement authorities or civil protection authorities may put a specific high-risk AI system into service without the authorisation of the market surveillance authority, provided that such authorisation is requested during or after the use without undue delay.
(131)
Kako bi se olakšao rad Komisije i država članica u području umjetne inteligencije i povećala transparentnost prema javnosti, od dobavljača visokorizičnih UI sustava koji nisu povezani s proizvodima obuhvaćenima područjem primjene relevantnog postojećeg zakonodavstva Unije o usklađivanju, kao i dobavljača koji smatraju da pojedini UI sustav naveden u primjerima visokorizične upotrebe iz priloga ovoj Uredbi nije visokorizičan na temelju odstupanja, trebalo bi zahtijevati da sebe i informacije o svojem UI sustavu registriraju u bazi podataka EU-a, koju će uspostaviti i kojom će upravljati Komisija. Prije upotrebi UI sustava navedenog u primjerima visokorizične upotrebe iz priloga ovoj Uredbi subjekti koji uvode visokorizične UI sustave koji su tijela javne vlasti, javne agencije ili javna tijela trebali bi se registrirati u takvoj bazi podataka i odabrati sustav koji namjeravaju upotrebljavati. Ostali subjekti koji uvode sustav trebali bi imati pravo to učiniti dobrovoljno. Taj dio baze podataka EU-a trebao bi biti javno dostupan, besplatno, a informacije bi trebale biti lako dostupne, razumljive i strojno čitljive. Baza podataka EU-a trebala bi biti prilagođena korisnicima, na primjer pružanjem funkcija pretraživanja, među ostalim s pomoću ključnih riječi, čime bi se široj javnosti omogućio pronalazak relevantnih informacija koje treba dostaviti nakon registracije visokorizičnih UI sustava i relevantnih informacija o slučaju upotrebe visokorizičnih UI sustava navedenih u prilogu ovoj Uredbi, kojima visokorizični UI sustavi odgovaraju. Svaka bitna izmjena visokorizičnih UI sustava također bi se trebala registrirati u bazi podataka EU-a. Kad je riječ o visokorizičnim UI sustavima u područjima kaznenog progona ili migracija, azila i upravljanja nadzorom državne granice, obveze registracije trebale bi se ispuniti u sigurnom dijelu baze podataka EU-a koji nije javan. Pristup sigurnom dijelu koji nije javan trebao bi biti strogo ograničen na Komisiju i tijela za nadzor tržišta na čiju se državu odnosi taj dio baze podataka. Visokorizične UI sustave u području kritične infrastrukture trebalo bi registrirati samo na nacionalnoj razini. Komisija bi trebala biti voditelj obrade baze podataka EU-a, u skladu s Uredbom (EU) 2018/1725. Kako bi baza podataka EU-a bila posve funkcionalna od puštanja u rad, postupak njezina uspostavljanja trebao bi uključivati razvoj funkcionalnih specifikacija, što je zadaća Komisije, te neovisno revizorsko izvješće. Komisija bi pri obavljanju svojih zadaća voditelja obrade podataka u bazi podataka EU-a trebala uzeti u obzir rizike povezane s kibernetičkom sigurnosti. Kako bi se maksimalno povećale dostupnost i upotreba baze podataka EU-a u javnosti, baza podataka EU-a, uključujući podatke koji su u njoj dostupni, trebala bi ispunjavati zahtjeve iz Direktive (EU) 2019/882.
(131)
In order to facilitate the work of the Commission and the Member States in the AI field as well as to increase the transparency towards the public, providers of high-risk AI systems other than those related to products falling within the scope of relevant existing Union harmonisation legislation, as well as providers who consider that an AI system listed in the high-risk use cases in an annex to this Regulation is not high-risk on the basis of a derogation, should be required to register themselves and information about their AI system in an EU database, to be established and managed by the Commission. Before using an AI system listed in the high-risk use cases in an annex to this Regulation, deployers of high-risk AI systems that are public authorities, agencies or bodies, should register themselves in such database and select the system that they envisage to use. Other deployers should be entitled to do so voluntarily. This section of the EU database should be publicly accessible, free of charge, the information should be easily navigable, understandable and machine-readable. The EU database should also be user-friendly, for example by providing search functionalities, including through keywords, allowing the general public to find relevant information to be submitted upon the registration of high-risk AI systems and on the use case of high-risk AI systems, set out in an annex to this Regulation, to which the high-risk AI systems correspond. Any substantial modification of high-risk AI systems should also be registered in the EU database. For high-risk AI systems in the area of law enforcement, migration, asylum and border control management, the registration obligations should be fulfilled in a secure non-public section of the EU database. Access to the secure non-public section should be strictly limited to the Commission as well as to market surveillance authorities with regard to their national section of that database. High-risk AI systems in the area of critical infrastructure should only be registered at national level. The Commission should be the controller of the EU database, in accordance with Regulation (EU) 2018/1725. In order to ensure the full functionality of the EU database, when deployed, the procedure for setting the database should include the development of functional specifications by the Commission and an independent audit report. The Commission should take into account cybersecurity risks when carrying out its tasks as data controller on the EU database. In order to maximise the availability and use of the EU database by the public, the EU database, including the information made available through it, should comply with requirements under the Directive (EU) 2019/882.
(132)
Kod određenih UI sustava namijenjenih interakciji s fizičkim osobama ili generiranju sadržaja mogu postojati posebni rizici u pogledu lažnog predstavljanja ili obmanjivanja, bez obzira na to smatraju li se visokorizičnima. Korištenje tih sustava stoga bi u određenim okolnostima trebalo podlijegati posebnim obvezama u pogledu transparentnosti, ne dovodeći u pitanje zahtjeve i obveze za visokorizične UI sustave, i ciljanim iznimkama kako bi se uzela u obzir posebna potreba kaznenog progona. Osobito bi fizičke osobe trebalo obavijestiti o tome da su u interakciji s UI sustavom, osim ako je to očito sa stajališta razmjerno dobro informirane, pronicljive i oprezne fizičke osobe, uzimajući u obzir okolnosti i kontekst upotrebe. Pri provedbi te obveze trebalo bi uzeti u obzir karakteristike fizičkih osoba koje pripadaju skupinama ranjivih osoba zbog svoje dobi ili invaliditeta u mjeri u kojoj je UI sustav namijenjen i interakciji s tim skupinama. Nadalje, fizičke osobe trebalo bi obavijestiti kada su izložene UI sustavima koji obradom njihovih biometrijskih podataka mogu identificirati emocije, izvoditi zaključke o njihovim emocijama ili namjerama ili te osobe razvrstati u određene kategorije. Te se određene kategorije mogu odnositi na aspekte kao što su spol, dob, boja kose, boja očiju, tetovaže, osobna obilježja, etničko podrijetlo, osobne preferencije i interesi. Takve informacije i obavijesti trebale bi se davati u oblicima koji su pristupačni osobama s invaliditetom.
(132)
Certain AI systems intended to interact with natural persons or to generate content may pose specific risks of impersonation or deception irrespective of whether they qualify as high-risk or not. In certain circumstances, the use of these systems should therefore be subject to specific transparency obligations without prejudice to the requirements and obligations for high-risk AI systems and subject to targeted exceptions to take into account the special need of law enforcement. In particular, natural persons should be notified that they are interacting with an AI system, unless this is obvious from the point of view of a natural person who is reasonably well-informed, observant and circumspect taking into account the circumstances and the context of use. When implementing that obligation, the characteristics of natural persons belonging to vulnerable groups due to their age or disability should be taken into account to the extent the AI system is intended to interact with those groups as well. Moreover, natural persons should be notified when they are exposed to AI systems that, by processing their biometric data, can identify or infer the emotions or intentions of those persons or assign them to specific categories. Such specific categories can relate to aspects such as sex, age, hair colour, eye colour, tattoos, personal traits, ethnic origin, personal preferences and interests. Such information and notifications should be provided in accessible formats for persons with disabilities.
(133)
Različiti UI sustavi mogu generirati velike količine sintetičkog sadržaja koji ljudima postaje sve teže razlikovati od autentičnog sadržaja koji je stvorio čovjek. Široka dostupnost i sve veće sposobnosti tih sustava znatno utječu na integritet informacijskog ekosustava i povjerenje u njega, pri čemu dovode do novih rizika od široko rasprostranjenih dezinformacija i manipulacije, prijevara, lažnog predstavljanja i obmanjivanja potrošača. S obzirom na te učinke, brz tehnološki razvoj i potrebu za novim metodama i tehnikama za praćenje podrijetla informacija, primjereno je od dobavljača tih sustava zahtijevati da ugrade tehnička rješenja koja omogućuju označivanje u strojno čitljivom formatu i prepoznavanje toga da je izlazni rezultat generirao ili je njime manipulirao UI sustav, a ne čovjek. Takve tehnike i metode trebale bi biti dovoljno pouzdane, interoperabilne, učinkovite i pouzdane u mjeri u kojoj je to tehnički izvedivo, uzimajući u obzir raspoložive tehnike ili kombinaciju takvih tehnika, kao što su vodeni žigovi, identifikacija metapodataka, kriptografske metode za dokazivanje podrijetla i autentičnosti sadržaja, metode evidentiranja, otisci prstiju ili druge tehnike, ovisno o slučaju. Pri provedbi te obveze dobavljači bi trebali uzeti u obzir i posebnosti i ograničenja različitih vrsta sadržaja te relevantna tehnološka i tržišna kretanja u tom području, kako se odražavaju u općepriznatim najnovijim dostignućima. Takve tehnike i metode mogu se primijeniti na razini UI sustava ili na razini UI modela, uključujući UI modele opće namjene koji generiraju sadržaj, čime se dobavljaču UI sustava niže u lancu olakšava ispunjavanje te obveze. Kako bi i dalje bila razmjerna, primjereno je predvidjeti da ta obveza označivanja ne bi trebala obuhvaćati UI sustave koji prvenstveno imaju pomoćnu funkciju za standardno uređivanje ili UI sustave koji bitno ne mijenjaju ulazne podatke koje pruža subjekt koji uvodi sustav ili njihovu semantiku.
(133)
A variety of AI systems can generate large quantities of synthetic content that becomes increasingly hard for humans to distinguish from human-generated and authentic content. The wide availability and increasing capabilities of those systems have a significant impact on the integrity and trust in the information ecosystem, raising new risks of misinformation and manipulation at scale, fraud, impersonation and consumer deception. In light of those impacts, the fast technological pace and the need for new methods and techniques to trace origin of information, it is appropriate to require providers of those systems to embed technical solutions that enable marking in a machine readable format and detection that the output has been generated or manipulated by an AI system and not a human. Such techniques and methods should be sufficiently reliable, interoperable, effective and robust as far as this is technically feasible, taking into account available techniques or a combination of such techniques, such as watermarks, metadata identifications, cryptographic methods for proving provenance and authenticity of content, logging methods, fingerprints or other techniques, as may be appropriate. When implementing this obligation, providers should also take into account the specificities and the limitations of the different types of content and the relevant technological and market developments in the field, as reflected in the generally acknowledged state of the art. Such techniques and methods can be implemented at the level of the AI system or at the level of the AI model, including general-purpose AI models generating content, thereby facilitating fulfilment of this obligation by the downstream provider of the AI system. To remain proportionate, it is appropriate to envisage that this marking obligation should not cover AI systems performing primarily an assistive function for standard editing or AI systems not substantially altering the input data provided by the deployer or the semantics thereof.
(134)
Uz tehnička rješenja koja primjenjuju dobavljači sustava, subjekti koji uvode UI sustav, koji upotrebljavaju UI sustav za generiranje slikovnog sadržaja, audiosadržaja ili videosadržaja u kojem postoji znatna sličnost s postojećim osobama, predmetima, mjestima, subjektima ili događajima i koji bi se nekome lažno činio vjerodostojnim ili istinitim (uvjerljiv krivotvoreni sadržaj, eng. deep fakes) te za manipuliranje takvim sadržajem, također bi trebali jasno istaknuti da je sadržaj umjetno stvoren ili da je njime manipulirano označivanjem izlaznih rezultata umjetne inteligencije i navođenjem njegova umjetnog podrijetla. Usklađenost s tom obvezom transparentnosti ne bi se trebala tumačiti niti kao da upućuje na to da se korištenjem UI sustava ili njegovih izlaznih rezultata ugrožava pravo na slobodu izražavanja i pravo na slobodu umjetnosti i znanosti koja su zajamčena Poveljom, posebno ako je sadržaj očito dio kreativnog, satiričkog, umjetničkog, fiktivnog ili analognog djela ili programa, podložno odgovarajućim zaštitnim mjerama za prava i slobode trećih strana. U tim je slučajevima obveza transparentnosti za uvjerljiv krivotvoreni sadržaj utvrđena u ovoj Uredbi ograničena na otkrivanje postojanja takvog generiranog ili manipuliranog sadržaja na odgovarajući način kojim se ne ometa prikazivanje djela ili uživanje u njemu, uključujući njegovo uobičajeno iskorištavanje i upotrebu, uz istodobno održavanje korisnosti i kvalitete djela. Osim toga, primjereno je predvidjeti sličnu obvezu otkrivanja u odnosu na tekst stvoren ili manipuliran umjetnom inteligencijom u mjeri u kojoj se objavljuje u svrhu informiranja javnosti o pitanjima od javnog interesa, osim ako je sadržaj stvoren umjetnom inteligencijom prošao proces preispitivanja koje provodi čovjek ili uredničku kontrolu i ako fizička ili pravna osoba snosi uredničku odgovornost za objavu sadržaja.
(134)
Further to the technical solutions employed by the providers of the AI system, deployers who use an AI system to generate or manipulate image, audio or video content that appreciably resembles existing persons, objects, places, entities or events and would falsely appear to a person to be authentic or truthful (deep fakes), should also clearly and distinguishably disclose that the content has been artificially created or manipulated by labelling the AI output accordingly and disclosing its artificial origin. Compliance with this transparency obligation should not be interpreted as indicating that the use of the AI system or its output impedes the right to freedom of expression and the right to freedom of the arts and sciences guaranteed in the Charter, in particular where the content is part of an evidently creative, satirical, artistic, fictional or analogous work or programme, subject to appropriate safeguards for the rights and freedoms of third parties. In those cases, the transparency obligation for deep fakes set out in this Regulation is limited to disclosure of the existence of such generated or manipulated content in an appropriate manner that does not hamper the display or enjoyment of the work, including its normal exploitation and use, while maintaining the utility and quality of the work. In addition, it is also appropriate to envisage a similar disclosure obligation in relation to AI-generated or manipulated text to the extent it is published with the purpose of informing the public on matters of public interest unless the AI-generated content has undergone a process of human review or editorial control and a natural or legal person holds editorial responsibility for the publication of the content.
(135)
Ne dovodeći u pitanje obveznu prirodu i potpunu primjenjivost obveza u pogledu transparentnosti, Komisija može poticati i olakšavati izradu kodeksâ prakse na razini Unije kako bi se olakšala djelotvorna provedba obveza u pogledu otkrivanja i označivanja umjetno stvorenog ili manipuliranog sadržaja, među ostalim i kako bi se poduprla praktična rješenja za osiguravanje dostupnosti, prema potrebi, mehanizama za otkrivanje i olakšavanje suradnje s drugim akterima duž vrijednosnog lanca, širenje sadržaja ili provjera njegove autentičnosti i podrijetla kako bi se javnosti omogućilo djelotvorno prepoznavanje sadržaja stvorenog umjetnom inteligencijom.
(135)
Without prejudice to the mandatory nature and full applicability of the transparency obligations, the Commission may also encourage and facilitate the drawing up of codes of practice at Union level to facilitate the effective implementation of the obligations regarding the detection and labelling of artificially generated or manipulated content, including to support practical arrangements for making, as appropriate, the detection mechanisms accessible and facilitating cooperation with other actors along the value chain, disseminating content or checking its authenticity and provenance to enable the public to effectively distinguish AI-generated content.
(136)
Obveze propisane u ovoj Uredbi za dobavljače i za subjekte koji uvode određene UI sustave kako bi se omogućilo prepoznavanje i otkrivanje umjetno stvorenih ili manipuliranih izlaznih rezultata tih sustava posebno su relevantne za olakšavanje djelotvorne provedbe Uredbe (EU) 2022/2065. To se osobito odnosi na obveze pružatelja vrlo velikih internetskih platformi ili vrlo velikih internetskih tražilica da utvrde i ublaže sistemske rizike koji mogu proizaći iz širenja umjetno stvorenog ili manipuliranog sadržaja, posebno rizik od stvarnih ili predvidljivih negativnih učinaka na demokratske procese, građanski diskurs i izborne procese, među ostalim dezinformiranjem. Zahtjevom u pogledu označivanja sadržaja koji generiraju UI sustavi na temelju ove Uredbe ne dovodi se u pitanje obveza iz članka 16. stavka 6. Uredbe (EU) 2022/2065 prema kojoj pružatelji usluga smještaja informacija na poslužitelju moraju obrađivati prijave nezakonitog sadržaja zaprimljene na temelju članka 16. stavka 1. te uredbe i on ne bi trebao utjecati na procjenu i odluku o nezakonitosti određenog sadržaja. Ta bi se ocjena trebala provesti isključivo s obzirom na pravila kojima se uređuje zakonitost sadržaja.
(136)
The obligations placed on providers and deployers of certain AI systems in this Regulation to enable the detection and disclosure that the outputs of those systems are artificially generated or manipulated are particularly relevant to facilitate the effective implementation of Regulation (EU) 2022/2065. This applies in particular as regards the obligations of providers of very large online platforms or very large online search engines to identify and mitigate systemic risks that may arise from the dissemination of content that has been artificially generated or manipulated, in particular the risk of the actual or foreseeable negative effects on democratic processes, civic discourse and electoral processes, including through disinformation. The requirement to label content generated by AI systems under this Regulation is without prejudice to the obligation in Article 16(6) of Regulation (EU) 2022/2065 for providers of hosting services to process notices on illegal content received pursuant to Article 16(1) of that Regulation and should not influence the assessment and the decision on the illegality of the specific content. That assessment should be performed solely with reference to the rules governing the legality of the content.
(137)
Sukladnost s obvezama u pogledu transparentnosti za UI sustave obuhvaćene ovom Uredbom ne bi se trebala tumačiti kao da upućuje na to da je upotreba UI sustava ili njegovih izlaznih rezultata zakonita na temelju ove Uredbe ili drugog prava Unije i prava država članica i njome se ne bi trebale dovoditi u pitanje druge obveze u pogledu transparentnosti za subjekte koji uvode UI sustave koje su utvrđene u pravu Unije ili u nacionalnom pravu.
(137)
Compliance with the transparency obligations for the AI systems covered by this Regulation should not be interpreted as indicating that the use of the AI system or its output is lawful under this Regulation or other Union and Member State law and should be without prejudice to other transparency obligations for deployers of AI systems laid down in Union or national law.
(138)
Umjetna inteligencija skup je tehnologija koje se vrlo brzo razvijaju, što zahtijeva regulatorni nadzor i siguran i kontroliran prostor za eksperimentiranje, pri čemu se osigurava da se inovacije razvijaju na odgovoran način te da se integriraju odgovarajuće zaštitne mjere i mjere za ublažavanje rizika. Kako bi se osigurao pravni okvir kojim se promiču inovacije te koji je spreman za buduće promjene i otporan na poremećaje, države članice trebale bi zajamčiti da njihova nacionalna nadležna tijela uspostave barem jedno regulatorno izolirano okruženje za umjetnu inteligenciju na nacionalnoj razini radi lakšeg razvoja i testiranja inovativnih UI sustava pod strogim regulatornim nadzorom prije stavljanja tih sustava na tržište ili u upotrebu. Države članice mogle bi ispuniti tu obvezu i sudjelovanjem u već postojećim regulatornim izoliranim okruženjima ili zajedničkom uspostavom izoliranog okruženja s jednim ili više nadležnih tijela država članica, u mjeri u kojoj se tim sudjelovanjem osigurava jednaka razina nacionalne pokrivenosti za države članice sudionice. Regulatorna izolirana okruženja za umjetnu inteligenciju mogla bi se uspostaviti u fizičkom, digitalnom ili hibridnom obliku te mogu uključivati fizičke i digitalne proizvode. Tijela nadležna za uspostavu regulatornih izoliranih okruženja za umjetnu inteligenciju trebala bi osigurati i da regulatorna izolirana okruženja imaju odgovarajuće resurse za njihovo funkcioniranje, uključujući financijske i ljudske resurse.
(138)
AI is a rapidly developing family of technologies that requires regulatory oversight and a safe and controlled space for experimentation, while ensuring responsible innovation and integration of appropriate safeguards and risk mitigation measures. To ensure a legal framework that promotes innovation, is future-proof and resilient to disruption, Member States should ensure that their national competent authorities establish at least one AI regulatory sandbox at national level to facilitate the development and testing of innovative AI systems under strict regulatory oversight before these systems are placed on the market or otherwise put into service. Member States could also fulfil this obligation through participating in already existing regulatory sandboxes or establishing jointly a sandbox with one or more Member States’ competent authorities, insofar as this participation provides equivalent level of national coverage for the participating Member States. AI regulatory sandboxes could be established in physical, digital or hybrid form and may accommodate physical as well as digital products. Establishing authorities should also ensure that the AI regulatory sandboxes have the adequate resources for their functioning, including financial and human resources.
(139)
Ciljevi regulatornih izoliranih okruženja za umjetnu inteligenciju trebali bi biti poticanje inovacija u području umjetne inteligencije uspostavom kontroliranog okruženja za eksperimentiranje i testiranje u fazi razvoja i prije stavljanja na tržište kako bi se osigurala usklađenost inovativnih UI sustava s ovom Uredbom i drugim relevantnim pravom Unije i nacionalnim pravom. Nadalje, regulatornim izoliranim okruženjima za umjetnu inteligenciju trebalo bi nastojati povećati pravnu sigurnost za inovatore, poboljšati nadzor koji provode nadležna tijela i njihovo razumijevanje mogućnosti, novih rizika i učinaka upotrebe umjetne inteligencije, olakšati regulatorno učenje za nadležna tijela i poduzeća, među ostalim radi budućih prilagodbi pravnog okvira, poduprijeti suradnju i razmjenu primjera najbolje prakse s tijelima uključenima u regulatorno izolirano okruženje za umjetnu inteligenciju te ubrzati pristup tržištima, među ostalim uklanjanjem zapreka za MSP-ove, uključujući start-up poduzeća. Regulatorna izolirana okruženja za umjetnu inteligenciju trebala bi biti široko dostupna u cijeloj Uniji, a posebnu pozornost trebalo bi posvetiti njihovoj pristupačnosti za MSP-ove, uključujući start-up poduzeća. Sudjelovanje u regulatornom izoliranom okruženju za umjetnu inteligenciju trebalo bi biti usmjereno na pitanja koja uzrokuju pravnu nesigurnost za dobavljače i potencijalne dobavljače u pogledu inovacija, eksperimentiranja s umjetnom inteligencijom u Uniji i doprinosa regulatornom učenju utemeljenom na dokazima. Nadzor UI sustava u regulatornom izoliranom okruženju za umjetnu inteligenciju stoga bi trebao obuhvaćati njihov razvoj, treniranje, testiranje i validaciju prije stavljanja tih sustava na tržište ili u upotrebu, kao i pojam i pojavu znatne izmjene koja bi mogla zahtijevati novi postupak ocjenjivanja sukladnosti. Ako se tijekom razvoja i testiranja takvih UI sustava uoče znatni rizici, ti bi se rizici trebali smanjiti na primjeren način, a ako to nije moguće, treba se prekinuti postupak razvoja i testiranja sve dok se oni ne smanje. Nacionalna nadležna tijela koja uspostavljaju regulatorna izolirana okruženja za umjetnu inteligenciju trebala bi prema potrebi surađivati s drugim relevantnim tijelima, među ostalim s tijelima koja nadziru zaštitu temeljnih prava, i mogla bi omogućiti sudjelovanje drugih aktera iz ekosustava umjetne inteligencije, kao što su nacionalne ili europske organizacije za normizaciju, prijavljena tijela, objekti za testiranje i eksperimentiranje, laboratoriji za istraživanje i eksperimentiranje, europski centri za digitalne inovacije i relevantne organizacije dionika i organizacije civilnog društva. Radi ujednačene provedbe u cijeloj Uniji i ekonomije razmjera, primjereno je uspostaviti zajednička pravila za primjenu regulatornih izoliranih okruženja za umjetnu inteligenciju i okvir za suradnju relevantnih tijela uključenih u nadzor izoliranih okruženja. Regulatornim izoliranim okruženjima za umjetnu inteligenciju uspostavljenima na temelju ove Uredbe ne bi se trebalo dovoditi u pitanje drugo pravo kojim se omogućuje uspostava drugih izoliranih okruženja u cilju osiguravanja usklađenosti s pravom koje nije ova Uredba. Relevantna nadležna tijela zadužena za ta druga regulatorna izolirana okruženja trebala bi prema potrebi razmotriti prednosti upotrebe tih izoliranih okruženja i za potrebe osiguravanja usklađenosti UI sustavâ s ovom Uredbom. Slijedom dogovora između nacionalnih nadležnih tijela i sudionikâ u regulatornom izoliranom okruženju za umjetnu inteligenciju testiranje u stvarnim uvjetima može se također provoditi i nadzirati u okviru regulatornog izoliranog okruženja za umjetnu inteligenciju.
(139)
The objectives of the AI regulatory sandboxes should be to foster AI innovation by establishing a controlled experimentation and testing environment in the development and pre-marketing phase with a view to ensuring compliance of the innovative AI systems with this Regulation and other relevant Union and national law. Moreover, the AI regulatory sandboxes should aim to enhance legal certainty for innovators and the competent authorities’ oversight and understanding of the opportunities, emerging risks and the impacts of AI use, to facilitate regulatory learning for authorities and undertakings, including with a view to future adaptions of the legal framework, to support cooperation and the sharing of best practices with the authorities involved in the AI regulatory sandbox, and to accelerate access to markets, including by removing barriers for SMEs, including start-ups. AI regulatory sandboxes should be widely available throughout the Union, and particular attention should be given to their accessibility for SMEs, including start-ups. The participation in the AI regulatory sandbox should focus on issues that raise legal uncertainty for providers and prospective providers to innovate, experiment with AI in the Union and contribute to evidence-based regulatory learning. The supervision of the AI systems in the AI regulatory sandbox should therefore cover their development, training, testing and validation before the systems are placed on the market or put into service, as well as the notion and occurrence of substantial modification that may require a new conformity assessment procedure. Any significant risks identified during the development and testing of such AI systems should result in adequate mitigation and, failing that, in the suspension of the development and testing process. Where appropriate, national competent authorities establishing AI regulatory sandboxes should cooperate with other relevant authorities, including those supervising the protection of fundamental rights, and could allow for the involvement of other actors within the AI ecosystem such as national or European standardisation organisations, notified bodies, testing and experimentation facilities, research and experimentation labs, European Digital Innovation Hubs and relevant stakeholder and civil society organisations. To ensure uniform implementation across the Union and economies of scale, it is appropriate to establish common rules for the AI regulatory sandboxes’ implementation and a framework for cooperation between the relevant authorities involved in the supervision of the sandboxes. AI regulatory sandboxes established under this Regulation should be without prejudice to other law allowing for the establishment of other sandboxes aiming to ensure compliance with law other than this Regulation. Where appropriate, relevant competent authorities in charge of those other regulatory sandboxes should consider the benefits of using those sandboxes also for the purpose of ensuring compliance of AI systems with this Regulation. Upon agreement between the national competent authorities and the participants in the AI regulatory sandbox, testing in real world conditions may also be operated and supervised in the framework of the AI regulatory sandbox.
(140)
Ovom bi se Uredbom dobavljačima i potencijalnim dobavljačima u regulatornom izoliranom okruženju za umjetnu inteligenciju trebala osigurati pravna osnova za upotrebu osobnih podataka prikupljenih u druge svrhe za razvoj određenih UI sustava u javnom interesu u regulatornom izoliranom okruženju za umjetnu inteligenciju, samo pod određenim uvjetima, u skladu s člankom 6. stavkom 4. i člankom 9. stavkom 2. točkom (g) Uredbe (EU) 2016/679 i člancima 5., 6. i 10. Uredbe (EU) 2018/1725 te ne dovodeći u pitanje članak 4. stavak 2. i članak 10. Direktive (EU) 2016/680. I dalje se primjenjuju sve ostale obveze voditeljâ obrade podataka i prava ispitanikâ na temelju uredaba (EU) 2016/679 i (EU) 2018/1725 te Direktive (EU) 2016/680. Ovom Uredbom osobito se ne bi trebala osigurati pravna osnova u smislu članka 22. stavka 2. točke (b) Uredbe (EU) 2016/679 i članka 24. stavka 2. točke (b) Uredbe (EU) 2018/1725. Dobavljači i potencijalni dobavljači u regulatornom izoliranom okruženju za umjetnu inteligenciju trebali bi osigurati odgovarajuće zaštitne mjere i surađivati s nadležnim tijelima, među ostalim tako da slijede njihove smjernice i postupaju žurno i u dobroj vjeri kako bi se na primjeren način ublažili svi utvrđeni znatni rizici za sigurnost, zdravlje i temeljna prava koji mogu nastati tijekom razvoja, testiranja i eksperimentiranja u tom izoliranom okruženju.
(140)
This Regulation should provide the legal basis for the providers and prospective providers in the AI regulatory sandbox to use personal data collected for other purposes for developing certain AI systems in the public interest within the AI regulatory sandbox, only under specified conditions, in accordance with Article 6(4) and Article 9(2), point (g), of Regulation (EU) 2016/679, and Articles 5, 6 and 10 of Regulation (EU) 2018/1725, and without prejudice to Article 4(2) and Article 10 of Directive (EU) 2016/680. All other obligations of data controllers and rights of data subjects under Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680 remain applicable. In particular, this Regulation should not provide a legal basis in the meaning of Article 22(2), point (b) of Regulation (EU) 2016/679 and Article 24(2), point (b) of Regulation (EU) 2018/1725. Providers and prospective providers in the AI regulatory sandbox should ensure appropriate safeguards and cooperate with the competent authorities, including by following their guidance and acting expeditiously and in good faith to adequately mitigate any identified significant risks to safety, health, and fundamental rights that may arise during the development, testing and experimentation in that sandbox.
(141)
Kako bi se ubrzao proces razvoja i stavljanja na tržište visokorizičnih UI sustava navedenih u prilogu ovoj Uredbi, važno je da se dobavljači ili potencijalni dobavljači takvih sustava mogu služiti posebnim režimom za testiranje tih sustava u stvarnim uvjetima, bez sudjelovanja u regulatornom izoliranom okruženju za umjetnu inteligenciju. Međutim, u takvim slučajevima, uzimajući u obzir moguće posljedice takvog testiranja na pojedince, trebalo bi osigurati da se ovom Uredbom uvedu odgovarajuća i dostatna jamstva i uvjeti za dobavljače ili potencijalne dobavljače. Takva bi jamstva među ostalim trebala uključivati traženje informiranog pristanka fizičke osobe za sudjelovanje u testiranju u stvarnim uvjetima, uz iznimku tijela kaznenog progona ako bi traženje informiranog pristanka spriječilo testiranje UI sustava. Pristanak ispitanika za sudjelovanje u takvom testiranju na temelju ove Uredbe razlikuje se od privole ispitanika za obradu njihovih osobnih podataka na temelju relevantnog zakonodavstva o zaštiti podataka i njime se privola za obradu osobnih podataka ne dovodi u pitanje. Također je važno smanjiti rizike i omogućiti nadzor od strane nadležnih tijela te stoga zahtijevati od potencijalnih dobavljača da imaju plan testiranja u stvarnim uvjetima koji se podnosi nadležnom tijelu za nadzor tržišta, da registriraju testiranje u posebnim odjeljcima u bazi podataka EU-a podložno određenim ograničenim iznimkama, da utvrde ograničenja u pogledu razdoblja u kojem se testiranje može provesti i da zahtijevaju dodatne zaštitne mjere za osobe koje pripadaju određenim skupinama ranjivih osoba, kao i pisani sporazum kojim se utvrđuju uloge i odgovornosti potencijalnih dobavljača i subjekata koji uvode sustav te djelotvoran nadzor koji provodi nadležno osoblje uključeno u testiranje u stvarnim uvjetima. Nadalje, primjereno je predvidjeti dodatne zaštitne mjere kako bi se osiguralo da se predviđanja, preporuke ili odluke UI sustava mogu djelotvorno poništiti i zanemariti te da se osobni podaci zaštite i brišu ako ispitanici povuku svoj pristanak za sudjelovanje u testiranju, ne dovodeći u pitanje prava koja imaju kao ispitanici u skladu s pravom Unije o zaštiti podataka. Kad je riječ o prijenosu podataka, također je primjereno predvidjeti da bi se podaci prikupljeni i obrađeni u svrhu testiranja u stvarnim uvjetima trebali prenositi trećim zemljama samo ako se provode odgovarajuće i primjenjive zaštitne mjere na temelju prava Unije, posebno u skladu s osnovama za prijenos osobnih podataka na temelju prava Unije o zaštiti podataka, dok su za neosobne podatke uspostavljene odgovarajuće zaštitne mjere u skladu s pravom Unije, kao što su uredbe (EU) 2022/868 (42) i (EU) 2023/2854 (43) Europskog parlamenta i Vijeća.
(141)
In order to accelerate the process of development and the placing on the market of the high-risk AI systems listed in an annex to this Regulation, it is important that providers or prospective providers of such systems may also benefit from a specific regime for testing those systems in real world conditions, without participating in an AI regulatory sandbox. However, in such cases, taking into account the possible consequences of such testing on individuals, it should be ensured that appropriate and sufficient guarantees and conditions are introduced by this Regulation for providers or prospective providers. Such guarantees should include, inter alia, requesting informed consent of natural persons to participate in testing in real world conditions, with the exception of law enforcement where the seeking of informed consent would prevent the AI system from being tested. Consent of subjects to participate in such testing under this Regulation is distinct from, and without prejudice to, consent of data subjects for the processing of their personal data under the relevant data protection law. It is also important to minimise the risks and enable oversight by competent authorities and therefore require prospective providers to have a real-world testing plan submitted to competent market surveillance authority, register the testing in dedicated sections in the EU database subject to some limited exceptions, set limitations on the period for which the testing can be done and require additional safeguards for persons belonging to certain vulnerable groups, as well as a written agreement defining the roles and responsibilities of prospective providers and deployers and effective oversight by competent personnel involved in the real world testing. Furthermore, it is appropriate to envisage additional safeguards to ensure that the predictions, recommendations or decisions of the AI system can be effectively reversed and disregarded and that personal data is protected and is deleted when the subjects have withdrawn their consent to participate in the testing without prejudice to their rights as data subjects under the Union data protection law. As regards transfer of data, it is also appropriate to envisage that data collected and processed for the purpose of testing in real-world conditions should be transferred to third countries only where appropriate and applicable safeguards under Union law are implemented, in particular in accordance with bases for transfer of personal data under Union law on data protection, while for non-personal data appropriate safeguards are put in place in accordance with Union law, such as Regulations (EU) 2022/868 (42) and (EU) 2023/2854 (43) of the European Parliament and of the Council.
(142)
Kako bi se osiguralo da umjetna inteligencija dovede do društveno i okolišno korisnih ishoda, države članice potiču se da podupiru i promiču istraživanje i razvoj UI rješenja kojima se podupiru ishodi korisni za društvo i okoliš, kao što su rješenja koja se temelje na umjetnoj inteligenciji za povećanje pristupačnosti za osobe s invaliditetom, uklanjanje socioekonomskih nejednakosti ili postizanje okolišnih ciljeva dodjelom dostatnih sredstava, uključujući javno financiranje i financiranje sredstvima Unije, te, prema potrebi i pod uvjetom da su ispunjeni kriteriji prihvatljivosti i odabira, posebno uzimajući u obzir projekte kojima se nastoje ostvariti takvi ciljevi. Takvi bi se projekti trebali temeljiti na načelu interdisciplinarne suradnje među razvojnim programerima umjetne inteligencije, stručnjacima za nejednakost i nediskriminaciju, pristupačnost te potrošačka, okolišna i digitalna prava te akademskom zajednicom.
(142)
To ensure that AI leads to socially and environmentally beneficial outcomes, Member States are encouraged to support and promote research and development of AI solutions in support of socially and environmentally beneficial outcomes, such as AI-based solutions to increase accessibility for persons with disabilities, tackle socio-economic inequalities, or meet environmental targets, by allocating sufficient resources, including public and Union funding, and, where appropriate and provided that the eligibility and selection criteria are fulfilled, considering in particular projects which pursue such objectives. Such projects should be based on the principle of interdisciplinary cooperation between AI developers, experts on inequality and non-discrimination, accessibility, consumer, environmental, and digital rights, as well as academics.
(143)
Kako bi se promicale i štitile inovacije, posebno je važno uzeti u obzir interese MSP-ova, među ostalima i start-up poduzeća, koji su dobavljači UI sustava ili subjekti koji ih uvode. U tom cilju bi države članice trebale osmisliti inicijative usmjerene na te operatere, među ostalim u pogledu podizanja svijesti i informiranja. Države članice trebale bi MSP-ovima, među ostalim i start-up poduzećima, koji imaju registrirano sjedište ili podružnicu u Uniji, osiguravati prioritetni pristup regulatornim izoliranim okruženjima za umjetnu inteligenciju, pod uvjetom da ispunjavaju uvjete prihvatljivosti i kriterije za odabir te da drugim dobavljačima i potencijalnim dobavljačima ne onemogućuju pristup izoliranim okruženjima pod uvjetom da su ispunjeni isti uvjeti i kriteriji. Države članice trebale bi se koristiti postojećim kanalima i, prema potrebi, uspostaviti nove namjenske kanale za komunikaciju s MSP-ovima, među ostalim i start-up poduzećima, subjektima koji uvode sustav, drugim inovatorima i, prema potrebi, lokalnim tijelima javne vlasti, radi podupiranja MSP-ova tijekom cijelog njihova razvoja pružanjem smjernica i odgovaranjem na upite o provedbi ove Uredbe. Prema potrebi, ti kanali trebali bi međusobno surađivati kako bi se stvorila sinergija i osigurala homogenost smjernica za MSP-ove, uključujući start-up poduzeća, i subjekte koji uvode sustav. Osim toga, države članice trebale bi olakšavati sudjelovanje MSP-ova i drugih relevantnih dionika u procesima razvoja normizacije. Usto, prijavljena tijela trebala bi uzeti u obzir posebne interese i potrebe dobavljača koji su MSP-ova, među ostalima i onih koji su start-up poduzeća,, kad određuju naknade za ocjenjivanje sukladnosti. Komisija bi s pomoću transparentnog savjetovanja trebala redovito ocjenjivati troškove certifikacije i usklađivanja za MSP-ove, među ostalima i za start-up poduzeća, te surađivati s državama članicama u cilju smanjenja takvih troškova. Na primjer, dobavljači i drugi operateri, posebno oni manji, mogu imati znatne troškove prijevoda obvezne dokumentacije i komunikacije s tijelima. Države članice trebale bi možda osigurati da jedan od jezika koji odrede i prihvaćaju za relevantnu dokumentaciju dobavljača i komunikaciju s operaterima bude jedan od jezika koji u velikoj mjeri razumije najveći mogući broj prekograničnih subjekata koji uvode sustav. Kako bi se odgovorilo na posebne potrebe MSP-ova, uključujući start-up poduzeća, Komisija bi na zahtjev Vijeća za umjetnu inteligenciju trebala osigurati standardizirane predloške za područja obuhvaćena ovom Uredbom. Osim toga, Komisija bi trebala dopuniti napore država članica osiguravanjem jedinstvene informacijske platforme koja pruža informacije o ovoj Uredbi jednostavne za upotrebu za sve dobavljače i subjekte koji uvode sustav, organiziranjem odgovarajućih komunikacijskih kampanja za podizanje svijesti o obvezama koje proizlaze iz ove Uredbe te evaluacijom i promicanjem konvergencije primjera najbolje prakse u postupcima javne nabave u vezi s UI sustavima. Srednja poduzeća koja su do nedavno ispunjavala uvjete za mala poduzeća u smislu Priloga Preporuci Komisije 2003/361/EZ (44) trebala bi imati pristup tim mjerama potpore jer tim novim srednjim poduzećima ponekad možda nedostaju pravni resursi i osposobljavanje potrebni za osiguravanje pravilnog razumijevanja i usklađenosti s ovom Uredbom.
(143)
In order to promote and protect innovation, it is important that the interests of SMEs, including start-ups, that are providers or deployers of AI systems are taken into particular account. To that end, Member States should develop initiatives, which are targeted at those operators, including on awareness raising and information communication. Member States should provide SMEs, including start-ups, that have a registered office or a branch in the Union, with priority access to the AI regulatory sandboxes provided that they fulfil the eligibility conditions and selection criteria and without precluding other providers and prospective providers to access the sandboxes provided the same conditions and criteria are fulfilled. Member States should utilise existing channels and where appropriate, establish new dedicated channels for communication with SMEs, including start-ups, deployers, other innovators and, as appropriate, local public authorities, to support SMEs throughout their development path by providing guidance and responding to queries about the implementation of this Regulation. Where appropriate, these channels should work together to create synergies and ensure homogeneity in their guidance to SMEs, including start-ups, and deployers. Additionally, Member States should facilitate the participation of SMEs and other relevant stakeholders in the standardisation development processes. Moreover, the specific interests and needs of providers that are SMEs, including start-ups, should be taken into account when notified bodies set conformity assessment fees. The Commission should regularly assess the certification and compliance costs for SMEs, including start-ups, through transparent consultations and should work with Member States to lower such costs. For example, translation costs related to mandatory documentation and communication with authorities may constitute a significant cost for providers and other operators, in particular those of a smaller scale. Member States should possibly ensure that one of the languages determined and accepted by them for relevant providers’ documentation and for communication with operators is one which is broadly understood by the largest possible number of cross-border deployers. In order to address the specific needs of SMEs, including start-ups, the Commission should provide standardised templates for the areas covered by this Regulation, upon request of the Board. Additionally, the Commission should complement Member States’ efforts by providing a single information platform with easy-to-use information with regards to this Regulation for all providers and deployers, by organising appropriate communication campaigns to raise awareness about the obligations arising from this Regulation, and by evaluating and promoting the convergence of best practices in public procurement procedures in relation to AI systems. Medium-sized enterprises which until recently qualified as small enterprises within the meaning of the Annex to Commission Recommendation 2003/361/EC (44) should have access to those support measures, as those new medium-sized enterprises may sometimes lack the legal resources and training necessary to ensure proper understanding of, and compliance with, this Regulation.
(144)
Kako bi se promicale i zaštitile inovacije, ostvarivanju ciljeva ove Uredbe trebalo bi, prema potrebi, doprinositi putem platforme za umjetnu inteligenciju na zahtjev i svih relevantnih programa i projekata za financiranje sredstvima Unije, poput programa Digitalna Europa i Obzor Europa, koje provode Komisija i države članice na razini Unije ili nacionalnoj razini.
(144)
In order to promote and protect innovation, the AI-on-demand platform, all relevant Union funding programmes and projects, such as Digital Europe Programme, Horizon Europe, implemented by the Commission and the Member States at Union or national level should, as appropriate, contribute to the achievement of the objectives of this Regulation.
(145)
Kako bi se rizici za provedbu koji proizlaze iz nedostatka znanja i iskustva na tržištu sveli na najmanju moguću mjeru i kako bi se dobavljačima, posebno MSP-ovima, uključujući start-up poduzeća, i prijavljenim tijelima olakšalo ispunjavanje obveza iz ove Uredbe, provedbi ove Uredbe trebalo bi doprinositi putem platforme za umjetnu inteligenciju na zahtjev, europskih centara za digitalne inovacije te centara za testiranje i eksperimentiranje koje uspostavljaju Komisija i države članice na razini Unije ili nacionalnoj razini. U okviru svoje misije i područja nadležnosti, platforma za umjetnu inteligenciju na zahtjev, europski centri za digitalne inovacije te centri za testiranje i eksperimentiranje mogu posebno pružati tehničku i znanstvenu potporu dobavljačima i prijavljenim tijelima.
(145)
In order to minimise the risks to implementation resulting from lack of knowledge and expertise in the market as well as to facilitate compliance of providers, in particular SMEs, including start-ups, and notified bodies with their obligations under this Regulation, the AI-on-demand platform, the European Digital Innovation Hubs and the testing and experimentation facilities established by the Commission and the Member States at Union or national level should contribute to the implementation of this Regulation. Within their respective mission and fields of competence, the AI-on-demand platform, the European Digital Innovation Hubs and the testing and experimentation Facilities are able to provide in particular technical and scientific support to providers and notified bodies.
(146)
Nadalje, s obzirom na vrlo malenu veličinu pojedinih operatera i kako bi se osigurala proporcionalnost u pogledu troškova inovacija, primjereno je omogućiti mikropoduzećima da ispune jednu od najskupljih obveza, a to je uspostava sustava upravljanja kvalitetom, na pojednostavnjen način, čime bi se smanjili administrativno opterećenje i troškovi za ta poduzeća, a bez utjecaja na razinu zaštite i potrebu za usklađivanjem sa zahtjevima za visokorizične UI sustave. Komisija bi trebala izraditi smjernice za određivanje elemenata sustava upravljanja kvalitetom koje mikropoduzeća moraju ispuniti na taj pojednostavnjen način.
(146)
Moreover, in light of the very small size of some operators and in order to ensure proportionality regarding costs of innovation, it is appropriate to allow microenterprises to fulfil one of the most costly obligations, namely to establish a quality management system, in a simplified manner which would reduce the administrative burden and the costs for those enterprises without affecting the level of protection and the need for compliance with the requirements for high-risk AI systems. The Commission should develop guidelines to specify the elements of the quality management system to be fulfilled in this simplified manner by microenterprises.
(147)
Primjereno je da Komisija olakša, u mjeri u kojoj je to moguće, pristup centrima za testiranje i eksperimentiranje tijelima, skupinama ili laboratorijima uspostavljenima ili akreditiranima na temelju bilo kojeg dijela zakonodavstva Unije o usklađivanju, a koji obavljaju zadaće u kontekstu postupaka ocjenjivanja sukladnosti proizvoda ili uređaja obuhvaćenih tim zakonodavstvom Unije o usklađivanju. To se posebno odnosi na stručne skupine, stručne laboratorije i referentne laboratorije u području medicinskih proizvoda na temelju uredaba (EU) 2017/745 i (EU) 2017/746.
(147)
It is appropriate that the Commission facilitates, to the extent possible, access to testing and experimentation facilities to bodies, groups or laboratories established or accredited pursuant to any relevant Union harmonisation legislation and which fulfil tasks in the context of conformity assessment of products or devices covered by that Union harmonisation legislation. This is, in particular, the case as regards expert panels, expert laboratories and reference laboratories in the field of medical devices pursuant to Regulations (EU) 2017/745 and (EU) 2017/746.
(148)
Ovom bi se Uredbom trebao uspostaviti okvir upravljanja koji omogućuje i koordinaciju primjene ove Uredbe na nacionalnoj razini i potporu primjeni ove Uredbe na nacionalnoj razini, kao i izgradnju kapaciteta na razini Unije i integraciju dionika u području umjetne inteligencije. Za djelotvornu provedbu i izvršavanje ove Uredbe potreban je okvir upravljanja koji omogućuje koordinaciju i prikupljanje središnjeg stručnog znanja na razini Unije. Ured za umjetnu inteligenciju osnovan je Odlukom Komisije (45), a njegova je zadaća razvoj stručnog znanja i sposobnosti Unije u području umjetne inteligencije te doprinos provedbi prava Unije o umjetnoj inteligenciji. Države članice trebale bi olakšati zadaće Ureda za umjetnu inteligenciju kako bi se podržao razvoj stručnog znanja i sposobnosti Unije na razini Unije te ojačalo funkcioniranje jedinstvenog digitalnog tržišta. Nadalje, trebalo bi osnovati Vijeće za umjetnu inteligenciju koje se sastoji od predstavnika država članica, znanstveno povjerenstvo za integraciju znanstvene zajednice i savjetodavni forum za doprinos dionika provedbi ove Uredbe, na razini Unije i na nacionalnoj razini. Razvoj stručnog znanja i sposobnosti Unije trebao bi uključivati i iskorištavanje postojećih resursa i stručnog znanja, posebno putem sinergije sa strukturama uspostavljenima u kontekstu provedbe drugog prava i sinergije s povezanim inicijativama na razini Unije, kao što su Zajedničko poduzeće EuroHPC i objekti za testiranje i eksperimentiranje umjetne inteligencije u okviru programa Digitalna Europa.
(148)
This Regulation should establish a governance framework that both allows to coordinate and support the application of this Regulation at national level, as well as build capabilities at Union level and integrate stakeholders in the field of AI. The effective implementation and enforcement of this Regulation require a governance framework that allows to coordinate and build up central expertise at Union level. The AI Office was established by Commission Decision (45) and has as its mission to develop Union expertise and capabilities in the field of AI and to contribute to the implementation of Union law on AI. Member States should facilitate the tasks of the AI Office with a view to support the development of Union expertise and capabilities at Union level and to strengthen the functioning of the digital single market. Furthermore, a Board composed of representatives of the Member States, a scientific panel to integrate the scientific community and an advisory forum to contribute stakeholder input to the implementation of this Regulation, at Union and national level, should be established. The development of Union expertise and capabilities should also include making use of existing resources and expertise, in particular through synergies with structures built up in the context of the Union level enforcement of other law and synergies with related initiatives at Union level, such as the EuroHPC Joint Undertaking and the AI testing and experimentation facilities under the Digital Europe Programme.
(149)
Kako bi se olakšala nesmetana, djelotvorna i usklađena provedba ove Uredbe, trebalo bi osnovati Vijeće za umjetnu inteligenciju. U Vijeću za umjetnu inteligenciju trebali bi se odražavati različiti interesi ekosustava umjetne inteligencije, a trebao bi biti sastavljen od predstavnika država članica. Vijeće za umjetnu inteligenciju trebalo bi biti odgovorno za niz savjetodavnih zadaća, uključujući davanje mišljenja, preporuka i savjeta ili doprinošenje smjernicama o pitanjima povezanima s provedbom ove Uredbe, među ostalim pitanjima izvršenja, tehničkim specifikacijama ili postojećim normama povezanima sa zahtjevima ove Uredbe, te za davanje savjeta Komisiji i državama članicama te njihovim nacionalnim nadležnim tijelima u vezi sa specifičnim pitanjima povezanima s umjetnom inteligencijom. Kako bi se državama članicama pružila određena fleksibilnost u vezi s imenovanjem njihovih predstavnika u Vijeće za umjetnu inteligenciju, ti predstavnici mogu biti sve osobe koje pripadaju javnim subjektima i koje bi trebale imati odgovarajuće nadležnosti i ovlasti za olakšavanje koordinacije na nacionalnoj razini i doprinošenje ostvarivanju zadaća Vijeća za umjetnu inteligenciju. Vijeće za umjetnu inteligenciju trebalo bi osnovati dvije stalne podskupine kako bi osigurao platformu za suradnju i razmjenu između tijelâ za nadzor tržišta i tijela koja provode prijavljivanje o pitanjima koja se odnose na nadzor tržišta odnosno na prijavljena tijela. Stalna podskupina za nadzor tržišta trebala bi djelovati kao skupina za administrativnu suradnju (ADCO) za ovu Uredbu u smislu članka 30. Uredbe (EU) 2019/1020. U skladu s člankom 33. te uredbe Komisija bi trebala podupirati aktivnosti stalne podskupine za nadzor tržišta provođenjem evaluacija ili studija tržišta, osobito u cilju utvrđivanja aspekata ove Uredbe koji zahtijevaju posebnu i hitnu koordinaciju među tijelima za nadzor tržišta. Vijeće za umjetnu inteligenciju prema potrebi može osnovati druge stalne ili privremene podskupine za razmatranje specifičnih pitanja. Vijeće za umjetnu inteligenciju također bi prema potrebi trebalo surađivati s relevantnim tijelima Unije, stručnim skupinama i mrežama koje djeluju u kontekstu relevantnog prava Unije, uključujući posebno one koje djeluju na temelju relevantnog prava Unije o podacima, digitalnim proizvodima i uslugama.
(149)
In order to facilitate a smooth, effective and harmonised implementation of this Regulation a Board should be established. The Board should reflect the various interests of the AI eco-system and be composed of representatives of the Member States. The Board should be responsible for a number of advisory tasks, including issuing opinions, recommendations, advice or contributing to guidance on matters related to the implementation of this Regulation, including on enforcement matters, technical specifications or existing standards regarding the requirements established in this Regulation and providing advice to the Commission and the Member States and their national competent authorities on specific questions related to AI. In order to give some flexibility to Member States in the designation of their representatives in the Board, such representatives may be any persons belonging to public entities who should have the relevant competences and powers to facilitate coordination at national level and contribute to the achievement of the Board’s tasks. The Board should establish two standing sub-groups to provide a platform for cooperation and exchange among market surveillance authorities and notifying authorities on issues related, respectively, to market surveillance and notified bodies. The standing subgroup for market surveillance should act as the administrative cooperation group (ADCO) for this Regulation within the meaning of Article 30 of Regulation (EU) 2019/1020. In accordance with Article 33 of that Regulation, the Commission should support the activities of the standing subgroup for market surveillance by undertaking market evaluations or studies, in particular with a view to identifying aspects of this Regulation requiring specific and urgent coordination among market surveillance authorities. The Board may establish other standing or temporary sub-groups as appropriate for the purpose of examining specific issues. The Board should also cooperate, as appropriate, with relevant Union bodies, experts groups and networks active in the context of relevant Union law, including in particular those active under relevant Union law on data, digital products and services.
(150)
Kako bi se osiguralo sudjelovanje dionika u provedbi i primjeni ove Uredbe, trebalo bi uspostaviti savjetodavni forum radi savjetovanja Vijeća za umjetnu inteligenciju i Komisije i pružanja tehničkog stručnog znanja Vijeću za umjetnu inteligenciju i Komisiji. Kako bi se osigurala raznolika i uravnotežena zastupljenost dionika s komercijalnim i nekomercijalnim interesima te, unutar kategorije komercijalnih interesa, u pogledu MSP-ova i drugih poduzeća, savjetodavni forum trebao bi obuhvaćati, među ostalim, industriju, start-up poduzeća, MSP-ove, akademsku zajednicu, civilno društvo, uključujući socijalne partnere, kao i Agenciju za temeljna prava, ENISA-u, Europski odbor za normizaciju (CEN), Europski odbor za elektrotehničku normizaciju (CENELEC) i Europski institut za telekomunikacijske norme (ETSI).
(150)
With a view to ensuring the involvement of stakeholders in the implementation and application of this Regulation, an advisory forum should be established to advise and provide technical expertise to the Board and the Commission. To ensure a varied and balanced stakeholder representation between commercial and non-commercial interest and, within the category of commercial interests, with regards to SMEs and other undertakings, the advisory forum should comprise inter alia industry, start-ups, SMEs, academia, civil society, including the social partners, as well as the Fundamental Rights Agency, ENISA, the European Committee for Standardization (CEN), the European Committee for Electrotechnical Standardization (CENELEC) and the European Telecommunications Standards Institute (ETSI).
(151)
Kako bi se poduprli provedba i izvršavanje ove Uredbe, osobito aktivnosti praćenja koje provodi Ured za umjetnu inteligenciju u pogledu UI modelâ opće namjene, trebalo bi osnovati znanstveno povjerenstvo neovisnih stručnjaka. Neovisni stručnjaci koji čine znanstveno povjerenstvo trebali bi se birati na temelju najnovijeg znanstvenog ili tehničkog stručnog znanja u području umjetne inteligencije te bi trebali obavljati svoje zadaće nepristrano i objektivno te osigurati povjerljivost informacija i podataka dobivenih pri obavljanju svojih zadaća i aktivnosti. Kako bi se omogućilo jačanje nacionalnih kapaciteta potrebnih za djelotvorno izvršavanje ove Uredbe, države članice trebale bi za svoje aktivnosti izvršavanja moći zatražiti potporu skupine stručnjaka koji čine znanstveno povjerenstvo.
(151)
To support the implementation and enforcement of this Regulation, in particular the monitoring activities of the AI Office as regards general-purpose AI models, a scientific panel of independent experts should be established. The independent experts constituting the scientific panel should be selected on the basis of up-to-date scientific or technical expertise in the field of AI and should perform their tasks with impartiality, objectivity and ensure the confidentiality of information and data obtained in carrying out their tasks and activities. To allow the reinforcement of national capacities necessary for the effective enforcement of this Regulation, Member States should be able to request support from the pool of experts constituting the scientific panel for their enforcement activities.
(152)
Kako bi se poduprlo odgovarajuće izvršavanje u vezi s UI sustavima i ojačali kapaciteti država članica, trebalo bi uspostaviti potporne strukture Unije za testiranje umjetne inteligencije i staviti ih na raspolaganje državama članicama.
(152)
In order to support adequate enforcement as regards AI systems and reinforce the capacities of the Member States, Union AI testing support structures should be established and made available to the Member States.
(153)
Države članice imaju ključnu ulogu u primjeni i izvršavanju ove Uredbe. Svaka bi država članica stoga trebala imenovati barem jedno tijelo koje provodi prijavljivanje i barem jedno tijelo za nadzor tržišta kao nacionalna nadležna tijela za potrebe nadziranja primjene i provedbe ove Uredbe. Države članice mogu odlučiti imenovati bilo koju vrstu javnog subjekta za obavljanje zadaća nacionalnih nadležnih tijela u smislu ove Uredbe, u skladu sa svojim posebnim nacionalnim organizacijskim karakteristikama i potrebama. Kako bi se povećala učinkovitost organizacije u državama članicama i uspostavila jedinstvena kontaktna točka za javne i druge partnere na razini država članica i na razini Unije, svaka bi država članica trebala imenovati tijelo za nadzor tržišta koje će djelovati kao jedinstvena kontaktna točka.
(153)
Member States hold a key role in the application and enforcement of this Regulation. In that respect, each Member State should designate at least one notifying authority and at least one market surveillance authority as national competent authorities for the purpose of supervising the application and implementation of this Regulation. Member States may decide to appoint any kind of public entity to perform the tasks of the national competent authorities within the meaning of this Regulation, in accordance with their specific national organisational characteristics and needs. In order to increase organisation efficiency on the side of Member States and to set a single point of contact vis-à-vis the public and other counterparts at Member State and Union levels, each Member State should designate a market surveillance authority to act as a single point of contact.
(154)
Ta nacionalna nadležna tijela trebala bi izvršavati svoje ovlasti neovisno, objektivno i nepristrano kako bi zaštitila načela objektivnosti svojih aktivnosti i zadaća te osigurala primjenu i provedbu ove Uredbe. Članovi tih tijela trebali bi se suzdržati od svakog djelovanja koje nije u skladu s njihovim dužnostima te bi trebali podlijegati pravilima o povjerljivosti na temelju ove Uredbe.
(154)
The national competent authorities should exercise their powers independently, impartially and without bias, so as to safeguard the principles of objectivity of their activities and tasks and to ensure the application and implementation of this Regulation. The members of these authorities should refrain from any action incompatible with their duties and should be subject to confidentiality rules under this Regulation.
(155)
Kako bi se osiguralo da dobavljači visokorizičnih UI sustava mogu uzeti u obzir iskustvo stečeno korištenjem visokorizičnih UI sustava za poboljšanje svojih sustava te za proces dizajniranja i razvoja ili da mogu pravodobno poduzeti korektivne mjere, svi bi dobavljači trebali uspostaviti sustav praćenja nakon stavljanja na tržište. Ako je to relevantno, praćenje nakon stavljanja na tržište trebalo bi obuhvaćati analizu interakcije s drugim UI sustavima, uključujući druge uređaje i softver. Praćenje nakon stavljanja na tržište ne bi trebalo obuhvaćati osjetljive operativne podatke subjekata koji uvode sustav koji su tijela kaznenog progona. Taj je sustav ključan i za učinkovitije i pravodobnije poduzimanje mjera povezanih s mogućim rizicima od UI sustava koji „uče” i nakon što su stavljeni na tržište ili u upotrebu. U tom bi kontekstu od dobavljača trebalo također zahtijevati da uspostave sustav za prijavljivanje relevantnim tijelima svih ozbiljnih incidenata koji su posljedica korištenja njihovih UI sustava, odnosno incidenta ili neispravnosti koji dovode do smrti ili teške štete za zdravlje, ozbiljnih i nepovratnih poremećaja u upravljanju kritičnom infrastrukturom i njezinu radu, povreda obveza na temelju prava Unije namijenjenih zaštiti temeljnih prava ili teške štete za imovinu ili okoliš.
(155)
In order to ensure that providers of high-risk AI systems can take into account the experience on the use of high-risk AI systems for improving their systems and the design and development process or can take any possible corrective action in a timely manner, all providers should have a post-market monitoring system in place. Where relevant, post-market monitoring should include an analysis of the interaction with other AI systems including other devices and software. Post-market monitoring should not cover sensitive operational data of deployers which are law enforcement authorities. This system is also key to ensure that the possible risks emerging from AI systems which continue to ‘learn’ after being placed on the market or put into service can be more efficiently and timely addressed. In this context, providers should also be required to have a system in place to report to the relevant authorities any serious incidents resulting from the use of their AI systems, meaning incident or malfunctioning leading to death or serious damage to health, serious and irreversible disruption of the management and operation of critical infrastructure, infringements of obligations under Union law intended to protect fundamental rights or serious damage to property or the environment.
(156)
Kako bi se osiguralo odgovarajuće i djelotvorno izvršavanje zahtjeva i obveza utvrđenih u ovoj Uredbi, koja je zakonodavstvo Unije o usklađivanju, u cijelosti bi se trebao primjenjivati sustav nadzora tržišta i sukladnosti proizvoda uspostavljen Uredbom (EU) 2019/1020. Tijela za nadzor tržišta imenovana na temelju ove Uredbe trebala bi imati sve ovlasti izvršavanja utvrđene u ovoj Uredbi i u Uredbi (EU) 2019/1020 i svoje bi ovlasti i dužnosti trebala izvršavati neovisno, objektivno i nepristrano. Iako većina UI sustava ne podliježe posebnim zahtjevima i obvezama na temelju ove Uredbe, tijela za nadzor tržišta mogu poduzeti mjere u vezi sa svim UI sustavima kada oni predstavljaju rizik u skladu s ovom Uredbom. Zbog specifične prirode institucija, agencija i tijela Unije obuhvaćenih područjem primjene ove Uredbe primjereno je za njih imenovati Europskog nadzornika za zaštitu podataka tijelom nadležnim za nadzor tržišta. Time se ne bi trebalo dovoditi u pitanje imenovanje nacionalnih nadležnih tijela koje provode države članice. Aktivnosti nadzora tržišta ne bi trebale utjecati na sposobnost nadziranih subjekata da neovisno obavljaju svoje zadaće kada se takva neovisnost zahtijeva pravom Unije.
(156)
In order to ensure an appropriate and effective enforcement of the requirements and obligations set out by this Regulation, which is Union harmonisation legislation, the system of market surveillance and compliance of products established by Regulation (EU) 2019/1020 should apply in its entirety. Market surveillance authorities designated pursuant to this Regulation should have all enforcement powers laid down in this Regulation and in Regulation (EU) 2019/1020 and should exercise their powers and carry out their duties independently, impartially and without bias. Although the majority of AI systems are not subject to specific requirements and obligations under this Regulation, market surveillance authorities may take measures in relation to all AI systems when they present a risk in accordance with this Regulation. Due to the specific nature of Union institutions, agencies and bodies falling within the scope of this Regulation, it is appropriate to designate the European Data Protection Supervisor as a competent market surveillance authority for them. This should be without prejudice to the designation of national competent authorities by the Member States. Market surveillance activities should not affect the ability of the supervised entities to carry out their tasks independently, when such independence is required by Union law.
(157)
Ovom se Uredbom ne dovode u pitanje nadležnosti, zadaće, ovlasti i neovisnost relevantnih nacionalnih tijela javne vlasti ili javnih tijela koja nadziru primjenu prava Unije o zaštiti temeljnih prava, uključujući tijela za ravnopravnost i tijela za zaštitu podataka. Ako je to potrebno za njihov mandat, ta nacionalna tijela javne vlasti ili javna tijela trebala bi također imati pristup svoj dokumentaciji izrađenoj na temelju ove Uredbe. Trebalo bi utvrditi poseban zaštitni postupak kako bi se osiguralo adekvatno i pravodobno izvršavanje u pogledu UI sustava koji predstavljaju rizik za zdravlje, sigurnost i temeljna prava. Postupak za takve UI sustave koji predstavljaju rizik trebao bi se primjenjivati na visokorizične UI sustave koji predstavljaju rizik, zabranjene sustave koji su stavljeni na tržište, stavljeni u upotrebu ili se upotrebljavaju protivno odredbama o zabranjenim praksama iz ove Uredbe i na UI sustave koji su stavljeni na raspolaganje protivno odredbama o zahtjevima u pogledu transparentnosti iz ove Uredbe i koji predstavljaju rizik.
(157)
This Regulation is without prejudice to the competences, tasks, powers and independence of relevant national public authorities or bodies which supervise the application of Union law protecting fundamental rights, including equality bodies and data protection authorities. Where necessary for their mandate, those national public authorities or bodies should also have access to any documentation created under this Regulation. A specific safeguard procedure should be set for ensuring adequate and timely enforcement against AI systems presenting a risk to health, safety and fundamental rights. The procedure for such AI systems presenting a risk should be applied to high-risk AI systems presenting a risk, prohibited systems which have been placed on the market, put into service or used in violation of the prohibited practices laid down in this Regulation and AI systems which have been made available in violation of the transparency requirements laid down in this Regulation and present a risk.
(158)
Pravo Unije o financijskim uslugama uključuje pravila i zahtjeve o unutarnjem upravljanju i upravljanju rizikom koji se primjenjuju na regulirane financijske institucije pri pružanju tih usluga, među ostalim kad upotrebljavaju UI sustave. Kako bi se osigurala dosljedna primjena i izvršavanje obveza iz ove Uredbe te relevantnih pravila i zahtjeva iz pravnih akata Unije o financijskim uslugama, nadležna tijela odgovorna za nadzor i izvršavanje tih pravnih akata, posebno nadležna tijela kako su definirana u Uredbi (EU) br. 575/2013 Europskog parlamenta i Vijeća (46) i direktivama 2008/48/EZ (47), 2009/138/EZ (48), 2013/36/EU (49), 2014/17/EU (50) i (EU) 2016/97 (51) Europskog parlamenta i Vijeća, trebala bi biti imenovana, u okviru vlastitih nadležnosti, nadležnim tijelima za potrebe nadziranja provedbe ove Uredbe, među ostalim i za aktivnosti nadzora tržišta, kad je riječ o UI sustavima koje pružaju ili upotrebljavaju financijske institucije koje su regulirane i pod nadzorom, osim ako države članice odluče za obavljanje tih zadaća nadzora tržišta imenovati drugo tijelo. Ta bi nadležna tijela trebala imati sve ovlasti na temelju ove Uredbe i Uredbe (EU) 2019/1020 za izvršavanje zahtjeva i obveza iz ove Uredbe, uključujući ovlasti za provođenje ex post aktivnosti nadzora tržišta koje se prema potrebi mogu integrirati u njihove postojeće nadzorne mehanizme i postupke na temelju relevantnog prava Unije o financijskim uslugama. Primjereno je predvidjeti da bi, kada djeluju kao tijela za nadzor tržišta na temelju ove Uredbe, nacionalna tijela odgovorna za nadziranje kreditnih institucija reguliranih Direktivom 2013/36/EU, koja sudjeluju u jedinstvenom nadzornom mehanizmu uspostavljenom Uredbom Vijeća (EU) br. 1024/2013 (52), trebala bez odgode izvijestiti Europsku središnju banku o svim informacijama utvrđenima tijekom njihovih aktivnosti nadzora tržišta koje bi mogle biti od interesa za zadaće bonitetnog nadzora Europske središnje banke navedene u toj uredbi. Kako bi se dodatno poboljšala usklađenost između ove Uredbe i pravila koja se primjenjuju na kreditne institucije regulirane Direktivom 2013/36/EU, također je primjereno integrirati neke od postupovnih obveza dobavljača povezanih s upravljanjem rizikom, praćenjem nakon stavljanja na tržište i vođenjem dokumentacije u postojeće obveze i postupke na temelju Direktive 2013/36/EU. Kako bi se izbjegla preklapanja, trebalo bi predvidjeti i ograničena odstupanja u pogledu sustava dobavljača za upravljanje kvalitetom i obveze praćenja za subjekte koji uvode visokorizične UI sustave u mjeri u kojoj se primjenjuju na kreditne institucije regulirane Direktivom 2013/36/EU. Isti bi se režim trebao primjenjivati na društva za osiguranje i reosiguranje i osigurateljne holdinge na temelju Direktive 2009/138/EZ i posrednike u osiguranju na temelju Direktive (EU) 2016/97 te na druge vrste financijskih institucija koje podliježu zahtjevima u pogledu unutarnjeg upravljanja, aranžmana ili postupaka uspostavljenih na temelju relevantnog prava Unije o financijskim uslugama kako bi se osigurala dosljednost i jednako postupanje u financijskom sektoru.
(158)
Union financial services law includes internal governance and risk-management rules and requirements which are applicable to regulated financial institutions in the course of provision of those services, including when they make use of AI systems. In order to ensure coherent application and enforcement of the obligations under this Regulation and relevant rules and requirements of the Union financial services legal acts, the competent authorities for the supervision and enforcement of those legal acts, in particular competent authorities as defined in Regulation (EU) No 575/2013 of the European Parliament and of the Council (46) and Directives 2008/48/EC (47), 2009/138/EC (48), 2013/36/EU (49), 2014/17/EU (50) and (EU) 2016/97 (51) of the European Parliament and of the Council, should be designated, within their respective competences, as competent authorities for the purpose of supervising the implementation of this Regulation, including for market surveillance activities, as regards AI systems provided or used by regulated and supervised financial institutions unless Member States decide to designate another authority to fulfil these market surveillance tasks. Those competent authorities should have all powers under this Regulation and Regulation (EU) 2019/1020 to enforce the requirements and obligations of this Regulation, including powers to carry our ex post market surveillance activities that can be integrated, as appropriate, into their existing supervisory mechanisms and procedures under the relevant Union financial services law. It is appropriate to envisage that, when acting as market surveillance authorities under this Regulation, the national authorities responsible for the supervision of credit institutions regulated under Directive 2013/36/EU, which are participating in the Single Supervisory Mechanism established by Council Regulation (EU) No 1024/2013 (52), should report, without delay, to the European Central Bank any information identified in the course of their market surveillance activities that may be of potential interest for the European Central Bank’s prudential supervisory tasks as specified in that Regulation. To further enhance the consistency between this Regulation and the rules applicable to credit institutions regulated under Directive 2013/36/EU, it is also appropriate to integrate some of the providers’ procedural obligations in relation to risk management, post marketing monitoring and documentation into the existing obligations and procedures under Directive 2013/36/EU. In order to avoid overlaps, limited derogations should also be envisaged in relation to the quality management system of providers and the monitoring obligation placed on deployers of high-risk AI systems to the extent that these apply to credit institutions regulated by Directive 2013/36/EU. The same regime should apply to insurance and re-insurance undertakings and insurance holding companies under Directive 2009/138/EC and the insurance intermediaries under Directive (EU) 2016/97 and other types of financial institutions subject to requirements regarding internal governance, arrangements or processes established pursuant to the relevant Union financial services law to ensure consistency and equal treatment in the financial sector.
(159)
Svako tijelo za nadzor tržišta za visokorizične UI sustave u području biometrije, kako je navedeno u prilogu ovoj Uredbi, u mjeri u kojoj se ti sustavi upotrebljavaju u svrhu kaznenog progona, migracija, azila i upravljanja nadzorom državne granice ili za sudovanje i demokratske procese, trebalo bi imati djelotvorne istražne i korektivne ovlasti, uključujući barem ovlast za dobivanje pristupa svim osobnim podacima koji se obrađuju i svim informacijama potrebnima za obavljanje svojih zadaća. Tijela za nadzor tržišta trebala bi moći izvršavati svoje ovlasti potpuno neovisno. Bilo kakvim ograničenjima njihova pristupa osjetljivim operativnim podacima na temelju ove Uredbe ne bi se trebale dovoditi u pitanje ovlasti koje su im dodijeljene Direktivom (EU) 2016/680. Nijedno isključenje otkrivanja podataka nacionalnim tijelima za zaštitu podataka na temelju ove Uredbe ne bi trebalo utjecati na aktualne ili buduće ovlasti tih tijela izvan područja primjene ove Uredbe.
(159)
Each market surveillance authority for high-risk AI systems in the area of biometrics, as listed in an annex to this Regulation insofar as those systems are used for the purposes of law enforcement, migration, asylum and border control management, or the administration of justice and democratic processes, should have effective investigative and corrective powers, including at least the power to obtain access to all personal data that are being processed and to all information necessary for the performance of its tasks. The market surveillance authorities should be able to exercise their powers by acting with complete independence. Any limitations of their access to sensitive operational data under this Regulation should be without prejudice to the powers conferred to them by Directive (EU) 2016/680. No exclusion on disclosing data to national data protection authorities under this Regulation should affect the current or future powers of those authorities beyond the scope of this Regulation.
(160)
Tijela za nadzor tržišta i Komisija trebali bi moći predložiti zajedničke aktivnosti, uključujući zajedničke istrage, koje trebaju provoditi tijela za nadzor tržišta ili tijela za nadzor tržišta zajedno s Komisijom, a čiji je cilj promicanje sukladnosti, utvrđivanje nesukladnosti, podizanje svijesti i pružanje smjernica u vezi s ovom Uredbom u pogledu specifičnih kategorija visokorizičnih UI sustava za koje je utvrđeno da predstavljaju ozbiljan rizik u dvjema ili više država članica. Zajedničke aktivnosti u cilju promicanja sukladnosti trebale bi se provoditi u skladu s člankom 9. Uredbe (EU) 2019/1020. Ured za umjetnu inteligenciju trebao bi pružati koordinacijsku potporu za zajedničke istrage.
(160)
The market surveillance authorities and the Commission should be able to propose joint activities, including joint investigations, to be conducted by market surveillance authorities or market surveillance authorities jointly with the Commission, that have the aim of promoting compliance, identifying non-compliance, raising awareness and providing guidance in relation to this Regulation with respect to specific categories of high-risk AI systems that are found to present a serious risk across two or more Member States. Joint activities to promote compliance should be carried out in accordance with Article 9 of Regulation (EU) 2019/1020. The AI Office should provide coordination support for joint investigations.
(161)
Potrebno je pojasniti odgovornosti i nadležnosti na razini Unije i na nacionalnoj razini u pogledu UI sustava koji se temelje na UI modelima opće namjene. Kako bi se izbjeglo preklapanje nadležnosti, ako se UI sustav temelji na UI modelu opće namjene, a model i sustav osigurava isti dobavljač, nadzor bi se trebao provoditi na razini Unije putem Ureda za umjetnu inteligenciju, koji bi u tu svrhu trebao imati ovlasti tijela za nadzor tržišta u smislu Uredbe (EU) 2019/1020. U svim ostalim slučajevima nacionalna tijela za nadzor tržišta i dalje su odgovorna za nadzor UI sustavâ. Međutim, kad je riječ o UI sustavima opće namjene koje subjekti koji uvode UI sustav mogu izravno upotrebljavati u barem jednu svrhu koja je klasificirana kao visokorizična, tijela za nadzor tržišta trebala bi surađivati s Uredom za umjetnu inteligenciju na provedbi evaluacija usklađenosti te o tome obavijestiti Vijeće za umjetnu inteligenciju i druga tijela za nadzor tržišta. Nadalje, tijela za nadzor tržišta trebala bi moći zatražiti pomoć od Ureda za umjetnu inteligenciju ako tijelo za nadzor tržišta ne može zaključiti istragu visokorizičnog UI sustava zbog toga što ne može pristupiti određenim informacijama povezanima s UI modelom opće namjene na kojem je izgrađen visokorizični UI sustav. U takvim bi se slučajevima postupak u pogledu uzajamne pomoći u prekograničnim slučajevima iz poglavlja VI. Uredbe (EU) 2019/1020 trebao primjenjivati mutatis mutandis.
(161)
It is necessary to clarify the responsibilities and competences at Union and national level as regards AI systems that are built on general-purpose AI models. To avoid overlapping competences, where an AI system is based on a general-purpose AI model and the model and system are provided by the same provider, the supervision should take place at Union level through the AI Office, which should have the powers of a market surveillance authority within the meaning of Regulation (EU) 2019/1020 for this purpose. In all other cases, national market surveillance authorities remain responsible for the supervision of AI systems. However, for general-purpose AI systems that can be used directly by deployers for at least one purpose that is classified as high-risk, market surveillance authorities should cooperate with the AI Office to carry out evaluations of compliance and inform the Board and other market surveillance authorities accordingly. Furthermore, market surveillance authorities should be able to request assistance from the AI Office where the market surveillance authority is unable to conclude an investigation on a high-risk AI system because of its inability to access certain information related to the general-purpose AI model on which the high-risk AI system is built. In such cases, the procedure regarding mutual assistance in cross-border cases in Chapter VI of Regulation (EU) 2019/1020 should apply mutatis mutandis.
(162)
Kako bi se na razini Unije na najbolji način iskoristilo centralizirano stručno znanje i sinergija Unije, ovlasti nadzora i izvršavanja obveza dobavljača UI modela opće namjene trebale bi biti u nadležnosti Komisije.. Ured za umjetnu inteligenciju trebao bi moći provoditi sve potrebne mjere za praćenje djelotvorne provedbe ove Uredbe u pogledu UI modela opće namjene. Trebao bi moći istražiti moguće povrede pravila o dobavljačima UI modela opće namjene na vlastitu inicijativu, na temelju rezultata svojih aktivnosti praćenja ili na zahtjev tijelâ za nadzor tržišta u skladu s uvjetima utvrđenima u ovoj Uredbi. Kako bi se poduprlo djelotvorno praćenje koje provodi Ured za umjetnu inteligenciju, trebalo bi predvidjeti mogućnost da dobavljači niže u lancu podnose pritužbe o mogućim povredama pravila o dobavljačima UI modelâ i sustavâ opće namjene.
(162)
To make best use of the centralised Union expertise and synergies at Union level, the powers of supervision and enforcement of the obligations on providers of general-purpose AI models should be a competence of the Commission. The AI Office should be able to carry out all necessary actions to monitor the effective implementation of this Regulation as regards general-purpose AI models. It should be able to investigate possible infringements of the rules on providers of general-purpose AI models both on its own initiative, following the results of its monitoring activities, or upon request from market surveillance authorities in line with the conditions set out in this Regulation. To support effective monitoring of the AI Office, it should provide for the possibility that downstream providers lodge complaints about possible infringements of the rules on providers of general-purpose AI models and systems.
(163)
Kako bi se dopunili sustavi upravljanja za UI modele opće namjene, znanstveno povjerenstvo trebalo bi podupirati aktivnosti praćenja koje provodi Ured za umjetnu inteligenciju i može, u određenim slučajevima, Uredu za umjetnu inteligenciju dostaviti kvalificirana upozorenja kojima se pokreću daljnje mjere, kao što su istrage. To bi trebao biti slučaj kada znanstveno povjerenstvo ima razloga sumnjati da UI model opće namjene predstavlja konkretan i utvrdiv rizik na razini Unije. Nadalje, to bi trebao biti slučaj kada znanstveno povjerenstvo ima razloga sumnjati da UI model opće namjene ispunjava kriterije koji bi doveli do toga da ga se klasificira kao UI model opće namjene sa sistemskim rizikom. Kako bi znanstveno povjerenstvo dobilo informacije potrebne za obavljanje tih zadaća, trebao bi postojati mehanizam kojim ono može zatražiti od Komisije da od dobavljača zatraži dokumentaciju ili informacije.
(163)
With a view to complementing the governance systems for general-purpose AI models, the scientific panel should support the monitoring activities of the AI Office and may, in certain cases, provide qualified alerts to the AI Office which trigger follow-ups, such as investigations. This should be the case where the scientific panel has reason to suspect that a general-purpose AI model poses a concrete and identifiable risk at Union level. Furthermore, this should be the case where the scientific panel has reason to suspect that a general-purpose AI model meets the criteria that would lead to a classification as general-purpose AI model with systemic risk. To equip the scientific panel with the information necessary for the performance of those tasks, there should be a mechanism whereby the scientific panel can request the Commission to require documentation or information from a provider.
(164)
Ured za umjetnu inteligenciju trebao bi moći poduzeti potrebne mjere za praćenje djelotvorne provedbe i ispunjavanja obveza dobavljača UI modelâ opće namjene koje su utvrđene u ovoj Uredbi. Ured za umjetnu inteligenciju trebao bi moći istražiti moguće povrede u skladu s ovlastima predviđenima u ovoj Uredbi, među ostalim traženjem dokumentacije i informacija, provođenjem evaluacija i zahtijevanjem od dobavljača UI modela opće namjene da provede mjere. Kako bi se iskoristilo neovisno stručno znanje, pri provedbi evaluacija Ured za umjetnu inteligenciju trebao bi moći uključiti neovisne stručnjake da provedu evaluacije u njegovo ime. Usklađenost s obvezama trebala bi biti izvršiva, među ostalim, s pomoću zahtjevâ za poduzimanje odgovarajućih mjera, među ostalim i mjera za ublažavanje rizika u slučaju utvrđenih sistemskih rizika, kao i ograničavanja stavljanja na raspolaganje na tržištu, povlačenja ili opoziva modela. Kao zaštitna mjera, ako je to potrebno izvan okvira postupovnih prava predviđenih u ovoj Uredbi, dobavljači UI modela opće namjene trebali bi imati postupovna prava predviđena u članku 18. Uredbe (EU) 2019/1020, koji bi se trebao primjenjivati mutatis mutandis, ne dovodeći u pitanje specifičnija postupovna prava predviđena ovom Uredbom.
(164)
The AI Office should be able to take the necessary actions to monitor the effective implementation of and compliance with the obligations for providers of general-purpose AI models laid down in this Regulation. The AI Office should be able to investigate possible infringements in accordance with the powers provided for in this Regulation, including by requesting documentation and information, by conducting evaluations, as well as by requesting measures from providers of general-purpose AI models. When conducting evaluations, in order to make use of independent expertise, the AI Office should be able to involve independent experts to carry out the evaluations on its behalf. Compliance with the obligations should be enforceable, inter alia, through requests to take appropriate measures, including risk mitigation measures in the case of identified systemic risks as well as restricting the making available on the market, withdrawing or recalling the model. As a safeguard, where needed beyond the procedural rights provided for in this Regulation, providers of general-purpose AI models should have the procedural rights provided for in Article 18 of Regulation (EU) 2019/1020, which should apply mutatis mutandis, without prejudice to more specific procedural rights provided for by this Regulation.
(165)
Razvoj UI sustava koji nisu visokorizični u skladu sa zahtjevima ove Uredbe može dovesti do šire primjene etične i pouzdane umjetne inteligencije u Uniji. Dobavljače UI sustava koji nisu visokorizični trebalo bi poticati na izradu kodeksâ ponašanja, uključujući povezane mehanizme upravljanja, namijenjenih poticanju dobrovoljne primjene nekih ili svih obveznih zahtjeva koji se primjenjuju na visokorizične UI sustave, prilagođenih namjeni sustava i manjem riziku te uzimajući u obzir dostupna tehnička rješenja i najbolje industrijske prakse kao što su kartice modela i podatkovne kartice. Dobavljače i, prema potrebi, subjekte koji uvode sve UI sustave, bez obzira na to jesu li visokorizični, i UI modele trebalo bi također poticati da dobrovoljno primjenjuju dodatne zahtjeve koji se odnose, na primjer, na elemente Etičkih smjernica Unije za pouzdanu umjetnu inteligenciju, okolišnu održivost, mjere pismenosti u području umjetne inteligencije, uključiv i raznolik dizajn i razvoj UI sustava, uključujući usmjeravanje pozornosti na ranjive osobe i pristupačnost za osobe s invaliditetom, sudjelovanje dionika uz uključenost, prema potrebi, relevantnih dionika kao što su poduzeća i organizacije civilnog društva, akademska zajednica, istraživačke organizacije, sindikati i organizacije za zaštitu potrošača u dizajnu i razvoju UI sustava te raznolikost razvojnih timova, uključujući ravnotežu spolova. Kako bi se osigurala djelotvornost dobrovoljnih kodeksa ponašanja, oni bi se trebali temeljiti na jasnim ciljevima i ključnim pokazateljima uspješnosti za mjerenje ostvarenja tih ciljeva. Trebalo bi ih također razvijati na uključiv način, prema potrebi, uz sudjelovanje relevantnih dionika kao što su poduzeća i organizacije civilnog društva, akademska zajednica, istraživačke organizacije, sindikati i organizacije za zaštitu potrošača. Komisija može osmisliti inicijative, među ostalim na sektorskoj razini, za olakšavanje smanjivanja tehničkih zapreka prekograničnoj razmjeni podataka u svrhu razvoja umjetne inteligencije, među ostalim i u području infrastrukture za pristup podacima te semantičke i tehničke interoperabilnosti različitih vrsta podataka.
(165)
The development of AI systems other than high-risk AI systems in accordance with the requirements of this Regulation may lead to a larger uptake of ethical and trustworthy AI in the Union. Providers of AI systems that are not high-risk should be encouraged to create codes of conduct, including related governance mechanisms, intended to foster the voluntary application of some or all of the mandatory requirements applicable to high-risk AI systems, adapted in light of the intended purpose of the systems and the lower risk involved and taking into account the available technical solutions and industry best practices such as model and data cards. Providers and, as appropriate, deployers of all AI systems, high-risk or not, and AI models should also be encouraged to apply on a voluntary basis additional requirements related, for example, to the elements of the Union’s Ethics Guidelines for Trustworthy AI, environmental sustainability, AI literacy measures, inclusive and diverse design and development of AI systems, including attention to vulnerable persons and accessibility to persons with disability, stakeholders’ participation with the involvement, as appropriate, of relevant stakeholders such as business and civil society organisations, academia, research organisations, trade unions and consumer protection organisations in the design and development of AI systems, and diversity of the development teams, including gender balance. To ensure that the voluntary codes of conduct are effective, they should be based on clear objectives and key performance indicators to measure the achievement of those objectives. They should also be developed in an inclusive way, as appropriate, with the involvement of relevant stakeholders such as business and civil society organisations, academia, research organisations, trade unions and consumer protection organisation. The Commission may develop initiatives, including of a sectoral nature, to facilitate the lowering of technical barriers hindering cross-border exchange of data for AI development, including on data access infrastructure, semantic and technical interoperability of different types of data.
(166)
Važno je da UI sustavi povezani s proizvodima koji nisu visokorizični u skladu s ovom Uredbom te stoga ne moraju ispunjavati zahtjeve utvrđene za visokorizične UI sustave ipak budu sigurni kad se stavljaju na tržište ili u upotrebu. Kako bi se doprinijelo tom cilju, Uredba (EU) 2023/988 Europskog parlamenta i Vijeća (53) primjenjivala bi se kao sigurnosni mehanizam.
(166)
It is important that AI systems related to products that are not high-risk in accordance with this Regulation and thus are not required to comply with the requirements set out for high-risk AI systems are nevertheless safe when placed on the market or put into service. To contribute to this objective, Regulation (EU) 2023/988 of the European Parliament and of the Council (53) would apply as a safety net.
(167)
Kako bi se osigurala pouzdana i konstruktivna suradnja nadležnih tijela na razini Unije i na nacionalnoj razini, sve strane uključene u primjenu ove Uredbe trebale bi poštovati povjerljivost informacija i podataka prikupljenih pri obavljanju svojih zadaća, u skladu s pravom Unije ili nacionalnim pravom. Svoje zadaće i aktivnosti trebale bi obavljati tako da osobito štite prava intelektualnog vlasništva, povjerljive poslovne informacije i poslovne tajne, djelotvornu provedbu ove Uredbe, javne i nacionalne sigurnosne interese, integritet kaznenih i upravnih postupaka te integritet klasificiranih podataka.
(167)
In order to ensure trustful and constructive cooperation of competent authorities on Union and national level, all parties involved in the application of this Regulation should respect the confidentiality of information and data obtained in carrying out their tasks, in accordance with Union or national law. They should carry out their tasks and activities in such a manner as to protect, in particular, intellectual property rights, confidential business information and trade secrets, the effective implementation of this Regulation, public and national security interests, the integrity of criminal and administrative proceedings, and the integrity of classified information.
(168)
Usklađenost s ovom Uredbom trebala bi biti izvršiva izricanjem sankcija i drugih mjera izvršavanja. Države članice trebale bi poduzeti sve mjere potrebne za osiguravanje provedbe odredaba ove Uredbe, među ostalim utvrđivanjem učinkovitih, proporcionalnih i odvraćajućih sankcija za povrede tih odredaba, i za poštovanje načela ne bis in idem. Kako bi se postrožile i uskladile upravne sankcije za povrede ove Uredbe, trebalo bi utvrditi gornje granice za određivanje upravnih novčanih kazni za određene specifične povrede. Pri procjeni iznosa novčanih kazni države članice trebale bi u svakom pojedinačnom slučaju uzeti u obzir sve relevantne okolnosti specifične situacije, posebno uzimajući u obzir prirodu, težinu i trajanje povrede i njezine posljedice te veličinu dobavljača, posebno ako je dobavljač MSP, uključujući start-up poduzeće. Europski nadzornik za zaštitu podataka trebao bi imati ovlast izreći novčane kazne institucijama, agencijama i tijelima Unije obuhvaćenima područjem primjene ove Uredbe.
(168)
Compliance with this Regulation should be enforceable by means of the imposition of penalties and other enforcement measures. Member States should take all necessary measures to ensure that the provisions of this Regulation are implemented, including by laying down effective, proportionate and dissuasive penalties for their infringement, and to respect the ne bis in idem principle. In order to strengthen and harmonise administrative penalties for infringement of this Regulation, the upper limits for setting the administrative fines for certain specific infringements should be laid down. When assessing the amount of the fines, Member States should, in each individual case, take into account all relevant circumstances of the specific situation, with due regard in particular to the nature, gravity and duration of the infringement and of its consequences and to the size of the provider, in particular if the provider is an SME, including a start-up. The European Data Protection Supervisor should have the power to impose fines on Union institutions, agencies and bodies falling within the scope of this Regulation.
(169)
Usklađenost s obvezama dobavljačâ UI modelâ opće namjene koje su propisane na temelju ove Uredbe trebala bi biti izvršiva, među ostalim, novčanim kaznama. U tu bi svrhu također trebalo utvrditi odgovarajuće razine novčanih kazni za povrede tih obveza, uključujući nepoštovanje mjera koje je Komisija zatražila u skladu s ovom Uredbom, podložno odgovarajućim rokovima zastare u skladu s načelom proporcionalnosti. Sve odluke koje Komisija donosi na temelju ove Uredbe podliježu postupku preispitivanja pred Sudom Europske unije u skladu s UFEU-om, među ostalim i neograničenoj nadležnosti Suda u pogledu sankcija u skladu s člankom 261. UFEU-a.
(169)
Compliance with the obligations on providers of general-purpose AI models imposed under this Regulation should be enforceable, inter alia, by means of fines. To that end, appropriate levels of fines should also be laid down for infringement of those obligations, including the failure to comply with measures requested by the Commission in accordance with this Regulation, subject to appropriate limitation periods in accordance with the principle of proportionality. All decisions taken by the Commission under this Regulation are subject to review by the Court of Justice of the European Union in accordance with the TFEU, including the unlimited jurisdiction of the Court of Justice with regard to penalties pursuant to Article 261 TFEU.
(170)
Pravom Unije i nacionalnim pravom već su predviđena djelotvorna pravna sredstva za fizičke i pravne osobe na čija prava i slobode negativno utječe upotreba UI sustavâ. Ne dovodeći u pitanje ta pravna sredstva, svaka fizička ili pravna osoba koja ima razloga smatrati da je došlo do povrede ove Uredbe trebala bi imati pravo podnijeti pritužbu relevantnom tijelu za nadzor tržišta.
(170)
Union and national law already provide effective remedies to natural and legal persons whose rights and freedoms are adversely affected by the use of AI systems. Without prejudice to those remedies, any natural or legal person that has grounds to consider that there has been an infringement of this Regulation should be entitled to lodge a complaint to the relevant market surveillance authority.
(171)
Zahvaćene osobe trebale bi imati pravo dobiti objašnjenje ako se odluka subjekta koji uvodi sustav uglavnom temelji na izlaznim rezultatima iz određenih visokorizičnih UI sustava obuhvaćenih područjem primjene ove Uredbe i ako ta odluka proizvodi pravne učinke ili na sličan način znatno utječe na te osobe na način za koji smatraju da ima negativan učinak na njihovo zdravlje, sigurnost ili temeljna prava. To bi objašnjenje trebalo biti jasno i smisleno te bi trebalo biti osnova koja omogućuje zahvaćenim osobama da ostvare svoja prava. Pravo na dobivanje objašnjenja ne bi se trebalo primjenjivati na upotrebu UI sustava za koje iznimke ili ograničenja proizlaze iz prava Unije ili nacionalnog prava i trebalo bi se primjenjivati samo u mjeri u kojoj to pravo već nije predviđeno pravom Unije.
(171)
Affected persons should have the right to obtain an explanation where a deployer’s decision is based mainly upon the output from certain high-risk AI systems that fall within the scope of this Regulation and where that decision produces legal effects or similarly significantly affects those persons in a way that they consider to have an adverse impact on their health, safety or fundamental rights. That explanation should be clear and meaningful and should provide a basis on which the affected persons are able to exercise their rights. The right to obtain an explanation should not apply to the use of AI systems for which exceptions or restrictions follow from Union or national law and should apply only to the extent this right is not already provided for under Union law.
(172)
Osobe koje djeluju kao zviždači u vezi s povredama ove Uredbe trebale bi biti zaštićene pravom Unije. Direktiva (EU) 2019/1937 Europskog parlamenta i Vijeća (54) stoga bi se trebala primjenjivati na prijavljivanje povreda ove Uredbe i na zaštitu osoba koje prijavljuju te povrede.
(172)
Persons acting as whistleblowers on the infringements of this Regulation should be protected under the Union law. Directive (EU) 2019/1937 of the European Parliament and of the Council (54) should therefore apply to the reporting of infringements of this Regulation and the protection of persons reporting such infringements.
(173)
Kako bi se osiguralo da se regulatorni okvir može prilagođavati ako je to potrebno, Komisiji bi trebalo delegirati ovlast za donošenje akata u skladu s člankom 290. UFEU-a radi izmjene uvjeta na temelju kojih se UI sustav ne treba smatrati visokorizičnim, popisa visokorizičnih UI sustava, odredaba o tehničkoj dokumentaciji, sadržaja EU izjave o sukladnosti, odredaba o postupcima ocjenjivanja sukladnosti, odredaba kojima se utvrđuju visokorizični UI sustavi na koje bi se trebao primjenjivati postupak ocjenjivanja sukladnosti na temelju ocjene sustava upravljanja kvalitetom i ocjene tehničke dokumentacije, praga, referentnih vrijednosti i pokazatelja, među ostalim dopunjavanjem tih referentnih vrijednosti i pokazatelja, u pravilima za klasifikaciju UI modela opće namjene sa sistemskim rizikom, kriterija za određivanje UI modela opće namjene sa sistemskim rizikom, tehničke dokumentacije za dobavljače UI modela opće namjene i informacija o transparentnosti za dobavljače UI modela opće namjene. Posebno je važno da Komisija tijekom svojeg pripremnog rada provede odgovarajuća savjetovanja, uključujući ona na razini stručnjaka, te da se ta savjetovanja provedu u skladu s načelima utvrđenima u Međuinstitucijskom sporazumu o boljoj izradi zakonodavstva od 13. travnja 2016. (55). Osobito, s ciljem osiguravanja ravnopravnog sudjelovanja u pripremi delegiranih akata, Europski parlament i Vijeće primaju sve dokumente istodobno kada i stručnjaci iz država članica te njihovi stručnjaci sustavno imaju pristup sastancima stručnih skupina Komisije koji se odnose na pripremu delegiranih akata.
(173)
In order to ensure that the regulatory framework can be adapted where necessary, the power to adopt acts in accordance with Article 290 TFEU should be delegated to the Commission to amend the conditions under which an AI system is not to be considered to be high-risk, the list of high-risk AI systems, the provisions regarding technical documentation, the content of the EU declaration of conformity the provisions regarding the conformity assessment procedures, the provisions establishing the high-risk AI systems to which the conformity assessment procedure based on assessment of the quality management system and assessment of the technical documentation should apply, the threshold, benchmarks and indicators, including by supplementing those benchmarks and indicators, in the rules for the classification of general-purpose AI models with systemic risk, the criteria for the designation of general-purpose AI models with systemic risk, the technical documentation for providers of general-purpose AI models and the transparency information for providers of general-purpose AI models. It is of particular importance that the Commission carry out appropriate consultations during its preparatory work, including at expert level, and that those consultations be conducted in accordance with the principles laid down in the Interinstitutional Agreement of 13 April 2016 on Better Law-Making (55). In particular, to ensure equal participation in the preparation of delegated acts, the European Parliament and the Council receive all documents at the same time as Member States’ experts, and their experts systematically have access to meetings of Commission expert groups dealing with the preparation of delegated acts.
(174)
S obzirom na brz tehnološki razvoj i tehničko stručno znanje koje je potrebno za djelotvornu primjenu ove Uredbe, Komisija bi trebala evaluirati i preispitati ovu Uredbu do 2. kolovoza 2029. i svake četiri godine nakon toga te o tome izvijestiti Europski parlament i Vijeće. Osim toga, uzimajući u obzir posljedice za područje primjene ove Uredbe, Komisija bi jednom godišnje trebala provesti procjenu potrebe za izmjenom popisa visokorizičnih UI sustava i popisa zabranjenih praksi. Nadalje, do 2. kolovoza 2028. i svake četiri godine nakon toga Komisija bi trebala evaluirati potrebu za izmjenom popisa naslova visokorizičnih područja iz priloga ovoj Uredbi, UI sustava obuhvaćenih obvezama transparentnosti, djelotvornosti sustava nadzora i upravljanja te napretka u razvoju normizacijskih dokumenata o energetski učinkovitom razvoju UI modela opće namjene, uključujući potrebu za daljnjim mjerama ili djelovanjima, te o tome izvijestiti Europski parlament i Vijeće. Naposljetku, do 2. kolovoza 2028. i svake tri godine nakon toga Komisija bi trebala evaluirati učinak i djelotvornost dobrovoljnih kodeksa ponašanja namijenjenih poticanju primjene zahtjeva predviđenih za visokorizične UI sustave u slučaju UI sustava koji nisu visokorizični i eventualno drugih dodatnih zahtjeva za takve UI sustave.
(174)
Given the rapid technological developments and the technical expertise required to effectively apply this Regulation, the Commission should evaluate and review this Regulation by 2 August 2029 and every four years thereafter and report to the European Parliament and the Council. In addition, taking into account the implications for the scope of this Regulation, the Commission should carry out an assessment of the need to amend the list of high-risk AI systems and the list of prohibited practices once a year. Moreover, by 2 August 2028 and every four years thereafter, the Commission should evaluate and report to the European Parliament and to the Council on the need to amend the list of high-risk areas headings in the annex to this Regulation, the AI systems within the scope of the transparency obligations, the effectiveness of the supervision and governance system and the progress on the development of standardisation deliverables on energy efficient development of general-purpose AI models, including the need for further measures or actions. Finally, by 2 August 2028 and every three years thereafter, the Commission should evaluate the impact and effectiveness of voluntary codes of conduct to foster the application of the requirements provided for high-risk AI systems in the case of AI systems other than high-risk AI systems and possibly other additional requirements for such AI systems.
(175)
Radi osiguranja jedinstvenih uvjeta za provedbu ove Uredbe provedbene ovlasti trebalo bi dodijeliti Komisiji. Te bi ovlasti trebalo izvršavati u skladu s Uredbom (EU) br. 182/2011 Europskog parlamenta i Vijeća (56).
(175)
In order to ensure uniform conditions for the implementation of this Regulation, implementing powers should be conferred on the Commission. Those powers should be exercised in accordance with Regulation (EU) No 182/2011 of the European Parliament and of the Council (56).
(176)
S obzirom na to da cilj ove Uredbe, to jest poboljšanje funkcioniranja unutarnjeg tržišta i promicanje uvođenja antropocentrične umjetne inteligencije, uz istodobno osiguravanje visoke razine zaštite zdravlja, sigurnosti i temeljnih prava sadržanih u Povelji, uključujući demokraciju, vladavinu prava i zaštitu okoliša od štetnih učinaka UI sustavâ u Uniji te podupiranje inovacija, ne mogu dostatno ostvariti države članice, nego se zbog opsega ili učinaka djelovanja on na bolji način može ostvariti na razini Unije, Unija može donijeti mjere u skladu s načelom supsidijarnosti utvrđenim u članku 5. UEU-a. U skladu s načelom proporcionalnosti utvrđenim u tom članku ova Uredba ne prelazi ono što je potrebno za ostvarivanje tog cilja.
(176)
Since the objective of this Regulation, namely to improve the functioning of the internal market and to promote the uptake of human centric and trustworthy AI, while ensuring a high level of protection of health, safety, fundamental rights enshrined in the Charter, including democracy, the rule of law and environmental protection against harmful effects of AI systems in the Union and supporting innovation, cannot be sufficiently achieved by the Member States and can rather, by reason of the scale or effects of the action, be better achieved at Union level, the Union may adopt measures in accordance with the principle of subsidiarity as set out in Article 5 TEU. In accordance with the principle of proportionality as set out in that Article, this Regulation does not go beyond what is necessary in order to achieve that objective.
(177)
Kako bi se zajamčila pravna sigurnost, osiguralo odgovarajuće razdoblje prilagodbe za operatere i izbjegli poremećaji na tržištu, među ostalim osiguravanjem kontinuiteta korištenja UI sustavâ, primjereno je da se ova Uredba primjenjuje na visokorizične UI sustave koji su stavljeni na tržište ili u upotrebu prije općeg datuma početka njezine primjene samo ako od tog datuma u tim sustavima dođe do znatnih promjena u pogledu njihova dizajna ili namjene. Primjereno je pojasniti da bi u tom pogledu pojam znatne promjene trebalo razumjeti kao sadržajno jednakovrijedan pojmu znatne izmjene, koji se upotrebljava samo u pogledu visokorizičnih UI sustava na temelju ove Uredbe. Iznimno i s obzirom na javnu odgovornost, operateri UI sustava koji su komponente opsežnih informacijskih sustava uspostavljenih pravnim aktima navedenima u prilogu ovoj Uredbi i operateri visokorizičnih UI sustava namijenjenih korištenju od strane tijela javne vlasti trebali bi poduzeti potrebne korake kako bi ispunili zahtjeve iz ove Uredbe do kraja 2030. i do 2. kolovoza 2030.
(177)
In order to ensure legal certainty, ensure an appropriate adaptation period for operators and avoid disruption to the market, including by ensuring continuity of the use of AI systems, it is appropriate that this Regulation applies to the high-risk AI systems that have been placed on the market or put into service before the general date of application thereof, only if, from that date, those systems are subject to significant changes in their design or intended purpose. It is appropriate to clarify that, in this respect, the concept of significant change should be understood as equivalent in substance to the notion of substantial modification, which is used with regard only to high-risk AI systems pursuant to this Regulation. On an exceptional basis and in light of public accountability, operators of AI systems which are components of the large-scale IT systems established by the legal acts listed in an annex to this Regulation and operators of high-risk AI systems that are intended to be used by public authorities should, respectively, take the necessary steps to comply with the requirements of this Regulation by end of 2030 and by 2 August 2030.
(178)
Dobavljače visokorizičnih UI sustava potiče se da dobrovoljno počnu ispunjavati relevantne obveze iz ove Uredbe već tijekom prijelaznog razdoblja.
(178)
Providers of high-risk AI systems are encouraged to start to comply, on a voluntary basis, with the relevant obligations of this Regulation already during the transitional period.
(179)
Ova Uredba trebala bi se primjenjivati od 2. kolovoza 2026. Međutim, uzimajući u obzir neprihvatljiv rizik povezan s korištenjem umjetne inteligencije na određene načine, zabrane kao i opće odredbe ove Uredbe trebale bi se trebale primjenjivati već od 2. veljače 2025. Iako potpuni učinak tih zabrana proizlazi iz uspostave upravljanja i izvršavanja ove Uredbe, predviđanje primjene zabrana važno je kako bi se uzeli u obzir neprihvatljivi rizici i kako bi se utjecalo na druge postupke, primjerice u građanskom pravu. Nadalje, infrastruktura povezana s upravljanjem i sustavom za ocjenjivanje sukladnosti trebala bi biti spremna za upotrebu prije 2. kolovoza 2026., pa bi se stoga odredbe o prijavljenim tijelima i strukturama upravljanja trebale primjenjivati od 2. kolovoza 2025. S obzirom na brz tehnološki napredak i usvajanje UI modelâ opće namjene, obveze dobavljača UI modelâ opće namjene trebale bi se primjenjivati od 2. kolovoza 2025. Kodeksi prakse trebali bi biti spremni do 2. svibnja 2025. kako bi se dobavljačima omogućilo da pravodobno dokažu usklađenost. Ured za umjetnu inteligenciju trebao bi osigurati da pravila i postupci klasifikacije budu ažurirani s obzirom na tehnološki razvoj. Usto, države članice trebale bi utvrditi pravila o sankcijama i obavijestiti Komisiju o tim pravilima, uključujući upravne novčane kazne, te osigurati njihovu pravilnu i djelotvornu provedbu do datuma početka primjene ove Uredbe. Stoga bi se odredbe o sankcijama trebale primjenjivati od 2. kolovoza 2025.
(179)
This Regulation should apply from 2 August 2026. However, taking into account the unacceptable risk associated with the use of AI in certain ways, the prohibitions as well as the general provisions of this Regulation should already apply from 2 February 2025. While the full effect of those prohibitions follows with the establishment of the governance and enforcement of this Regulation, anticipating the application of the prohibitions is important to take account of unacceptable risks and to have an effect on other procedures, such as in civil law. Moreover, the infrastructure related to the governance and the conformity assessment system should be operational before 2 August 2026, therefore the provisions on notified bodies and governance structure should apply from 2 August 2025. Given the rapid pace of technological advancements and adoption of general-purpose AI models, obligations for providers of general-purpose AI models should apply from 2 August 2025. Codes of practice should be ready by 2 May 2025 in view of enabling providers to demonstrate compliance on time. The AI Office should ensure that classification rules and procedures are up to date in light of technological developments. In addition, Member States should lay down and notify to the Commission the rules on penalties, including administrative fines, and ensure that they are properly and effectively implemented by the date of application of this Regulation. Therefore the provisions on penalties should apply from 2 August 2025.
(180)
Provedeno je savjetovanje s Europskim nadzornikom za zaštitu podataka i s Europskim odborom za zaštitu podataka u skladu s člankom 42. stavcima 1. i 2. Uredbe (EU) 2018/1725 te su oni dali zajedničko mišljenje 18. lipnja 2021.,
(180)
The European Data Protection Supervisor and the European Data Protection Board were consulted in accordance with Article 42(1) and (2) of Regulation (EU) 2018/1725 and delivered their joint opinion on 18 June 2021,
DONIJELI SU OVU UREDBU:
HAVE ADOPTED THIS REGULATION:
POGLAVLJE I.
CHAPTER I
OPĆE ODREDBE
GENERAL PROVISIONS
Članak 1.
Article 1
Predmet
Subject matter`
1. Svrha je ove Uredbe poboljšati funkcioniranje unutarnjeg tržišta i promicati uvođenje antropocentrične i pouzdane umjetne inteligencije, uz istodobno osiguravanje visoke razine zaštite zdravlja, sigurnosti i temeljnih prava sadržanih u Povelji, uključujući demokraciju, vladavinu prava i zaštitu okoliša, od štetnih učinaka UI sustavâ u Uniji, te podupiranje inovacija.
1. The purpose of this Regulation is to improve the functioning of the internal market and promote the uptake of human-centric and trustworthy artificial intelligence (AI), while ensuring a high level of protection of health, safety, fundamental rights enshrined in the Charter, including democracy, the rule of law and environmental protection, against the harmful effects of AI systems in the Union and supporting innovation.
2. Ovom se Uredbom utvrđuju:
2. This Regulation lays down:
(a)
usklađena pravila za stavljanje na tržište, stavljanje u upotrebu i korištenje UI sustava u Uniji;
(a)
harmonised rules for the placing on the market, the putting into service, and the use of AI systems in the Union;
(b)
zabrane određenih praksi u području umjetne inteligencije;
(b)
prohibitions of certain AI practices;
(c)
posebni zahtjevi za visokorizične UI sustave i obveze za operatere takvih sustava;
(c)
specific requirements for high-risk AI systems and obligations for operators of such systems;
(d)
usklađena pravila o transparentnosti za određene UI sustave;
(d)
harmonised transparency rules for certain AI systems;
(e)
usklađena pravila za stavljanje na tržište UI modelâ opće namjene;
(e)
harmonised rules for the placing on the market of general-purpose AI models;
(f)
pravila o praćenju tržišta, nadzoru tržišta, upravljanju i izvršavanju;
(f)
rules on market monitoring, market surveillance, governance and enforcement;
(g)
mjere za potporu inovacijama, posebno usmjerene na MSP-ove, uključujući start-up poduzeća.
(g)
measures to support innovation, with a particular focus on SMEs, including start-ups.
Članak 2.
Article 2
Područje primjene
Scope
1. Ova Uredba primjenjuje se na:
1. This Regulation applies to:
(a)
dobavljače koji stavljaju na tržište ili u upotrebu UI sustave ili stavljaju na tržište UI modele opće namjene u Uniji, bez obzira na to imaju li ti dobavljači poslovni nastan u Uniji ili u nekoj trećoj zemlji ili nalaze li se u Uniji ili u trećoj zemlji;
(a)
providers placing on the market or putting into service AI systems or placing on the market general-purpose AI models in the Union, irrespective of whether those providers are established or located within the Union or in a third country;
(b)
subjekte koji uvode UI sustave, a koji imaju poslovni nastan u Uniji ili se nalaze u Uniji;
(b)
deployers of AI systems that have their place of establishment or are located within the Union;
(c)
dobavljače UI sustava i subjekte koji uvode UI sustave koji imaju poslovni nastan u trećoj zemlji ili se nalaze u trećoj zemlji ako se izlazni rezultati UI sustava upotrebljavaju u Uniji;
(c)
providers and deployers of AI systems that have their place of establishment or are located in a third country, where the output produced by the AI system is used in the Union;
(d)
uvoznike i distributere UI sustavâ;
(d)
importers and distributors of AI systems;
(e)
proizvođače proizvoda koji stavljaju na tržište ili u upotrebu UI sustav zajedno sa svojim proizvodom i pod vlastitim imenom ili žigom;
(e)
product manufacturers placing on the market or putting into service an AI system together with their product and under their own name or trademark;
(f)
ovlaštene zastupnike dobavljača koji nemaju poslovni nastan u Uniji;
(f)
authorised representatives of providers, which are not established in the Union;
(g)
zahvaćene osobe koje se nalaze u Uniji.
(g)
affected persons that are located in the Union.
2. Na UI sustave klasificirane kao visokorizične u skladu s člankom 6. stavkom 1. u odnosu na proizvode obuhvaćene zakonodavstvom Unije o usklađivanju navedenim u odjeljku B Priloga I. primjenjuju se samo članak 6. stavak 1., članci od 102. do 109. i članak 112. Članak 57. primjenjuje se samo u mjeri u kojoj su zahtjevi za visokorizične UI sustave iz ove Uredbe uključeni u to zakonodavstvo Unije o usklađivanju.
2. For AI systems classified as high-risk AI systems in accordance with Article 6(1) related to products covered by the Union harmonisation legislation listed in Section B of Annex I, only Article 6(1), Articles 102 to 109 and Article 112 apply. Article 57 applies only in so far as the requirements for high-risk AI systems under this Regulation have been integrated in that Union harmonisation legislation.
3. Ova se Uredba ne primjenjuje na područja izvan područja primjene prava Unije i ni u kojem slučaju ne utječe na nadležnosti država članica u pogledu nacionalne sigurnosti, bez obzira na vrstu subjekta kojem su države članice povjerile obavljanje zadaća u vezi s tim nadležnostima.
3. This Regulation does not apply to areas outside the scope of Union law, and shall not, in any event, affect the competences of the Member States concerning national security, regardless of the type of entity entrusted by the Member States with carrying out tasks in relation to those competences.
Ova se Uredba ne primjenjuje na UI sustave ako i u mjeri u kojoj se stavljaju na tržište, u upotrebu ili upotrebljavaju s izmjenama ili bez njih isključivo u vojne svrhe, obrambene svrhe ili u svrhe povezane s nacionalnom sigurnošću, bez obzira na vrstu subjekta koji obavlja te aktivnosti.
This Regulation does not apply to AI systems where and in so far they are placed on the market, put into service, or used with or without modification exclusively for military, defence or national security purposes, regardless of the type of entity carrying out those activities.
Ova se Uredba ne primjenjuje na UI sustave koji se ne stavljaju na tržište ni u upotrebu u Uniji ako se izlazni rezultati upotrebljavaju u Uniji isključivo u vojne svrhe, obrambene svrhe ili u svrhe povezane s nacionalnom sigurnošću, bez obzira na vrstu subjekta koji obavlja te aktivnosti.
This Regulation does not apply to AI systems which are not placed on the market or put into service in the Union, where the output is used in the Union exclusively for military, defence or national security purposes, regardless of the type of entity carrying out those activities.
4. Ova se Uredba ne primjenjuje na tijela javne vlasti u trećoj zemlji ni na međunarodne organizacije obuhvaćene područjem primjene ove Uredbe na temelju stavka 1. ako ta tijela ili te organizacije upotrebljavaju UI sustave u okviru međunarodne suradnje ili sporazumâ o suradnji u području kaznenog progona i pravosudne suradnje s Unijom ili s jednom ili više država članica, pod uvjetom da takva treća zemlja ili međunarodna organizacija pruža odgovarajuće zaštitne mjere u pogledu zaštite temeljnih prava i sloboda pojedinaca.
4. This Regulation applies neither to public authorities in a third country nor to international organisations falling within the scope of this Regulation pursuant to paragraph 1, where those authorities or organisations use AI systems in the framework of international cooperation or agreements for law enforcement and judicial cooperation with the Union or with one or more Member States, provided that such a third country or international organisation provides adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals.
5. Ova Uredba ne utječe na primjenu odredaba o odgovornosti pružateljâ usluga posredovanja kako je utvrđeno u poglavlju II. Uredbe (EU) 2022/2065.
5. This Regulation shall not affect the application of the provisions on the liability of providers of intermediary services as set out in Chapter II of Regulation (EU) 2022/2065.
6. Ova Uredba ne primjenjuje se na UI sustave ili UI modele, uključujući njihove izlazne rezultate, koji su posebno razvijeni i stavljeni u upotrebu isključivo u svrhu znanstvenih istraživanja i razvoja.
6. This Regulation does not apply to AI systems or AI models, including their output, specifically developed and put into service for the sole purpose of scientific research and development.
7. Pravo Unije o zaštiti osobnih podataka, privatnosti i povjerljivosti komunikacija primjenjuje se na osobne podatke koji se obrađuju u vezi s pravima i obvezama utvrđenima u ovoj Uredbi. Ova Uredba ne utječe na uredbe (EU) 2016/679 i (EU) 2018/1725 ni na direktive 2002/58/EZ i (EU) 2016/680, ne dovodeći pritom u pitanje članak 10. stavak 5. i članak 59. ove Uredbe.
7. Union law on the protection of personal data, privacy and the confidentiality of communications applies to personal data processed in connection with the rights and obligations laid down in this Regulation. This Regulation shall not affect Regulation (EU) 2016/679 or (EU) 2018/1725, or Directive 2002/58/EC or (EU) 2016/680, without prejudice to Article 10(5) and Article 59 of this Regulation.
8. Ova se Uredba ne primjenjuje na aktivnosti istraživanja, testiranja ili razvoja UI sustava ili UI modela prije njihova stavljanja na tržište ili u upotrebu. Takve se aktivnosti provode u skladu s primjenjivim pravom Unije. Testiranje u stvarnim uvjetima nije obuhvaćeno tim isključenjem.
8. This Regulation does not apply to any research, testing or development activity regarding AI systems or AI models prior to their being placed on the market or put into service. Such activities shall be conducted in accordance with applicable Union law. Testing in real world conditions shall not be covered by that exclusion.
9. Ovom se Uredbom ne dovode u pitanje pravila utvrđena drugim pravnim aktima Unije povezanima sa zaštitom potrošača i sigurnošću proizvoda.
9. This Regulation is without prejudice to the rules laid down by other Union legal acts related to consumer protection and product safety.
10. Ova se Uredba ne primjenjuje na obveze subjekata koji uvode sustav koji su fizičke osobe koje upotrebljavaju UI sustave isključivo u osobnoj neprofesionalnoj djelatnosti.
10. This Regulation does not apply to obligations of deployers who are natural persons using AI systems in the course of a purely personal non-professional activity.
11. Ovom se Uredbom Uniju ili države članice ne sprečava da zadrže ili uvedu zakone i druge propise koji su pogodniji za radnike u smislu zaštite njihovih prava u pogledu korištenja UI sustava od strane poslodavaca, ili da potiču ili dopuštaju primjenu kolektivnih ugovora koji su pogodniji za radnike.
11. This Regulation does not preclude the Union or Member States from maintaining or introducing laws, regulations or administrative provisions which are more favourable to workers in terms of protecting their rights in respect of the use of AI systems by employers, or from encouraging or allowing the application of collective agreements which are more favourable to workers.
12. Ova se Uredba ne primjenjuje na UI sustave koji se objavljuju na temelju besplatnih licencija za softver otvorenog koda, osim ako se stavljaju na tržište ili u upotrebu kao visokorizični UI sustavi ili kao UI sustav obuhvaćen člankom 5. ili člankom 50.
12. This Regulation does not apply to AI systems released under free and open-source licences, unless they are placed on the market or put into service as high-risk AI systems or as an AI system that falls under Article 5 or 50.
Članak 3.
Article 3
Definicije
Definitions
Za potrebe ove Uredbe primjenjuju se sljedeće definicije:
For the purposes of this Regulation, the following definitions apply:
1.
„UI sustav” znači strojni sustav dizajniran za rad s promjenjivim razinama autonomije i koji nakon uvođenja može pokazati prilagodljivost te koji, za eksplicitne ili implicitne ciljeve, iz ulaznih vrijednosti koje prima, zaključuje kako generirati izlazne vrijednosti kao što su predviđanja, sadržaj, preporuke ili odluke koji mogu utjecati na fizička ili virtualna okruženja;
(1)
‘AI system’ means a machine-based system that is designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment, and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments;
2.
„rizik” znači kombinacija vjerojatnosti nastanka štete i težine te štete;
(2)
‘risk’ means the combination of the probability of an occurrence of harm and the severity of that harm;
3.
„dobavljač” znači fizička ili pravna osoba, tijelo javne vlasti, javna agencija ili drugo javno tijelo koje razvija UI sustav ili UI model opće namjene ili koji ima razvijen UI sustav ili UI model opće namjene i stavlja ga na tržište ili stavlja UI sustav u upotrebu pod vlastitim imenom ili žigom, uz plaćanje ili besplatno;
(3)
‘provider’ means a natural or legal person, public authority, agency or other body that develops an AI system or a general-purpose AI model or that has an AI system or a general-purpose AI model developed and places it on the market or puts the AI system into service under its own name or trademark, whether for payment or free of charge;
4.
„subjekt koji uvodi sustav” znači fizička ili pravna osoba, tijelo javne vlasti, javna agencija ili drugo javno tijelo koje upotrebljava UI sustav u okviru svoje nadležnosti, osim ako se UI sustav upotrebljava u osobnoj neprofesionalnoj djelatnosti;
(4)
‘deployer’ means a natural or legal person, public authority, agency or other body using an AI system under its authority except where the AI system is used in the course of a personal non-professional activity;
5.
„ovlašteni zastupnik” znači fizička ili pravna osoba koja se nalazi u Uniji ili ima poslovni nastan u Uniji, koju je dobavljač UI sustava ili UI modela opće namjene pisanim putem ovlastio da u njegovo ime izvršava i provodi obveze i postupke utvrđene u ovoj Uredbi i koja je takvo ovlaštenje prihvatila;
(5)
‘authorised representative’ means a natural or legal person located or established in the Union who has received and accepted a written mandate from a provider of an AI system or a general-purpose AI model to, respectively, perform and carry out on its behalf the obligations and procedures established by this Regulation;
6.
„uvoznik” znači fizička ili pravna osoba koja se nalazi u Uniji ili ima poslovni nastan u Uniji i koja stavlja na tržište UI sustav s imenom ili žigom fizičke ili pravne osobe s poslovnim nastanom u trećoj zemlji;
(6)
‘importer’ means a natural or legal person located or established in the Union that places on the market an AI system that bears the name or trademark of a natural or legal person established in a third country;
7.
„distributer” znači fizička ili pravna osoba u opskrbnom lancu koja nije dobavljač ni uvoznik i koja stavlja UI sustav na tržište Unije;
(7)
‘distributor’ means a natural or legal person in the supply chain, other than the provider or the importer, that makes an AI system available on the Union market;
8.
„operater” znači dobavljač, proizvođač proizvoda, subjekt koji uvodi sustav, ovlašteni zastupnik, uvoznik ili distributer;
(8)
‘operator’ means a provider, product manufacturer, deployer, authorised representative, importer or distributor;
9.
„stavljanje na tržište” znači prvo stavljanje UI sustava ili UI modela opće namjene na raspolaganje na tržištu Unije;
(9)
‘placing on the market’ means the first making available of an AI system or a general-purpose AI model on the Union market;
10.
„stavljanje na raspolaganje na tržištu” znači isporuka UI sustava ili UI modela opće namjene za distribuciju ili upotrebu na tržištu Unije u okviru komercijalne djelatnosti, uz plaćanje ili besplatno;
(10)
‘making available on the market’ means the supply of an AI system or a general-purpose AI model for distribution or use on the Union market in the course of a commercial activity, whether in return for payment or free of charge;
11.
„stavljanje u upotrebu” znači isporuka UI sustava za prvu upotrebu u Uniji u skladu s njegovom namjenom izravno subjektu koji uvodi sustav ili za vlastite potrebe;
(11)
‘putting into service’ means the supply of an AI system for first use directly to the deployer or for own use in the Union for its intended purpose;
12.
„namjena” znači korištenje za koje je dobavljač namijenio UI sustav, uključujući specifični kontekst i uvjete korištenja, kako je određeno u informacijama koje je dobavljač naveo u uputama za korištenje, promotivnim ili prodajnim materijalima i izjavama te u tehničkoj dokumentaciji;
(12)
‘intended purpose’ means the use for which an AI system is intended by the provider, including the specific context and conditions of use, as specified in the information supplied by the provider in the instructions for use, promotional or sales materials and statements, as well as in the technical documentation;
13.
„razumno predvidljiva pogrešna upotreba” znači upotreba UI sustava na način koji nije u skladu s njegovom namjenom, ali može biti posljedica razumno predvidljivog čovjekova ponašanja ili interakcije s drugim sustavima, uključujući druge UI sustave;
(13)
‘reasonably foreseeable misuse’ means the use of an AI system in a way that is not in accordance with its intended purpose, but which may result from reasonably foreseeable human behaviour or interaction with other systems, including other AI systems;
14.
„sigurnosna komponenta” znači komponenta proizvoda ili UI sustava koja ima sigurnosnu funkciju u tom proizvodu ili UI sustavu ili čiji kvar ili neispravnost ugrožava zdravlje i sigurnost osoba ili imovine;
(14)
‘safety component’ means a component of a product or of an AI system which fulfils a safety function for that product or AI system, or the failure or malfunctioning of which endangers the health and safety of persons or property;
15.
„upute za korištenje” znači informacije kojima dobavljač u prvom redu informira subjekt koji uvodi sustav o namjeni i pravilnom korištenju UI sustava;
(15)
‘instructions for use’ means the information provided by the provider to inform the deployer of, in particular, an AI system’s intended purpose and proper use;
16.
„opoziv UI sustava” znači svaka mjera čiji je cilj postizanje vraćanja dobavljaču UI sustava stavljenog na raspolaganje subjektima koji uvode sustav ili njegovo izuzimanje iz usluge ili onemogućavanje njegova korištenja;
(16)
‘recall of an AI system’ means any measure aiming to achieve the return to the provider or taking out of service or disabling the use of an AI system made available to deployers;
17.
„povlačenje UI sustava” znači svaka mjera čiji je cilj sprečavanje da se UI sustav u opskrbnom lancu stavi na raspolaganje na tržištu;
(17)
‘withdrawal of an AI system’ means any measure aiming to prevent an AI system in the supply chain being made available on the market;
18.
„učinkovitost UI sustava” znači sposobnost UI sustava da ostvari svoju namjenu;
(18)
‘performance of an AI system’ means the ability of an AI system to achieve its intended purpose;
19.
„tijelo koje provodi prijavljivanje” znači nacionalno tijelo odgovorno za utvrđivanje i provedbu postupaka potrebnih za ocjenjivanje, imenovanje, obavješćivanje i praćenje tijelâ za ocjenjivanje sukladnosti;
(19)
‘notifying authority’ means the national authority responsible for setting up and carrying out the necessary procedures for the assessment, designation and notification of conformity assessment bodies and for their monitoring;
20.
„ocjenjivanje sukladnosti” znači postupak kojim se dokazuje jesu li ispunjeni zahtjevi utvrđeni u poglavlju III. odjeljku 2. koji se odnose na visokorizični UI sustav;
(20)
‘conformity assessment’ means the process of demonstrating whether the requirements set out in Chapter III, Section 2 relating to a high-risk AI system have been fulfilled;
21.
„tijelo za ocjenjivanje sukladnosti” znači tijelo koje provodi aktivnosti ocjenjivanja sukladnosti kao treća strana, uključujući testiranje, certifikaciju i inspekciju;
(21)
‘conformity assessment body’ means a body that performs third-party conformity assessment activities, including testing, certification and inspection;
22.
„prijavljeno tijelo” znači tijelo za ocjenjivanje sukladnosti prijavljeno u skladu s ovom Uredbom i drugim relevantnim zakonodavstvom Unije o usklađivanju;
(22)
‘notified body’ means a conformity assessment body notified in accordance with this Regulation and other relevant Union harmonisation legislation;
23.
„bitna izmjena” znači promjena UI sustava nakon njegova stavljanja na tržište ili u upotrebu koja nije predviđena ili planirana u okviru početnog ocjenjivanja sukladnosti koje je proveo dobavljač i koja utječe na usklađenost UI sustava sa zahtjevima utvrđenima u poglavlju III. odjeljku 2. ili koja prouzroči izmjenu namjene prema kojoj je UI sustav bio ocijenjen;
(23)
‘substantial modification’ means a change to an AI system after its placing on the market or putting into service which is not foreseen or planned in the initial conformity assessment carried out by the provider and as a result of which the compliance of the AI system with the requirements set out in Chapter III, Section 2 is affected or results in a modification to the intended purpose for which the AI system has been assessed;
24.
„oznaka CE” znači oznaka kojom dobavljač označuje da je UI sustav sukladan sa zahtjevima utvrđenima u poglavlju III. odjeljku 2. i drugim primjenjivim zakonodavstvom Unije o usklađivanju kojim se propisuje stavljanje te oznake;
(24)
‘CE marking’ means a marking by which a provider indicates that an AI system is in conformity with the requirements set out in Chapter III, Section 2 and other applicable Union harmonisation legislation providing for its affixing;
25.
„sustav praćenja nakon stavljanja na tržište” znači sve aktivnosti kojima dobavljači UI sustava prikupljaju i analiziraju iskustva stečena korištenjem UI sustava koje stavljaju na tržište ili u upotrebu kako bi utvrdili postoji li potreba za hitnim poduzimanjem eventualnih nužnih korektivnih ili preventivnih mjera;
(25)
‘post-market monitoring system’ means all activities carried out by providers of AI systems to collect and review experience gained from the use of AI systems they place on the market or put into service for the purpose of identifying any need to immediately apply any necessary corrective or preventive actions;
26.
„tijelo za nadzor tržišta” znači nacionalno tijelo koje provodi aktivnosti i poduzima mjere na temelju Uredbe (EU) 2019/1020;
(26)
‘market surveillance authority’ means the national authority carrying out the activities and taking the measures pursuant to Regulation (EU) 2019/1020;
27.
„usklađena norma” znači usklađena norma kako je definirana u članku 2. stavku 1. točki (c) Uredbe (EU) br. 1025/2012;
(27)
‘harmonised standard’ means a harmonised standard as defined in Article 2(1), point (c), of Regulation (EU) No 1025/2012;
28.
„zajednička specifikacija” znači skup tehničkih specifikacija kako su definirane u članku 2. točki 4. Uredbe (EU) br. 1025/2012, kojim se pružaju sredstva za ispunjavanje određenih zahtjeva utvrđenih ovom Uredbom;
(28)
‘common specification’ means a set of technical specifications as defined in Article 2, point (4) of Regulation (EU) No 1025/2012, providing means to comply with certain requirements established under this Regulation;
29.
„podaci za treniranje” znači podaci koji se upotrebljavaju za treniranje UI sustava prilagođavanjem njegovih poučivih parametara;
(29)
‘training data’ means data used for training an AI system through fitting its learnable parameters;
30.
„podaci za validaciju” znači podaci koji se upotrebljavaju za evaluaciju treniranog UI sustava te za ugađanje njegovih nepoučivih parametara i njegova procesa učenja kako bi se, među ostalim, izbjegla nedovoljna prilagodba ili prekomjerna prilagodba;
(30)
‘validation data’ means data used for providing an evaluation of the trained AI system and for tuning its non-learnable parameters and its learning process in order, inter alia, to prevent underfitting or overfitting;
31.
„skup podataka za validaciju” znači zaseban skup podataka ili fiksni ili varijabilni dio skupa podataka za treniranje;
(31)
‘validation data set’ means a separate data set or part of the training data set, either as a fixed or variable split;
32.
„podaci za testiranje” znači podaci koji se upotrebljavaju za neovisnu evaluaciju UI sustava kako bi se potvrdila očekivana učinkovitost tog sustava prije njegova stavljanja na tržište ili u upotrebu;
(32)
‘testing data’ means data used for providing an independent evaluation of the AI system in order to confirm the expected performance of that system before its placing on the market or putting into service;
33.
„ulazni podaci” znači podaci koji su uneseni u UI sustav ili koje je UI sustav izravno stekao, a na temelju kojih sustav stvara izlazni rezultat;
(33)
‘input data’ means data provided to or directly acquired by an AI system on the basis of which the system produces an output;
34.
„biometrijski podaci” znači osobni podaci dobiveni posebnom tehničkom obradom u vezi s fizičkim, fiziološkim i bihevioralnim obilježjima fizičke osobe, kao što su prikazi lica ili daktiloskopski podaci;
(34)
‘biometric data’ means personal data resulting from specific technical processing relating to the physical, physiological or behavioural characteristics of a natural person, such as facial images or dactyloscopic data;
35.
„biometrijska identifikacija” znači automatizirano prepoznavanje fizičkih, fizioloških, bihevioralnih ili psiholoških obilježja ljudi u svrhu utvrđivanja identiteta fizičke osobe usporedbom biometrijskih podataka tog pojedinca s biometrijskim podacima pojedinaca pohranjenima u bazi podataka;
(35)
‘biometric identification’ means the automated recognition of physical, physiological, behavioural, or psychological human features for the purpose of establishing the identity of a natural person by comparing biometric data of that individual to biometric data of individuals stored in a database;
36.
„biometrijska provjera” znači automatizirana provjera usporedbom dvaju uzoraka, uključujući autentifikaciju, kojom se identitet fizičkih osoba provjerava usporedbom njihovih biometrijskih podataka s prethodno dostavljenim biometrijskim podacima;
(36)
‘biometric verification’ means the automated, one-to-one verification, including authentication, of the identity of natural persons by comparing their biometric data to previously provided biometric data;
37.
„posebne kategorije osobnih podataka” znači kategorije osobnih podataka iz članka 9. stavka 1. Uredbe (EU) 2016/679, članka 10. Direktive (EU) 2016/680 i članka 10. stavka 1. Uredbe (EU) 2018/1725;
(37)
‘special categories of personal data’ means the categories of personal data referred to in Article 9(1) of Regulation (EU) 2016/679, Article 10 of Directive (EU) 2016/680 and Article 10(1) of Regulation (EU) 2018/1725;
38.
„osjetljivi operativni podaci” znači operativni podaci povezani s aktivnostima sprečavanja, otkrivanja, istrage ili progona kaznenih djela čije bi otkrivanje moglo ugroziti integritet kaznenog postupka;
(38)
‘sensitive operational data’ means operational data related to activities of prevention, detection, investigation or prosecution of criminal offences, the disclosure of which could jeopardise the integrity of criminal proceedings;
39.
„sustav za prepoznavanje emocija” znači UI sustav namijenjen prepoznavanju emocija ili namjera fizičkih osoba ili izvođenju zaključaka o njihovim emocijama ili namjerama na temelju njihovih biometrijskih podataka;
(39)
‘emotion recognition system’ means an AI system for the purpose of identifying or inferring emotions or intentions of natural persons on the basis of their biometric data;
40.
„sustav za biometrijsku kategorizaciju” znači UI sustav namijenjen razvrstavanju fizičkih osoba u određene kategorije na temelju njihovih biometrijskih podataka, osim ako je on pomoćni element druge komercijalne usluge i nužan iz objektivnih tehničkih razloga;
(40)
‘biometric categorisation system’ means an AI system for the purpose of assigning natural persons to specific categories on the basis of their biometric data, unless it is ancillary to another commercial service and strictly necessary for objective technical reasons;
41.
„sustav za daljinsku biometrijsku identifikaciju” znači UI sustav namijenjen identifikaciji fizičkih osoba, bez njihova aktivnog sudjelovanja, obično na daljinu usporedbom biometrijskih podataka dotične osobe s biometrijskim podacima iz referentne baze podataka;
(41)
‘remote biometric identification system’ means an AI system for the purpose of identifying natural persons, without their active involvement, typically at a distance through the comparison of a person’s biometric data with the biometric data contained in a reference database;
42.
„sustav za daljinsku biometrijsku identifikaciju u stvarnom vremenu” znači sustav za daljinsku biometrijsku identifikaciju koji bez većeg kašnjenja prikuplja biometrijske podatke, vrši usporedbe i provodi identifikaciju, a obuhvaća ne samo trenutačnu identifikaciju nego i ograničena manja kašnjenja kako bi se izbjeglo zaobilaženje propisa;
(42)
‘real-time remote biometric identification system’ means a remote biometric identification system, whereby the capturing of biometric data, the comparison and the identification all occur without a significant delay, comprising not only instant identification, but also limited short delays in order to avoid circumvention;
43.
„sustav za naknadnu daljinsku biometrijsku identifikaciju” znači sustav za daljinsku biometrijsku identifikaciju koji nije sustav za daljinsku biometrijsku identifikaciju u stvarnom vremenu;
(43)
‘post-remote biometric identification system’ means a remote biometric identification system other than a real-time remote biometric identification system;
44.
„javno mjesto” znači svako fizičko mjesto u javnom ili privatnom vlasništvu dostupno neodređenom broju fizičkih osoba, bez obzira na to primjenjuju li se određeni uvjeti za pristup i bez obzira na moguća ograničenja kapaciteta;
(44)
‘publicly accessible space’ means any publicly or privately owned physical place accessible to an undetermined number of natural persons, regardless of whether certain conditions for access may apply, and regardless of the potential capacity restrictions;
45.
„tijelo kaznenog progona” znači:
(45)
‘law enforcement authority’ means:
(a)
svako tijelo javne vlasti nadležno za sprečavanje, istragu, otkrivanje ili progon kaznenih djela ili izvršenje kaznenih sankcija, uključujući zaštitu od prijetnji javnoj sigurnosti i njihovo sprečavanje; ili
(a)
any public authority competent for the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, including the safeguarding against and the prevention of threats to public security; or
(b)
svako drugo tijelo ili subjekt kojem je pravom države članice povjereno izvršavanje javne vlasti i javnih ovlasti u svrhe sprečavanja, istrage, otkrivanja ili progona kaznenih djela ili izvršenja kaznenih sankcija, uključujući zaštitu od prijetnji javnoj sigurnosti i njihovo sprečavanje;
(b)
any other body or entity entrusted by Member State law to exercise public authority and public powers for the purposes of the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, including the safeguarding against and the prevention of threats to public security;
46.
„kazneni progon” znači aktivnosti koje provode tijela kaznenog progona ili koje se provode u njihovo ime radi sprečavanja, istrage, otkrivanja ili progona kaznenih djela ili izvršenja kaznenih sankcija, uključujući zaštitu od prijetnji javnoj sigurnosti i njihovo sprečavanje;
(46)
‘law enforcement’ means activities carried out by law enforcement authorities or on their behalf for the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, including safeguarding against and preventing threats to public security;
47.
„Ured za umjetnu inteligenciju” znači Komisijina funkcija doprinošenja provedbi, praćenju i nadzoru UI sustavâ i UI modelâ opće namjene i upravljanju umjetnom inteligencijom koja je predviđena u Odluci Komisije od 24. siječnja 2024.; upućivanja na Ured za umjetnu inteligenciju u ovoj Uredbi tumače se kao upućivanja na Komisiju;
(47)
‘AI Office’ means the Commission’s function of contributing to the implementation, monitoring and supervision of AI systems and general-purpose AI models, and AI governance, provided for in Commission Decision of 24 January 2024; references in this Regulation to the AI Office shall be construed as references to the Commission;
48.
„nacionalno nadležno tijelo” znači tijelo koje provodi prijavljivanje ili tijelo za nadzor tržišta; kad je riječ o UI sustavima koje stavljaju u uporabu ili koriste institucije, agencije, uredi i tijela Unije, upućivanja na nacionalna nadležna tijela ili tijela za nadzor tržišta u ovoj Uredbi smatraju se upućivanjima na Europskog nadzornika za zaštitu podataka;
(48)
‘national competent authority’ means a notifying authority or a market surveillance authority; as regards AI systems put into service or used by Union institutions, agencies, offices and bodies, references to national competent authorities or market surveillance authorities in this Regulation shall be construed as references to the European Data Protection Supervisor;
49.
„ozbiljan incident” znači incident ili neispravnost UI sustava koji su izravno ili neizravno doveli do bilo kojeg od sljedećeg:
(49)
‘serious incident’ means an incident or malfunctioning of an AI system that directly or indirectly leads to any of the following:
(a)
smrti osobe ili ozbiljnog narušavanja zdravlja osobe;
(a)
the death of a person, or serious harm to a person’s health;
(b)
ozbiljnog i nepovratnog poremećaja u upravljanju kritičnom infrastrukturom ili njezinu radu;
(b)
a serious and irreversible disruption of the management or operation of critical infrastructure;
(c)
povrede obveza na temelju prava Unije namijenjenih zaštiti temeljnih prava;
(c)
the infringement of obligations under Union law intended to protect fundamental rights;
(d)
teške štete za imovinu ili okoliš;
(d)
serious harm to property or the environment;
50.
„osobni podaci” znači osobni podaci kako su definirani u članku 4. točki 1. Uredbe (EU) 2016/679;
(50)
‘personal data’ means personal data as defined in Article 4, point (1), of Regulation (EU) 2016/679;
51.
„neosobni podaci” znači podaci koji nisu osobni podaci kako su definirani u članku 4. točki 1. Uredbe (EU) 2016/679;
(51)
‘non-personal data’ means data other than personal data as defined in Article 4, point (1), of Regulation (EU) 2016/679;
52.
„izrada profila” znači izrada profila kako je definirana u članku 4. točki 4. Uredbe (EU) 2016/679;
(52)
‘profiling’ means profiling as defined in Article 4, point (4), of Regulation (EU) 2016/679;
53.
„plan testiranja u stvarnim uvjetima” znači dokument u kojem se opisuju ciljevi, metodologija, geografski, populacijski i vremenski opseg, praćenje, organizacija i provedba testiranja u stvarnim uvjetima;
(53)
‘real-world testing plan’ means a document that describes the objectives, methodology, geographical, population and temporal scope, monitoring, organisation and conduct of testing in real-world conditions;
54.
„plan izoliranog okruženja” znači dokument koji su usuglasili uključeni dobavljač i nadležno tijelo, a u kojem se opisuju ciljevi, uvjeti, vremenski okvir, metodologija i zahtjevi za aktivnosti koje se provode u izoliranom okruženju;
(54)
‘sandbox plan’ means a document agreed between the participating provider and the competent authority describing the objectives, conditions, timeframe, methodology and requirements for the activities carried out within the sandbox;
55.
„regulatorno izolirano okruženje za umjetnu inteligenciju” znači kontroliran okvir koji je uspostavilo nadležno tijelo i kojim se dobavljačima ili potencijalnim dobavljačima UI sustavâ nudi mogućnost razvoja, treniranja, validacije i testiranja inovativnog UI sustava, po mogućnosti u stvarnim uvjetima, u skladu s planom izoliranog okruženja, na ograničeno vrijeme i pod regulatornim nadzorom;
(55)
‘AI regulatory sandbox’ means a controlled framework set up by a competent authority which offers providers or prospective providers of AI systems the possibility to develop, train, validate and test, where appropriate in real-world conditions, an innovative AI system, pursuant to a sandbox plan for a limited time under regulatory supervision;
56.
„pismenost u području umjetne inteligencije” znači vještine, znanje i razumijevanje koji dobavljačima, subjektima koji uvode sustav i zahvaćenim osobama omogućuju, uzimajući u obzir njihova prava i obveze u kontekstu ove Uredbe, da informirano uvode UI sustave, kao i da steknu svijest o mogućnostima i rizicima umjetne inteligencije te šteti koju može izazvati;
(56)
‘AI literacy’ means skills, knowledge and understanding that allow providers, deployers and affected persons, taking into account their respective rights and obligations in the context of this Regulation, to make an informed deployment of AI systems, as well as to gain awareness about the opportunities and risks of AI and possible harm it can cause;
57.
„testiranje u stvarnim uvjetima” znači privremeno testiranje UI sustava u odnosu na njegovu namjenu u stvarnim uvjetima izvan laboratorija ili u na drugi način simuliranom okruženju radi prikupljanja pouzdanih i čvrstih podataka te ocjenjivanja i provjere sukladnosti UI sustava sa zahtjevima ove Uredbe te se ne smatra stavljanjem UI sustava na tržište ili u upotrebu u smislu ove Uredbe, pod uvjetom da su ispunjeni svi uvjeti utvrđeni u članku 57. ili članku 60.;
(57)
‘testing in real-world conditions’ means the temporary testing of an AI system for its intended purpose in real-world conditions outside a laboratory or otherwise simulated environment, with a view to gathering reliable and robust data and to assessing and verifying the conformity of the AI system with the requirements of this Regulation and it does not qualify as placing the AI system on the market or putting it into service within the meaning of this Regulation, provided that all the conditions laid down in Article 57 or 60 are fulfilled;
58.
„ispitanik” za potrebe testiranja u stvarnim uvjetima znači fizička osoba koja sudjeluje u testiranju u stvarnim uvjetima;
(58)
‘subject’, for the purpose of real-world testing, means a natural person who participates in testing in real-world conditions;
59.
„informirani pristanak” znači ispitanikov slobodan, specifičan, nedvosmislen i dobrovoljan iskaz spremnosti da sudjeluje u određenom testiranju u stvarnim uvjetima nakon što je obaviješten o svim aspektima testiranja relevantnima za njegovu odluku o sudjelovanju;
(59)
‘informed consent’ means a subject’s freely given, specific, unambiguous and voluntary expression of his or her willingness to participate in a particular testing in real-world conditions, after having been informed of all aspects of the testing that are relevant to the subject’s decision to participate;
60.
„uvjerljiv krivotvoreni sadržaj (deep fake)” znači slike, audiosadržaj ili videosadržaj koji generira ili kojim manipulira umjetna inteligencija, a koji nalikuje stvarnim osobama, predmetima, mjestima, subjektima ili događajima i koji bi se nekome lažno činio vjerodostojnim ili istinitim;
(60)
‘deep fake’ means AI-generated or manipulated image, audio or video content that resembles existing persons, objects, places, entities or events and would falsely appear to a person to be authentic or truthful;
61.
„raširena povreda” znači svaki čin ili propust protivan pravu Unije kojim se štite interesi pojedinaca, a:
(61)
‘widespread infringement’ means any act or omission contrary to Union law protecting the interest of individuals, which:
(a)
kojim je nanesena ili će vjerojatno biti nanesena šteta kolektivnim interesima pojedinaca koji borave u najmanje dvjema državama članicama koje nisu država članica:
(a)
has harmed or is likely to harm the collective interests of individuals residing in at least two Member States other than the Member State in which:
i.
u kojoj je čin ili propust nastao ili se dogodio;
(i)
the act or omission originated or took place;
ii.
u kojoj se dotični dobavljač ili, ako je primjenjivo, njegov ovlašteni zastupnik nalazi ili ima poslovni nastan; ili
(ii)
the provider concerned, or, where applicable, its authorised representative is located or established; or
iii.
u kojoj subjekt koji uvodi sustav ima poslovni nastan ako je povredu počinio taj subjekt;
(iii)
the deployer is established, when the infringement is committed by the deployer;
(b)
koji je uzrokovao, uzrokuje ili će vjerojatno uzrokovati nanošenje štete kolektivnim interesima pojedinaca i koji ima zajednička obilježja, uključujući istu nezakonitu praksu ili povredu istog interesa, i koji je istodobno počinio isti operater u najmanje trima državama članicama;
(b)
has caused, causes or is likely to cause harm to the collective interests of individuals and has common features, including the same unlawful practice or the same interest being infringed, and is occurring concurrently, committed by the same operator, in at least three Member States;
62.
„kritična infrastruktura” znači kritična infrastruktura kako je definirana u članku 2. točki 4. Direktive (EU) 2022/2557;
(62)
‘critical infrastructure’ means critical infrastructure as defined in Article 2, point (4), of Directive (EU) 2022/2557;
63.
„UI model opće namjene” znači UI model, uključujući takav UI model treniran s pomoću velike količine podataka uz primjenu samostalnog nadzora u širokim razmjerima, koji ima vrlo općenitu namjenu i može kompetentno obavljati širok raspon različitih zadaća bez obzira na način na koji se model stavlja na tržište i koji se može integrirati u razne sustave ili primjene niže u lancu, osim UI modela koji se upotrebljavaju za aktivnosti istraživanja, razvoja ili izrade prototipova prije njihova stavljanja na tržište;
(63)
‘general-purpose AI model’ means an AI model, including where such an AI model is trained with a large amount of data using self-supervision at scale, that displays significant generality and is capable of competently performing a wide range of distinct tasks regardless of the way the model is placed on the market and that can be integrated into a variety of downstream systems or applications, except AI models that are used for research, development or prototyping activities before they are placed on the market;
64.
„sposobnosti visokog učinka” znači sposobnosti koje odgovaraju sposobnostima zabilježenima kod najnaprednijih UI modela opće namjene ili ih nadilaze;
(64)
‘high-impact capabilities’ means capabilities that match or exceed the capabilities recorded in the most advanced general-purpose AI models;
65.
„sistemski rizik” znači rizik specifičan za sposobnosti visokog učinka UI modelâ opće namjene, koji ima znatan utjecaj na tržište Unije zbog svojeg dosega ili zbog stvarnih ili razumno predvidljivih negativnih učinaka na javno zdravlje, sigurnost, javnu sigurnost, temeljna prava ili društvo u cjelini, a koji se može proširiti po cijelom vrijednosnom lancu;
(65)
‘systemic risk’ means a risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact on the Union market due to their reach, or due to actual or reasonably foreseeable negative effects on public health, safety, public security, fundamental rights, or the society as a whole, that can be propagated at scale across the value chain;
66.
„UI sustav opće namjene” znači UI sustav koji se temelji na UI modelu opće namjene i koji može služiti različitim namjenama, ili za izravnu upotrebu ili za integraciju u druge UI sustave;
(66)
‘general-purpose AI system’ means an AI system which is based on a general-purpose AI model and which has the capability to serve a variety of purposes, both for direct use as well as for integration in other AI systems;
67.
„matematička operacija nad brojevima s pomičnim zarezom” znači svaka matematička operacija ili dodjela koja uključuje brojeve s pomičnim zarezom, koji su podskup realnih brojeva koji su na računalima obično predstavljeni kao cijeli broj fiksne preciznosti skaliran cjelobrojnim eksponentom fiksne baze;
(67)
‘floating-point operation’ means any mathematical operation or assignment involving floating-point numbers, which are a subset of the real numbers typically represented on computers by an integer of fixed precision scaled by an integer exponent of a fixed base;
68.
„dobavljač niže u lancu” znači dobavljač UI sustava, uključujući UI sustav opće namjene, u koji je integriran UI model, bez obzira na to dobavlja li UI model on sâm i je li vertikalno integriran ili ga dobavlja drugi subjekt na temelju ugovornih odnosa.
(68)
‘downstream provider’ means a provider of an AI system, including a general-purpose AI system, which integrates an AI model, regardless of whether the AI model is provided by themselves and vertically integrated or provided by another entity based on contractual relations.
Članak 4.
Article 4
Pismenost u području umjetne inteligencije
AI literacy
Dobavljači i subjekti koji uvode UI sustave poduzimaju mjere kako bi na najbolji mogući način osigurali dostatnu razinu pismenosti u području umjetne inteligencije za svoje osoblje i druge osobe uključene u rad i korištenje UI sustava u njihovo ime, uzimajući u obzir njihovo tehničko znanje, iskustvo, obrazovanje i osposobljavanje te kontekst u kojem će se UI sustavi koristiti, kao i osobe ili skupine osoba na kojima se UI sustavi trebaju upotrijebiti.
Providers and deployers of AI systems shall take measures to ensure, to their best extent, a sufficient level of AI literacy of their staff and other persons dealing with the operation and use of AI systems on their behalf, taking into account their technical knowledge, experience, education and training and the context the AI systems are to be used in, and considering the persons or groups of persons on whom the AI systems are to be used.
POGLAVLJE II.
CHAPTER II
ZABRANJENE PRAKSE U PODRUČJU UMJETNE INTELIGENCIJE
PROHIBITED AI PRACTICES
Članak 5.
Article 5
Zabranjene prakse u području umjetne inteligencije
Prohibited AI practices
1. Zabranjuju se sljedeće prakse u području umjetne inteligencije:
1. The following AI practices shall be prohibited:
(a)
stavljanje na tržište, stavljanje u upotrebu ili korištenje UI sustava u kojem se primjenjuju subliminalne tehnike kojih osoba nije svjesna ili namjerno manipulativne ili obmanjujuće tehnike s ciljem ili s učinkom bitnog iskrivljavanja ponašanja osobe ili skupine osoba tako da se znatno narušava njihova sposobnost da donesu informiranu odluku, zbog čega donose odluku koju inače ne bi donijele, na način kojim se toj osobi, drugoj osobi ili skupini osoba uzrokuje znatna šteta ili se može razumno očekivati da će se prouzročiti takva šteta;
(a)
the placing on the market, the putting into service or the use of an AI system that deploys subliminal techniques beyond a person’s consciousness or purposefully manipulative or deceptive techniques, with the objective, or the effect of materially distorting the behaviour of a person or a group of persons by appreciably impairing their ability to make an informed decision, thereby causing them to take a decision that they would not have otherwise taken in a manner that causes or is reasonably likely to cause that person, another person or group of persons significant harm;
(b)
stavljanje na tržište, stavljanje u upotrebu ili korištenje UI sustava koji iskorištava bilo koju slabost fizičke osobe ili određene skupine osoba zbog njihove dobi, invaliditeta ili specifičnog društvenog ili ekonomskog položaja s ciljem ili s učinkom bitnog iskrivljavanja ponašanja te osobe ili osobe koja pripada toj skupini na način kojim se toj osobi ili nekoj drugoj osobi uzrokuje znatna šteta ili se može razumno očekivati da će se prouzročiti takva šteta;
(b)
the placing on the market, the putting into service or the use of an AI system that exploits any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability or a specific social or economic situation, with the objective, or the effect, of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm;
(c)
stavljanje na tržište, stavljanje u upotrebu ili korištenje UI sustava radi evaluacije ili klasifikacije fizičkih osoba ili skupina osoba tijekom određenog razdoblja na temelju njihova društvenog ponašanja ili poznatih, izvedenih ili predviđenih osobnih obilježja ili obilježja ličnosti, pri čemu njihov društveni rejting uzrokuje barem jedno od sljedećeg:
(c)
the placing on the market, the putting into service or the use of AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following:
i.
štetno ili nepovoljno postupanje prema određenim fizičkim osobama ili skupinama osoba u društvenim kontekstima koji nisu povezani s kontekstima u kojima su podaci izvorno generirani ili prikupljeni;
(i)
detrimental or unfavourable treatment of certain natural persons or groups of persons in social contexts that are unrelated to the contexts in which the data was originally generated or collected;
ii.
štetno ili nepovoljno postupanje prema određenim fizičkim osobama ili skupinama osoba koje je neopravdano ili nerazmjerno njihovu društvenom ponašanju ili njegovoj ozbiljnosti;
(ii)
detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity;
(d)
stavljanje na tržište, stavljanje u upotrebu u tu specifičnu svrhu ili korištenje UI sustava za procjene rizika u pogledu fizičkih osoba kako bi se procijenio ili predvidjeo rizik da će fizička osoba počiniti kazneno djelo, isključivo na temelju izrade profila fizičke osobe ili procjene njezinih osobina i obilježja ličnosti; ta se zabrana ne primjenjuje na UI sustave koji se upotrebljavaju za potporu ljudskoj procjeni uključenosti osobe u kriminalnu aktivnost, koja se već temelji na objektivnim i provjerljivim činjenicama izravno povezanima s kriminalnom aktivnošću;
(d)
the placing on the market, the putting into service for this specific purpose, or the use of an AI system for making risk assessments of natural persons in order to assess or predict the risk of a natural person committing a criminal offence, based solely on the profiling of a natural person or on assessing their personality traits and characteristics; this prohibition shall not apply to AI systems used to support the human assessment of the involvement of a person in a criminal activity, which is already based on objective and verifiable facts directly linked to a criminal activity;
(e)
stavljanje na tržište, stavljanje u upotrebu u tu specifičnu svrhu ili korištenje UI sustava koji stvaraju ili proširuju baze podataka za prepoznavanje lica neciljanim prikupljanjem fotografija lica s interneta ili snimki CCTV-a;
(e)
the placing on the market, the putting into service for this specific purpose, or the use of AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage;
(f)
stavljanje na tržište, stavljanje u upotrebu u tu specifičnu svrhu ili korištenje UI sustava za izvođenje zaključaka o emocijama fizičke osobe na radnome mjestu i u obrazovnim ustanovama, osim ako se UI sustav namjerava staviti u upotrebu ili na tržište iz medicinskih ili sigurnosnih razloga;
(f)
the placing on the market, the putting into service for this specific purpose, or the use of AI systems to infer emotions of a natural person in the areas of workplace and education institutions, except where the use of the AI system is intended to be put in place or into the market for medical or safety reasons;
(g)
stavljanje na tržište, stavljanje u upotrebu u tu specifičnu svrhu ili upotreba sustavâ za biometrijsku kategorizaciju u kojima se fizičke osobe pojedinačno kategoriziraju na temelju njihovih biometrijskih podataka kako bi se zaključilo ili izvelo zaključke o njihovoj rasi, političkim mišljenjima, članstvu u sindikatu, vjerskim ili filozofskim uvjerenjima, spolnom životu ili seksualnoj orijentaciji; ta zabrana ne obuhvaća označivanje ili filtriranje zakonito pribavljenih biometrijskih skupova podataka, kao što su slike, na temelju biometrijskih podataka ili kategorizacije biometrijskih podataka u području kaznenog progona;
(g)
the placing on the market, the putting into service for this specific purpose, or the use of biometric categorisation systems that categorise individually natural persons based on their biometric data to deduce or infer their race, political opinions, trade union membership, religious or philosophical beliefs, sex life or sexual orientation; this prohibition does not cover any labelling or filtering of lawfully acquired biometric datasets, such as images, based on biometric data or categorizing of biometric data in the area of law enforcement;
(h)
upotreba sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona, osim ako je takva upotreba nužna i u mjeri u kojoj je nužna radi jednog od sljedećih ciljeva:
(h)
the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement, unless and in so far as such use is strictly necessary for one of the following objectives:
i.
ciljane potrage za konkretnim žrtvama otmice, trgovine ljudima ili seksualnog iskorištavanja ljudi, kao i potrage za nestalim osobama;
(i)
the targeted search for specific victims of abduction, trafficking in human beings or sexual exploitation of human beings, as well as the search for missing persons;
ii.
sprečavanja konkretne, znatne i izravne prijetnje životu ili tjelesnoj sigurnosti fizičkih osoba ili stvarne i prisutne ili stvarne i predvidljive prijetnje od terorističkog napada;
(ii)
the prevention of a specific, substantial and imminent threat to the life or physical safety of natural persons or a genuine and present or genuine and foreseeable threat of a terrorist attack;
iii.
lociranja ili identifikacije osobe osumnjičene za počinjenje kaznenog djela u svrhu vođenja kaznene istrage ili progona ili izvršenja kaznene sankcije za kaznena djela iz Priloga II. za koja je u dotičnoj državi članici zapriječena kazna zatvora ili oduzimanja slobode u maksimalnom trajanju od najmanje četiri godine.
(iii)
the localisation or identification of a person suspected of having committed a criminal offence, for the purpose of conducting a criminal investigation or prosecution or executing a criminal penalty for offences referred to in Annex II and punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years.
Prvim podstavkom točkom (h) ne dovodi se u pitanje članak 9. Uredbe (EU) 2016/679 kad je riječ o obradi biometrijskih podataka u svrhe koje nisu kazneni progon.
Point (h) of the first subparagraph is without prejudice to Article 9 of Regulation (EU) 2016/679 for the processing of biometric data for purposes other than law enforcement.
2. Upotreba sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona radi bilo kojeg od ciljeva iz stavka 1. prvog podstavka točke (h) smije se uvesti u svrhe utvrđene u toj točki samo kako bi se potvrdio identitet konkretno ciljanog pojedinca, pri čemu se uzimaju u obzir sljedeći elementi:
2. The use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), shall be deployed for the purposes set out in that point only to confirm the identity of the specifically targeted individual, and it shall take into account the following elements:
(a)
priroda situacije zbog koje se pojavila mogućnost upotrebe, osobito težina, vjerojatnost i razmjer štete koja bi nastala da se sustav ne koristi;
(a)
the nature of the situation giving rise to the possible use, in particular the seriousness, probability and scale of the harm that would be caused if the system were not used;
(b)
posljedice upotrebe sustava na prava i slobode svih dotičnih osoba, osobito težina, vjerojatnost i razmjer tih posljedica.
(b)
the consequences of the use of the system for the rights and freedoms of all persons concerned, in particular the seriousness, probability and scale of those consequences.
Usto, upotreba sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona radi bilo kojeg od ciljeva iz stavka 1. prvog podstavka točke (h) ovog članka mora biti u skladu s potrebnim i razmjernim zaštitnim mjerama i uvjetima korištenja u skladu s nacionalnim pravom kojim se odobrava njihova upotreba, osobito u pogledu vremenskih i zemljopisnih ograničenja i ograničenja u pogledu osoba. Upotrebu sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima odobrava se samo ako je tijelo kaznenog progona dovršilo procjenu učinka na temeljna prava kako je predviđeno u članku 27. i registriralo sustav u bazi podataka EU-a u skladu s člankom 49. Međutim, u propisno opravdanim hitnim slučajevima takvi se sustavi mogu početi upotrebljavati bez registracije u bazi podataka EU-a, pod uvjetom da se takva registracija dovrši bez nepotrebne odgode.
In addition, the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), of this Article shall comply with necessary and proportionate safeguards and conditions in relation to the use in accordance with the national law authorising the use thereof, in particular as regards the temporal, geographic and personal limitations. The use of the ‘real-time’ remote biometric identification system in publicly accessible spaces shall be authorised only if the law enforcement authority has completed a fundamental rights impact assessment as provided for in Article 27 and has registered the system in the EU database according to Article 49. However, in duly justified cases of urgency, the use of such systems may be commenced without the registration in the EU database, provided that such registration is completed without undue delay.
3. Za potrebe stavka 1. prvog podstavka točke (h) i stavka 2., za svaku upotrebu sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona potrebno je prethodno odobrenje pravosudnog tijela ili neovisnog upravnog tijela čija je odluka obvezujuća iz države članice u kojoj će se sustav upotrebljavati, a koje se izdaje na obrazloženi zahtjev i u skladu s podrobnim pravilima nacionalnog prava iz stavka 5. Međutim, u propisno opravdanim hitnim situacijama takav se sustav može početi upotrebljavati bez odobrenja, pod uvjetom da se takvo odobrenje zatraži bez nepotrebne odgode, a najkasnije u roku od 24 sata. Ako je takvo odobrenje odbijeno, upotreba se smjesta zaustavlja te se svi podaci, kao i rezultati i izlazni podaci te upotrebe odmah odbacuju i brišu.
3. For the purposes of paragraph 1, first subparagraph, point (h) and paragraph 2, each use for the purposes of law enforcement of a ‘real-time’ remote biometric identification system in publicly accessible spaces shall be subject to a prior authorisation granted by a judicial authority or an independent administrative authority whose decision is binding of the Member State in which the use is to take place, issued upon a reasoned request and in accordance with the detailed rules of national law referred to in paragraph 5. However, in a duly justified situation of urgency, the use of such system may be commenced without an authorisation provided that such authorisation is requested without undue delay, at the latest within 24 hours. If such authorisation is rejected, the use shall be stopped with immediate effect and all the data, as well as the results and outputs of that use shall be immediately discarded and deleted.
Nadležno pravosudno tijelo ili neovisno upravno tijelo čija je odluka obvezujuća izdaje odobrenje samo ako je uvjereno, na temelju objektivnih dokaza ili jasnih informacija koje su mu predočene, da je upotreba dotičnog sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu potrebna za postizanje jednog od ciljeva iz stavka 1. prvog podstavka točke (h) navedenog u zahtjevu i razmjerna tom cilju, a ponajprije ostaje ograničena na ono što je nužno kad je riječ o razdoblju te zemljopisnom i personalnom području primjene. Pri odlučivanju o zahtjevu to tijelo uzima u obzir elemente iz stavka 2. Odluka koja proizvodi negativan pravni učinak na osobu ne smije se donijeti isključivo na temelju izlaznih podataka sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu.
The competent judicial authority or an independent administrative authority whose decision is binding shall grant the authorisation only where it is satisfied, on the basis of objective evidence or clear indications presented to it, that the use of the ‘real-time’ remote biometric identification system concerned is necessary for, and proportionate to, achieving one of the objectives specified in paragraph 1, first subparagraph, point (h), as identified in the request and, in particular, remains limited to what is strictly necessary concerning the period of time as well as the geographic and personal scope. In deciding on the request, that authority shall take into account the elements referred to in paragraph 2. No decision that produces an adverse legal effect on a person may be taken based solely on the output of the ‘real-time’ remote biometric identification system.
4. Ne dovodeći u pitanje stavak 3., o svakoj upotrebi sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona obavješćuju se relevantno tijelo za nadzor tržišta i nacionalno tijelo za zaštitu podataka u skladu s nacionalnim pravilima iz stavka 5. Obavijest mora sadržavati barem informacije navedene u stavku 6. i ne smije uključivati osjetljive operativne podatke.
4. Without prejudice to paragraph 3, each use of a ‘real-time’ remote biometric identification system in publicly accessible spaces for law enforcement purposes shall be notified to the relevant market surveillance authority and the national data protection authority in accordance with the national rules referred to in paragraph 5. The notification shall, as a minimum, contain the information specified under paragraph 6 and shall not include sensitive operational data.
5. Država članica može odlučiti predvidjeti mogućnost potpunog ili djelomičnog odobravanja upotrebe sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona uz ograničenja i pod uvjetima iz stavka 1. prvog podstavka točke (h) te stavaka 2. i 3. Dotična država članica u svojem nacionalnom pravu utvrđuje potrebna podrobna pravila o podnošenju zahtjeva za odobrenja iz stavka 3., o izdavanju, izvršenju i nadzoru tih odobrenja te izvješćivanju u vezi s njima. U tim se pravilima također određuje za koje se ciljeve iz stavka 1. prvog podstavka točke (h), među ostalim i za koja kaznena djela iz njegove točke (h) podtočke iii., nadležnim tijelima može odobriti upotreba tih sustava u svrhu kaznenog progona. Države članice priopćuju Komisiji ta pravila najkasnije 30 dana nakon njihova donošenja. Države članice mogu, u skladu s pravom Unije, uvesti restriktivnije propise o upotrebi sustavâ za daljinsku biometrijsku identifikaciju.
5. A Member State may decide to provide for the possibility to fully or partially authorise the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement within the limits and under the conditions listed in paragraph 1, first subparagraph, point (h), and paragraphs 2 and 3. Member States concerned shall lay down in their national law the necessary detailed rules for the request, issuance and exercise of, as well as supervision and reporting relating to, the authorisations referred to in paragraph 3. Those rules shall also specify in respect of which of the objectives listed in paragraph 1, first subparagraph, point (h), including which of the criminal offences referred to in point (h)(iii) thereof, the competent authorities may be authorised to use those systems for the purposes of law enforcement. Member States shall notify those rules to the Commission at the latest 30 days following the adoption thereof. Member States may introduce, in accordance with Union law, more restrictive laws on the use of remote biometric identification systems.
6. Nacionalna tijela za nadzor tržišta i nacionalna tijela za zaštitu podataka država članica koja su obaviještena o upotrebi sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona na temelju stavka 4. podnose Komisiji godišnja izvješća o takvoj upotrebi. U tu svrhu Komisija državama članicama i nacionalnim tijelima za nadzor tržišta i zaštitu podataka dostavlja predložak, uključujući informacije o broju odluka koje su nadležna pravosudna tijela ili neovisno upravno tijelo čija je odluka obvezujuća donijeli na temelju zahtjevâ za izdavanje odobrenja u skladu sa stavkom 3. i njihov rezultat.
6. National market surveillance authorities and the national data protection authorities of Member States that have been notified of the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for law enforcement purposes pursuant to paragraph 4 shall submit to the Commission annual reports on such use. For that purpose, the Commission shall provide Member States and national market surveillance and data protection authorities with a template, including information on the number of the decisions taken by competent judicial authorities or an independent administrative authority whose decision is binding upon requests for authorisations in accordance with paragraph 3 and their result.
7. Komisija objavljuje godišnja izvješća o upotrebi sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona na temelju agregiranih podataka u državama članicama i godišnjih izvješća iz stavka 6. Ta godišnja izvješća ne smiju uključivati osjetljive operativne podatke o povezanim aktivnostima kaznenog progona.
7. The Commission shall publish annual reports on the use of real-time remote biometric identification systems in publicly accessible spaces for law enforcement purposes, based on aggregated data in Member States on the basis of the annual reports referred to in paragraph 6. Those annual reports shall not include sensitive operational data of the related law enforcement activities.
8. Ovaj članak ne utječe na zabrane koje se primjenjuju ako se praksom u području umjetne inteligencije krši drugo pravo Unije.
8. This Article shall not affect the prohibitions that apply where an AI practice infringes other Union law.
POGLAVLJE III.
CHAPTER III
VISOKORIZIČNI UI SUSTAVI
HIGH-RISK AI SYSTEMS
ODJELJAK 1.
SECTION 1
Klasifikacija UI sustava kao visokorizičnih
Classification of AI systems as high-risk
Članak 6.
Article 6
Pravila o klasifikaciji UI sustava kao visokorizičnih
Classification rules for high-risk AI systems
1. Bez obzira na to stavlja li se UI sustav na tržište ili u upotrebu neovisno o proizvodima iz točaka (a) i (b) taj se UI sustav smatra visokorizičnim ako su ispunjena oba sljedeća uvjeta:
1. Irrespective of whether an AI system is placed on the market or put into service independently of the products referred to in points (a) and (b), that AI system shall be considered to be high-risk where both of the following conditions are fulfilled:
(a)
UI sustav namijenjen je za korištenje kao sigurnosna komponenta proizvoda ili je UI sustav sam po sebi proizvod koji je obuhvaćen zakonodavstvom Unije o usklađivanju navedenim u Prilogu I.;
(a)
the AI system is intended to be used as a safety component of a product, or the AI system is itself a product, covered by the Union harmonisation legislation listed in Annex I;
(b)
za proizvod čija je sigurnosna komponenta na temelju točke (a) UI sustav ili UI sustav koji je sam po sebi proizvod zahtijeva se ocjenjivanje sukladnosti koje provodi treća strana radi stavljanja na tržište ili stavljanja u upotrebu tog proizvoda na temelju zakonodavstva Unije o usklađivanju navedenog u Prilogu I.
(b)
the product whose safety component pursuant to point (a) is the AI system, or the AI system itself as a product, is required to undergo a third-party conformity assessment, with a view to the placing on the market or the putting into service of that product pursuant to the Union harmonisation legislation listed in Annex I.
2. Uz visokorizične UI sustave iz stavka 1., u visokorizične sustave ubrajaju se UI sustavi iz Priloga III.
2. In addition to the high-risk AI systems referred to in paragraph 1, AI systems referred to in Annex III shall be considered to be high-risk.
3. Odstupajući od stavka 2., UI sustav iz Priloga III. ne smatra se visokorizičnim ako ne predstavlja znatan rizik od štete za zdravlje, sigurnost ili temeljna prava fizičkih osoba, među ostalim ako bitno ne utječe na ishod donošenja odluka.
3. By derogation from paragraph 2, an AI system referred to in Annex III shall not be considered to be high-risk where it does not pose a significant risk of harm to the health, safety or fundamental rights of natural persons, including by not materially influencing the outcome of decision making.
Prvi podstavak primjenjuje se ako je ispunjen bilo koji od sljedećih uvjeta:
The first subparagraph shall apply where any of the following conditions is fulfilled:
(a)
UI sustav namijenjen je obavljanju uske postupovne zadaće;
(a)
the AI system is intended to perform a narrow procedural task;
(b)
UI sustav namijenjen je poboljšanju rezultata prethodno dovršene ljudske aktivnosti;
(b)
the AI system is intended to improve the result of a previously completed human activity;
(c)
UI sustav namijenjen je otkrivanju obrazaca donošenja odluka ili odstupanja od ranijih obrazaca donošenja odluka i ne bi trebao zamijeniti prethodno dovršenu ljudsku procjenu niti na nju utjecati, bez odgovarajućeg preispitivanja koje provodi čovjek; ili
(c)
the AI system is intended to detect decision-making patterns or deviations from prior decision-making patterns and is not meant to replace or influence the previously completed human assessment, without proper human review; or
(d)
UI sustav namijenjen je obavljanju pripremne zadaće za ocjenjivanje relevantno za slučajeve upotrebe navedene u Prilogu III.
(d)
the AI system is intended to perform a preparatory task to an assessment relevant for the purposes of the use cases listed in Annex III.
Ne dovodeći u pitanje prvi podstavak, UI sustav iz Priloga III. uvijek se smatra visokorizičnim ako taj UI sustav izrađuje profile fizičkih osoba.
Notwithstanding the first subparagraph, an AI system referred to in Annex III shall always be considered to be high-risk where the AI system performs profiling of natural persons.
4. Dobavljač koji smatra da UI sustav iz Priloga III. nije visokorizičan dokumentira svoje ocjenjivanje prije stavljanja tog sustava na tržište ili u upotrebu. Takav dobavljač podliježe obvezi registracije utvrđenoj u članku 49. stavku 2. Na zahtjev nacionalnih nadležnih tijela dobavljač dostavlja dokumentaciju o ocjenjivanju.
4. A provider who considers that an AI system referred to in Annex III is not high-risk shall document its assessment before that system is placed on the market or put into service. Such provider shall be subject to the registration obligation set out in Article 49(2). Upon request of national competent authorities, the provider shall provide the documentation of the assessment.
5. Komisija, nakon savjetovanja s Europskim vijećem za umjetnu inteligenciju („Vijeće za umjetnu inteligenciju”), a najkasnije 2. veljače 2026., izdaje smjernice u kojima se utvrđuje praktična provedba ovog članka u skladu s člankom 96. zajedno sa sveobuhvatnim popisom praktičnih slučajeva upotrebe UI sustava koji su visokorizični i koji nisu visokorizični.
5. The Commission shall, after consulting the European Artificial Intelligence Board (the ‘Board’), and no later than 2 February 2026, provide guidelines specifying the practical implementation of this Article in line with Article 96 together with a comprehensive list of practical examples of use cases of AI systems that are high-risk and not high-risk.
6. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene stavka 3. drugog podstavka ovog članka dodavanjem novih uvjeta uvjetima koji su utvrđeni u stavku 3. drugom podstavku ovog članka ili mijenjanjem tih uvjeta ako postoje konkretni i pouzdani dokazi o postojanju UI sustava koji su obuhvaćeni područjem primjene Priloga III., ali ne predstavljaju znatan rizik od štete za zdravlje, sigurnost ili temeljna prava fizičkih osoba.
6. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend paragraph 3, second subparagraph, of this Article by adding new conditions to those laid down therein, or by modifying them, where there is concrete and reliable evidence of the existence of AI systems that fall under the scope of Annex III, but do not pose a significant risk of harm to the health, safety or fundamental rights of natural persons.
7. Komisija donosi delegirane akte u skladu s člankom 97. radi izmjene stavka 3. drugog podstavka ovog članka brisanjem bilo kojeg od uvjeta utvrđenih u stavku 3. drugom podstavku ovog članka ako postoje konkretni i pouzdani dokazi da je to potrebno radi održavanja razine zaštite zdravlja, sigurnosti i temeljnih prava koja je predviđena ovom Uredbom.
7. The Commission shall adopt delegated acts in accordance with Article 97 in order to amend paragraph 3, second subparagraph, of this Article by deleting any of the conditions laid down therein, where there is concrete and reliable evidence that this is necessary to maintain the level of protection of health, safety and fundamental rights provided for by this Regulation.
8. Nijednom izmjenom uvjeta utvrđenih u stavku 3. drugom podstavku donesenom u skladu sa stavcima 6. i 7. ovog članka ne smije se smanjiti ukupna razina zaštite zdravlja, sigurnosti i temeljnih prava koja je predviđena ovom Uredbom te se njome mora osigurati usklađenost s delegiranim aktima donesenima na temelju članka 7. stavka 1. i uzeti u obzir tržišni i tehnološki razvoj.
8. Any amendment to the conditions laid down in paragraph 3, second subparagraph, adopted in accordance with paragraphs 6 and 7 of this Article shall not decrease the overall level of protection of health, safety and fundamental rights provided for by this Regulation and shall ensure consistency with the delegated acts adopted pursuant to Article 7(1), and take account of market and technological developments.
Članak 7.
Article 7
Izmjene Priloga III.
Amendments to Annex III
1. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene Priloga III. dodavanjem ili prilagodbom slučajeva upotrebe visokorizičnih UI sustava ako su ispunjena oba sljedeća uvjeta:
1. The Commission is empowered to adopt delegated acts in accordance with Article 97 to amend Annex III by adding or modifying use-cases of high-risk AI systems where both of the following conditions are fulfilled:
(a)
UI sustavi namijenjeni su za korištenje u bilo kojem od područja iz Priloga III.;
(a)
the AI systems are intended to be used in any of the areas listed in Annex III;
(b)
UI sustavi predstavljaju rizik od štete za zdravlje i sigurnost ili rizik od nepovoljnog utjecaja na temeljna prava, a taj je rizik jednakovrijedan riziku ili veći od rizika od štete ili nepovoljnog utjecaja koji predstavljaju visokorizični UI sustavi već navedeni u Prilogu III.
(b)
the AI systems pose a risk of harm to health and safety, or an adverse impact on fundamental rights, and that risk is equivalent to, or greater than, the risk of harm or of adverse impact posed by the high-risk AI systems already referred to in Annex III.
2. Pri procjeni uvjeta iz stavka 1. točke (b) Komisija uzima u obzir sljedeće kriterije:
2. When assessing the condition under paragraph 1, point (b), the Commission shall take into account the following criteria:
(a)
namjenu UI sustava;
(a)
the intended purpose of the AI system;
(b)
stupanj u kojem se UI sustav upotrebljava ili će se vjerojatno upotrebljavati;
(b)
the extent to which an AI system has been used or is likely to be used;
(c)
prirodu i količinu podataka koje obrađuje i upotrebljava UI sustav, a posebice obrađuju li se posebne kategorije osobnih podataka;
(c)
the nature and amount of the data processed and used by the AI system, in particular whether special categories of personal data are processed;
(d)
stupanj u kojem UI sustav djeluje autonomno i mogućnost da čovjek nadjača odluku ili preporuke koje bi mogle prouzročiti štetu;
(d)
the extent to which the AI system acts autonomously and the possibility for a human to override a decision or recommendations that may lead to potential harm;
(e)
stupanj u kojem je upotreba UI sustava već prouzročila štetu za zdravlje ili sigurnost ili imala nepovoljan utjecaj na temeljna prava ili izazvala ozbiljnu zabrinutost da bi mogla prouzročiti takvu štetu ili nepovoljan utjecaj, kako je, primjerice, potvrđeno u izvješćima ili dokumentiranim navodima koji su podneseni nacionalnim nadležnim tijelima ili u drugim izvješćima, ovisno o slučaju;
(e)
the extent to which the use of an AI system has already caused harm to health and safety, has had an adverse impact on fundamental rights or has given rise to significant concerns in relation to the likelihood of such harm or adverse impact, as demonstrated, for example, by reports or documented allegations submitted to national competent authorities or by other reports, as appropriate;
(f)
potencijalne razmjere takve štete ili takvog nepovoljnog utjecaja, osobito u smislu intenziteta i mogućnosti da pogodi više osoba ili da nerazmjerno pogodi određenu skupinu osoba;
(f)
the potential extent of such harm or such adverse impact, in particular in terms of its intensity and its ability to affect multiple persons or to disproportionately affect a particular group of persons;
(g)
stupanj u kojem potencijalno oštećene osobe ili osobe izložene nepovoljnom utjecaju ovise o ishodu upotrebe UI sustava, osobito ako taj ishod nije razumno moguće ne prihvatiti zbog praktičnih ili pravnih razloga;
(g)
the extent to which persons who are potentially harmed or suffer an adverse impact are dependent on the outcome produced with an AI system, in particular because for practical or legal reasons it is not reasonably possible to opt-out from that outcome;
(h)
stupanj u kojem postoji neravnoteža moći ili su potencijalno oštećene osobe ili osobe izložene nepovoljnom utjecaju u ranjivu položaju u odnosu na subjekt koji uvodi UI sustav, osobito zbog statusa, autoriteta, znanja, ekonomskih ili socijalnih okolnosti ili dobi;
(h)
the extent to which there is an imbalance of power, or the persons who are potentially harmed or suffer an adverse impact are in a vulnerable position in relation to the deployer of an AI system, in particular due to status, authority, knowledge, economic or social circumstances, or age;
(i)
stupanj u kojem je ishod nastao upotrebom UI sustava lako ispravljiv ili poništiv, uzimajući u obzir tehnička rješenja dostupna za njegovo ispravljanje ili poništenje, pri čemu se smatra da ishodi koji nepovoljno utječu na zdravlje, sigurnost ili temeljna prava nisu lako ispravljivi ili poništivi;
(i)
the extent to which the outcome produced involving an AI system is easily corrigible or reversible, taking into account the technical solutions available to correct or reverse it, whereby outcomes having an adverse impact on health, safety or fundamental rights, shall not be considered to be easily corrigible or reversible;
(j)
razmjer i vjerojatnost koristi od uvođenja UI sustava za pojedince, skupine ili društvo u cjelini, uključujući moguća poboljšanja sigurnosti proizvoda;
(j)
the magnitude and likelihood of benefit of the deployment of the AI system for individuals, groups, or society at large, including possible improvements in product safety;
(k)
stupanj u kojem se postojećim pravom Unije predviđaju:
(k)
the extent to which existing Union law provides for:
i.
djelotvorne mjere pravne zaštite od rizika koji predstavlja UI sustav, uz iznimku zahtjevâ za naknadu štete;
(i)
effective measures of redress in relation to the risks posed by an AI system, with the exclusion of claims for damages;
ii.
djelotvorne mjere za sprečavanje ili što veće smanjenje tih rizika.
(ii)
effective measures to prevent or substantially minimise those risks.
3. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene popisa iz Priloga III. uklanjanjem visokorizičnih UI sustava ako su ispunjena oba sljedeća uvjeta:
3. The Commission is empowered to adopt delegated acts in accordance with Article 97 to amend the list in Annex III by removing high-risk AI systems where both of the following conditions are fulfilled:
(a)
dotični visokorizični UI sustav više ne predstavlja znatan rizik za temeljna prava, zdravlje ili sigurnost, uzimajući u obzir kriterije navedene u stavku 2.;
(a)
the high-risk AI system concerned no longer poses any significant risks to fundamental rights, health or safety, taking into account the criteria listed in paragraph 2;
(b)
brisanjem se ne smanjuje ukupna razina zaštite zdravlja, sigurnosti i temeljnih prava na temelju prava Unije.
(b)
the deletion does not decrease the overall level of protection of health, safety and fundamental rights under Union law.
ODJELJAK 2.
SECTION 2
Zahtjevi za visokorizične UI sustave
Requirements for high-risk AI systems
Članak 8.
Article 8
Ispunjavanje zahtjeva
Compliance with the requirements
1. Visokorizični UI sustavi mora ispunjavati zahtjeve utvrđene u ovom odjeljku, uzimajući u obzir njihovu namjenu i općepriznata najnovija dostignuća u području umjetne inteligencije i tehnologija povezanih s umjetnom inteligencijom. Pri osiguravanju ispunjavanja tih zahtjeva u obzir se uzima sustav upravljanja rizikom iz članka 9.
1. High-risk AI systems shall comply with the requirements laid down in this Section, taking into account their intended purpose as well as the generally acknowledged state of the art on AI and AI-related technologies. The risk management system referred to in Article 9 shall be taken into account when ensuring compliance with those requirements.
2. Ako proizvod sadržava UI sustav na koji se primjenjuju zahtjevi ove Uredbe i zahtjevi zakonodavstva Unije o usklađivanju iz odjeljka A Priloga I., dobavljači su odgovorni za osiguravanje potpune usklađenosti njihova proizvoda sa svim primjenjivim zahtjevima na temelju primjenjivog zakonodavstva Unije o usklađivanju. Pri osiguravanju usklađenosti visokorizičnih UI sustava iz stavka 1. sa zahtjevima utvrđenima u ovom odjeljku te kako bi se osigurala dosljednost, izbjeglo udvostručavanje i na najmanju moguću mjeru svela dodatna opterećenja, dobavljači imaju mogućnost da potrebne postupke testiranja i izvješćivanja, informacije i dokumentaciju koje pružaju u vezi sa svojim proizvodom prema potrebi integriraju u dokumentaciju i postupke koji već postoje i koji se zahtijevaju na temelju zakonodavstva Unije o usklađivanju navedenog u odjeljku A Priloga I.
2. Where a product contains an AI system, to which the requirements of this Regulation as well as requirements of the Union harmonisation legislation listed in Section A of Annex I apply, providers shall be responsible for ensuring that their product is fully compliant with all applicable requirements under applicable Union harmonisation legislation. In ensuring the compliance of high-risk AI systems referred to in paragraph 1 with the requirements set out in this Section, and in order to ensure consistency, avoid duplication and minimise additional burdens, providers shall have a choice of integrating, as appropriate, the necessary testing and reporting processes, information and documentation they provide with regard to their product into documentation and procedures that already exist and are required under the Union harmonisation legislation listed in Section A of Annex I.
Članak 9.
Article 9
Sustav upravljanja rizikom
Risk management system
1. Za visokorizične UI sustave uspostavlja se, primjenjuje i održava sustav upravljanja rizikom te se o njemu vodi dokumentacija.
1. A risk management system shall be established, implemented, documented and maintained in relation to high-risk AI systems.
2. Sustav upravljanja rizikom shvaća se kao kontinuiran iterativan proces koji se planira i izvodi tijekom cijelog životnog ciklusa visokorizičnog UI sustava i koji je potrebno redovito i sustavno preispitivati i ažurirati. Obuhvaća sljedeće korake:
2. The risk management system shall be understood as a continuous iterative process planned and run throughout the entire lifecycle of a high-risk AI system, requiring regular systematic review and updating. It shall comprise the following steps:
(a)
utvrđivanje i analizu poznatih i razumno predvidljivih rizika koje visokorizični UI sustav može predstavljati za zdravlje, sigurnost ili temeljna prava kada se visokorizični UI sustav koristi u skladu sa svojom namjenom;
(a)
the identification and analysis of the known and the reasonably foreseeable risks that the high-risk AI system can pose to health, safety or fundamental rights when the high-risk AI system is used in accordance with its intended purpose;
(b)
procjenjivanje i evaluaciju rizika koji mogu nastati pri korištenju visokorizičnog UI sustava u skladu s njegovom namjenom i u uvjetima razumno predvidljive pogrešne upotrebe;
(b)
the estimation and evaluation of the risks that may emerge when the high-risk AI system is used in accordance with its intended purpose, and under conditions of reasonably foreseeable misuse;
(c)
evaluaciju drugih potencijalnih rizika na temelju analize podataka prikupljenih sustavom praćenja nakon stavljanja na tržište iz članka 72.;
(c)
the evaluation of other risks possibly arising, based on the analysis of data gathered from the post-market monitoring system referred to in Article 72;
(d)
donošenje odgovarajućih i ciljanih mjera upravljanja rizikom osmišljenih za uklanjanje rizika utvrđenih na temelju točke (a).
(d)
the adoption of appropriate and targeted risk management measures designed to address the risks identified pursuant to point (a).
3. Rizici iz ovog članka odnose se samo na one rizike koji se mogu razumno ublažiti ili ukloniti razvijanjem ili dizajnom visokorizičnog UI sustava ili pružanjem adekvatnih tehničkih informacija.
3. The risks referred to in this Article shall concern only those which may be reasonably mitigated or eliminated through the development or design of the high-risk AI system, or the provision of adequate technical information.
4. U mjerama upravljanja rizikom iz stavka 2. točke (d) na odgovarajući način uzimaju se u obzir učinci i moguća interakcija koji proizlaze iz kombinirane primjene zahtjeva utvrđenih u ovom odjeljku, u cilju djelotvornijeg svođenja rizika na najmanju moguću mjeru i istodobnog postizanja odgovarajuće ravnoteže u provedbi mjera za ispunjavanje tih zahtjeva.
4. The risk management measures referred to in paragraph 2, point (d), shall give due consideration to the effects and possible interaction resulting from the combined application of the requirements set out in this Section, with a view to minimising risks more effectively while achieving an appropriate balance in implementing the measures to fulfil those requirements.
5. Mjere upravljanja rizikom iz stavka 2. točke (d) takve su da su relevantni preostali rizik povezan sa svakom pojedinom opasnošću kao i cjelokupni preostali rizik visokorizičnih UI sustava procijenjeni prihvatljivima.
5. The risk management measures referred to in paragraph 2, point (d), shall be such that the relevant residual risk associated with each hazard, as well as the overall residual risk of the high-risk AI systems is judged to be acceptable.
Pri utvrđivanja najprikladnijih mjera upravljanja rizikom osigurava se sljedeće:
In identifying the most appropriate risk management measures, the following shall be ensured:
(a)
uklanjanje ili smanjenje rizika utvrđenih i evaluiranih na temelju stavka 2. u mjeri u kojoj je to tehnički izvedivo putem adekvatnog dizajna i razvoja visokorizičnog UI sustava;
(a)
elimination or reduction of risks identified and evaluated pursuant to paragraph 2 in as far as technically feasible through adequate design and development of the high-risk AI system;
(b)
prema potrebi, provedba adekvatnih mjera za ublažavanje i kontrolu rizika koji se ne mogu ukloniti;
(b)
where appropriate, implementation of adequate mitigation and control measures addressing risks that cannot be eliminated;
(c)
pružanje informacija koje se zahtijevaju u skladu s člankom 13. i, prema potrebi, osposobljavanja za subjekte koji uvode sustav.
(c)
provision of information required pursuant to Article 13 and, where appropriate, training to deployers.
U cilju uklanjanja ili smanjenja rizika povezanih s korištenjem visokorizičnog UI sustava u obzir se na odgovarajući način uzimaju tehničko znanje, iskustvo, obrazovanje i osposobljavanje koje treba očekivati od subjekta koji uvodi sustav te pretpostavljeni kontekst u kojem se sustav namjerava koristiti.
With a view to eliminating or reducing risks related to the use of the high-risk AI system, due consideration shall be given to the technical knowledge, experience, education, the training to be expected by the deployer, and the presumable context in which the system is intended to be used.
6. Visokorizični UI sustavi testiraju se kako bi se utvrdile najprikladnije i ciljane mjere upravljanja rizikom. Testiranjem se osigurava da visokorizični UI sustavi postojano rade u skladu sa svojom namjenom i da ispunjavaju zahtjeve utvrđene u ovom odjeljku.
6. High-risk AI systems shall be tested for the purpose of identifying the most appropriate and targeted risk management measures. Testing shall ensure that high-risk AI systems perform consistently for their intended purpose and that they are in compliance with the requirements set out in this Section.
7. Postupci testiranja mogu uključivati testiranje u stvarnim uvjetima u skladu s člankom 60.
7. Testing procedures may include testing in real-world conditions in accordance with Article 60.
8. Visokorizični UI sustavi testiraju se prema potrebi u bilo kojem trenutku razvojnog procesa, a u svakom slučaju prije stavljanja na tržište ili u upotrebu. Testiranje se provodi u odnosu na prethodno definirane parametre i probabilističke pragove koji su primjereni za namjenu visokorizičnog UI sustava.
8. The testing of high-risk AI systems shall be performed, as appropriate, at any time throughout the development process, and, in any event, prior to their being placed on the market or put into service. Testing shall be carried out against prior defined metrics and probabilistic thresholds that are appropriate to the intended purpose of the high-risk AI system.
9. Pri provedbi sustava upravljanja rizikom predviđenog u stavcima od 1. do 7. dobavljači razmatraju je li vjerojatno da će, s obzirom na njegovu namjenu, visokorizični UI sustav imati nepovoljan utjecaj na osobe mlađe od 18 godina i, prema potrebi, na druge skupine ranjivih osoba.
9. When implementing the risk management system as provided for in paragraphs 1 to 7, providers shall give consideration to whether in view of its intended purpose the high-risk AI system is likely to have an adverse impact on persons under the age of 18 and, as appropriate, other vulnerable groups.
10. Kad je riječ o dobavljačima visokorizičnih UI sustava na koje se primjenjuju zahtjevi u pogledu unutarnjih procesa upravljanja rizikom na temelju drugih relevantnih odredaba prava Unije, aspekti iz stavaka od 1. do 9. mogu biti dio postupaka upravljanja rizikom uspostavljenih na temelju tog prava ili se kombinirati s tim postupcima.
10. For providers of high-risk AI systems that are subject to requirements regarding internal risk management processes under other relevant provisions of Union law, the aspects provided in paragraphs 1 to 9 may be part of, or combined with, the risk management procedures established pursuant to that law.
Članak 10.
Article 10
Podaci i upravljanje podacima
Data and data governance
1. Visokorizični UI sustavi koji upotrebljavaju tehnike s treniranjem UI modelâ s pomoću podataka moraju se razvijati na temelju skupova podataka za treniranje, validaciju i testiranje koji ispunjavaju kriterije kvalitete iz stavaka od 2. do 5. kad god se takvi skupovi podataka upotrebljavaju.
1. High-risk AI systems which make use of techniques involving the training of AI models with data shall be developed on the basis of training, validation and testing data sets that meet the quality criteria referred to in paragraphs 2 to 5 whenever such data sets are used.
2. Na skupove podataka za treniranje, validaciju i testiranje primjenjuju se prakse upravljanja i rukovanja podacima prikladne za namjenu visokorizičnog UI sustava. Te se prakse ponajprije odnose na:
2. Training, validation and testing data sets shall be subject to data governance and management practices appropriate for the intended purpose of the high-risk AI system. Those practices shall concern in particular:
(a)
relevantne odluke o dizajnu;
(a)
the relevant design choices;
(b)
procese prikupljanja podataka i podrijetlo podataka te, u slučaju osobnih podataka, izvornu svrhu prikupljanja podataka;
(b)
data collection processes and the origin of data, and in the case of personal data, the original purpose of the data collection;
(c)
relevantne postupke obrade za pripremu podataka, kao što su obilježavanje, označivanje, čišćenje, ažuriranje, obogaćivanje i agregiranje;
(c)
relevant data-preparation processing operations, such as annotation, labelling, cleaning, updating, enrichment and aggregation;
(d)
formuliranje pretpostavki, osobito s obzirom na informacije koje bi podaci trebali mjeriti i predstavljati;
(d)
the formulation of assumptions, in particular with respect to the information that the data are supposed to measure and represent;
(e)
procjenu raspoloživosti, količine i prikladnosti potrebnih skupova podataka;
(e)
an assessment of the availability, quantity and suitability of the data sets that are needed;
(f)
ispitivanje s obzirom na moguće pristranosti koje bi mogle utjecati na zdravlje i sigurnost osoba, imati negativan utjecaj na temeljna prava ili dovesti do diskriminacije zabranjene pravom Unije, posebno ako izlazni podaci utječu na ulazne podatke za buduće operacije;
(f)
examination in view of possible biases that are likely to affect the health and safety of persons, have a negative impact on fundamental rights or lead to discrimination prohibited under Union law, especially where data outputs influence inputs for future operations;
(g)
odgovarajuće mjere za otkrivanje, sprečavanje i ublažavanje mogućih pristranosti utvrđenih u skladu s točkom (f);
(g)
appropriate measures to detect, prevent and mitigate possible biases identified according to point (f);
(h)
utvrđivanje relevantnih nedostataka u podacima ili drugih nedostataka koji onemogućuju usklađivanje s ovom Uredbom te načina na koji se ti nedostaci mogu ukloniti.
(h)
the identification of relevant data gaps or shortcomings that prevent compliance with this Regulation, and how those gaps and shortcomings can be addressed.
3. Skupovi podataka za treniranje, validaciju i testiranje moraju biti relevantni, dovoljno reprezentativni te, u najvećoj mogućoj mjeri, bez pogrešaka i potpuni s obzirom na namjenu. Moraju imati odgovarajuća statistička obilježja, među ostalim u odnosu na osobe ili skupine osoba u pogledu kojih se visokorizični UI sustav namjerava koristiti, ako je primjenjivo. Te se karakteristike skupova podataka mogu postići na razini pojedinačnih skupova podataka ili na razini kombinacije skupova podataka.
3. Training, validation and testing data sets shall be relevant, sufficiently representative, and to the best extent possible, free of errors and complete in view of the intended purpose. They shall have the appropriate statistical properties, including, where applicable, as regards the persons or groups of persons in relation to whom the high-risk AI system is intended to be used. Those characteristics of the data sets may be met at the level of individual data sets or at the level of a combination thereof.
4. U skupovima podataka moraju se uzeti u obzir, u mjeri u kojoj to iziskuje namjena, karakteristike ili elementi specifični za zemljopisno, kontekstualno, bihevioralno ili radno okruženje u kojem se visokorizični UI sustav namjerava koristiti.
4. Data sets shall take into account, to the extent required by the intended purpose, the characteristics or elements that are particular to the specific geographical, contextual, behavioural or functional setting within which the high-risk AI system is intended to be used.
5. U mjeri u kojoj je to nužno u svrhu osiguravanja otkrivanja i ispravljanja pristranosti u vezi s visokorizičnim UI sustavima u skladu sa stavkom 2. točkama (f) i (g) ovog članka, dobavljači takvih sustava mogu iznimno obrađivati posebne kategorije osobnih podataka, podložno odgovarajućim zaštitnim mjerama za temeljna prava i slobode fizičkih osoba. Kako bi se takva obrada provela, uz odredbe utvrđene u uredbama (EU) 2016/679 i (EU) 2018/1725 te Direktivi (EU) 2016/680 moraju se ispuniti svi sljedeći uvjeti:
5. To the extent that it is strictly necessary for the purpose of ensuring bias detection and correction in relation to the high-risk AI systems in accordance with paragraph (2), points (f) and (g) of this Article, the providers of such systems may exceptionally process special categories of personal data, subject to appropriate safeguards for the fundamental rights and freedoms of natural persons. In addition to the provisions set out in Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, all the following conditions must be met in order for such processing to occur:
(a)
otkrivanje i ispravljanje pristranosti ne može se djelotvorno postići obradom drugih podataka, uključujući sintetičke ili anonimizirane podatke;
(a)
the bias detection and correction cannot be effectively fulfilled by processing other data, including synthetic or anonymised data;
(b)
posebne kategorije osobnih podataka podliježu tehničkim ograničenjima u pogledu ponovne upotrebe osobnih podataka i najsuvremenijim mjerama sigurnosti i zaštite privatnosti, uključujući pseudonimizaciju;
(b)
the special categories of personal data are subject to technical limitations on the re-use of the personal data, and state-of-the-art security and privacy-preserving measures, including pseudonymisation;
(c)
posebne kategorije osobnih podataka podliježu mjerama kojima se osigurava da su obrađeni osobni podaci osigurani i zaštićeni, podložno odgovarajućim zaštitnim mjerama, uključujući stroge kontrole i dokumentaciju pristupa, kako bi se izbjegla pogrešna upotreba i osiguralo da pristup tim osobnim podacima imaju samo ovlaštene osobe i uz odgovarajuće obveze u pogledu povjerljivosti;
(c)
the special categories of personal data are subject to measures to ensure that the personal data processed are secured, protected, subject to suitable safeguards, including strict controls and documentation of the access, to avoid misuse and ensure that only authorised persons have access to those personal data with appropriate confidentiality obligations;
(d)
posebne kategorije osobnih podataka ne smiju se prenositi, prosljeđivati niti im druge strane smiju na neki drugi način pristupiti;
(d)
the special categories of personal data are not to be transmitted, transferred or otherwise accessed by other parties;
(e)
posebne kategorije osobnih podataka brišu se nakon ispravljanja pristranosti ili završetka razdoblja čuvanja osobnih podataka, ovisno o tome što nastupi ranije;
(e)
the special categories of personal data are deleted once the bias has been corrected or the personal data has reached the end of its retention period, whichever comes first;
(f)
evidencija aktivnosti obrade na temelju uredaba (EU) 2016/679 i (EU) 2018/1725 te Direktive (EU) 2016/680 sadržava razloge zbog kojih je obrada posebnih kategorija osobnih podataka bila nužna za otkrivanje i ispravljanje pristranosti te zbog kojih se taj cilj nije mogao postići obradom drugih podataka.
(f)
the records of processing activities pursuant to Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680 include the reasons why the processing of special categories of personal data was strictly necessary to detect and correct biases, and why that objective could not be achieved by processing other data.
6. Kad je riječ o razvoju visokorizičnih UI sustava u kojima se ne upotrebljavaju tehnike koje uključuju treniranje UI modelâ, stavci od 2. do 5. primjenjuju se samo na skupove podataka za testiranje.
6. For the development of high-risk AI systems not using techniques involving the training of AI models, paragraphs 2 to 5 apply only to the testing data sets.
Članak 11.
Article 11
Tehnička dokumentacija
Technical documentation
1. Tehnička dokumentacija visokorizičnog UI sustava sastavlja se prije njegova stavljanja na tržište ili u upotrebu te se ažurira.
1. The technical documentation of a high-risk AI system shall be drawn up before that system is placed on the market or put into service and shall be kept up-to date.
Tehnička dokumentacija sastavlja se tako da se njome dokaže da visokorizični UI sustav ispunjava zahtjeve utvrđene u ovom odjeljku te da se nacionalnim nadležnim tijelima i prijavljenim tijelima na jasan i sveobuhvatan način pruže informacije potrebne za ocjenjivanje usklađenosti UI sustava s tim zahtjevima. Tehnička dokumentacija sadržava barem elemente utvrđene u Prilogu IV. MSP-ovi, uključujući start-up poduzeća, mogu elemente tehničke dokumentacije iz Priloga IV. dostaviti na pojednostavnjen način. U tom cilju Komisija utvrđuje pojednostavnjeni obrazac za tehničku dokumentaciju namijenjen potrebama malih poduzeća i mikropoduzeća. Ako MSP, uključujući start-up poduzeće, odluči na pojednostavnjen način dostaviti informacije koje se zahtijevaju u Prilogu IV., koristi se obrascem na koji se upućuje u ovom stavku. Prijavljena tijela prihvaćaju taj obrazac u svrhu ocjenjivanja sukladnosti.
The technical documentation shall be drawn up in such a way as to demonstrate that the high-risk AI system complies with the requirements set out in this Section and to provide national competent authorities and notified bodies with the necessary information in a clear and comprehensive form to assess the compliance of the AI system with those requirements. It shall contain, at a minimum, the elements set out in Annex IV. SMEs, including start-ups, may provide the elements of the technical documentation specified in Annex IV in a simplified manner. To that end, the Commission shall establish a simplified technical documentation form targeted at the needs of small and microenterprises. Where an SME, including a start-up, opts to provide the information required in Annex IV in a simplified manner, it shall use the form referred to in this paragraph. Notified bodies shall accept the form for the purposes of the conformity assessment.
2. Ako se na tržište ili u upotrebu stavlja visokorizični UI sustav povezan s proizvodom koji je obuhvaćen zakonodavstvom Unije o usklađivanju navedenim u odjeljku A Priloga I., sastavlja se jedinstvena tehnička dokumentacija koja sadržava sve informacije utvrđene u stavku 1., kao i informacije koje se zahtijevaju tim pravnim aktima.
2. Where a high-risk AI system related to a product covered by the Union harmonisation legislation listed in Section A of Annex I is placed on the market or put into service, a single set of technical documentation shall be drawn up containing all the information set out in paragraph 1, as well as the information required under those legal acts.
3. Komisija ja ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene, prema potrebi, Priloga IV. kako bi se osiguralo da, s obzirom na tehnički napredak, tehnička dokumentacija sadržava sve informacije potrebne za ocjenjivanje usklađenosti sustava sa zahtjevima utvrđenima u ovom odjeljku.
3. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annex IV, where necessary, to ensure that, in light of technical progress, the technical documentation provides all the information necessary to assess the compliance of the system with the requirements set out in this Section.
Članak 12.
Article 12
Čuvanje evidencije
Record-keeping
1. Kod visokorizičnih UI sustava mora biti tehnički omogućeno automatsko evidentiranje događaja („evidencija”) tijekom cijelog životnog ciklusa sustava.
1. High-risk AI systems shall technically allow for the automatic recording of events (logs) over the lifetime of the system.
2. Kako bi se osigurala određena razina sljedivosti funkcioniranja visokorizičnog UI sustava koja je u skladu s namjenom sustava, funkcije evidentiranja događaja omogućuju evidentiranje događaja relevantnih za:
2. In order to ensure a level of traceability of the functioning of a high-risk AI system that is appropriate to the intended purpose of the system, logging capabilities shall enable the recording of events relevant for:
(a)
utvrđivanje situacija koje mogu dovesti do toga da visokorizični UI sustav predstavlja rizik u smislu članka 79. stavka 1. ili do znatne izmjene;
(a)
identifying situations that may result in the high-risk AI system presenting a risk within the meaning of Article 79(1) or in a substantial modification;
(b)
olakšavanje praćenja nakon stavljanja na tržište iz članka 72.; i
(b)
facilitating the post-market monitoring referred to in Article 72; and
(c)
praćenje rada visokorizičnih UI sustava iz članka 26. stavka 5.
(c)
monitoring the operation of high-risk AI systems referred to in Article 26(5).
3. Kad je riječ o visokorizičnim UI sustavima iz točke 1. podtočke (a) Priloga III., funkcijama evidentiranja evidentira se najmanje:
3. For high-risk AI systems referred to in point 1 (a), of Annex III, the logging capabilities shall provide, at a minimum:
(a)
razdoblje svake upotrebe sustava (datum i vrijeme početka te datum i vrijeme završetka svake upotrebe);
(a)
recording of the period of each use of the system (start date and time and end date and time of each use);
(b)
referentna baza podataka s kojom je sustav usporedio ulazne podatke;
(b)
the reference database against which input data has been checked by the system;
(c)
ulazni podaci za koje je pretragom utvrđena podudarnost;
(c)
the input data for which the search has led to a match;
(d)
identitet fizičkih osoba iz članka 14. stavka 5. koje su sudjelovale u provjeri rezultatâ.
(d)
the identification of the natural persons involved in the verification of the results, as referred to in Article 14(5).
Članak 13.
Article 13
Transparentnost i pružanje informacija subjektima koji uvode sustav
Transparency and provision of information to deployers
1. Visokorizični UI sustavi dizajniraju se i razvijaju na takav način da se osigura da je njihov rad dovoljno transparentan kako bi se subjektima koji uvode sustav omogućilo da tumače izlazne podatke sustava i primjereno ih upotrebljavaju. Osiguravaju se odgovarajuća vrsta i stupanj transparentnosti kako bi se ispunile relevantne obveze dobavljača i subjekta koji uvodi sustav utvrđene u odjeljku 3.
1. High-risk AI systems shall be designed and developed in such a way as to ensure that their operation is sufficiently transparent to enable deployers to interpret a system’s output and use it appropriately. An appropriate type and degree of transparency shall be ensured with a view to achieving compliance with the relevant obligations of the provider and deployer set out in Section 3.
2. Visokorizičnim UI sustavima prilažu se upute za korištenje u odgovarajućem digitalnom ili drugom formatu sa sažetim, potpunim, točnim i jasnim informacijama koje su subjektima koji uvode sustav relevantne, pristupačne i razumljive.
2. High-risk AI systems shall be accompanied by instructions for use in an appropriate digital format or otherwise that include concise, complete, correct and clear information that is relevant, accessible and comprehensible to deployers.
3. Upute za korištenje sadržavaju barem sljedeće informacije:
3. The instructions for use shall contain at least the following information:
(a)
identitet i kontaktne podatke dobavljača i, ako je primjenjivo, njegova ovlaštenog zastupnika;
(a)
the identity and the contact details of the provider and, where applicable, of its authorised representative;
(b)
karakteristike, sposobnosti i ograničenja učinkovitosti visokorizičnog UI sustava, uključujući:
(b)
the characteristics, capabilities and limitations of performance of the high-risk AI system, including:
i.
njegovu namjenu;
(i)
its intended purpose;
ii.
razinu točnosti, uključujući njezine parametre, te razinu otpornosti i kibernetičke sigurnosti iz članka 15. u odnosu na koju je visokorizični UI sustav testiran i validiran i koja se može očekivati, te sve poznate i predvidljive okolnosti koje mogu utjecati na tu očekivanu razinu točnosti, otpornosti i kibernetičke sigurnosti;
(ii)
the level of accuracy, including its metrics, robustness and cybersecurity referred to in Article 15 against which the high-risk AI system has been tested and validated and which can be expected, and any known and foreseeable circumstances that may have an impact on that expected level of accuracy, robustness and cybersecurity;
iii.
sve poznate ili predvidljive okolnosti povezane s korištenjem visokorizičnog UI sustava u skladu s njegovom namjenom ili u uvjetima razumno predvidljive pogrešne upotrebe koje mogu prouzročiti rizike za zdravlje i sigurnost ili temeljna prava iz članka 9. stavka 2.;
(iii)
any known or foreseeable circumstance, related to the use of the high-risk AI system in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, which may lead to risks to the health and safety or fundamental rights referred to in Article 9(2);
iv.
ako je primjenjivo, tehničke sposobnosti i karakteristike visokorizičnog UI sustava za pružanje informacija koje su relevantne za objašnjenje njegovih izlaznih podataka;
(iv)
where applicable, the technical capabilities and characteristics of the high-risk AI system to provide information that is relevant to explain its output;
v.
prema potrebi, učinkovitost sustava u odnosu na konkretne osobe ili skupine osoba na kojima se sustav namjerava koristiti;
(v)
when appropriate, its performance regarding specific persons or groups of persons on which the system is intended to be used;
vi.
prema potrebi, specifikacije ulaznih podataka ili sve ostale relevantne informacije o korištenim skupovima podataka za treniranje, validaciju i testiranje, uzimajući u obzir namjenu visokorizičnog UI sustava;
(vi)
when appropriate, specifications for the input data, or any other relevant information in terms of the training, validation and testing data sets used, taking into account the intended purpose of the high-risk AI system;
vii.
ako je primjenjivo, informacije koje subjektima koji uvode sustav omogućuju tumačenje izlaznih podataka visokorizičnog UI sustava i njihovu prikladnu upotrebu;
(vii)
where applicable, information to enable deployers to interpret the output of the high-risk AI system and use it appropriately;
(c)
eventualne promjene visokorizičnog UI sustava i njegove učinkovitosti koje je dobavljač unaprijed odredio u trenutku početnog ocjenjivanja sukladnosti;
(c)
the changes to the high-risk AI system and its performance which have been pre-determined by the provider at the moment of the initial conformity assessment, if any;
(d)
mjere ljudskog nadzora iz članka 14., uključujući tehničke mjere uvedene kako bi se subjektima koji uvode sustav olakšalo tumačenje izlaznih podataka visokorizičnih UI sustava;
(d)
the human oversight measures referred to in Article 14, including the technical measures put in place to facilitate the interpretation of the outputs of the high-risk AI systems by the deployers;
(e)
potrebne računalne i hardverske resurse, očekivani životni ciklus visokorizičnog UI sustava i sve potrebne mjere održavanja i brige, uključujući njihovu učestalost, kako bi se osiguralo pravilno funkcioniranje tog UI sustava, što se odnosi i na softverska ažuriranja;
(e)
the computational and hardware resources needed, the expected lifetime of the high-risk AI system and any necessary maintenance and care measures, including their frequency, to ensure the proper functioning of that AI system, including as regards software updates;
(f)
prema potrebi, opis mehanizama uključenih u visokorizični UI sustav koji omogućuje subjektima koji uvode sustav da pravilno prikupljaju, pohranjuju i tumače evidenciju u skladu s člankom 12.
(f)
where relevant, a description of the mechanisms included within the high-risk AI system that allows deployers to properly collect, store and interpret the logs in accordance with Article 12.
Članak 14.
Article 14
Ljudski nadzor
Human oversight
1. Visokorizični UI sustavi dizajniraju se i razvijaju na takav način, među ostalim s odgovarajućim alatima sučelja čovjek-stroj, da ih fizičke osobe mogu djelotvorno nadzirati tijekom njihove upotrebe.
1. High-risk AI systems shall be designed and developed in such a way, including with appropriate human-machine interface tools, that they can be effectively overseen by natural persons during the period in which they are in use.
2. Cilj je ljudskog nadzora spriječiti ili što više smanjiti rizike za zdravlje, sigurnost ili temeljna prava koji se mogu pojaviti tijekom upotrebe visokorizičnog UI sustava u skladu s njegovom namjenom ili u uvjetima razumno predvidljive pogrešne upotrebe, osobito ako takvi rizici i dalje postoje unatoč primjeni drugih zahtjeva utvrđenih u ovom odjeljku.
2. Human oversight shall aim to prevent or minimise the risks to health, safety or fundamental rights that may emerge when a high-risk AI system is used in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, in particular where such risks persist despite the application of other requirements set out in this Section.
3. Mjere nadzora razmjerne su rizicima, razini autonomije i kontekstu korištenja visokorizičnog UI sustava, a osiguravaju se barem jednom od sljedećih vrsta mjera:
3. The oversight measures shall be commensurate with the risks, level of autonomy and context of use of the high-risk AI system, and shall be ensured through either one or both of the following types of measures:
(a)
mjerama koje dobavljač utvrđuje i ugrađuje, ako je to tehnički izvedivo, u visokorizični UI sustav prije njegova stavljanja na tržište ili u upotrebu;
(a)
measures identified and built, when technically feasible, into the high-risk AI system by the provider before it is placed on the market or put into service;
(b)
mjerama koje dobavljač utvrđuje prije stavljanja visokorizičnog UI sustava na tržište ili u upotrebu, a koje su primjerene da ih provodi subjekt koji uvodi sustav.
(b)
measures identified by the provider before placing the high-risk AI system on the market or putting it into service and that are appropriate to be implemented by the deployer.
4. Za potrebe provedbe stavaka 1., 2. i 3. visokorizični UI sustav isporučuje se subjektu koji uvodi sustav na takav način da fizičke osobe kojima je povjeren ljudski nadzor mogu, ako je to potrebno i razmjerno:
4. For the purpose of implementing paragraphs 1, 2 and 3, the high-risk AI system shall be provided to the deployer in such a way that natural persons to whom human oversight is assigned are enabled, as appropriate and proportionate:
(a)
pravilno razumjeti relevantne kapacitete i ograničenja visokorizičnog UI sustava i biti sposobne na odgovarajući način pratiti njegov rad, među ostalim radi otkrivanja i uklanjanja nepravilnosti, disfunkcija i neočekivanih rezultata;
(a)
to properly understand the relevant capacities and limitations of the high-risk AI system and be able to duly monitor its operation, including in view of detecting and addressing anomalies, dysfunctions and unexpected performance;
(b)
biti na oprezu u pogledu moguće tendencije automatskog ili pretjeranog oslanjanja na izlazne podatke visokorizičnog UI sustava („automatizacijska pristranost”), osobito kad je riječ o visokorizičnim UI sustavima koji se upotrebljavaju za davanje informacija ili preporuka na temelju kojih odluke donose fizičke osobe;
(b)
to remain aware of the possible tendency of automatically relying or over-relying on the output produced by a high-risk AI system (automation bias), in particular for high-risk AI systems used to provide information or recommendations for decisions to be taken by natural persons;
(c)
točno protumačiti izlazne podatke visokorizičnog UI sustava, uzimajući u obzir, primjerice, dostupne alate i metode za tumačenje;
(c)
to correctly interpret the high-risk AI system’s output, taking into account, for example, the interpretation tools and methods available;
(d)
u određenoj situaciji odustati od upotrebe visokorizičnog UI sustava ili na neki drugi način zanemariti, nadjačati ili poništiti izlazni podatak visokorizičnog UI sustava;
(d)
to decide, in any particular situation, not to use the high-risk AI system or to otherwise disregard, override or reverse the output of the high-risk AI system;
(e)
intervenirati u rad visokorizičnog UI sustava ili prekinuti rad sustava pritiskom gumba za zaustavljanje ili sličnim postupkom koji omogućuje sigurno zaustavljanje sustava.
(e)
to intervene in the operation of the high-risk AI system or interrupt the system through a ‘stop’ button or a similar procedure that allows the system to come to a halt in a safe state.
5. Kad je riječ o visokorizičnim UI sustavima iz točke 1. podtočke (a) Priloga III., mjerama iz stavka 3. ovog članka mora se usto osigurati da subjekt koji uvodi sustav ne poduzima nikakve radnje ili odluke na temelju identifikacije proizišle iz sustava ako identifikaciju nisu zasebno provjerile i potvrdile barem dvije fizičke osobe koje imaju potrebne kompetencije, osposobljenost i ovlasti.
5. For high-risk AI systems referred to in point 1(a) of Annex III, the measures referred to in paragraph 3 of this Article shall be such as to ensure that, in addition, no action or decision is taken by the deployer on the basis of the identification resulting from the system unless that identification has been separately verified and confirmed by at least two natural persons with the necessary competence, training and authority.
Zahtjev da najmanje dvije fizičke osobe moraju provesti zasebnu provjeru ne primjenjuje se na visokorizične UI sustave koji se upotrebljavaju u svrhu kaznenog progona, migracija, nadzora državne granice ili azila ako se u pravu Unije ili nacionalnom pravu primjena tog zahtjeva smatra nerazmjernom.
The requirement for a separate verification by at least two natural persons shall not apply to high-risk AI systems used for the purposes of law enforcement, migration, border control or asylum, where Union or national law considers the application of this requirement to be disproportionate.
Članak 15.
Article 15
Točnost, otpornost i kibernetička sigurnost
Accuracy, robustness and cybersecurity
1. Visokorizični UI sustavi dizajniraju se i razvijaju tako da postignu odgovarajuću razinu točnosti, otpornosti i kibernetičke sigurnosti te da im je u tim aspektima radni učinak tijekom cijelog životnog ciklusa konstantan.
1. High-risk AI systems shall be designed and developed in such a way that they achieve an appropriate level of accuracy, robustness, and cybersecurity, and that they perform consistently in those respects throughout their lifecycle.
2. Kako bi se uvažili tehnički aspekti načina mjerenja odgovarajućih razina točnosti i otpornosti iz stavka 1. i ostali relevantni parametri učinkovitosti, Komisija u suradnji s relevantnim dionicima i organizacijama, kao što su tijela za mjeriteljstvo i utvrđivanje referentnih vrijednosti, prema potrebi potiče razvoj referentnih vrijednosti i metodologija mjerenja.
2. To address the technical aspects of how to measure the appropriate levels of accuracy and robustness set out in paragraph 1 and any other relevant performance metrics, the Commission shall, in cooperation with relevant stakeholders and organisations such as metrology and benchmarking authorities, encourage, as appropriate, the development of benchmarks and measurement methodologies.
3. Razine točnosti i relevantni parametri točnosti visokorizičnih UI sustava navode se u popratnim uputama za korištenje.
3. The levels of accuracy and the relevant accuracy metrics of high-risk AI systems shall be declared in the accompanying instructions of use.
4. Visokorizični UI sustavi moraju biti otporni što je više moguće na greške, kvarove ili nedosljednosti koji se mogu dogoditi unutar sustava ili okruženja u kojem sustav radi, osobito zbog njihove interakcije s fizičkim osobama ili drugim sustavima. U tom se pogledu moraju poduzimati tehničke i organizacijske mjere.
4. High-risk AI systems shall be as resilient as possible regarding errors, faults or inconsistencies that may occur within the system or the environment in which the system operates, in particular due to their interaction with natural persons or other systems. Technical and organisational measures shall be taken in this regard.
Otpornost visokorizičnih UI sustava može se postići tehničkom redundancijom, što može uključivati pričuvne planove ili sigurnosne planove.
The robustness of high-risk AI systems may be achieved through technical redundancy solutions, which may include backup or fail-safe plans.
Visokorizični UI sustavi koji nastavljaju učiti nakon stavljanja na tržište ili u upotrebu razvijaju se na takav način da se otkloni ili na najmanju moguću mjeru svede rizik od potencijalno pristranih izlaznih podataka koji utječu na ulazne podatke u budućim operacijama („povratne veze”) te da se osigura da se na takve eventualne povratne veze na odgovarajući način reagira primjerenim mjerama ublažavanja.
High-risk AI systems that continue to learn after being placed on the market or put into service shall be developed in such a way as to eliminate or reduce as far as possible the risk of possibly biased outputs influencing input for future operations (feedback loops), and as to ensure that any such feedback loops are duly addressed with appropriate mitigation measures.
5. Visokorizični UI sustavi moraju biti otporni na pokušaje neovlaštenih trećih strana da im izmijene upotrebu, izlazne podatke ili učinkovitost iskorištavanjem slabih točaka sustava.
5. High-risk AI systems shall be resilient against attempts by unauthorised third parties to alter their use, outputs or performance by exploiting system vulnerabilities.
Tehnička rješenja za osiguravanje kibernetičke sigurnosti visokorizičnih UI sustava moraju biti primjerena relevantnim okolnostima i rizicima.
The technical solutions aiming to ensure the cybersecurity of high-risk AI systems shall be appropriate to the relevant circumstances and the risks.
Tehnička rješenja za prevladavanje specifičnih slabih točaka umjetne inteligencije obuhvaćaju, prema potrebi, mjere za sprečavanje, otkrivanje, odgovor, rješavanje i kontrolu u vezi s napadima čiji je je cilj manipuliranje skupom podataka za treniranje („trovanje podataka”) ili prethodno treniranim komponentama koje se upotrebljavaju u treniranju („trovanje modela”), ulaznim podacima osmišljenima kako bi UI model načinio pogrešku („neprijateljski primjeri” ili „zaobilaženje modela”), napadima na povjerljivost ili nedostacima modela.
The technical solutions to address AI specific vulnerabilities shall include, where appropriate, measures to prevent, detect, respond to, resolve and control for attacks trying to manipulate the training data set (data poisoning), or pre-trained components used in training (model poisoning), inputs designed to cause the AI model to make a mistake (adversarial examples or model evasion), confidentiality attacks or model flaws.
ODJELJAK 3.
SECTION 3
Obveze dobavljača visokorizičnih UI sustava i subjekata koji ih uvode te drugih strana
Obligations of providers and deployers of high-risk AI systems and other parties
Članak 16.
Article 16
Obveze dobavljača visokorizičnih UI sustava
Obligations of providers of high-risk AI systems
Dobavljači visokorizičnih UI sustava:
Providers of high-risk AI systems shall:
(a)
osiguravaju da njihovi visokorizični UI sustavi ispunjavaju zahtjeve utvrđene u odjeljku 2.;
(a)
ensure that their high-risk AI systems are compliant with the requirements set out in Section 2;
(b)
na visokorizičnom UI sustavu ili, ako to nije moguće, na njegovoj ambalaži ili u njegovoj popratnoj dokumentaciji, ovisno o slučaju, navode svoje ime, registrirano trgovačko ime ili registrirani žig te adresu za kontakt;
(b)
indicate on the high-risk AI system or, where that is not possible, on its packaging or its accompanying documentation, as applicable, their name, registered trade name or registered trade mark, the address at which they can be contacted;
(c)
imaju uspostavljen sustav upravljanja kvalitetom koji je u skladu s člankom 17.;
(c)
have a quality management system in place which complies with Article 17;
(d)
vode dokumentaciju iz članka 18.;
(d)
keep the documentation referred to in Article 18;
(e)
čuvaju evidenciju koju automatski generiraju njihovi visokorizični UI sustavi dok su pod njihovom kontrolom, kako je navedeno u članku 19.;
(e)
when under their control, keep the logs automatically generated by their high-risk AI systems as referred to in Article 19;
(f)
osiguravaju da visokorizični UI sustav prije stavljanja na tržište ili u upotrebu prođe relevantni postupak ocjenjivanja sukladnosti iz članka 43.;
(f)
ensure that the high-risk AI system undergoes the relevant conformity assessment procedure as referred to in Article 43, prior to its being placed on the market or put into service;
(g)
sastavljaju EU izjavu o sukladnosti u skladu s člankom 47.;
(g)
draw up an EU declaration of conformity in accordance with Article 47;
(h)
stavljaju oznaku CE na visokorizični UI sustav ili, ako to nije moguće, na njegovu ambalažu ili u njegovu popratnu dokumentaciju kako bi se označila sukladnost s ovom Uredbom, u skladu s člankom 48.;
(h)
affix the CE marking to the high-risk AI system or, where that is not possible, on its packaging or its accompanying documentation, to indicate conformity with this Regulation, in accordance with Article 48;
(i)
ispunjavaju obveze registracije iz članka 49. stavka 1.;
(i)
comply with the registration obligations referred to in Article 49(1);
(j)
poduzimaju potrebne korektivne mjere i pružaju informacije u skladu s člankom 20.;
(j)
take the necessary corrective actions and provide information as required in Article 20;
(k)
na obrazloženi zahtjev nacionalnog nadležnog tijela dokazuju sukladnost visokorizičnog UI sustava sa zahtjevima utvrđenima u odjeljku 2.;
(k)
upon a reasoned request of a national competent authority, demonstrate the conformity of the high-risk AI system with the requirements set out in Section 2;
(l)
osiguravaju da visokorizični UI sustav ispunjava zahtjeve u pogledu pristupačnosti u skladu s direktivama (EU) 2016/2102 i (EU) 2019/882.
(l)
ensure that the high-risk AI system complies with accessibility requirements in accordance with Directives (EU) 2016/2102 and (EU) 2019/882.
Članak 17.
Article 17
Sustav upravljanja kvalitetom
Quality management system
1. Dobavljači visokorizičnih UI sustava uspostavljaju sustav upravljanja kvalitetom kojim se osigurava usklađenost s ovom Uredbom. O tom se sustavu na sustavan i uredan način sastavlja dokumentacija u obliku pisanih politika, postupaka i uputa, a obuhvaća barem sljedeće aspekte:
1. Providers of high-risk AI systems shall put a quality management system in place that ensures compliance with this Regulation. That system shall be documented in a systematic and orderly manner in the form of written policies, procedures and instructions, and shall include at least the following aspects:
(a)
strategiju za usklađenost s propisima, uključujući usklađenost s postupcima ocjenjivanja sukladnosti i postupcima za upravljanje izmjenama visokorizičnog UI sustava;
(a)
a strategy for regulatory compliance, including compliance with conformity assessment procedures and procedures for the management of modifications to the high-risk AI system;
(b)
tehnike, postupke i sustavne aktivnosti koji se moraju provoditi u dizajnu te kontroli i provjeri dizajna visokorizičnog UI sustava;
(b)
techniques, procedures and systematic actions to be used for the design, design control and design verification of the high-risk AI system;
(c)
tehnike, postupke i sustavne aktivnosti koji se moraju provoditi u razvoju te kontroli kvalitete i osiguravanju kvalitete visokorizičnog UI sustava;
(c)
techniques, procedures and systematic actions to be used for the development, quality control and quality assurance of the high-risk AI system;
(d)
postupke ispitivanja, testiranja i validacije koji se moraju provoditi prije, tijekom i poslije razvoja visokorizičnog UI sustava te učestalost kojom se moraju provoditi;
(d)
examination, test and validation procedures to be carried out before, during and after the development of the high-risk AI system, and the frequency with which they have to be carried out;
(e)
tehničke specifikacije, uključujući norme, koje se moraju primjenjivati i, ako relevantne usklađene norme nisu u cijelosti primijenjene ili ne obuhvaćaju sve relevantne zahtjeve utvrđene u odjeljku 2., sredstva koja se moraju upotrijebiti kako bi se osigurala usklađenost visokorizičnog UI sustava s tim zahtjevima;
(e)
technical specifications, including standards, to be applied and, where the relevant harmonised standards are not applied in full or do not cover all of the relevant requirements set out in Section 2, the means to be used to ensure that the high-risk AI system complies with those requirements;
(f)
sustave i postupke za upravljanje podacima, uključujući pribavljanje podataka, prikupljanje podataka, analizu podataka, označivanje podataka, pohranu podataka, filtriranje podataka, rudarenje podataka, agregiranje podataka, zadržavanje podataka i sve druge operacije s podacima koje se obavljaju prije stavljanja visokorizičnih UI sustava na tržište ili u upotrebu i u svrhu tog stavljanja;
(f)
systems and procedures for data management, including data acquisition, data collection, data analysis, data labelling, data storage, data filtration, data mining, data aggregation, data retention and any other operation regarding the data that is performed before and for the purpose of the placing on the market or the putting into service of high-risk AI systems;
(g)
sustav upravljanja rizikom iz članka 9.;
(g)
the risk management system referred to in Article 9;
(h)
uspostavu, primjenu i održavanje sustava praćenja nakon stavljanja na tržište u skladu s člankom 72.;
(h)
the setting-up, implementation and maintenance of a post-market monitoring system, in accordance with Article 72;
(i)
postupke povezane s prijavljivanjem ozbiljnog incidenta u skladu s člankom 73.;
(i)
procedures related to the reporting of a serious incident in accordance with Article 73;
(j)
postupke komunikacije s nacionalnim nadležnim tijelima, drugim relevantnim tijelima, uključujući tijela za pružanje ili olakšavanje pristupa podacima, prijavljenim tijelima, drugim operaterima, klijentima ili drugim zainteresiranim stranama;
(j)
the handling of communication with national competent authorities, other relevant authorities, including those providing or supporting the access to data, notified bodies, other operators, customers or other interested parties;
(k)
sustave i postupke za čuvanje evidencije o svoj relevantnoj dokumentaciji i svim relevantnim informacijama;
(k)
systems and procedures for record-keeping of all relevant documentation and information;
(l)
upravljanje resursima, uključujući mjere koje se odnose na sigurnost opskrbe;
(l)
resource management, including security-of-supply related measures;
(m)
okvir za odgovornost kojim se utvrđuju odgovornosti uprave i drugog osoblja za sve aspekte navedene u ovom stavku.
(m)
an accountability framework setting out the responsibilities of the management and other staff with regard to all the aspects listed in this paragraph.
2. Aspekti iz stavka 1. provode se razmjerno veličini dobavljačeve organizacije. Dobavljači u svakom slučaju moraju poštovati stupanj strogosti i razinu zaštite koji su potrebni kako bi se osigurala usklađenost njihovih UI sustava s ovom Uredbom.
2. The implementation of the aspects referred to in paragraph 1 shall be proportionate to the size of the provider’s organisation. Providers shall, in any event, respect the degree of rigour and the level of protection required to ensure the compliance of their high-risk AI systems with this Regulation.
3. Dobavljači visokorizičnih UI sustava koji podliježu obvezama u pogledu sustavâ upravljanja kvalitetom ili jednakovrijedne funkcije na temelju relevantnog sektorskog prava Unije mogu uključiti aspekte navedene u stavku 1. u sustave upravljanja kvalitetom u skladu s tim pravom.
3. Providers of high-risk AI systems that are subject to obligations regarding quality management systems or an equivalent function under relevant sectoral Union law may include the aspects listed in paragraph 1 as part of the quality management systems pursuant to that law.
4. Kad je riječ o dobavljačima koji su financijske institucije na koje se primjenjuju zahtjevi u pogledu njihova unutarnjeg upravljanja, njihovih aranžmana ili njihovih procesa na temelju prava Unije o financijskim uslugama, obveza uspostave sustava upravljanja kvalitetom, uz iznimku stavka 1. točaka (g), (h) i (i) ovog članka, smatra se ispunjenom ako se poštuju pravila o unutarnjem upravljanju, aranžmanima ili procesima u skladu s relevantnim pravom Unije o financijskim uslugama. U tom se cilju u obzir uzimaju sve usklađene norme iz članka 40.
4. For providers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law, the obligation to put in place a quality management system, with the exception of paragraph 1, points (g), (h) and (i) of this Article, shall be deemed to be fulfilled by complying with the rules on internal governance arrangements or processes pursuant to the relevant Union financial services law. To that end, any harmonised standards referred to in Article 40 shall be taken into account.
Članak 18.
Article 18
Čuvanje dokumentacije
Documentation keeping
1. Tijekom razdoblja od deset godina nakon što je visokorizični UI sustav umjetne inteligencije stavljen na tržište ili u upotrebu dobavljač nacionalnim nadležnim tijelima na raspolaganju drži:
1. The provider shall, for a period ending 10 years after the high-risk AI system has been placed on the market or put into service, keep at the disposal of the national competent authorities:
(a)
tehničku dokumentaciju iz članka 11.;
(a)
the technical documentation referred to in Article 11;
(b)
dokumentaciju o sustavu upravljanja kvalitetom iz članka 17.;
(b)
the documentation concerning the quality management system referred to in Article 17;
(c)
dokumentaciju o promjenama koje su odobrila prijavljena tijela, ako je primjenjivo;
(c)
the documentation concerning the changes approved by notified bodies, where applicable;
(d)
odluke i druge dokumente koje su izdala prijavljena tijela, ako je primjenjivo;
(d)
the decisions and other documents issued by the notified bodies, where applicable;
(e)
EU izjavu o sukladnosti iz članka 47.
(e)
the EU declaration of conformity referred to in Article 47.
2. Svaka država članica određuje uvjete pod kojima dokumentacija iz stavka 1. ostaje na raspolaganju nacionalnim nadležnim tijelima tijekom razdoblja navedenog u tom stavku u slučaju da dobavljač ili njegov ovlašteni zastupnik s poslovnim nastanom na njezinu državnom području proglasi stečaj ili prestane s radom prije kraja tog razdoblja.
2. Each Member State shall determine conditions under which the documentation referred to in paragraph 1 remains at the disposal of the national competent authorities for the period indicated in that paragraph for the cases when a provider or its authorised representative established on its territory goes bankrupt or ceases its activity prior to the end of that period.
3. Dobavljači koji su financijske institucije na koje se primjenjuju zahtjevi u pogledu njihova unutarnjeg upravljanja, njihovih aranžmana ili njihovih procesa na temelju prava Unije o financijskim uslugama čuvaju tehničku dokumentaciju u sklopu dokumentacije koja se čuva na temelju relevantnog prava Unije o financijskim uslugama.
3. Providers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law shall maintain the technical documentation as part of the documentation kept under the relevant Union financial services law.
Članak 19.
Article 19
Automatski generirana evidencija
Automatically generated logs
1. Dobavljači visokorizičnih UI sustava čuvaju evidenciju iz članka 12. stavka 1. koju automatski generiraju njihovi visokorizični UI sustavi u mjeri u kojoj je takva evidencija pod njihovom kontrolom. Ne dovodeći u pitanje primjenjivo pravo Unije ili nacionalno pravo, evidencija se čuva u razdoblju koje je primjereno namjeni visokorizičnog UI sustava, a najmanje šest mjeseci, osim ako je drukčije predviđeno u primjenjivom pravu Unije ili nacionalnom pravu, a posebno u pravu Unije o zaštiti osobnih podataka.
1. Providers of high-risk AI systems shall keep the logs referred to in Article 12(1), automatically generated by their high-risk AI systems, to the extent such logs are under their control. Without prejudice to applicable Union or national law, the logs shall be kept for a period appropriate to the intended purpose of the high-risk AI system, of at least six months, unless provided otherwise in the applicable Union or national law, in particular in Union law on the protection of personal data.
2. Dobavljači koji su financijske institucije na koje se primjenjuju zahtjevi u pogledu njihova unutarnjeg upravljanja, njihovih aranžmana ili njihovih procesa na temelju prava Unije o financijskim uslugama čuvaju evidenciju koju automatski generiraju njihovi visokorizični UI sustavi u sklopu dokumentacije koja se čuva na temelju relevantnog prava o financijskim uslugama.
2. Providers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law shall maintain the logs automatically generated by their high-risk AI systems as part of the documentation kept under the relevant financial services law.
Članak 20.
Article 20
Korektivne mjere i obveza obavješćivanja
Corrective actions and duty of information
1. Dobavljači visokorizičnih UI sustava koji smatraju ili imaju razloga smatrati da visokorizični UI sustav koji su stavili na tržište ili u upotrebu nije sukladan s ovom Uredbom odmah poduzimaju potrebne korektivne mjere kako bi, prema potrebi, postigli sukladnost tog sustava s ovom Uredbom, povukli ga, onesposobili ili ga opozvali. O dotičnom visokorizičnom UI sustavu na odgovarajući obavješćuju distributere i, ako je primjenjivo, subjekte koji uvode sustav, ovlaštenog zastupnika i uvoznike.
1. Providers of high-risk AI systems which consider or have reason to consider that a high-risk AI system that they have placed on the market or put into service is not in conformity with this Regulation shall immediately take the necessary corrective actions to bring that system into conformity, to withdraw it, to disable it, or to recall it, as appropriate. They shall inform the distributors of the high-risk AI system concerned and, where applicable, the deployers, the authorised representative and importers accordingly.
2. Ako visokorizični UI sustav predstavlja rizik u smislu članka 79. stavka 1. i dobavljač sustava sazna za taj rizik, on odmah istražuje uzroke, ako je primjenjivo u suradnji sa subjektom koji uvodi sustav i koji je to prijavio, te obavješćuje tijela za nadzor tržišta koja su nadležna za dotični visokorizični UI i, ako je primjenjivo, prijavljeno tijelo koje je izdalo potvrdu za taj visokorizični UI sustav u skladu s člankom 44., osobito o prirodi neusklađenosti i relevantnim korektivnim mjerama koje su eventualno već poduzete.
2. Where the high-risk AI system presents a risk within the meaning of Article 79(1) and the provider becomes aware of that risk, it shall immediately investigate the causes, in collaboration with the reporting deployer, where applicable, and inform the market surveillance authorities competent for the high-risk AI system concerned and, where applicable, the notified body that issued a certificate for that high-risk AI system in accordance with Article 44, in particular, of the nature of the non-compliance and of any relevant corrective action taken.
Članak 21.
Article 21
Suradnja s nadležnim tijelima
Cooperation with competent authorities
1. Dobavljači visokorizičnih UI sustava nadležnom tijelu na njegov obrazloženi zahtjev dostavljaju sve informacije i dokumentaciju koji su potrebni za dokazivanje sukladnosti visokorizičnog UI sustava sa zahtjevima utvrđenima u odjeljku 2. na jednom od službenih jezika institucija Unije koji je navela dotična država članica i koji to tijelo može bez poteškoća razumjeti.
1. Providers of high-risk AI systems shall, upon a reasoned request by a competent authority, provide that authority all the information and documentation necessary to demonstrate the conformity of the high-risk AI system with the requirements set out in Section 2, in a language which can be easily understood by the authority in one of the official languages of the institutions of the Union as indicated by the Member State concerned.
2. Na obrazloženi zahtjev nadležnog tijela dobavljači nadležnom tijelu koje je podnijelo zahtjev, ako je primjenjivo, također daju pristup automatski generiranoj evidenciji visokorizičnog UI sustava iz članka 12. stavka 1. u mjeri u kojoj je takva evidencija pod njihovom kontrolom.
2. Upon a reasoned request by a competent authority, providers shall also give the requesting competent authority, as applicable, access to the automatically generated logs of the high-risk AI system referred to in Article 12(1), to the extent such logs are under their control.
3. Sa svim informacijama koje nadležno tijelo pribavi na temelju ovog članka postupa se u skladu s obvezama u pogledu povjerljivosti utvrđenima u članku 78.
3. Any information obtained by a competent authority pursuant to this Article shall be treated in accordance with the confidentiality obligations set out in Article 78.
Članak 22.
Article 22
Ovlašteni zastupnici dobavljačâ visokorizičnih UI sustava
Authorised representatives of providers of high-risk AI systems
1. Prije stavljanja svojih visokorizičnih UI sustava na tržište Unije dobavljači s poslovnim nastanom u trećim zemljama pisanim ovlaštenjem imenuju ovlaštenog zastupnika s poslovnim nastanom u Uniji.
1. Prior to making their high-risk AI systems available on the Union market, providers established in third countries shall, by written mandate, appoint an authorised representative which is established in the Union.
2. Dobavljač omogućuje svojem ovlaštenom zastupniku da obavlja zadaće navedene u ovlaštenju koje je dobio od dobavljača.
2. The provider shall enable its authorised representative to perform the tasks specified in the mandate received from the provider.
3. Ovlašteni zastupnik obavlja zadaće navedene u ovlaštenju koje je dobio od dobavljača. On na zahtjev dostavlja primjerak ovlaštenja tijelima za nadzor tržišta na jednom od službenih jezika institucije Unije koji je navelo nadležno tijelo. Za potrebe ove Uredbe ovlaštenjem se ovlaštenom zastupniku daje ovlast da obavlja sljedeće zadaće:
3. The authorised representative shall perform the tasks specified in the mandate received from the provider. It shall provide a copy of the mandate to the market surveillance authorities upon request, in one of the official languages of the institutions of the Union, as indicated by the competent authority. For the purposes of this Regulation, the mandate shall empower the authorised representative to carry out the following tasks:
(a)
provjerava jesu li sastavljene EU izjava o sukladnosti iz članka 47. i tehnička dokumentacija iz članka 11. i je li dobavljač proveo odgovarajući postupak ocjenjivanja sukladnosti;
(a)
verify that the EU declaration of conformity referred to in Article 47 and the technical documentation referred to in Article 11 have been drawn up and that an appropriate conformity assessment procedure has been carried out by the provider;
(b)
nadležnim tijelima te nacionalnim tijelima iz članka 74. stavka 10., tijekom razdoblja od deset godina nakon što je visokorizični UI sustav stavljen na tržište ili u upotrebu, drži na raspolaganju kontaktne podatke dobavljača koji je imenovao ovlaštenog zastupnika, primjerak EU izjave o sukladnosti iz članka 47., tehničku dokumentaciju i, ako je primjenjivo, potvrdu koju je izdalo prijavljeno tijelo;
(b)
keep at the disposal of the competent authorities and national authorities or bodies referred to in Article 74(10), for a period of 10 years after the high-risk AI system has been placed on the market or put into service, the contact details of the provider that appointed the authorised representative, a copy of the EU declaration of conformity referred to in Article 47, the technical documentation and, if applicable, the certificate issued by the notified body;
(c)
nadležnom tijelu na obrazloženi zahtjev dostavlja sve informacije i dokumentaciju, uključujući one iz točke (b) ovog podstavka, koji su potrebni za dokazivanje sukladnosti visokorizičnog UI sustava sa zahtjevima utvrđenima u odjeljku 2., što uključuje pristup evidenciji iz članka 12. stavka 1. koju automatski generira visokorizični UI sustav u mjeri u kojoj je takva evidencija pod kontrolom dobavljača;
(c)
provide a competent authority, upon a reasoned request, with all the information and documentation, including that referred to in point (b) of this subparagraph, necessary to demonstrate the conformity of a high-risk AI system with the requirements set out in Section 2, including access to the logs, as referred to in Article 12(1), automatically generated by the high-risk AI system, to the extent such logs are under the control of the provider;
(d)
na obrazloženi zahtjev surađuje s nadležnim tijelima u svim aktivnostima koje ta tijela poduzimaju u vezi s visokorizičnim UI sustavom, posebno kako bi se smanjili i ublažili rizici koje predstavlja visokorizični UI sustav;
(d)
cooperate with competent authorities, upon a reasoned request, in any action the latter take in relation to the high-risk AI system, in particular to reduce and mitigate the risks posed by the high-risk AI system;
(e)
ako je primjenjivo, ispunjava obveze registracije iz članka 49. stavka 1. ili, ako registraciju provodi sam dobavljač, osigurava točnost informacija iz točke 3. odjeljka A Priloga VIII.
(e)
where applicable, comply with the registration obligations referred to in Article 49(1), or, if the registration is carried out by the provider itself, ensure that the information referred to in point 3 of Section A of Annex VIII is correct.
Ovlaštenjem se ovlaštenom zastupniku daje ovlast da mu se, uz dobavljača ili umjesto dobavljaču, obraćaju nadležna tijela u vezi sa svim pitanjima povezanima s osiguravanjem usklađenosti s ovom Uredbom.
The mandate shall empower the authorised representative to be addressed, in addition to or instead of the provider, by the competent authorities, on all issues related to ensuring compliance with this Regulation.
4. Ovlašteni zastupnik ukida ovlaštenje ako smatra ili ima razloga smatrati da dobavljač postupa protivno svojim obvezama na temelju ove Uredbe. U tom slučaju ovlašteni zastupnik o ukidanju ovlaštenja i razlozima za ukidanje odmah obavješćuje relevantno tijelo za nadzor tržišta i, ako je primjenjivo, relevantno prijavljeno tijelo.
4. The authorised representative shall terminate the mandate if it considers or has reason to consider the provider to be acting contrary to its obligations pursuant to this Regulation. In such a case, it shall immediately inform the relevant market surveillance authority, as well as, where applicable, the relevant notified body, about the termination of the mandate and the reasons therefor.
Članak 23.
Article 23
Obveze uvoznikâ
Obligations of importers
1. Prije stavljanja visokorizičnog UI sustava na tržište uvoznici osiguravaju da je sustav sukladan s ovom Uredbom tako da provjere je li:
1. Before placing a high-risk AI system on the market, importers shall ensure that the system is in conformity with this Regulation by verifying that:
(a)
dobavljač visokorizičnog UI sustava proveo relevantni postupak ocjenjivanja sukladnosti iz članka 43.;
(a)
the relevant conformity assessment procedure referred to in Article 43 has been carried out by the provider of the high-risk AI system;
(b)
dobavljač sastavio tehničku dokumentaciju u skladu s člankom 11. i Prilogom IV.;
(b)
the provider has drawn up the technical documentation in accordance with Article 11 and Annex IV;
(c)
sustav označen oznakom CE te jesu li mu priložene EU izjava o sukladnosti iz članka 47. i upute za korištenje;
(c)
the system bears the required CE marking and is accompanied by the EU declaration of conformity referred to in Article 47 and instructions for use;
(d)
dobavljač imenovao ovlaštenog zastupnika u skladu s člankom 22. stavkom 1.
(d)
the provider has appointed an authorised representative in accordance with Article 22(1).
2. Ako uvoznik ima dovoljno razloga smatrati da visokorizični UI sustav nije sukladan s ovom Uredbom, da je krivotvoren ili da mu je priložena krivotvorena dokumentacija, ne stavlja taj sustav na tržište dok on ne postane sukladan s ovom Uredbom. Ako visokorizični UI sustav predstavlja rizik u smislu članka 79. stavka 1., uvoznik o tome obavješćuje dobavljača sustava, ovlaštene zastupnike i tijela za nadzor tržišta.
2. Where an importer has sufficient reason to consider that a high-risk AI system is not in conformity with this Regulation, or is falsified, or accompanied by falsified documentation, it shall not place the system on the market until it has been brought into conformity. Where the high-risk AI system presents a risk within the meaning of Article 79(1), the importer shall inform the provider of the system, the authorised representative and the market surveillance authorities to that effect.
3. Uvoznici navode svoje ime, registrirano trgovačko ime ili registrirani žig i adresu za kontakt na visokorizičnom UI sustavu i na njegovoj ambalaži ili u njegovoj popratnoj dokumentaciji, ako je primjenjivo.
3. Importers shall indicate their name, registered trade name or registered trade mark, and the address at which they can be contacted on the high-risk AI system and on its packaging or its accompanying documentation, where applicable.
4. Dok je visokorizični UI sustav pod njihovom odgovornošću uvoznici osiguravaju da uvjeti skladištenja ili prijevoza, ako je primjenjivo, ne ugrožavaju njegovu usklađenost sa zahtjevima utvrđenima u odjeljku 2.
4. Importers shall ensure that, while a high-risk AI system is under their responsibility, storage or transport conditions, where applicable, do not jeopardise its compliance with the requirements set out in Section 2.
5. Uvoznici tijekom razdoblja od deset godina nakon što je visokorizični UI sustav stavljen na tržište ili u upotrebu čuvaju primjerak potvrde koju je izdalo prijavljeno tijelo, ako je primjenjivo, uputa za korištenje i EU izjave o sukladnosti iz članka 47.
5. Importers shall keep, for a period of 10 years after the high-risk AI system has been placed on the market or put into service, a copy of the certificate issued by the notified body, where applicable, of the instructions for use, and of the EU declaration of conformity referred to in Article 47.
6. Uvoznici relevantnim nadležnim tijelima na obrazloženi zahtjev dostavljaju sve informacije i dokumentaciju, uključujući informacije i dokumentaciju navedene u stavku 5., koji su potrebni za dokazivanje sukladnosti visokorizičnog UI sustava sa zahtjevima utvrđenima u odjeljku 2. na jeziku koji ta tijela mogu bez poteškoća razumjeti. U tu svrhu također osiguravaju da se tim tijelima na raspolaganje može staviti tehnička dokumentacija.
6. Importers shall provide the relevant competent authorities, upon a reasoned request, with all the necessary information and documentation, including that referred to in paragraph 5, to demonstrate the conformity of a high-risk AI system with the requirements set out in Section 2 in a language which can be easily understood by them. For this purpose, they shall also ensure that the technical documentation can be made available to those authorities.
7. Uvoznici surađuju s relevantnim nadležnim tijelima u svim mjerama koje ta tijela poduzimaju u vezi s visokorizičnim UI sustavom koji uvoznici stavljaju na tržište, posebno kako bi se smanjili i ublažili rizici koje on predstavlja.
7. Importers shall cooperate with the relevant competent authorities in any action those authorities take in relation to a high-risk AI system placed on the market by the importers, in particular to reduce and mitigate the risks posed by it.
Članak 24.
Article 24
Obveze distributerâ
Obligations of distributors
1. Prije stavljanja visokorizičnog UI sustava na raspolaganje na tržištu distributeri provjeravaju ima li on potrebnu oznaku CE, jesu li mu priloženi primjerak EU izjave o sukladnosti iz članka 47. i upute za korištenje te jesu li dobavljač i uvoznik tog sustava, ovisno o slučaju, ispunili svoje obveze utvrđene u članku 16. točkama (b) i (c) i članku 23. stavku 3.
1. Before making a high-risk AI system available on the market, distributors shall verify that it bears the required CE marking, that it is accompanied by a copy of the EU declaration of conformity referred to in Article 47 and instructions for use, and that the provider and the importer of that system, as applicable, have complied with their respective obligations as laid down in Article 16, points (b) and (c) and Article 23(3).
2. Ako distributer na temelju informacija kojima raspolaže smatra ili ima razloga smatrati da visokorizični UI sustav nije sukladan sa zahtjevima utvrđenima u odjeljku 2., ne stavlja visokorizični UI sustav na tržište dok sustav ne postane sukladan s tim zahtjevima. Osim toga, ako visokorizični UI sustav predstavlja rizik u smislu članka 79. stavka 1., distributer o tome obavješćuje dobavljača ili uvoznika tog sustava, ovisno o slučaju.
2. Where a distributor considers or has reason to consider, on the basis of the information in its possession, that a high-risk AI system is not in conformity with the requirements set out in Section 2, it shall not make the high-risk AI system available on the market until the system has been brought into conformity with those requirements. Furthermore, where the high-risk AI system presents a risk within the meaning of Article 79(1), the distributor shall inform the provider or the importer of the system, as applicable, to that effect.
3. Dok je visokorizični UI sustav pod njihovom odgovornošću, distributeri osiguravaju da uvjeti skladištenja ili prijevoza, ako je primjenjivo, ne ugrožavaju njegovu usklađenost sa zahtjevima utvrđenima u odjeljku 2.
3. Distributors shall ensure that, while a high-risk AI system is under their responsibility, storage or transport conditions, where applicable, do not jeopardise the compliance of the system with the requirements set out in Section 2.
4. Ako distributer na temelju informacija kojima raspolaže smatra ili ima razloga smatrati da visokorizični UI sustav koji je stavio na raspolaganje na tržištu nije sukladan sa zahtjevima utvrđenima u odjeljku 2., poduzima korektivne mjere potrebne kako bi postigao sukladnost dotičnog sustava s tim zahtjevima, povukao ga ili opozvao ili, osigurava da te korektivne mjere poduzme, prema potrebi, dobavljač, uvoznik ili drugi relevantni operater. Ako visokorizični UI sustav predstavlja rizik u smislu članka 79. stavka 1., distributer o tome odmah obavješćuje dobavljača ili uvoznika sustava i tijela nadležna za dotični visokorizični UI sustav, navodeći pojedinosti, osobito o neusklađenosti i poduzetim korektivnim mjerama.
4. A distributor that considers or has reason to consider, on the basis of the information in its possession, a high-risk AI system which it has made available on the market not to be in conformity with the requirements set out in Section 2, shall take the corrective actions necessary to bring that system into conformity with those requirements, to withdraw it or recall it, or shall ensure that the provider, the importer or any relevant operator, as appropriate, takes those corrective actions. Where the high-risk AI system presents a risk within the meaning of Article 79(1), the distributor shall immediately inform the provider or importer of the system and the authorities competent for the high-risk AI system concerned, giving details, in particular, of the non-compliance and of any corrective actions taken.
5. Distributeri visokorizičnog UI sustava relevantnom nadležnom tijelu na obrazloženi zahtjev tog tijela dostavljaju sve informacije i dokumentaciju o svim njihovim mjerama na temelju stavaka od 1. do 4. koje su potrebne za dokazivanje sukladnosti tog sustava sa zahtjevima utvrđenima u odjeljku 2.
5. Upon a reasoned request from a relevant competent authority, distributors of a high-risk AI system shall provide that authority with all the information and documentation regarding their actions pursuant to paragraphs 1 to 4 necessary to demonstrate the conformity of that system with the requirements set out in Section 2.
6. Distributeri surađuju s relevantnim nadležnim tijelima u svim mjerama koje ta tijela poduzimaju u vezi s visokorizičnim UI sustavom koji su distributeri stavili na raspolaganje na tržištu, posebno kako bi se smanjili ili ublažili rizici koje on predstavlja.
6. Distributors shall cooperate with the relevant competent authorities in any action those authorities take in relation to a high-risk AI system made available on the market by the distributors, in particular to reduce or mitigate the risk posed by it.
Članak 25.
Article 25
Odgovornosti duž vrijednosnog lanca umjetne inteligencije
Responsibilities along the AI value chain
1. Svi distributeri, uvoznici, subjekti koji uvode sustav ili ostale treće strane smatraju se dobavljačima visokorizičnog UI sustava za potrebe ove Uredbe i podliježu obvezama dobavljača iz članka 16. u bilo kojoj od sljedećih okolnosti:
1. Any distributor, importer, deployer or other third-party shall be considered to be a provider of a high-risk AI system for the purposes of this Regulation and shall be subject to the obligations of the provider under Article 16, in any of the following circumstances:
(a)
ako stave svoje ime ili žig na visokorizični UI sustav koji je već stavljen na tržište ili u upotrebu, ne dovodeći u pitanje ugovorne aranžmane u kojima je utvrđena drukčija raspodjela obveza;
(a)
they put their name or trademark on a high-risk AI system already placed on the market or put into service, without prejudice to contractual arrangements stipulating that the obligations are otherwise allocated;
(b)
ako znatno izmijene visokorizični UI sustav koji je već stavljen na tržište ili u upotrebu i to na takav način da i dalje ostane visokorizični UI sustav na temelju članka 6.;
(b)
they make a substantial modification to a high-risk AI system that has already been placed on the market or has already been put into service in such a way that it remains a high-risk AI system pursuant to Article 6;
(c)
ako izmijene namjenu UI sustava, uključujući UI sustav opće namjene, koji nije klasificiran kao visokorizičan i već je stavljen na tržište ili u upotrebu i to na takav način da dotični UI sustav postane visokorizični UI sustav u skladu s člankom 6.;
(c)
they modify the intended purpose of an AI system, including a general-purpose AI system, which has not been classified as high-risk and has already been placed on the market or put into service in such a way that the AI system concerned becomes a high-risk AI system in accordance with Article 6.
2. Ako nastupe okolnosti iz stavka 1., dobavljač koji je prvobitno stavio UI sustav na tržište ili u upotrebu više se ne smatra dobavljačem tog konkretnog UI sustava za potrebe ove Uredbe. Taj početni dobavljač blisko surađuje s novim dobavljačima te stavlja na raspolaganje potrebne informacije i pruža razumno očekivani tehnički pristup i drugu pomoć koji su potrebni za ispunjavanje obveza utvrđenih u ovoj Uredbi, posebno u pogledu poštovanja ocjenjivanja sukladnosti visokorizičnih UI sustava. Ovaj se stavak ne primjenjuje u slučajevima u kojima je početni dobavljač jasno naveo da se njegov UI sustav ne smije promijeniti u visokorizični UI sustav i stoga nije obuhvaćen obvezom predaje dokumentacije.
2. Where the circumstances referred to in paragraph 1 occur, the provider that initially placed the AI system on the market or put it into service shall no longer be considered to be a provider of that specific AI system for the purposes of this Regulation. That initial provider shall closely cooperate with new providers and shall make available the necessary information and provide the reasonably expected technical access and other assistance that are required for the fulfilment of the obligations set out in this Regulation, in particular regarding the compliance with the conformity assessment of high-risk AI systems. This paragraph shall not apply in cases where the initial provider has clearly specified that its AI system is not to be changed into a high-risk AI system and therefore does not fall under the obligation to hand over the documentation.
3. Kad je riječ o visokorizičnim UI sustavima koji su sigurnosna komponenta proizvoda obuhvaćenih zakonodavstvom Unije o usklađivanju navedenim u odjeljku A Priloga I., proizvođač proizvoda smatra se dobavljačem visokorizičnog UI sustava i podliježe obvezama iz članka 16. u bilo kojoj od sljedećih okolnosti:
3. In the case of high-risk AI systems that are safety components of products covered by the Union harmonisation legislation listed in Section A of Annex I, the product manufacturer shall be considered to be the provider of the high-risk AI system, and shall be subject to the obligations under Article 16 under either of the following circumstances:
(a)
visokorizični UI sustav stavljen je na tržište zajedno s dotičnim proizvodom pod imenom ili žigom proizvođača proizvoda;
(a)
the high-risk AI system is placed on the market together with the product under the name or trademark of the product manufacturer;
(b)
visokorizični UI sustav stavljen je u upotrebu pod imenom ili žigom proizvođača proizvoda nakon što je proizvod stavljen na tržište.
(b)
the high-risk AI system is put into service under the name or trademark of the product manufacturer after the product has been placed on the market.
4. Dobavljač visokorizičnog UI sustava i treća strana koja isporučuje UI sustav, alate, usluge, komponente ili procese koji se upotrebljavaju u visokorizičnom UI sustavu ili su u njega integrirani, pisanim dogovorom utvrđuju informacije, mogućnosti, tehnički pristup i drugu pomoć na temelju općepriznatih najnovijih dostignuća koji su potrebni kako bi dobavljač visokorizičnog UI sustava mogao u potpunosti ispuniti obveze utvrđene u ovoj Uredbi. Ovaj se stavak ne primjenjuje na treće strane koje stavljaju na raspolaganje javnosti alate, usluge, procese ili komponente, osim UI modelâ opće namjene, na temelju besplatne licencije za softver otvorenog koda.
4. The provider of a high-risk AI system and the third party that supplies an AI system, tools, services, components, or processes that are used or integrated in a high-risk AI system shall, by written agreement, specify the necessary information, capabilities, technical access and other assistance based on the generally acknowledged state of the art, in order to enable the provider of the high-risk AI system to fully comply with the obligations set out in this Regulation. This paragraph shall not apply to third parties making accessible to the public tools, services, processes, or components, other than general-purpose AI models, under a free and open-source licence.
Ured za umjetnu inteligenciju može razviti i preporučiti dobrovoljne modele uvjeta za ugovore između dobavljačâ visokorizičnih UI sustava i trećih strana koji isporučuju alate, usluge, komponente ili procese koji se upotrebljavaju u visokorizičnim UI sustavima ili su u njih integrirani. Pri izradi tih dobrovoljnih modela uvjeta Ured za umjetnu inteligenciju uzima u obzir moguće ugovorne zahtjeve primjenjive u određenim sektorima ili poslovnim slučajevima. Dobrovoljni modeli uvjeta objavljuju se i besplatno su dostupni u lako upotrebljivom elektroničkom obliku.
The AI Office may develop and recommend voluntary model terms for contracts between providers of high-risk AI systems and third parties that supply tools, services, components or processes that are used for or integrated into high-risk AI systems. When developing those voluntary model terms, the AI Office shall take into account possible contractual requirements applicable in specific sectors or business cases. The voluntary model terms shall be published and be available free of charge in an easily usable electronic format.
5. Stavcima 2. i 3. ne dovodi se u pitanje potreba za poštovanjem i zaštitom prava intelektualnog vlasništva, povjerljivih poslovnih informacija i poslovnih tajni u skladu s pravom Unije i nacionalnim pravom.
5. Paragraphs 2 and 3 are without prejudice to the need to observe and protect intellectual property rights, confidential business information and trade secrets in accordance with Union and national law.
Članak 26.
Article 26
Obveze subjekata koji uvode visokorizične UI sustave
Obligations of deployers of high-risk AI systems
1. Subjekti koji uvode visokorizične UI sustave poduzimaju odgovarajuće tehničke i organizacijske mjere kako bi osigurali da upotrebljavaju takve sustave u skladu s uputama za korištenje priloženima sustavima na temelju stavaka 3. i 6.
1. Deployers of high-risk AI systems shall take appropriate technical and organisational measures to ensure they use such systems in accordance with the instructions for use accompanying the systems, pursuant to paragraphs 3 and 6.
2. Subjekti koji uvode sustav dodjeljuju zadaću ljudskog nadzora fizičkim osobama koje imaju potrebne kompetencije, osposobljenost i ovlasti, te im pružaju potrebnu potporu.
2. Deployers shall assign human oversight to natural persons who have the necessary competence, training and authority, as well as the necessary support.
3. Obvezama utvrđenima u stavcima 1. i 2. ne dovode se u pitanje druge obveze subjekta koji uvodi sustav na temelju prava Unije ili nacionalnog prava ni sloboda subjekta koji uvodi sustav da organizira svoje resurse i aktivnosti u svrhu provedbe mjera ljudskog nadzora koje je naveo dobavljač.
3. The obligations set out in paragraphs 1 and 2, are without prejudice to other deployer obligations under Union or national law and to the deployer’s freedom to organise its own resources and activities for the purpose of implementing the human oversight measures indicated by the provider.
4. Ne dovodeći u pitanje stavke 1. i 2., subjekt koji uvodi sustav osigurava, u mjeri u kojoj ima kontrolu nad ulaznim podacima, da su ulazni podaci relevantni i dovoljno reprezentativni s obzirom na namjenu visokorizičnog UI sustava.
4. Without prejudice to paragraphs 1 and 2, to the extent the deployer exercises control over the input data, that deployer shall ensure that input data is relevant and sufficiently representative in view of the intended purpose of the high-risk AI system.
5. Subjekti koji uvode sustav prate rad visokorizičnog UI sustava u skladu s uputama za korištenje i prema potrebi obavješćuju dobavljače u skladu s člankom 72. Ako subjekti koji uvode sustav imaju razloga smatrati da korištenje visokorizičnog UI sustava u skladu s uputama može dovesti do toga da UI sustav predstavlja rizik u smislu članka 79. stavka 1., o tome bez nepotrebne odgode obavješćuju dobavljača ili distributera i relevantno tijelo za nadzor tržišta te suspendiraju korištenje tog sustava. Ako subjekti koji uvode sustav utvrde ozbiljan incident, o tom incidentu odmah obavješćuju prvo dobavljača, a zatim uvoznika ili distributera i relevantna tijela za nadzor tržišta. Ako subjekt koji uvodi sustav ne može stupiti u kontakt s dobavljačem, članak 73. primjenjuje se mutatis mutandis. Ova obveza ne obuhvaća osjetljive operativne podatke subjekata koji uvode UI sustave koji su tijela kaznenog progona.
5. Deployers shall monitor the operation of the high-risk AI system on the basis of the instructions for use and, where relevant, inform providers in accordance with Article 72. Where deployers have reason to consider that the use of the high-risk AI system in accordance with the instructions may result in that AI system presenting a risk within the meaning of Article 79(1), they shall, without undue delay, inform the provider or distributor and the relevant market surveillance authority, and shall suspend the use of that system. Where deployers have identified a serious incident, they shall also immediately inform first the provider, and then the importer or distributor and the relevant market surveillance authorities of that incident. If the deployer is not able to reach the provider, Article 73 shall apply mutatis mutandis. This obligation shall not cover sensitive operational data of deployers of AI systems which are law enforcement authorities.
Kad je riječ o subjektima koji uvode sustav, a koji su financijske institucije na koje se primjenjuju zahtjevi u pogledu njihova unutarnjeg upravljanja, njihovih aranžmana ili njihovih postupaka na temelju prava Unije o financijskim uslugama, obveza praćenja utvrđena u prvom podstavku smatra se ispunjenom ako se poštuju pravila o aranžmanima, procesima i mehanizmima unutarnjeg upravljanja na temelju relevantnog prava o financijskim uslugama.
For deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law, the monitoring obligation set out in the first subparagraph shall be deemed to be fulfilled by complying with the rules on internal governance arrangements, processes and mechanisms pursuant to the relevant financial service law.
6. Subjekti koji uvode visokorizične UI sustave čuvaju evidenciju koju automatski generira taj visokorizični UI sustav u mjeri u kojoj je takva evidencija pod njihovom kontrolom, tijekom razdoblja koje je primjereno namjeni visokorizičnog UI sustava, a najmanje šest mjeseci, osim ako je drukčije predviđeno u primjenjivom pravu Unije ili nacionalnom pravu, a posebno u pravu Unije o zaštiti osobnih podataka.
6. Deployers of high-risk AI systems shall keep the logs automatically generated by that high-risk AI system to the extent such logs are under their control, for a period appropriate to the intended purpose of the high-risk AI system, of at least six months, unless provided otherwise in applicable Union or national law, in particular in Union law on the protection of personal data.
Subjekti koji uvode sustav, a koji su financijske institucije na koje se primjenjuju zahtjevi u pogledu njihova unutarnjeg upravljanja, njihovih aranžmana ili njihovih procesa na temelju prava Unije o financijskim uslugama čuvaju evidenciju u sklopu dokumentacije koja se čuva na temelju relevantnog prava Unije o financijskim uslugama.
Deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law shall maintain the logs as part of the documentation kept pursuant to the relevant Union financial service law.
7. Prije stavljanja u upotrebu ili korištenja visokorizičnog UI sustava na radnom mjestu subjekti koji uvode visokorizični UI sustav, a koji su poslodavci, obavješćuju predstavnike radnika i radnike na koje se to odnosi da će podlijegati upotrebi visokorizičnog UI sustava. Te se informacije pružaju, ako je primjenjivo, u skladu s pravilima i postupcima utvrđenima u pravu Unije i nacionalnom pravu te praksom o informiranju radnika i njihovih predstavnika.
7. Before putting into service or using a high-risk AI system at the workplace, deployers who are employers shall inform workers’ representatives and the affected workers that they will be subject to the use of the high-risk AI system. This information shall be provided, where applicable, in accordance with the rules and procedures laid down in Union and national law and practice on information of workers and their representatives.
8. Subjekti koji uvode visokorizične UI sustave koji su javna tijela ili institucije, tijela, uredi ili agencije Unije moraju ispunjavati obveze registracije iz članka 49. Ako takvi subjekti koji uvode sustav utvrde da visokorizični UI sustav koji namjeravaju upotrebljavati nije registriran u bazi podataka EU-a iz članka 71., taj sustav ne upotrebljavaju i o tome obavješćuju dobavljača ili distributera.
8. Deployers of high-risk AI systems that are public authorities, or Union institutions, bodies, offices or agencies shall comply with the registration obligations referred to in Article 49. When such deployers find that the high-risk AI system that they envisage using has not been registered in the EU database referred to in Article 71, they shall not use that system and shall inform the provider or the distributor.
9. Ako je primjenjivo, subjekti koji uvode visokorizične UI sustave služe se informacijama iz članka 13. ove Uredbe da bi ispunili svoju obvezu provedbe procjene učinka na zaštitu podataka iz članka 35. Uredbe (EU) 2016/679 ili članka 27. Direktive (EU) 2016/680.
9. Where applicable, deployers of high-risk AI systems shall use the information provided under Article 13 of this Regulation to comply with their obligation to carry out a data protection impact assessment under Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680.
10. Ne dovodeći u pitanje Direktivu (EU) 2016/680, u okviru istrage radi ciljane potrage za osobom osumnjičenom ili osuđenom za počinjenje kaznenog djela, subjekt koji uvodi visokorizični UI sustav za naknadnu daljinsku biometrijsku identifikaciju od pravosudnog ili upravnog tijela čija je odluka obvezujuća i podliježe sudskom preispitivanju traži, ex ante ili bez nepotrebne odgode, a najkasnije u roku od 48 sati odobrenje za upotrebu tog sustava osim ako se on upotrebljava za početnu identifikaciju potencijalnog osumnjičenika na temelju objektivnih i provjerljivih činjenica izravno povezanih s kaznenim djelom. Svaka upotreba mora biti ograničena na ono što je nužno za istragu određenog kaznenog djela.
10. Without prejudice to Directive (EU) 2016/680, in the framework of an investigation for the targeted search of a person suspected or convicted of having committed a criminal offence, the deployer of a high-risk AI system for post-remote biometric identification shall request an authorisation, ex ante, or without undue delay and no later than 48 hours, by a judicial authority or an administrative authority whose decision is binding and subject to judicial review, for the use of that system, except when it is used for the initial identification of a potential suspect based on objective and verifiable facts directly linked to the offence. Each use shall be limited to what is strictly necessary for the investigation of a specific criminal offence.
Ako je odobrenje zatraženo na temelju prvog podstavka odbijeno, upotreba sustava za naknadnu daljinsku biometrijsku identifikaciju povezanog s tim zatraženim odobrenjem smjesta se zaustavlja te se brišu osobni podaci povezani s upotrebom visokorizičnog UI sustava za koji je zatraženo odobrenje.
If the authorisation requested pursuant to the first subparagraph is rejected, the use of the post-remote biometric identification system linked to that requested authorisation shall be stopped with immediate effect and the personal data linked to the use of the high-risk AI system for which the authorisation was requested shall be deleted.
Takav visokorizični UI sustav za naknadnu daljinsku biometrijsku identifikaciju ni u kojem se slučaju ne smije upotrebljavati u svrhu kaznenog progona na neciljani način, bez ikakve poveznice s kaznenim djelom, kaznenim postupkom, stvarnom i prisutnom ili stvarnom i predvidljivom prijetnjom kaznenog djela ili potragom za određenom nestalom osobom. Mora se osigurati da tijela kaznenog progona ne mogu donositi odluke koje proizvode negativan pravni učinak na osobu isključivo na temelju izlaznih podataka takvih sustava za naknadnu daljinsku biometrijsku identifikaciju.
In no case shall such high-risk AI system for post-remote biometric identification be used for law enforcement purposes in an untargeted way, without any link to a criminal offence, a criminal proceeding, a genuine and present or genuine and foreseeable threat of a criminal offence, or the search for a specific missing person. It shall be ensured that no decision that produces an adverse legal effect on a person may be taken by the law enforcement authorities based solely on the output of such post-remote biometric identification systems.
Ovim se stavkom ne dovode u pitanje članak 9. Uredbe (EU) 2016/679 i članak 10. Direktive (EU) 2016/680 kad je riječ o obradi biometrijskih podataka.
This paragraph is without prejudice to Article 9 of Regulation (EU) 2016/679 and Article 10 of Directive (EU) 2016/680 for the processing of biometric data.
Neovisno o namjeni ili subjektu koji uvodi sustav, svaka upotreba takvih visokorizičnih UI sustava dokumentira se u relevantnom policijskom spisu i na zahtjev se stavlja na raspolaganje relevantnom tijelu za nadzor tržišta i nacionalnom tijelu za zaštitu podataka, isključujući otkrivanje osjetljivih operativnih podataka povezanih s kaznenim progonom. Ovim se podstavkom ne dovode u pitanje ovlasti dodijeljene nadzornim tijelima Direktivom (EU) 2016/680.
Regardless of the purpose or deployer, each use of such high-risk AI systems shall be documented in the relevant police file and shall be made available to the relevant market surveillance authority and the national data protection authority upon request, excluding the disclosure of sensitive operational data related to law enforcement. This subparagraph shall be without prejudice to the powers conferred by Directive (EU) 2016/680 on supervisory authorities.
Subjekti koji uvode sustav podnose godišnja izvješća relevantnim tijelima za nadzor tržišta i nacionalnim tijelima za zaštitu podataka o svojoj upotrebi sustavâ za naknadnu daljinsku biometrijsku identifikaciju, isključujući otkrivanje osjetljivih operativnih podataka povezanih s kaznenim progonom. Izvješća mogu biti skupna kako bi obuhvatila više od jednog uvođenja.
Deployers shall submit annual reports to the relevant market surveillance and national data protection authorities on their use of post-remote biometric identification systems, excluding the disclosure of sensitive operational data related to law enforcement. The reports may be aggregated to cover more than one deployment.
Države članice mogu, u skladu s pravom Unije, uvesti restriktivnije propise o upotrebi sustavâ za naknadnu daljinsku biometrijsku identifikaciju.
Member States may introduce, in accordance with Union law, more restrictive laws on the use of post-remote biometric identification systems.
11. Ne dovodeći u pitanje članak 50. ove Uredbe, subjekti koji uvode visokorizične UI sustave iz Priloga III. koji donose odluke ili pomažu u donošenju odluka povezanih s fizičkim osobama obavješćuju fizičke osobe o tome da podliježu upotrebi visokorizičnog UI sustava. Na visokorizične UI sustave koji se upotrebljavaju u svrhu kaznenog progona primjenjuje se članak 13. Direktive (EU) 2016/680.
11. Without prejudice to Article 50 of this Regulation, deployers of high-risk AI systems referred to in Annex III that make decisions or assist in making decisions related to natural persons shall inform the natural persons that they are subject to the use of the high-risk AI system. For high-risk AI systems used for law enforcement purposes Article 13 of Directive (EU) 2016/680 shall apply.
12. Subjekti koji uvode sustav surađuju s relevantnim nadležnim tijelima u svim mjerama koje ta tijela poduzimaju u vezi s visokorizičnim UI sustavom radi provedbe ove Uredbe.
12. Deployers shall cooperate with the relevant competent authorities in any action those authorities take in relation to the high-risk AI system in order to implement this Regulation.
Članak 27.
Article 27
Procjena učinka visokorizičnih UI sustava na temeljna prava
Fundamental rights impact assessment for high-risk AI systems
1. Prije uvođenja visokorizičnog UI sustava iz članka 6. stavka 2., uz iznimku visokorizičnih UI sustava namijenjenih za upotrebu u području navedenom u točki 2. Priloga III., subjekti koji uvode sustav koji su javnopravna tijela ili su privatni subjekti koji pružaju javne usluge i subjekti koji uvode visokorizične UI sustave iz točke 5. podtočaka (b) i (c) Priloga III. provode procjenu učinka koji upotreba takvog sustava može imati na temeljna prava. U tu svrhu subjekti koji uvode sustav provode procjenu koja sadržava:
1. Prior to deploying a high-risk AI system referred to in Article 6(2), with the exception of high-risk AI systems intended to be used in the area listed in point 2 of Annex III, deployers that are bodies governed by public law, or are private entities providing public services, and deployers of high-risk AI systems referred to in points 5 (b) and (c) of Annex III, shall perform an assessment of the impact on fundamental rights that the use of such system may produce. For that purpose, deployers shall perform an assessment consisting of:
(a)
opis procesa subjekta koji uvodi sustav u kojima će se visokorizični UI sustav upotrebljavati u skladu sa svojom namjenom;
(a)
a description of the deployer’s processes in which the high-risk AI system will be used in line with its intended purpose;
(b)
opis razdoblja i učestalosti namjeravane upotrebe svakog visokorizičnog UI sustava;
(b)
a description of the period of time within which, and the frequency with which, each high-risk AI system is intended to be used;
(c)
kategorije fizičkih osoba i skupina na koje će vjerojatno utjecati upotreba sustava u konkretnom kontekstu;
(c)
the categories of natural persons and groups likely to be affected by its use in the specific context;
(d)
specifične rizike od štete koji će vjerojatno utjecati na kategorije fizičkih osoba ili skupine osoba identificirane u skladu s točkom (c) ovog stavka, uzimajući u obzir informacije koje je dostavio dobavljač u skladu s člankom 13.;
(d)
the specific risks of harm likely to have an impact on the categories of natural persons or groups of persons identified pursuant to point (c) of this paragraph, taking into account the information given by the provider pursuant to Article 13;
(e)
opis provedbe mjera ljudskog nadzora u skladu s uputama za korištenje;
(e)
a description of the implementation of human oversight measures, according to the instructions for use;
(f)
mjere koje se moraju poduzeti u slučaju materijalizacije tih rizika, uključujući aranžmane za unutarnje upravljanje i mehanizme za podnošenje pritužbi.
(f)
the measures to be taken in the case of the materialisation of those risks, including the arrangements for internal governance and complaint mechanisms.
2. Obveza utvrđene u stavku 1. primjenjuje se na prvu upotrebu visokorizičnog UI sustava. Subjekt koji uvodi sustav može se u sličnim slučajevima osloniti na prethodno provedene procjene učinka na temeljna prava ili postojeću procjenu učinka koju je proveo dobavljač. Ako tijekom upotrebe visokorizičnog UI sustava subjekt koji uvodi sustav smatra da se neki od elemenata iz stavka 1. promijenio ili da nije ažuriran, subjekt koji uvodi sustav poduzima potrebne korake za ažuriranje informacija.
2. The obligation laid down in paragraph 1 applies to the first use of the high-risk AI system. The deployer may, in similar cases, rely on previously conducted fundamental rights impact assessments or existing impact assessments carried out by provider. If, during the use of the high-risk AI system, the deployer considers that any of the elements listed in paragraph 1 has changed or is no longer up to date, the deployer shall take the necessary steps to update the information.
3. Nakon provedbe procjene iz stavka 1. ovog članka subjekt koji uvodi sustav obavješćuje tijelo za nadzor tržišta o njezinim rezultatima, podnošenjem ispunjenog predloška iz stavka 5. ovog članka u okviru obavijesti. U slučaju iz članka 46. stavka 1. subjekti koji uvode sustav mogu biti izuzeti od te obveze obavješćivanja.
3. Once the assessment referred to in paragraph 1 of this Article has been performed, the deployer shall notify the market surveillance authority of its results, submitting the filled-out template referred to in paragraph 5 of this Article as part of the notification. In the case referred to in Article 46(1), deployers may be exempt from that obligation to notify.
4. Ako je bilo koja od obveza utvrđenih u ovom članku već ispunjena procjenom učinka na zaštitu podataka provedenom na temelju članka 35. Uredbe (EU) 2016/679 ili članka 27. Direktive (EU) 2016/680, procjena učinka na temeljna prava iz stavka 1. ovog članka dopunjuje tu procjenu učinka na zaštitu podataka.
4. If any of the obligations laid down in this Article is already met through the data protection impact assessment conducted pursuant to Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680, the fundamental rights impact assessment referred to in paragraph 1 of this Article shall complement that data protection impact assessment.
5. Ured za umjetnu inteligenciju izrađuje predložak upitnika, među ostalim s pomoću automatiziranog alata, kako bi se subjektima koji uvode sustav olakšalo da na pojednostavnjen način ispune svoje obveze iz ovog članka.
5. The AI Office shall develop a template for a questionnaire, including through an automated tool, to facilitate deployers in complying with their obligations under this Article in a simplified manner.
ODJELJAK 4.
SECTION 4
Tijela koja provode prijavljivanje i prijavljena tijela
Notifying authorities and notified bodies
Članak 28.
Article 28
Tijela koja provode prijavljivanje
Notifying authorities
1. Svaka država članica imenuje ili osniva barem jedno tijelo koje provodi prijavljivanje, koje je odgovorno za utvrđivanje i provedbu postupaka potrebnih za ocjenjivanje, imenovanje, prijavljivanje i praćenje tijelâ za ocjenjivanje sukladnosti. Te postupke u suradnji razvijaju tijela koja provode prijavljivanje iz svih država članica.
1. Each Member State shall designate or establish at least one notifying authority responsible for setting up and carrying out the necessary procedures for the assessment, designation and notification of conformity assessment bodies and for their monitoring. Those procedures shall be developed in cooperation between the notifying authorities of all Member States.
2. Države članice mogu odlučiti da ocjenjivanje i praćenje iz stavka 1. provodi nacionalno akreditacijsko tijelo u smislu Uredbe (EZ) br. 765/2008 i u skladu s tom uredbom.
2. Member States may decide that the assessment and monitoring referred to in paragraph 1 is to be carried out by a national accreditation body within the meaning of, and in accordance with, Regulation (EC) No 765/2008.
3. Tijela koja provode prijavljivanje osnivaju se, organiziraju i rade na takav način da ne dolazi do sukoba interesa s tijelima za ocjenjivanje sukladnosti te da su zajamčene objektivnost i nepristranost njihovih aktivnosti.
3. Notifying authorities shall be established, organised and operated in such a way that no conflict of interest arises with conformity assessment bodies, and that the objectivity and impartiality of their activities are safeguarded.
4. Tijela koja provode prijavljivanje organizirana su na takav način da odluke povezane s prijavljivanjem tijela za ocjenjivanje sukladnosti donose nadležne osobe različite od osoba koje su provele ocjenjivanje tih tijela.
4. Notifying authorities shall be organised in such a way that decisions relating to the notification of conformity assessment bodies are taken by competent persons different from those who carried out the assessment of those bodies.
5. Tijela koja provode prijavljivanje ne smiju nuditi obavljanje aktivnosti niti smiju obavljati aktivnosti koje obavljaju tijela za ocjenjivanje sukladnosti, kao ni usluge savjetovanja na tržišnoj ili konkurentskoj osnovi.
5. Notifying authorities shall offer or provide neither any activities that conformity assessment bodies perform, nor any consultancy services on a commercial or competitive basis.
6. Tijela koja provode prijavljivanje u skladu s člankom 78. štite povjerljivost informacija koje su pribavila.
6. Notifying authorities shall safeguard the confidentiality of the information that they obtain, in accordance with Article 78.
7. Tijela koja provode prijavljivanje moraju imati adekvatan broj članova stručnog osoblja za propisno obavljanje svojih zadaća. Stručno osoblje mora imati, ako je primjenjivo, potrebno stručno znanje za svoju funkciju u područjima kao što su informacijske tehnologije, umjetna inteligencija i pravo, uključujući nadzor temeljnih prava.
7. Notifying authorities shall have an adequate number of competent personnel at their disposal for the proper performance of their tasks. Competent personnel shall have the necessary expertise, where applicable, for their function, in fields such as information technologies, AI and law, including the supervision of fundamental rights.
Članak 29.
Article 29
Zahtjev tijela za ocjenjivanje sukladnosti za prijavljivanje
Application of a conformity assessment body for notification
1. Tijela za ocjenjivanje sukladnosti podnose zahtjev za prijavljivanje tijelu koje provodi prijavljivanje u državi članici u kojoj imaju poslovni nastan.
1. Conformity assessment bodies shall submit an application for notification to the notifying authority of the Member State in which they are established.
2. Zahtjevu za prijavljivanje prilaže se opis aktivnosti ocjenjivanja sukladnosti, jednog ili više modula za ocjenjivanje sukladnosti i vrsta UI sustava za koje tijelo za ocjenjivanje sukladnosti tvrdi da je nadležno te potvrda o akreditaciji, ako postoji, koju je izdalo nacionalno akreditacijsko tijelo i kojom se potvrđuje da tijelo za ocjenjivanje sukladnosti ispunjava zahtjeve utvrđene u članku 31.
2. The application for notification shall be accompanied by a description of the conformity assessment activities, the conformity assessment module or modules and the types of AI systems for which the conformity assessment body claims to be competent, as well as by an accreditation certificate, where one exists, issued by a national accreditation body attesting that the conformity assessment body fulfils the requirements laid down in Article 31.
Dodaju se svi valjani dokumenti koji se odnose na postojeća imenovanja, na temelju drugog zakonodavstva Unije o usklađivanju, prijavljenog tijela koje podnosi zahtjev.
Any valid document related to existing designations of the applicant notified body under any other Union harmonisation legislation shall be added.
3. Ako dotično tijelo za ocjenjivanje sukladnosti ne može predočiti potvrdu o akreditaciji, tijelu koje provodi prijavljivanje dostavlja sve dokumente potrebne za provjeru, priznavanje i redovito praćenje njegova ispunjavanja zahtjeva utvrđenih u članku 31.
3. Where the conformity assessment body concerned cannot provide an accreditation certificate, it shall provide the notifying authority with all the documentary evidence necessary for the verification, recognition and regular monitoring of its compliance with the requirements laid down in Article 31.
4. Kad je riječ o prijavljenim tijelima koja su imenovana na temelju drugog zakonodavstva Unije o usklađivanju, svi dokumenti i potvrde povezani s tim imenovanjima mogu se, prema potrebi, upotrijebiti u postupku njihova imenovanja na temelju ove Uredbe. Prijavljeno tijelo ažurira dokumentaciju iz stavaka 2. i 3. ovog članka u slučaju bilo kakvih relevantnih promjena kako bi tijelu odgovornom za prijavljena tijela omogućilo da prati i provjerava kontinuirano ispunjavanje svih zahtjeva utvrđenih u članku 31.
4. For notified bodies which are designated under any other Union harmonisation legislation, all documents and certificates linked to those designations may be used to support their designation procedure under this Regulation, as appropriate. The notified body shall update the documentation referred to in paragraphs 2 and 3 of this Article whenever relevant changes occur, in order to enable the authority responsible for notified bodies to monitor and verify continuous compliance with all the requirements laid down in Article 31.
Članak 30.
Article 30
Postupak prijavljivanja
Notification procedure
1. Tijela koja provode prijavljivanje mogu prijaviti samo tijela za ocjenjivanje sukladnosti koja ispunjavaju zahtjeve utvrđene u članku 31.
1. Notifying authorities may notify only conformity assessment bodies which have satisfied the requirements laid down in Article 31.
2. Tijela koja provode prijavljivanje pomoću alata za elektroničko prijavljivanje koji je razvila i kojim upravlja Komisija dostavljaju prijavu Komisiji i drugim državama članicama o svakom tijelu za ocjenjivanje sukladnosti iz stavka 1.
2. Notifying authorities shall notify the Commission and the other Member States, using the electronic notification tool developed and managed by the Commission, of each conformity assessment body referred to in paragraph 1.
3. Prijavljivanje iz stavka 2. ovog članka obuhvaća sve pojedinosti o aktivnostima ocjenjivanja sukladnosti, jednom ili više modula za ocjenjivanje sukladnosti, vrstama dotičnih UI sustava te relevantnu potvrdu o stručnosti. Ako se prijavljivanje ne temelji na potvrdi o akreditaciji iz članka 29. stavka 2., tijelo koje provodi prijavljivanje dostavlja Komisiji i drugim državama članicama pisane dokaze kojima se potvrđuju stručnost tijela za ocjenjivanje sukladnosti i aranžmani koji su uspostavljeni kako bi se osiguralo da će se to tijelo redovito pratiti i da će nastaviti ispunjavati zahtjeve utvrđene u članku 31.
3. The notification referred to in paragraph 2 of this Article shall include full details of the conformity assessment activities, the conformity assessment module or modules, the types of AI systems concerned, and the relevant attestation of competence. Where a notification is not based on an accreditation certificate as referred to in Article 29(2), the notifying authority shall provide the Commission and the other Member States with documentary evidence which attests to the competence of the conformity assessment body and to the arrangements in place to ensure that that body will be monitored regularly and will continue to satisfy the requirements laid down in Article 31.
4. Dotično tijelo za ocjenjivanje sukladnosti može obavljati aktivnosti prijavljenog tijela samo ako Komisija ili druge države članice ne podnesu prigovor u roku od dva tjedna od prijavljivanja koje je izvršilo tijelo koje provodi prijavljivanje ako prijava uključuje potvrdu o akreditaciji iz članka 29. stavka 2. odnosno u roku od dva mjeseca od prijavljivanja koje je izvršilo tijelo koje provodi prijavljivanje ako prijava uključuje pisane dokaze iz članka 29. stavka 3.
4. The conformity assessment body concerned may perform the activities of a notified body only where no objections are raised by the Commission or the other Member States within two weeks of a notification by a notifying authority where it includes an accreditation certificate referred to in Article 29(2), or within two months of a notification by the notifying authority where it includes documentary evidence referred to in Article 29(3).
5. Ako se podnesu prigovori, Komisija bez odgode započinje savjetovanja s relevantnim državama članicama i tijelom za ocjenjivanje sukladnosti. S obzirom na savjetovanja Komisija odlučuje je li odobrenje opravdano. Komisija svoju odluku upućuje dotičnoj državi članici i relevantnom tijelu za ocjenjivanje sukladnosti.
5. Where objections are raised, the Commission shall, without delay, enter into consultations with the relevant Member States and the conformity assessment body. In view thereof, the Commission shall decide whether the authorisation is justified. The Commission shall address its decision to the Member State concerned and to the relevant conformity assessment body.
Članak 31.
Article 31
Zahtjevi koji se odnose na prijavljena tijela
Requirements relating to notified bodies
1. Prijavljeno tijelo osniva se na temelju nacionalnog prava države članice i ima pravnu osobnost.
1. A notified body shall be established under the national law of a Member State and shall have legal personality.
2. Prijavljena tijela moraju ispunjavati organizacijske zahtjeve i zahtjeve koji se odnose na upravljanje kvalitetom, resurse i procese koji su potrebni za obavljanje njihovih zadaća, kao i odgovarajuće zahtjeve u pogledu kibernetičke sigurnosti.
2. Notified bodies shall satisfy the organisational, quality management, resources and process requirements that are necessary to fulfil their tasks, as well as suitable cybersecurity requirements.
3. Organizacijskom strukturom, podjelom odgovornosti, linijama izvješćivanja i radom prijavljenih tijela osigurava se povjerenje u njihovu učinkovitost i u rezultate aktivnosti ocjenjivanja sukladnosti koje ona provode.
3. The organisational structure, allocation of responsibilities, reporting lines and operation of notified bodies shall ensure confidence in their performance, and in the results of the conformity assessment activities that the notified bodies conduct.
4. Prijavljena tijela moraju biti neovisna o dobavljaču visokorizičnog UI sustava u vezi s kojim provode aktivnosti ocjenjivanja sukladnosti. Prijavljena tijela ujedno moraju biti neovisna o svim ostalim operaterima koji imaju gospodarski interes u visokorizičnim UI sustavima koji se ocjenjuju, kao i o svim konkurentima dobavljača. Time se ne sprečava upotreba ocijenjenih visokorizičnih UI sustava koji su potrebni za rad tijela za ocjenjivanje sukladnosti ni upotreba takvih visokorizičnih UI sustava za osobne potrebe.
4. Notified bodies shall be independent of the provider of a high-risk AI system in relation to which they perform conformity assessment activities. Notified bodies shall also be independent of any other operator having an economic interest in high-risk AI systems assessed, as well as of any competitors of the provider. This shall not preclude the use of assessed high-risk AI systems that are necessary for the operations of the conformity assessment body, or the use of such high-risk AI systems for personal purposes.
5. Tijelo koje ocjenjuje sukladnost, njegovo najviše rukovodstvo i osoblje odgovorno za provedbu zadaća ocjenjivanja sukladnosti ne smiju biti izravno uključeni u dizajn, razvoj, stavljanje na tržište ili upotrebu visokorizičnih UI sustava niti smiju zastupati strane uključene u te aktivnosti. Oni ne smiju sudjelovati u aktivnostima koje bi mogle dovesti u pitanje njihovu neovisnost prosudbe ili njihov integritet u vezi s aktivnostima ocjenjivanja sukladnosti za koje su prijavljeni. To se osobito odnosi na usluge savjetovanja.
5. Neither a conformity assessment body, its top-level management nor the personnel responsible for carrying out its conformity assessment tasks shall be directly involved in the design, development, marketing or use of high-risk AI systems, nor shall they represent the parties engaged in those activities. They shall not engage in any activity that might conflict with their independence of judgement or integrity in relation to conformity assessment activities for which they are notified. This shall, in particular, apply to consultancy services.
6. Prijavljena tijela organizirana su i rade na način kojim se jamče neovisnost, objektivnost i nepristranost njihovih aktivnosti. Prijavljena tijela dokumentiraju i primjenjuju strukturu i postupke za očuvanje nepristranosti te za promicanje i primjenu načelâ nepristranosti u cijeloj svojoj organizaciji, među svojim osobljem i u svojim aktivnostima ocjenjivanja.
6. Notified bodies shall be organised and operated so as to safeguard the independence, objectivity and impartiality of their activities. Notified bodies shall document and implement a structure and procedures to safeguard impartiality and to promote and apply the principles of impartiality throughout their organisation, personnel and assessment activities.
7. Prijavljena tijela moraju imati uspostavljene dokumentirane postupke kojima se osigurava da njihovo osoblje, odbori, podružnice, podugovaratelji i sva povezana tijela ili osoblje vanjskih tijela u skladu s člankom 78. poštuju povjerljivost informacija koje prime tijekom obavljanja aktivnosti ocjenjivanja sukladnosti, osim ako se otkrivanje tih informacija zahtijeva zakonom. Osoblje prijavljenih tijela obvezno je čuvati profesionalnu tajnu u pogledu svih informacija koje pribavi tijekom obavljanja svojih zadaća na temelju ove Uredbe, osim u odnosu na tijela koja provode prijavljivanje u državi članici u kojoj prijavljena tijela obavljaju svoje aktivnosti.
7. Notified bodies shall have documented procedures in place ensuring that their personnel, committees, subsidiaries, subcontractors and any associated body or personnel of external bodies maintain, in accordance with Article 78, the confidentiality of the information which comes into their possession during the performance of conformity assessment activities, except when its disclosure is required by law. The staff of notified bodies shall be bound to observe professional secrecy with regard to all information obtained in carrying out their tasks under this Regulation, except in relation to the notifying authorities of the Member State in which their activities are carried out.
8. Prijavljena tijela moraju imati uspostavljene postupke za obavljanje aktivnosti kojima se propisno uzimaju u obzir veličina dobavljača, sektor u kojem on posluje, njegova struktura i stupanj složenosti dotičnog UI sustava.
8. Notified bodies shall have procedures for the performance of activities which take due account of the size of a provider, the sector in which it operates, its structure, and the degree of complexity of the AI system concerned.
9. Prijavljena tijela sklapaju odgovarajuće osiguranje od odgovornosti za svoje aktivnosti ocjenjivanja sukladnosti, osim ako u skladu s nacionalnim pravom odgovornost preuzima država članica u kojoj imaju poslovni nastan ili je ta država članica sama izravno odgovorna za ocjenjivanje sukladnosti.
9. Notified bodies shall take out appropriate liability insurance for their conformity assessment activities, unless liability is assumed by the Member State in which they are established in accordance with national law or that Member State is itself directly responsible for the conformity assessment.
10. Prijavljena tijela moraju biti sposobna provoditi sve svoje zadaće na temelju ove Uredbe s najvećom razinom profesionalnog integriteta i potrebnim kompetencijama u određenom području, bez obzira na to provode li te zadaće sama prijavljena tijela ili se one provode u njihovo ime i pod njihovom odgovornošću.
10. Notified bodies shall be capable of carrying out all their tasks under this Regulation with the highest degree of professional integrity and the requisite competence in the specific field, whether those tasks are carried out by notified bodies themselves or on their behalf and under their responsibility.
11. Prijavljena tijela moraju imati dostatne unutarnje kompetencije da bi mogla djelotvorno evaluirati zadaće koje u njihovo ime obavljaju vanjske strane. Prijavljeno tijelo mora kontinuirano imati dovoljan broj članova administrativnog, tehničkog, pravnog i znanstvenog osoblja koji posjeduju iskustvo i znanje u vezi s relevantnim vrstama UI sustava, podacima i obradom podataka te u vezi sa zahtjevima utvrđenima u odjeljku 2.
11. Notified bodies shall have sufficient internal competences to be able effectively to evaluate the tasks conducted by external parties on their behalf. The notified body shall have permanent availability of sufficient administrative, technical, legal and scientific personnel who possess experience and knowledge relating to the relevant types of AI systems, data and data computing, and relating to the requirements set out in Section 2.
12. Prijavljena tijela sudjeluju u koordinacijskim aktivnostima iz članka 38. Osim toga, izravno sudjeluju ili imaju predstavnika u europskim organizacijama za normizaciju, ili osiguravaju da su upoznata s relevantnim normama i prate razvoj zbivanja.
12. Notified bodies shall participate in coordination activities as referred to in Article 38. They shall also take part directly, or be represented in, European standardisation organisations, or ensure that they are aware and up to date in respect of relevant standards.
Članak 32.
Article 32
Pretpostavka sukladnosti sa zahtjevima koji se odnose na prijavljena tijela
Presumption of conformity with requirements relating to notified bodies
Ako tijelo za ocjenjivanje sukladnosti dokaže svoju sukladnost s kriterijima utvrđenima u relevantnim usklađenim normama ili njihovim dijelovima, na koje su upućivanja objavljena u Službenom listu Europske unije, pretpostavlja se da ispunjava zahtjeve utvrđene u članku 31. u mjeri u kojoj primjenjive usklađene norme obuhvaćaju te zahtjeve.
Where a conformity assessment body demonstrates its conformity with the criteria laid down in the relevant harmonised standards or parts thereof, the references of which have been published in the Official Journal of the European Union, it shall be presumed to comply with the requirements set out in Article 31 in so far as the applicable harmonised standards cover those requirements.
Članak 33.
Article 33
Podružnice prijavljenih tijela i podugovaranje
Subsidiaries of notified bodies and subcontracting
1. Ako prijavljeno tijelo određene zadaće povezane s ocjenjivanjem sukladnosti povjeri podugovarateljima ili ih prenese podružnici, ono osigurava da podugovaratelj ili podružnica ispunjava zahtjeve utvrđene u članku 31. te o tome obavješćuje tijelo koje provodi prijavljivanje.
1. Where a notified body subcontracts specific tasks connected with the conformity assessment or has recourse to a subsidiary, it shall ensure that the subcontractor or the subsidiary meets the requirements laid down in Article 31, and shall inform the notifying authority accordingly.
2. Prijavljena tijela preuzimaju punu odgovornost za svoje zadaće koje obavljaju podugovaratelji ili podružnice.
2. Notified bodies shall take full responsibility for the tasks performed by any subcontractors or subsidiaries.
3. Aktivnosti se samo uz suglasnost dobavljača smiju povjeriti podugovaratelju odnosno smije ih provoditi podružnica. Prijavljena tijela objavljuju popis svojih podružnica.
3. Activities may be subcontracted or carried out by a subsidiary only with the agreement of the provider. Notified bodies shall make a list of their subsidiaries publicly available.
4. Relevantni dokumenti koji se odnose na ocjenjivanje kvalifikacija podugovaratelja ili podružnica i rada koji su oni obavili na temelju ove Uredbe stavljaju se na raspolaganje tijelu koje provodi prijavljivanje tijekom razdoblja od pet godina od datuma okončanja podugovaranja.
4. The relevant documents concerning the assessment of the qualifications of the subcontractor or the subsidiary and the work carried out by them under this Regulation shall be kept at the disposal of the notifying authority for a period of five years from the termination date of the subcontracting.
Članak 34.
Article 34
Operativne obveze prijavljenih tijela
Operational obligations of notified bodies
1. Prijavljena tijela provjeravaju sukladnost visokorizičnih UI sustava u skladu s postupcima ocjenjivanja sukladnosti utvrđenima u članku 43.
1. Notified bodies shall verify the conformity of high-risk AI systems in accordance with the conformity assessment procedures set out in Article 43.
2. Prijavljena tijela pri obavljanju svojih aktivnosti izbjegavaju nepotrebno opterećenje za dobavljače i uzimaju u obzir veličinu dobavljača, sektor u kojem posluje, njegovu strukturu i stupanj složenosti dotičnog visokorizičnog UI sustava, posebno kako bi se na najmanju moguću mjeru sveli administrativno opterećenje i troškovi usklađivanja za mikropoduzeća i mala poduzeća u smislu Preporuke 2003/361/EZ. Prijavljeno tijelo ipak poštuje stupanj strogosti i razinu zaštite koji su potrebni kako bi visokorizični UI sustav ispunjavao zahtjeve ove Uredbe.
2. Notified bodies shall avoid unnecessary burdens for providers when performing their activities, and take due account of the size of the provider, the sector in which it operates, its structure and the degree of complexity of the high-risk AI system concerned, in particular in view of minimising administrative burdens and compliance costs for micro- and small enterprises within the meaning of Recommendation 2003/361/EC. The notified body shall, nevertheless, respect the degree of rigour and the level of protection required for the compliance of the high-risk AI system with the requirements of this Regulation.
3. Prijavljena tijela tijelu koje provodi prijavljivanje iz članka 28. stavljaju na raspolaganje i na zahtjev dostavljaju svu relevantnu dokumentaciju, uključujući dokumentaciju dobavljača, kako bi to tijelo moglo provoditi svoje aktivnosti ocjenjivanja, imenovanja, prijavljivanja i praćenja te kako bi se olakšalo ocjenjivanje opisano u ovom odjeljku.
3. Notified bodies shall make available and submit upon request all relevant documentation, including the providers’ documentation, to the notifying authority referred to in Article 28 to allow that authority to conduct its assessment, designation, notification and monitoring activities, and to facilitate the assessment outlined in this Section.
Članak 35.
Article 35
Identifikacijski brojevi i popisi prijavljenih tijela
Identification numbers and lists of notified bodies
1. Komisija svakom prijavljenom tijelu dodjeljuje jedinstveni identifikacijski broj, čak i ako je tijelo prijavljeno na temelju više od jednog akta Unije.
1. The Commission shall assign a single identification number to each notified body, even where a body is notified under more than one Union act.
2. Komisija objavljuje popis tijela prijavljenih na temelju ove Uredbe, uključujući njihove identifikacijske brojeve i aktivnosti za koje su prijavljena. Komisija osigurava ažuriranje tog popisa.
2. The Commission shall make publicly available the list of the bodies notified under this Regulation, including their identification numbers and the activities for which they have been notified. The Commission shall ensure that the list is kept up to date.
Članak 36.
Article 36
Promjene u vezi s prijavama
Changes to notifications
1. Tijelo koje provodi prijavljivanje obavješćuje Komisiju i druge države članice o svim relevantnim promjenama u vezi s prijavom prijavljenog tijela pomoću alata za elektroničko prijavljivanje iz članka 30. stavka 2.
1. The notifying authority shall notify the Commission and the other Member States of any relevant changes to the notification of a notified body via the electronic notification tool referred to in Article 30(2).
2. Postupci utvrđeni u člancima 29. i 30. primjenjuju se na proširenja opsega prijave.
2. The procedures laid down in Articles 29 and 30 shall apply to extensions of the scope of the notification.
Na promjene u vezi s prijavom, uz iznimku proširenja njezina opsega, primjenjuju se postupci utvrđeni u stavcima od 3. do 9.
For changes to the notification other than extensions of its scope, the procedures laid down in paragraphs (3) to (9) shall apply.
3. Ako prijavljeno tijelo odluči prestati obavljati aktivnosti ocjenjivanja sukladnosti, o tome obavješćuje tijelo koje provodi prijavljivanje i dotične dobavljače u najkraćem mogućem roku, a u slučaju planiranog prestanka obavljanja aktivnosti barem godinu dana prije prestanka obavljanja svojih aktivnosti. Potvrde prijavljenog tijela mogu ostati valjane tijekom razdoblja od devet mjeseci nakon prestanka obavljanja aktivnosti prijavljenog tijela pod uvjetom da je neko drugo prijavljeno tijelo u pisanom obliku potvrdilo da će preuzeti odgovornost za visokorizične UI sustave na koje se te potvrde odnose. Potonje prijavljeno tijelo provodi cjelovito ocjenjivanje dotičnih visokorizičnih UI sustava do kraja tog devetomjesečnog razdoblja prije nego što izda nove potvrde za te sustave. Ako je prijavljeno tijelo prestalo obavljati svoje aktivnosti, tijelo koje provodi prijavljivanje povlači imenovanje.
3. Where a notified body decides to cease its conformity assessment activities, it shall inform the notifying authority and the providers concerned as soon as possible and, in the case of a planned cessation, at least one year before ceasing its activities. The certificates of the notified body may remain valid for a period of nine months after cessation of the notified body’s activities, on condition that another notified body has confirmed in writing that it will assume responsibilities for the high-risk AI systems covered by those certificates. The latter notified body shall complete a full assessment of the high-risk AI systems affected by the end of that nine-month-period before issuing new certificates for those systems. Where the notified body has ceased its activity, the notifying authority shall withdraw the designation.
4. Ako tijelo koje provodi prijavljivanje ima dovoljno razloga smatrati da određeno prijavljeno tijelo više ne ispunjava zahtjeve utvrđene u članku 31. ili da ne ispunjava svoje obveze, tijelo koje provodi prijavljivanje bez odgode i uz najveću moguću pozornost istražuje to pitanje. U tom kontekstu tijelo koje provodi prijavljivanje obavješćuje dotično prijavljeno tijelo o podnesenim prigovorima i daje mu mogućnost da se izjasni. Ako tijelo koje provodi prijavljivanje zaključi da prijavljeno tijelo više ne ispunjava zahtjeve utvrđene u članku 31. ili da ne ispunjava svoje obveze, ono prema potrebi ograničava, suspendira ili povlači imenovanje, ovisno o težini neispunjavanja tih zahtjeva ili obveza. Tijelo koje provodi prijavljivanje o tome odmah obavješćuje Komisiju i druge države članice.
4. Where a notifying authority has sufficient reason to consider that a notified body no longer meets the requirements laid down in Article 31, or that it is failing to fulfil its obligations, the notifying authority shall without delay investigate the matter with the utmost diligence. In that context, it shall inform the notified body concerned about the objections raised and give it the possibility to make its views known. If the notifying authority comes to the conclusion that the notified body no longer meets the requirements laid down in Article 31 or that it is failing to fulfil its obligations, it shall restrict, suspend or withdraw the designation as appropriate, depending on the seriousness of the failure to meet those requirements or fulfil those obligations. It shall immediately inform the Commission and the other Member States accordingly.
5. Ako je imenovanje prijavljenog tijela suspendirano, ograničeno ili djelomično ili potpuno povučeno, to tijelo o tome obavješćuje dotične dobavljače u roku od deset dana.
5. Where its designation has been suspended, restricted, or fully or partially withdrawn, the notified body shall inform the providers concerned within 10 days.
6. U slučaju ograničenja, suspenzije ili povlačenja imenovanja, tijelo koje provodi prijavljivanje poduzima odgovarajuće mjere kako bi osiguralo da se spisi dotičnog prijavljenog tijela sačuvaju te da se stave na raspolaganje tijelima koja provode prijavljivanje u drugim državama članicama i tijelima za nadzor tržišta na njihov zahtjev.
6. In the event of the restriction, suspension or withdrawal of a designation, the notifying authority shall take appropriate steps to ensure that the files of the notified body concerned are kept, and to make them available to notifying authorities in other Member States and to market surveillance authorities at their request.
7. U slučaju ograničenja, suspenzije ili povlačenja imenovanja, tijelo koje provodi prijavljivanje:
7. In the event of the restriction, suspension or withdrawal of a designation, the notifying authority shall:
(a)
ocjenjuje učinak koji to ima na potvrde koje je izdalo prijavljeno tijelo;
(a)
assess the impact on the certificates issued by the notified body;
(b)
Komisiji i drugim državama članicama podnosi izvješće o svojim nalazima u roku od tri mjeseca nakon što ih je obavijestilo o promjenama u vezi s imenovanjem;
(b)
submit a report on its findings to the Commission and the other Member States within three months of having notified the changes to the designation;
(c)
od prijavljenog tijela zahtijeva da u razumnom roku koji odredi tijelo koje provodi prijavljivanje suspendira ili povuče sve nepropisno izdane potvrde kako bi se osigurala kontinuirana sukladnost visokorizičnih UI sustava na tržištu;
(c)
require the notified body to suspend or withdraw, within a reasonable period of time determined by the authority, any certificates which were unduly issued, in order to ensure the continuing conformity of high-risk AI systems on the market;
(d)
obavješćuje Komisiju i države članice o potvrdama za koje je zatražilo suspenziju ili povlačenje;
(d)
inform the Commission and the Member States about certificates the suspension or withdrawal of which it has required;
(e)
nacionalnim nadležnim tijelima države članice u kojoj dobavljač ima registrirano mjesto poslovanja dostavlja sve relevantne informacije o potvrdama za koje je zatražilo suspenziju ili povlačenje; to tijelo prema potrebi poduzima odgovarajuće mjere kako bi se izbjegao potencijalni rizik za zdravlje, sigurnost ili temeljna prava.
(e)
provide the national competent authorities of the Member State in which the provider has its registered place of business with all relevant information about the certificates of which it has required the suspension or withdrawal; that authority shall take the appropriate measures, where necessary, to avoid a potential risk to health, safety or fundamental rights.
8. Osim ako su potvrde nepropisno izdane i ako je imenovanje suspendirano ili ograničeno, potvrde ostaju valjane u jednoj od sljedećih okolnosti:
8. With the exception of certificates unduly issued, and where a designation has been suspended or restricted, the certificates shall remain valid in one of the following circumstances:
(a)
tijelo koje provodi prijavljivanje potvrdilo je, u roku od mjesec dana od suspenzije ili ograničenja, da potvrde na koje se odnosi suspenzija ili ograničenje ne predstavljaju rizik za zdravlje, sigurnost ili temeljna prava te je navelo vremenski raspored za mjere s pomoću kojih bi se suspenzija ili ograničenje mogli ispraviti; ili
(a)
the notifying authority has confirmed, within one month of the suspension or restriction, that there is no risk to health, safety or fundamental rights in relation to certificates affected by the suspension or restriction, and the notifying authority has outlined a timeline for actions to remedy the suspension or restriction; or
(b)
tijelo koje provodi prijavljivanje potvrdilo je da se tijekom razdoblja suspenzije ili ograničenja neće izdavati, mijenjati ili ponovno izdavati potvrde na koje se odnosi suspenzija te navodi je li prijavljeno tijelo sposobno nastaviti pratiti već izdane potvrde i odgovarati za njih tijekom razdoblja suspenzije ili ograničenja. U slučaju da tijelo koje provodi prijavljivanje utvrdi da prijavljeno tijelo nije sposobno dati podršku za već izdane potvrde, dobavljač sustava na koji se potvrda odnosi u roku od tri mjeseca od suspenzije ili ograničenja u pisanom obliku potvrđuje nacionalnim nadležnim tijelima države članice u kojoj ima registrirano mjesto poslovanja da neko drugo kvalificirano prijavljeno tijelo privremeno preuzima funkcije prijavljenog tijela u pogledu praćenja potvrda i odgovaranja za njih tijekom razdoblja suspenzije ili ograničenja.
(b)
the notifying authority has confirmed that no certificates relevant to the suspension will be issued, amended or re-issued during the course of the suspension or restriction, and states whether the notified body has the capability of continuing to monitor and remain responsible for existing certificates issued for the period of the suspension or restriction; in the event that the notifying authority determines that the notified body does not have the capability to support existing certificates issued, the provider of the system covered by the certificate shall confirm in writing to the national competent authorities of the Member State in which it has its registered place of business, within three months of the suspension or restriction, that another qualified notified body is temporarily assuming the functions of the notified body to monitor and remain responsible for the certificates during the period of suspension or restriction.
9. Osim ako su potvrde nepropisno izdane i ako je imenovanje povučeno, potvrde ostaju valjane tijekom razdoblja od devet mjeseci u sljedećim okolnostima:
9. With the exception of certificates unduly issued, and where a designation has been withdrawn, the certificates shall remain valid for a period of nine months under the following circumstances:
(a)
nacionalno nadležno tijelo države članice u kojoj dobavljač visokorizičnog UI sustava na koji se potvrda odnosi ima registrirano mjesto poslovanja potvrdilo je da dotični visokorizični UI sustavi ne predstavljaju rizik za zdravlje, sigurnost ili temeljna prava; i
(a)
the national competent authority of the Member State in which the provider of the high-risk AI system covered by the certificate has its registered place of business has confirmed that there is no risk to health, safety or fundamental rights associated with the high-risk AI systems concerned; and
(b)
drugo prijavljeno tijelo potvrdilo je u pisanom obliku da će preuzeti izravnu odgovornost za te UI sustave i da će dovršiti njihovo ocjenjivanje u roku od dvanaest mjeseci od povlačenja imenovanja.
(b)
another notified body has confirmed in writing that it will assume immediate responsibility for those AI systems and completes its assessment within 12 months of the withdrawal of the designation.
U okolnostima iz prvog podstavka nacionalno nadležno tijelo države članice u kojoj dobavljač sustava na koji se potvrda odnosi ima registrirano mjesto poslovanja može produljiti privremenu valjanost potvrda za dodatna razdoblja od tri mjeseca, pri čemu ukupno razdoblje ne smije biti dulje od 12 mjeseci.
In the circumstances referred to in the first subparagraph, the national competent authority of the Member State in which the provider of the system covered by the certificate has its place of business may extend the provisional validity of the certificates for additional periods of three months, which shall not exceed 12 months in total.
Nacionalno nadležno tijelo ili prijavljeno tijelo koje preuzima funkcije prijavljenog tijela na koje se odnosi promjena u vezi s imenovanjem odmah o tome obavješćuje Komisiju, druge države članice i druga prijavljena tijela.
The national competent authority or the notified body assuming the functions of the notified body affected by the change of designation shall immediately inform the Commission, the other Member States and the other notified bodies thereof.
Članak 37.
Article 37
Osporavanje stručnosti prijavljenih tijela
Challenge to the competence of notified bodies
1. Komisija prema potrebi istražuje sve slučajeve u kojima postoje razlozi za sumnju u stručnost prijavljenog tijela ili u to da prijavljeno tijelo kontinuirano ispunjava zahtjeve utvrđene u članku 31. i svoje konkretne odgovornosti.
1. The Commission shall, where necessary, investigate all cases where there are reasons to doubt the competence of a notified body or the continued fulfilment by a notified body of the requirements laid down in Article 31 and of its applicable responsibilities.
2. Tijelo koje provodi prijavljivanje Komisiji na zahtjev dostavlja sve relevantne informacije koje se odnose na prijavu ili održavanje stručnosti dotičnog prijavljenog tijela.
2. The notifying authority shall provide the Commission, on request, with all relevant information relating to the notification or the maintenance of the competence of the notified body concerned.
3. Komisija osigurava da se sa svim osjetljivim informacijama pribavljenima tijekom njezinih istraga na temelju ovog članka postupa na povjerljiv način u skladu s člankom 78.
3. The Commission shall ensure that all sensitive information obtained in the course of its investigations pursuant to this Article is treated confidentially in accordance with Article 78.
4. Ako Komisija utvrdi da prijavljeno tijelo ne ispunjava ili da više ne ispunjava zahtjeve za svoju prijavu, o tome obavješćuje državu članicu koja provodi prijavljivanje i od nje zahtijeva da poduzme potrebne korektivne mjere, uključujući suspenziju ili povlačenje prijave ako je to potrebno. Ako država članica ne provede potrebne korektivne mjere, Komisija može provedbenim aktom suspendirati, ograničiti ili povući imenovanje. Taj provedbeni akt donosi se u skladu s postupkom ispitivanja iz članka 98. stavka 2.
4. Where the Commission ascertains that a notified body does not meet or no longer meets the requirements for its notification, it shall inform the notifying Member State accordingly and request it to take the necessary corrective measures, including the suspension or withdrawal of the notification if necessary. Where the Member State fails to take the necessary corrective measures, the Commission may, by means of an implementing act, suspend, restrict or withdraw the designation. That implementing act shall be adopted in accordance with the examination procedure referred to in Article 98(2).
Članak 38.
Article 38
Koordinacija prijavljenih tijela
Coordination of notified bodies
1. Komisija osigurava da se u vezi s visokorizičnim UI sustavima uspostave i pravilno provode primjerena koordinacija i suradnja prijavljenih tijela koja se bave postupcima ocjenjivanja sukladnosti na temelju ove Uredbe, i to u okviru sektorske skupine prijavljenih tijela.
1. The Commission shall ensure that, with regard to high-risk AI systems, appropriate coordination and cooperation between notified bodies active in the conformity assessment procedures pursuant to this Regulation are put in place and properly operated in the form of a sectoral group of notified bodies.
2. Svako tijelo koje provodi prijavljivanje osigurava da tijela koja je prijavilo sudjeluju u radu skupine iz stavka 1., izravno ili preko imenovanih predstavnika.
2. Each notifying authority shall ensure that the bodies notified by it participate in the work of a group referred to in paragraph 1, directly or through designated representatives.
3. Komisija osigurava razmjenu znanja i primjera najbolje prakse među tijelima koja provode prijavljivanje.
3. The Commission shall provide for the exchange of knowledge and best practices between notifying authorities.
Članak 39.
Article 39
Tijela za ocjenjivanje sukladnosti iz trećih zemalja
Conformity assessment bodies of third countries
Tijela za ocjenjivanje sukladnosti uspostavljena na temelju prava određene treće zemlje s kojom je Unija sklopila sporazum mogu biti ovlaštena za obavljanje aktivnosti prijavljenih tijela na temelju ove Uredbe, pod uvjetom da ispunjavaju zahtjeve utvrđene u članku 31. ili osiguraju jednakovrijednu razinu usklađenosti.
Conformity assessment bodies established under the law of a third country with which the Union has concluded an agreement may be authorised to carry out the activities of notified bodies under this Regulation, provided that they meet the requirements laid down in Article 31 or they ensure an equivalent level of compliance.
ODJELJAK 5.
SECTION 5
Norme, ocjenjivanje sukladnosti, potvrde, registracija
Standards, conformity assessment, certificates, registration
Članak 40.
Article 40
Usklađene norme i normizacijski dokumenti
Harmonised standards and standardisation deliverables
1. Za visokorizične UI sustave ili UI modele opće namjene koji su sukladni s usklađenim normama ili dijelovima usklađenih normi na koje su objavljena upućivanja u Službenom listu Europske unije u skladu s Uredbom (EU) br. 1025/2012 pretpostavlja se da su sukladni sa zahtjevima utvrđenima u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, s obvezama utvrđenima u poglavlju V. odjeljcima 2. i 3. ove Uredbe, u mjeri u kojoj te norme obuhvaćaju te zahtjeve ili obveze.
1. High-risk AI systems or general-purpose AI models which are in conformity with harmonised standards or parts thereof the references of which have been published in the Official Journal of the European Union in accordance with Regulation (EU) No 1025/2012 shall be presumed to be in conformity with the requirements set out in Section 2 of this Chapter or, as applicable, with the obligations set out in of Chapter V, Sections 2 and 3, of this Regulation, to the extent that those standards cover those requirements or obligations.
2. U skladu s člankom 10. Uredbe (EU) br. 1025/2012 Komisija bez nepotrebne odgode upućuje zahtjeve za normizaciju koji obuhvaćaju sve zahtjeve utvrđene u odjeljku 2. ovog poglavlja i, ovisno o slučaju, zahtjeve za normizaciju koji obuhvaćaju obveze utvrđene u poglavlju V. odjeljcima 2. i 3. ove Uredbe. U okviru zahtjeva za normizaciju također se zahtijeva izrada dokumenata u vezi s procesom izvješćivanja i dokumentiranja kako bi se poboljšala resursna učinkovitost UI sustavâ, primjerice kako bi visokorizični UI sustav smanjio potrošnju energije i drugih resursa tijekom svojeg životnog ciklusa, te u vezi s energetski učinkovitim razvojem UI modelâ opće namjene. Pri izradi zahtjeva za normizaciju Komisija se savjetuje s Vijećem za umjetnu inteligenciju i relevantnim dionicima, uključujući savjetodavni forum.
2. In accordance with Article 10 of Regulation (EU) No 1025/2012, the Commission shall issue, without undue delay, standardisation requests covering all requirements set out in Section 2 of this Chapter and, as applicable, standardisation requests covering obligations set out in Chapter V, Sections 2 and 3, of this Regulation. The standardisation request shall also ask for deliverables on reporting and documentation processes to improve AI systems’ resource performance, such as reducing the high-risk AI system’s consumption of energy and of other resources during its lifecycle, and on the energy-efficient development of general-purpose AI models. When preparing a standardisation request, the Commission shall consult the Board and relevant stakeholders, including the advisory forum.
Pri upućivanju zahtjeva za normizaciju europskim organizacijama za normizaciju Komisija navodi da norme moraju biti jasne i usklađene, među ostalim i s normama razvijenima u raznim sektorima za proizvode obuhvaćene postojećim zakonodavstvom Unije o usklađivanju navedenim u Prilogu I., i da se njima mora osigurati da visokorizični UI sustavi ili UI modeli opće namjene koji se stavljaju na tržište ili u upotrebu u Uniji ispunjavaju relevantne zahtjeve ili obveze utvrđene u ovoj Uredbi.
When issuing a standardisation request to European standardisation organisations, the Commission shall specify that standards have to be clear, consistent, including with the standards developed in the various sectors for products covered by the existing Union harmonisation legislation listed in Annex I, and aiming to ensure that high-risk AI systems or general-purpose AI models placed on the market or put into service in the Union meet the relevant requirements or obligations laid down in this Regulation.
Komisija također zahtijeva od europskih organizacija za normizaciju da dostave dokaze o svojim nastojanjima da ispune ciljeve iz prvog i drugog podstavka ovog stavka u skladu s člankom 24. Uredbe (EU) br. 1025/2012.
The Commission shall request the European standardisation organisations to provide evidence of their best efforts to fulfil the objectives referred to in the first and the second subparagraph of this paragraph in accordance with Article 24 of Regulation (EU) No 1025/2012.
3. Sudionici u procesu normizacije nastoje promicati ulaganja i inovacije u području umjetne inteligencije, među ostalim povećanjem pravne sigurnosti, kao i konkurentnosti i rasta tržišta Unije, te doprinositi jačanju globalne suradnje u području normizacije, uzimajući u obzir postojeće međunarodne norme u području umjetne inteligencije koje su u skladu s vrijednostima, temeljnim pravima i interesima Unije, i poboljšati višedioničko upravljanje osiguravanjem ujednačene zastupljenosti interesa i djelotvornog sudjelovanja svih relevantnih dionika u skladu s člancima 5., 6. i 7. Uredbe (EU) br. 1025/2012.
3. The participants in the standardisation process shall seek to promote investment and innovation in AI, including through increasing legal certainty, as well as the competitiveness and growth of the Union market, to contribute to strengthening global cooperation on standardisation and taking into account existing international standards in the field of AI that are consistent with Union values, fundamental rights and interests, and to enhance multi-stakeholder governance ensuring a balanced representation of interests and the effective participation of all relevant stakeholders in accordance with Articles 5, 6, and 7 of Regulation (EU) No 1025/2012.
Članak 41.
Article 41
Zajedničke specifikacije
Common specifications
1. Komisija može donositi provedbene akte o utvrđivanju zajedničkih specifikacija za zahtjeve utvrđene u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, za obveze utvrđene u odjeljcima 2. i 3. poglavlja V. ako su ispunjeni sljedeći uvjeti:
1. The Commission may adopt, implementing acts establishing common specifications for the requirements set out in Section 2 of this Chapter or, as applicable, for the obligations set out in Sections 2 and 3 of Chapter V where the following conditions have been fulfilled:
(a)
Komisija je na temelju članka 10. stavka 1. Uredbe (EU) br. 1025/2012 zatražila od jedne ili više europskih organizacija za normizaciju da izrade usklađenu normu za zahtjeve utvrđene u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, za obveze utvrđene u odjeljcima 2. i 3. poglavlja V., a:
(a)
the Commission has requested, pursuant to Article 10(1) of Regulation (EU) No 1025/2012, one or more European standardisation organisations to draft a harmonised standard for the requirements set out in Section 2 of this Chapter, or, as applicable, for the obligations set out in Sections 2 and 3 of Chapter V, and:
i.
zahtjev nije prihvatila nijedna europska organizacija za normizaciju; ili
(i)
the request has not been accepted by any of the European standardisation organisations; or
ii.
usklađene norme koje se odnose na taj zahtjev nisu izrađene u roku utvrđenom u skladu s člankom 10. stavkom 1. Uredbe (EU) br. 1025/2012; ili
(ii)
the harmonised standards addressing that request are not delivered within the deadline set in accordance with Article 10(1) of Regulation (EU) No 1025/2012; or
iii.
relevantnim usklađenim normama nisu dostatno uvažena pitanja temeljnih prava; ili
(iii)
the relevant harmonised standards insufficiently address fundamental rights concerns; or
iv.
usklađene norme nisu u skladu sa zahtjevom; i
(iv)
the harmonised standards do not comply with the request; and
(b)
u Službenom listu Europske unije nije objavljeno, u skladu s Uredbom (EU) br. 1025/2012, upućivanje na usklađene norme koje obuhvaćaju zahtjeve utvrđene u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, obveze utvrđene u odjeljcima 2. i 3. poglavlja V., niti se očekuje objava takvih upućivanja u razumnom roku.
(b)
no reference to harmonised standards covering the requirements referred to in Section 2 of this Chapter or, as applicable, the obligations referred to in Sections 2 and 3 of Chapter V has been published in the Official Journal of the European Union in accordance with Regulation (EU) No 1025/2012, and no such reference is expected to be published within a reasonable period.
Pri izradi zajedničkih specifikacija Komisija se savjetuje sa savjetodavnim forumom iz članka 67.
When drafting the common specifications, the Commission shall consult the advisory forum referred to in Article 67.
Provedbeni akti iz prvog podstavka ovog stavka donose se u skladu s postupkom ispitivanja iz članka 98. stavka 2.
The implementing acts referred to in the first subparagraph of this paragraph shall be adopted in accordance with the examination procedure referred to in Article 98(2).
2. Prije nego što izradi nacrt provedbenog akta Komisija obavješćuje odbor iz članka 22. Uredbe (EU) br. 1025/2012 o tome da smatra da su uvjeti utvrđeni u stavku 1. ovog članka ispunjeni.
2. Before preparing a draft implementing act, the Commission shall inform the committee referred to in Article 22 of Regulation (EU) No 1025/2012 that it considers the conditions laid down in paragraph 1 of this Article to be fulfilled.
3. Za visokorizične UI sustave ili UI modele opće namjene koji su sukladni sa zajedničkim specifikacijama iz stavka 1. ili dijelovima tih specifikacija pretpostavlja se da su sukladni sa zahtjevima utvrđenima u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, da su u skladu s obvezama utvrđenima u odjeljcima 2. i 3. poglavlja V., u mjeri u kojoj te zajedničke specifikacije obuhvaćaju te zahtjeve ili te obveze.
3. High-risk AI systems or general-purpose AI models which are in conformity with the common specifications referred to in paragraph 1, or parts of those specifications, shall be presumed to be in conformity with the requirements set out in Section 2 of this Chapter or, as applicable, to comply with the obligations referred to in Sections 2 and 3 of Chapter V, to the extent those common specifications cover those requirements or those obligations.
4. Ako europska organizacija za normizaciju donese usklađenu normu i Komisiji predloži da se upućivanje na nju objavi u Službenom listu Europske unije, Komisija ocjenjuje tu usklađenu normu u skladu s Uredbom (EU) br. 1025/2012. Kad se upućivanje na usklađenu normu objavi u Službenom listu Europske unije, Komisija stavlja izvan snage provedbene akte iz stavka 1. ili njihove dijelove koji obuhvaćaju iste zahtjeve utvrđene u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, iste obveze utvrđene u odjeljcima 2. i 3. poglavlja V.
4. Where a harmonised standard is adopted by a European standardisation organisation and proposed to the Commission for the publication of its reference in the Official Journal of the European Union, the Commission shall assess the harmonised standard in accordance with Regulation (EU) No 1025/2012. When reference to a harmonised standard is published in the Official Journal of the European Union, the Commission shall repeal the implementing acts referred to in paragraph 1, or parts thereof which cover the same requirements set out in Section 2 of this Chapter or, as applicable, the same obligations set out in Sections 2 and 3 of Chapter V.
5. Ako dobavljači visokorizičnih UI sustava ili UI modela opće namjene ne ispunjavaju zajedničke specifikacije iz stavka 1., moraju propisno obrazložiti da su usvojili tehnička rješenja kojima se ispunjavaju zahtjevi iz odjeljka 2. ovog poglavlja odnosno, ovisno o slučaju, kojima se ispunjavaju obveze utvrđene u odjeljcima 2. i 3. poglavlja V., na razini koja je barem jednakovrijedna tim zajedničkim specifikacijama.
5. Where providers of high-risk AI systems or general-purpose AI models do not comply with the common specifications referred to in paragraph 1, they shall duly justify that they have adopted technical solutions that meet the requirements referred to in Section 2 of this Chapter or, as applicable, comply with the obligations set out in Sections 2 and 3 of Chapter V to a level at least equivalent thereto.
6. Ako država članica smatra da zajednička specifikacija ne ispunjava u potpunosti zahtjeve utvrđene u odjeljku 2. odnosno, ovisno o slučaju, obveze utvrđene u odjeljcima 2. i 3. poglavlja V., ona o tome obavješćuje Komisiju i navodi detaljno objašnjenje. Komisija ocjenjuje te informacije i, prema potrebi, mijenja provedbeni akt kojim se utvrđuje dotična zajednička specifikacija.
6. Where a Member State considers that a common specification does not entirely meet the requirements set out in Section 2 or, as applicable, comply with obligations set out in Sections 2 and 3 of Chapter V, it shall inform the Commission thereof with a detailed explanation. The Commission shall assess that information and, if appropriate, amend the implementing act establishing the common specification concerned.
Članak 42.
Article 42
Pretpostavka sukladnosti s određenim zahtjevima
Presumption of conformity with certain requirements
1. Za visokorizične UI sustave koji su trenirani i testirani na podacima koji odražavaju specifično zemljopisno, bihevioralno, kontekstualno ili radno okružje u kojem se namjeravaju koristiti pretpostavlja se da ispunjavaju relevantne zahtjeve utvrđene u članku 10. stavku 4.
1. High-risk AI systems that have been trained and tested on data reflecting the specific geographical, behavioural, contextual or functional setting within which they are intended to be used shall be presumed to comply with the relevant requirements laid down in Article 10(4).
2. Za visokorizične UI sustave koji su certificirani ili za koje je izdana izjava o sukladnosti u okviru programa kibernetičke sigurnosti na temelju Uredbe (EU) 2019/881 i na koje su objavljena upućivanja u Službenom listu Europske unije pretpostavlja se da ispunjavaju zahtjeve u pogledu kibernetičke sigurnosti iz članka 15. ove Uredbe ako certifikat o kibernetičkoj sigurnosti ili izjava o sukladnosti ili njihovi dijelovi obuhvaćaju te zahtjeve.
2. High-risk AI systems that have been certified or for which a statement of conformity has been issued under a cybersecurity scheme pursuant to Regulation (EU) 2019/881 and the references of which have been published in the Official Journal of the European Union shall be presumed to comply with the cybersecurity requirements set out in Article 15 of this Regulation in so far as the cybersecurity certificate or statement of conformity or parts thereof cover those requirements.
Članak 43.
Article 43
Ocjenjivanje sukladnosti
Conformity assessment
1. U vezi s visokorizičnim UI sustavima iz točke 1. Priloga III., ako je dobavljač pri dokazivanju usklađenosti visokorizičnog UI sustava sa zahtjevima utvrđenima u odjeljku 2. primijenio usklađene norme iz članka 40. ili, ako je primjenjivo, zajedničke specifikacije iz članka 41., dobavljač bira jedan od sljedećih postupaka ocjenjivanja sukladnosti na temelju:
1. For high-risk AI systems listed in point 1 of Annex III, where, in demonstrating the compliance of a high-risk AI system with the requirements set out in Section 2, the provider has applied harmonised standards referred to in Article 40, or, where applicable, common specifications referred to in Article 41, the provider shall opt for one of the following conformity assessment procedures based on:
(a)
unutarnje kontrole iz Priloga VI.; ili
(a)
the internal control referred to in Annex VI; or
(b)
ocjenjivanja sustava upravljanja kvalitetom i ocjenjivanja tehničke dokumentacije iz Priloga VII., uz sudjelovanje prijavljenog tijela.
(b)
the assessment of the quality management system and the assessment of the technical documentation, with the involvement of a notified body, referred to in Annex VII.
Pri dokazivanju usklađenosti visokorizičnog UI sustava sa zahtjevima utvrđenima u odjeljku 2. dobavljač primjenjuje postupak ocjenjivanja sukladnosti iz Priloga VII. ako:
In demonstrating the compliance of a high-risk AI system with the requirements set out in Section 2, the provider shall follow the conformity assessment procedure set out in Annex VII where:
(a)
usklađene norme iz članka 40. ne postoje, a zajedničke specifikacije iz članka 41. nisu dostupne;
(a)
harmonised standards referred to in Article 40 do not exist, and common specifications referred to in Article 41 are not available;
(b)
dobavljač nije primijenio usklađenu normu ili je primijenio samo dio usklađene norme;
(b)
the provider has not applied, or has applied only part of, the harmonised standard;
(c)
zajedničke specifikacije iz točke (a) postoje, ali ih dobavljač nije primijenio;
(c)
the common specifications referred to in point (a) exist, but the provider has not applied them;
(d)
jedna ili više usklađenih normi iz točke (a) objavljena je uz ograničenje, i to samo za dio norme koji je ograničen.
(d)
one or more of the harmonised standards referred to in point (a) has been published with a restriction, and only on the part of the standard that was restricted.
Za potrebe postupka ocjenjivanja sukladnosti iz Priloga VII. dobavljač može odabrati bilo koje prijavljeno tijelo. Međutim, ako visokorizični UI sustav u upotrebu namjeravaju staviti tijela kaznenog progona, tijela za imigraciju ili tijela za azil odnosno institucije, tijela, uredi ili agencije Unije, tijelo za nadzor tržišta iz članka 74. stavka 8. ili 9., ovisno o slučaju, djeluje kao prijavljeno tijelo.
For the purposes of the conformity assessment procedure referred to in Annex VII, the provider may choose any of the notified bodies. However, where the high-risk AI system is intended to be put into service by law enforcement, immigration or asylum authorities or by Union institutions, bodies, offices or agencies, the market surveillance authority referred to in Article 74(8) or (9), as applicable, shall act as a notified body.
2. Za visokorizične UI sustave iz točaka od 2. do 8. Priloga III. dobavljači primjenjuju postupak ocjenjivanja sukladnosti na temelju unutarnje kontrole iz Priloga VI., kojim se ne predviđa sudjelovanje prijavljenog tijela.
2. For high-risk AI systems referred to in points 2 to 8 of Annex III, providers shall follow the conformity assessment procedure based on internal control as referred to in Annex VI, which does not provide for the involvement of a notified body.
3. Za visokorizične UI sustave obuhvaćene zakonodavstvom Unije o usklađivanju navedenim u odjeljku A Priloga I. dobavljač primjenjuje relevantni postupak ocjenjivanja sukladnosti kako se zahtijeva tim pravnim aktima. Na te visokorizične UI sustave primjenjuju se zahtjevi utvrđeni u odjeljku 2. ovog poglavlja i dio su tog ocjenjivanja. Također se primjenjuju točke 4.3., 4.4., 4.5. i točka 4.6. peti odlomak Priloga VII.
3. For high-risk AI systems covered by the Union harmonisation legislation listed in Section A of Annex I, the provider shall follow the relevant conformity assessment procedure as required under those legal acts. The requirements set out in Section 2 of this Chapter shall apply to those high-risk AI systems and shall be part of that assessment. Points 4.3., 4.4., 4.5. and the fifth paragraph of point 4.6 of Annex VII shall also apply.
Za potrebe tog ocjenjivanja prijavljena tijela koja su prijavljena na temelju tih pravnih akata imaju pravo kontrolirati sukladnost visokorizičnih UI sustava sa zahtjevima utvrđenima u odjeljku 2. pod uvjetom da je u kontekstu postupka prijavljivanja na temelju tih pravnih akata ocijenjeno ispunjavaju li dotična prijavljena tijela zahtjeve utvrđene u članku 31. stavcima 4., 5., 10. i 11.
For the purposes of that assessment, notified bodies which have been notified under those legal acts shall be entitled to control the conformity of the high-risk AI systems with the requirements set out in Section 2, provided that the compliance of those notified bodies with requirements laid down in Article 31(4), (5), (10) and (11) has been assessed in the context of the notification procedure under those legal acts.
Ako je pravnim aktom navedenim u odjeljku A Priloga II. proizvođaču proizvoda omogućeno da se izuzme iz ocjenjivanja sukladnosti koje provodi treća strana pod uvjetom da je taj proizvođač primijenio sve usklađene norme koje obuhvaćaju sve relevantne zahtjeve, taj proizvođač tu mogućnost može iskoristiti samo ako je primijenio i usklađene norme ili, ako je primjenjivo, zajedničke specifikacije iz članka 41., koje obuhvaćaju sve zahtjeve utvrđene u odjeljku 2. ovog poglavlja.
Where a legal act listed in Section A of Annex I enables the product manufacturer to opt out from a third-party conformity assessment, provided that that manufacturer has applied all harmonised standards covering all the relevant requirements, that manufacturer may use that option only if it has also applied harmonised standards or, where applicable, common specifications referred to in Article 41, covering all requirements set out in Section 2 of this Chapter.
4. Za visokorizične UI sustave koji su već bili podvrgnuti postupku ocjenjivanja sukladnosti provodi se novi postupak ocjenjivanja sukladnosti ako dođe do bitnih izmjena, neovisno o tome namjerava li se izmijenjeni sustav dalje distribuirati ili ga nastavlja upotrebljavati isti subjekt koji ga već uvodi.
4. High-risk AI systems that have already been subject to a conformity assessment procedure shall undergo a new conformity assessment procedure in the event of a substantial modification, regardless of whether the modified system is intended to be further distributed or continues to be used by the current deployer.
Za visokorizične UI sustave koji nastavljaju učiti nakon stavljanja na tržište ili u upotrebu, promjene visokorizičnog UI sustava i njegove učinkovitosti koje je dobavljač unaprijed odredio u trenutku početnog ocjenjivanja sukladnosti i koje su obuhvaćene informacijama u tehničkoj dokumentaciji iz točke 2. podtočke (f) Priloga IV. ne čine bitnu izmjenu.
For high-risk AI systems that continue to learn after being placed on the market or put into service, changes to the high-risk AI system and its performance that have been pre-determined by the provider at the moment of the initial conformity assessment and are part of the information contained in the technical documentation referred to in point 2(f) of Annex IV, shall not constitute a substantial modification.
5. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene priloga VI. i VII. njihovim ažuriranjem s obzirom na tehnički napredak.
5. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annexes VI and VII by updating them in light of technical progress.
6. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene stavaka 1. i 2. ovog članka kako bi visokorizične UI sustave iz točaka od 2. do 8. Priloga III. podvrgnula postupku ocjenjivanja sukladnosti iz Priloga VII. ili dijelovima tog postupka. Komisija takve delegirane akte donosi uzimajući u obzir djelotvornost postupka ocjenjivanja sukladnosti na temelju unutarnje kontrole iz Priloga VI. u sprečavanju rizika za zdravlje i sigurnost te zaštitu temeljnih prava koje takvi sustavi predstavljaju ili svođenju takvih rizika na najmanju moguću mjeru, kao i dostupnost adekvatnih kapaciteta i resursa među prijavljenim tijelima.
6. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend paragraphs 1 and 2 of this Article in order to subject high-risk AI systems referred to in points 2 to 8 of Annex III to the conformity assessment procedure referred to in Annex VII or parts thereof. The Commission shall adopt such delegated acts taking into account the effectiveness of the conformity assessment procedure based on internal control referred to in Annex VI in preventing or minimising the risks to health and safety and protection of fundamental rights posed by such systems, as well as the availability of adequate capacities and resources among notified bodies.
Članak 44.
Article 44
Potvrde
Certificates
1. Potvrde koje izdaju prijavljena tijela u skladu s Prilogom VII. sastavljaju se na jeziku koji relevantna tijela u državi članici u kojoj prijavljeno tijelo ima poslovni nastan mogu bez poteškoća razumjeti.
1. Certificates issued by notified bodies in accordance with Annex VII shall be drawn-up in a language which can be easily understood by the relevant authorities in the Member State in which the notified body is established.
2. Potvrde vrijede tijekom razdoblja koje je u njima navedeno, a ono ne smije biti dulje od pet godina za UI sustave obuhvaćene Prilogom I. i dulje od četiri godine za UI sustave obuhvaćene Prilogom III. Na zahtjev dobavljača valjanost potvrde može se produljivati za daljnja razdoblja od kojih nijedno ne smije biti dulje od pet godina za UI sustave obuhvaćene Prilogom I. i dulje od četiri godine za UI sustave obuhvaćene Prilogom III., i to na temelju ponovnog ocjenjivanja u skladu s primjenjivim postupcima ocjenjivanja sukladnosti. Svaka dopuna potvrde ostaje valjana pod uvjetom da je valjana potvrda koju dopunjuje.
2. Certificates shall be valid for the period they indicate, which shall not exceed five years for AI systems covered by Annex I, and four years for AI systems covered by Annex III. At the request of the provider, the validity of a certificate may be extended for further periods, each not exceeding five years for AI systems covered by Annex I, and four years for AI systems covered by Annex III, based on a re-assessment in accordance with the applicable conformity assessment procedures. Any supplement to a certificate shall remain valid, provided that the certificate which it supplements is valid.
3. Ako prijavljeno tijelo ustanovi da UI sustav više ne ispunjava zahtjeve utvrđene u odjeljku 2., to prijavljeno tijelo, uzimajući u obzir načelo proporcionalnosti, suspendira ili povlači izdanu potvrdu ili uvodi ograničenja za nju, osim ako se primjerenim korektivnim mjerama koje dobavljač sustava poduzme u primjerenom roku koji je utvrdilo prijavljeno tijelo osigura usklađenost UI sustava s tim zahtjevima. Prijavljeno tijelo daje obrazloženje za svoju odluku.
3. Where a notified body finds that an AI system no longer meets the requirements set out in Section 2, it shall, taking account of the principle of proportionality, suspend or withdraw the certificate issued or impose restrictions on it, unless compliance with those requirements is ensured by appropriate corrective action taken by the provider of the system within an appropriate deadline set by the notified body. The notified body shall give reasons for its decision.
Protiv odluka prijavljenih tijela, među ostalim protiv odluka o izdanim potvrdama o sukladnosti, mora biti dostupan žalbeni postupak.
An appeal procedure against decisions of the notified bodies, including on conformity certificates issued, shall be available.
Članak 45.
Article 45
Obveze prijavljenih tijela u pogledu obavješćivanja
Information obligations of notified bodies
1. Prijavljena tijela obavješćuju tijelo koje provodi prijavljivanje o sljedećem:
1. Notified bodies shall inform the notifying authority of the following:
(a)
potvrdama Unije o ocjenjivanju tehničke dokumentacije, dopunama tih potvrda i odobrenjima sustava upravljanja kvalitetom izdanima u skladu sa zahtjevima iz Priloga VII.;
(a)
any Union technical documentation assessment certificates, any supplements to those certificates, and any quality management system approvals issued in accordance with the requirements of Annex VII;
(b)
odbijanju, ograničenju, suspenziji ili povlačenju potvrde Unije o ocjenjivanju tehničke dokumentacije ili odobrenja sustava upravljanja kvalitetom izdanog u skladu sa zahtjevima iz Priloga VII.;
(b)
any refusal, restriction, suspension or withdrawal of a Union technical documentation assessment certificate or a quality management system approval issued in accordance with the requirements of Annex VII;
(c)
svim okolnostima koje utječu na opseg prijavljivanja ili uvjete za prijavljivanje;
(c)
any circumstances affecting the scope of or conditions for notification;
(d)
zahtjevima za dostavu informacija koje su primila od tijela za nadzor tržišta u vezi s aktivnostima ocjenjivanja sukladnosti;
(d)
any request for information which they have received from market surveillance authorities regarding conformity assessment activities;
(e)
na zahtjev, o aktivnostima ocjenjivanja sukladnosti provedenima u okviru njihove prijave i svim ostalim provedenim aktivnostima, uključujući prekogranične aktivnosti i podugovaranje.
(e)
on request, conformity assessment activities performed within the scope of their notification and any other activity performed, including cross-border activities and subcontracting.
2. Svako prijavljeno tijelo obavješćuje druga prijavljena tijela o sljedećem:
2. Each notified body shall inform the other notified bodies of:
(a)
odobrenjima sustava upravljanja kvalitetom koja je odbilo, suspendiralo ili povuklo i, na zahtjev, odobrenjima sustava upravljanja kvalitetom koja je izdalo;
(a)
quality management system approvals which it has refused, suspended or withdrawn, and, upon request, of quality system approvals which it has issued;
(b)
potvrdama Unije o ocjenjivanju tehničke dokumentacije ili dopunama tih potvrda koje je odbilo, povuklo, suspendiralo ili na neki drugi način ograničilo te, na zahtjev, potvrdama i/ili njihovim dopunama koje je izdalo.
(b)
Union technical documentation assessment certificates or any supplements thereto which it has refused, withdrawn, suspended or otherwise restricted, and, upon request, of the certificates and/or supplements thereto which it has issued.
3. Svako prijavljeno tijelo drugim prijavljenim tijelima koja provode slične aktivnosti ocjenjivanja sukladnosti za iste vrste UI sustava dostavlja relevantne informacije o pitanjima povezanima s negativnim i, na zahtjev, pozitivnim rezultatima ocjenjivanja sukladnosti.
3. Each notified body shall provide the other notified bodies carrying out similar conformity assessment activities covering the same types of AI systems with relevant information on issues relating to negative and, on request, positive conformity assessment results.
4. Prijavljena tijela u skladu s člankom 78. štite povjerljivost informacija koje su pribavila.
4. Notified bodies shall safeguard the confidentiality of the information that they obtain, in accordance with Article 78.
Članak 46.
Article 46
Odstupanje od postupka ocjenjivanja sukladnosti
Derogation from conformity assessment procedure
1. Odstupajući od članka 43., i na propisno obrazložen zahtjev, svako tijelo za nadzor tržišta može odobriti stavljanje određenih visokorizičnih UI sustava na tržište ili u upotrebu na državnom području dotične države članice zbog iznimnih razloga koji se odnose na javnu sigurnost ili zaštitu života i zdravlja ljudi, zaštitu okoliša ili zaštitu ključne industrijske i infrastrukturne imovine. Trajanje tog odobrenja ograničeno je na razdoblje provedbe potrebnih postupaka ocjenjivanja sukladnosti, uzimajući u obzir iznimne razloge koji opravdavaju odstupanje. Ti se postupci dovršavaju bez nepotrebne odgode.
1. By way of derogation from Article 43 and upon a duly justified request, any market surveillance authority may authorise the placing on the market or the putting into service of specific high-risk AI systems within the territory of the Member State concerned, for exceptional reasons of public security or the protection of life and health of persons, environmental protection or the protection of key industrial and infrastructural assets. That authorisation shall be for a limited period while the necessary conformity assessment procedures are being carried out, taking into account the exceptional reasons justifying the derogation. The completion of those procedures shall be undertaken without undue delay.
2. U propisno opravdanoj hitnoj situaciji zbog iznimnih razloga koji se odnose na javnu sigurnost ili u slučaju konkretne, znatne i izravne prijetnje životu ili tjelesnoj sigurnosti fizičkih osoba, tijela kaznenog progona ili tijela civilne zaštite mogu određeni visokorizični UI sustav staviti u upotrebu bez odobrenja iz stavka 1. pod uvjetom da se to odobrenje bez nepotrebne odgode zatraži tijekom ili nakon upotrebe. Ako je odobrenje iz stavka 1. odbijeno, upotreba visokorizičnog UI sustava smjesta se prekida te se odmah odbacuju svi rezultati i izlazni podaci proizišli iz takve upotrebe.
2. In a duly justified situation of urgency for exceptional reasons of public security or in the case of specific, substantial and imminent threat to the life or physical safety of natural persons, law-enforcement authorities or civil protection authorities may put a specific high-risk AI system into service without the authorisation referred to in paragraph 1, provided that such authorisation is requested during or after the use without undue delay. If the authorisation referred to in paragraph 1 is refused, the use of the high-risk AI system shall be stopped with immediate effect and all the results and outputs of such use shall be immediately discarded.
3. Odobrenje iz stavka 1. izdaje se samo ako tijelo za nadzor tržišta zaključi da visokorizični UI sustav ispunjava zahtjeve iz odjeljka 2. Tijelo za nadzor tržišta obavješćuje Komisiju i druge države članice o svim odobrenjima izdanima na temelju stavaka 1 i 2. Ta obveza ne obuhvaća osjetljive operativne podatke u vezi s aktivnostima tijelâ kaznenog progona.
3. The authorisation referred to in paragraph 1 shall be issued only if the market surveillance authority concludes that the high-risk AI system complies with the requirements of Section 2. The market surveillance authority shall inform the Commission and the other Member States of any authorisation issued pursuant to paragraphs 1 and 2. This obligation shall not cover sensitive operational data in relation to the activities of law-enforcement authorities.
4. Ako u roku od 15 kalendarskih dana od primitka informacija iz stavka 3. nijedna država članica ni Komisija ne podnese prigovor na odobrenje koje je izdalo tijelo za nadzor tržišta određene države članice u skladu sa stavkom 1., to se odobrenje smatra opravdanim.
4. Where, within 15 calendar days of receipt of the information referred to in paragraph 3, no objection has been raised by either a Member State or the Commission in respect of an authorisation issued by a market surveillance authority of a Member State in accordance with paragraph 1, that authorisation shall be deemed justified.
5. Ako u roku od 15 kalendarskih dana od primitka obavijesti iz stavka 3. određena država članica podnese prigovor na odobrenje koje je izdalo tijelo za nadzor tržišta druge države članice ili ako Komisija smatra da je to odobrenje u suprotnosti s pravom Unije ili da je zaključak država članica o usklađenosti sustava iz stavka 3. neosnovan, Komisija bez odgode započinje savjetovanje s relevantnom državom članicom. U savjetovanju sudjeluju dotični operateri i omogućuje im se da iznesu svoja stajališta. Komisija ih uzima u obzir i odlučuje je li odobrenje opravdano. Komisija svoju odluku upućuje dotičnim državama članicama i dotičnim operaterima.
5. Where, within 15 calendar days of receipt of the notification referred to in paragraph 3, objections are raised by a Member State against an authorisation issued by a market surveillance authority of another Member State, or where the Commission considers the authorisation to be contrary to Union law, or the conclusion of the Member States regarding the compliance of the system as referred to in paragraph 3 to be unfounded, the Commission shall, without delay, enter into consultations with the relevant Member State. The operators concerned shall be consulted and have the possibility to present their views. Having regard thereto, the Commission shall decide whether the authorisation is justified. The Commission shall address its decision to the Member State concerned and to the relevant operators.
6. Ako Komisija odobrenje smatra neopravdanim, tijelo za nadzor tržišta dotične države članice povlači to odobrenje.
6. Where the Commission considers the authorisation unjustified, it shall be withdrawn by the market surveillance authority of the Member State concerned.
7. Kad je riječ o visokorizičnim UI sustavima koji su povezani s proizvodima obuhvaćenima zakonodavstvom Unije o usklađivanju navedenim u odjeljku A Priloga I., primjenjuju se samo odstupanja od ocjenjivanja sukladnosti utvrđena u tom zakonodavstvu Unije o usklađivanju.
7. For high-risk AI systems related to products covered by Union harmonisation legislation listed in Section A of Annex I, only the derogations from the conformity assessment established in that Union harmonisation legislation shall apply.
Članak 47.
Article 47
EU izjava o sukladnosti
EU declaration of conformity
1. Dobavljač sastavlja pisanu, strojno čitljivu EU izjavu o sukladnosti, potpisanu fizički ili elektronički, za svaki visokorizični UI sustav i drži je na raspolaganju nacionalnim nadležnim tijelima tijekom razdoblja od deset godina nakon stavljanja tog visokorizičnog UI sustava na tržište ili u upotrebu. U EU izjavi o sukladnosti navodi se za koji je visokorizični UI sustav ona sastavljena. Primjerak EU izjave o sukladnosti dostavlja se relevantnim nacionalnim nadležnim tijelima na njihov zahtjev.
1. The provider shall draw up a written machine readable, physical or electronically signed EU declaration of conformity for each high-risk AI system, and keep it at the disposal of the national competent authorities for 10 years after the high-risk AI system has been placed on the market or put into service. The EU declaration of conformity shall identify the high-risk AI system for which it has been drawn up. A copy of the EU declaration of conformity shall be submitted to the relevant national competent authorities upon request.
2. U EU izjavi o sukladnosti navodi se da dotični visokorizični UI sustav ispunjava zahtjeve utvrđene u odjeljku 2. EU izjava o sukladnosti sadržava informacije utvrđene u Prilogu V. i prevodi se na jezik koji nacionalna nadležna tijela država članica u kojima se visokorizični UI sustav stavlja na tržište ili na raspolaganje mogu bez poteškoća razumjeti.
2. The EU declaration of conformity shall state that the high-risk AI system concerned meets the requirements set out in Section 2. The EU declaration of conformity shall contain the information set out in Annex V, and shall be translated into a language that can be easily understood by the national competent authorities of the Member States in which the high-risk AI system is placed on the market or made available.
3. Ako visokorizični UI sustavi podliježu drugom zakonodavstvu Unije o usklađivanju kojim se također zahtijeva EU izjava o sukladnosti, sastavlja se jedinstvena EU izjava o sukladnosti koja se odnosi na svo pravo Unije koje se primjenjuje na dotični visokorizični UI sustav. Ta izjava sadržava sve informacije potrebne za identifikaciju zakonodavstva Unije o usklađivanju na koje se izjava odnosi.
3. Where high-risk AI systems are subject to other Union harmonisation legislation which also requires an EU declaration of conformity, a single EU declaration of conformity shall be drawn up in respect of all Union law applicable to the high-risk AI system. The declaration shall contain all the information required to identify the Union harmonisation legislation to which the declaration relates.
4. Sastavljanjem EU izjave o sukladnosti dobavljač preuzima odgovornost za ispunjavanje zahtjeva utvrđenih u odjeljku 2. Dobavljač prema potrebi ažurira EU izjavu o sukladnosti.
4. By drawing up the EU declaration of conformity, the provider shall assume responsibility for compliance with the requirements set out in Section 2. The provider shall keep the EU declaration of conformity up-to-date as appropriate.
5. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene Priloga V. ažuriranjem sadržaja EU izjave o sukladnosti utvrđene u tom prilogu kako bi se uveli elementi koji postanu potrebni s obzirom na tehnički napredak.
5. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annex V by updating the content of the EU declaration of conformity set out in that Annex, in order to introduce elements that become necessary in light of technical progress.
Članak 48.
Article 48
Oznaka CE
CE marking
1. Za oznaku CE vrijede opća načela utvrđena u članku 30. Uredbe (EZ) br. 765/2008.
1. The CE marking shall be subject to the general principles set out in Article 30 of Regulation (EC) No 765/2008.
2. Za visokorizične UI sustave koji se pružaju digitalno digitalna oznaka CE upotrebljava se samo ako joj se može lako pristupiti preko sučelja s kojeg se pristupa tom sustavu ili s pomoću lako dostupnog strojno čitljivog koda ili drugih elektroničkih sredstava.
2. For high-risk AI systems provided digitally, a digital CE marking shall be used, only if it can easily be accessed via the interface from which that system is accessed or via an easily accessible machine-readable code or other electronic means.
3. Oznaka CE stavlja se na visokorizične UI sustave tako da bude vidljiva, čitka i neizbrisiva. Ako to zbog prirode visokorizičnog UI sustava nije moguće ili nije opravdano, oznaka CE stavlja se na pakiranje ili na popratnu dokumentaciju, ovisno o slučaju.
3. The CE marking shall be affixed visibly, legibly and indelibly for high-risk AI systems. Where that is not possible or not warranted on account of the nature of the high-risk AI system, it shall be affixed to the packaging or to the accompanying documentation, as appropriate.
4. Ako je primjenjivo, uz oznaku CE navodi se identifikacijski broj prijavljenog tijela odgovornog za postupke ocjenjivanja sukladnosti iz članka 43. Identifikacijski broj prijavljenog tijela stavlja sâmo prijavljeno tijelo ili ga prema njegovim uputama stavlja dobavljač ili dobavljačev ovlašteni zastupnik. Taj identifikacijski broj navodi se i u svim promotivnim materijalima u kojima se navodi da dotični visokorizični UI sustav ispunjava zahtjeve u pogledu oznake CE.
4. Where applicable, the CE marking shall be followed by the identification number of the notified body responsible for the conformity assessment procedures set out in Article 43. The identification number of the notified body shall be affixed by the body itself or, under its instructions, by the provider or by the provider’s authorised representative. The identification number shall also be indicated in any promotional material which mentions that the high-risk AI system fulfils the requirements for CE marking.
5. Ako visokorizični UI sustavi podliježu drugom pravu Unije kojim se također predviđa stavljanje oznake CE, na oznaci CE navodi se da visokorizični UI sustav ispunjava i zahtjeve iz tog drugog prava.
5. Where high-risk AI systems are subject to other Union law which also provides for the affixing of the CE marking, the CE marking shall indicate that the high-risk AI system also fulfil the requirements of that other law.
Članak 49.
Article 49
Registracija
Registration
1. Prije stavljanja na tržište ili u upotrebu visokorizičnog UI sustava iz Priloga III., uz izuzeće visokorizičnih UI sustava iz točke 2. Priloga III., dobavljač ili, ako je primjenjivo, ovlašteni zastupnik registrira sebe i svoj sustav u bazi podataka EU-a iz članka 71.
1. Before placing on the market or putting into service a high-risk AI system listed in Annex III, with the exception of high-risk AI systems referred to in point 2 of Annex III, the provider or, where applicable, the authorised representative shall register themselves and their system in the EU database referred to in Article 71.
2. Prije stavljanja na tržište ili u upotrebu UI sustava za koji je dobavljač zaključio da nije visokorizičan u skladu s člankom 6. stavkom 3., taj dobavljač ili, ako je primjenjivo, ovlašteni zastupnik registrira sebe i taj sustav u bazi podataka EU-a iz članka 71.
2. Before placing on the market or putting into service an AI system for which the provider has concluded that it is not high-risk according to Article 6(3), that provider or, where applicable, the authorised representative shall register themselves and that system in the EU database referred to in Article 71.
3. Prije stavljanja u upotrebu ili korištenja visokorizičnog UI sustava iz Priloga III., uz izuzeće visokorizičnih UI sustava iz točke 2. Priloga III., subjekti koji uvode sustav koji su tijela javne vlasti, institucije, tijela uredi ili agencije Unije ili osobe koje djeluju u njihovo ime registriraju se, odabiru sustav i registriraju njegovo korištenje u bazi podataka EU-a iz članka 71.
3. Before putting into service or using a high-risk AI system listed in Annex III, with the exception of high-risk AI systems listed in point 2 of Annex III, deployers that are public authorities, Union institutions, bodies, offices or agencies or persons acting on their behalf shall register themselves, select the system and register its use in the EU database referred to in Article 71.
4. Za visokorizične UI sustave iz točaka 1., 6. i 7. Priloga III., u području kaznenog progona, migracija, azila i upravljanja nadzorom državne granice registracija iz stavaka 1., 2. i 3. ovog članka provodi se u sigurnom dijelu baze podataka EU-a iz članka 71. koji nije javno dostupan, a uključuje samo informacije iz sljedećega, ovisno o slučaju:
4. For high-risk AI systems referred to in points 1, 6 and 7 of Annex III, in the areas of law enforcement, migration, asylum and border control management, the registration referred to in paragraphs 1, 2 and 3 of this Article shall be in a secure non-public section of the EU database referred to in Article 71 and shall include only the following information, as applicable, referred to in:
(a)
odjeljka A točaka od 1. do 10. Priloga VIII., osim točaka 6., 8. i 9.;
(a)
Section A, points 1 to 10, of Annex VIII, with the exception of points 6, 8 and 9;
(b)
odjeljka B točaka od 1. do 5. i točaka 8. i 9. Priloga VIII.;
(b)
Section B, points 1 to 5, and points 8 and 9 of Annex VIII;
(c)
odjeljka C točaka od 1. do 3. Priloga VIII.;
(c)
Section C, points 1 to 3, of Annex VIII;
(d)
točaka 1., 2., 3. i 5. Priloga IX.
(d)
points 1, 2, 3 and 5, of Annex IX.
Samo Komisija i nacionalna tijela iz članka 74. stavka 8. imaju pristup odgovarajućim dijelovima baze podataka EU-a kojima je pristup ograničen, a koji su navedeni u prvom podstavku ovog stavka.
Only the Commission and national authorities referred to in Article 74(8) shall have access to the respective restricted sections of the EU database listed in the first subparagraph of this paragraph.
5. Visokorizični UI sustavi iz točke 2. Priloga III. registriraju se na nacionalnoj razini.
5. High-risk AI systems referred to in point 2 of Annex III shall be registered at national level.
POGLAVLJE IV.
CHAPTER IV
OBVEZE U POGLEDU TRANSPARENTNOSTI ZA DOBAVLJAČE ODREĐENIH UI SUSTAVA I SUBJEKTE KOJI IH UVODE
TRANSPARENCY OBLIGATIONS FOR PROVIDERS AND DEPLOYERS OF CERTAIN AI SYSTEMS
Članak 50.
Article 50
Obveze u pogledu transparentnosti za dobavljače određenih UI sustava i subjekte koji ih uvode
Transparency obligations for providers and deployers of certain AI systems
1. Dobavljači osiguravaju da su UI sustavi koji su namijenjeni izravnoj interakciji s fizičkim osobama dizajnirani i razvijeni na takav način da se dotične fizičke osobe obavješćuje o tome da su u interakciji s UI sustavom, osim ako je to očito sa stajališta razmjerno dobro informirane, pronicljive i oprezne fizičke osobe, uzimajući u obzir okolnosti i kontekst upotrebe. Ta se obveza ne primjenjuje na UI sustave koji su zakonski odobreni za otkrivanje, sprečavanje, istragu ili kazneni progon kaznenih djela, podložno odgovarajućim zaštitnim mjerama za prava i slobode trećih strana, osim ako su ti sustavi dostupni javnosti za prijavu kaznenih djela.
1. Providers shall ensure that AI systems intended to interact directly with natural persons are designed and developed in such a way that the natural persons concerned are informed that they are interacting with an AI system, unless this is obvious from the point of view of a natural person who is reasonably well-informed, observant and circumspect, taking into account the circumstances and the context of use. This obligation shall not apply to AI systems authorised by law to detect, prevent, investigate or prosecute criminal offences, subject to appropriate safeguards for the rights and freedoms of third parties, unless those systems are available for the public to report a criminal offence.
2. Dobavljači UI sustava, uključujući UI sustave opće namjene, koji generiraju sintetički audiosadržaj, slikovni sadržaj, videosadržaj ili tekstovni sadržaj osiguravaju da izlazni rezultati UI sustava budu označeni u strojno čitljivom obliku i da ih se može prepoznati kao umjetno generirane ili manipulirane. Dobavljači osiguravaju da njihova tehnička rješenja budu djelotvorna, interoperabilna, otporna i pouzdana u mjeri u kojoj je to tehnički izvedivo, uzimajući u obzir posebnosti i ograničenja različitih vrsta sadržaja, troškove provedbe i općepriznata najnovija dostignuća, što se može odražavati u relevantnim tehničkim normama. Ta se obveza ne primjenjuje ako UI sustavi obavljaju pomoćnu funkciju za standardno uređivanje ili bitno ne mijenjaju ulazne podatke koje pruža subjekt koji uvodi sustav ili njihovu semantiku, ili ako su zakonski odobreni za otkrivanje, sprečavanje, istragu ili kazneni progon kaznenih djela.
2. Providers of AI systems, including general-purpose AI systems, generating synthetic audio, image, video or text content, shall ensure that the outputs of the AI system are marked in a machine-readable format and detectable as artificially generated or manipulated. Providers shall ensure their technical solutions are effective, interoperable, robust and reliable as far as this is technically feasible, taking into account the specificities and limitations of various types of content, the costs of implementation and the generally acknowledged state of the art, as may be reflected in relevant technical standards. This obligation shall not apply to the extent the AI systems perform an assistive function for standard editing or do not substantially alter the input data provided by the deployer or the semantics thereof, or where authorised by law to detect, prevent, investigate or prosecute criminal offences.
3. Subjekti koji uvode sustav za prepoznavanje emocija ili sustav za biometrijsku kategorizaciju obavješćuju fizičke osobe koje su izložene tom sustavu o njegovu radu, a osobne podatke obrađuju u skladu s uredbama (EU) 2016/679 i (EU) 2018/1725 te Direktivom (EU) 2016/680, ovisno o slučaju. Ta se obveza ne primjenjuje na UI sustave za biometrijsku kategorizaciju i prepoznavanje emocija koji su zakonski odobreni za otkrivanje, sprečavanje ili istragu kaznenih djela, podložno odgovarajućim zaštitnim mjerama za prava i slobode trećih strana i u skladu s pravom Unije.
3. Deployers of an emotion recognition system or a biometric categorisation system shall inform the natural persons exposed thereto of the operation of the system, and shall process the personal data in accordance with Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, as applicable. This obligation shall not apply to AI systems used for biometric categorisation and emotion recognition, which are permitted by law to detect, prevent or investigate criminal offences, subject to appropriate safeguards for the rights and freedoms of third parties, and in accordance with Union law.
4. Subjekti koji uvode UI sustav koji generira ili manipulira slikovnim sadržajem, audiosadržajem ili videosadržajem koji čini uvjerljiv krivotvoreni sadržaj (deep fake) moraju navesti da je taj sadržaj umjetno generiran ili da je njime manipulirano. Ta se obveza ne primjenjuje ako je korištenje zakonski odobreno za otkrivanje, sprečavanje, istragu ili kazneni progon kaznenih djela. Ako je sadržaj dio očigledno umjetničkog, kreativnog, satiričnog, fiktivnog ili analognog djela ili programa, obveze u pogledu transparentnosti iz ovog stavka ograničene su na otkrivanje postojanja takvog generiranog ili manipuliranog sadržaja na odgovarajući način kojim se ne ometa prikazivanje tog djela ili uživanje u njemu.
4. Deployers of an AI system that generates or manipulates image, audio or video content constituting a deep fake, shall disclose that the content has been artificially generated or manipulated. This obligation shall not apply where the use is authorised by law to detect, prevent, investigate or prosecute criminal offence. Where the content forms part of an evidently artistic, creative, satirical, fictional or analogous work or programme, the transparency obligations set out in this paragraph are limited to disclosure of the existence of such generated or manipulated content in an appropriate manner that does not hamper the display or enjoyment of the work.
Subjekti koji uvode UI sustav koji generira ili manipulira tekstom koji se objavljuje u svrhu informiranja javnosti o pitanjima od javnog interesa moraju navesti da je tekst umjetno generiran ili da je njime manipulirano. Ta se obveza ne primjenjuje ako je korištenje zakonski odobreno za otkrivanje, sprečavanje, istragu ili kazneni progon kaznenih djela ili ako je sadržaj generiran umjetnom inteligencijom prošao proces preispitivanja koje provodi čovjek ili uredničku kontrolu i ako fizička ili pravna osoba snosi uredničku odgovornost za objavu sadržaja.
Deployers of an AI system that generates or manipulates text which is published with the purpose of informing the public on matters of public interest shall disclose that the text has been artificially generated or manipulated. This obligation shall not apply where the use is authorised by law to detect, prevent, investigate or prosecute criminal offences or where the AI-generated content has undergone a process of human review or editorial control and where a natural or legal person holds editorial responsibility for the publication of the content.
5. Informacije iz stavaka od 1. do 4. dotičnim se fizičkim osobama pružaju na jasan i raspoznatljiv način najkasnije u trenutku prve interakcije ili prvog izlaganja. Te informacije moraju ispunjavati primjenjive zahtjeve u pogledu pristupačnosti.
5. The information referred to in paragraphs 1 to 4 shall be provided to the natural persons concerned in a clear and distinguishable manner at the latest at the time of the first interaction or exposure. The information shall conform to the applicable accessibility requirements.
6. Stavci od 1. do 4. ne utječu na zahtjeve i obveze iz poglavlja III. i njima se ne dovode u pitanje druge obveze u pogledu transparentnosti utvrđene u pravu Unije ili nacionalnom pravu za subjekte koji uvode UI sustave.
6. Paragraphs 1 to 4 shall not affect the requirements and obligations set out in Chapter III, and shall be without prejudice to other transparency obligations laid down in Union or national law for deployers of AI systems.
7. Ured za umjetnu inteligenciju potiče i olakšava izradu kodeksâ prakse na razini Unije kako bi se olakšala djelotvorna provedba obveza u pogledu otkrivanja i označivanja umjetno generiranog ili manipuliranog sadržaja. Komisija može donositi provedbene akte radi odobravanja tih kodeksa prakse u skladu s postupkom utvrđenim u članku 56. stavku 6. Ako smatra da kodeks nije adekvatan, Komisija može donositi provedbene akte o utvrđivanju zajedničkih pravila za provedbu tih obveza u skladu s postupkom ispitivanja utvrđenim u članku 98. stavku 2.
7. The AI Office shall encourage and facilitate the drawing up of codes of practice at Union level to facilitate the effective implementation of the obligations regarding the detection and labelling of artificially generated or manipulated content. The Commission may adopt implementing acts to approve those codes of practice in accordance with the procedure laid down in Article 56 (6). If it deems the code is not adequate, the Commission may adopt an implementing act specifying common rules for the implementation of those obligations in accordance with the examination procedure laid down in Article 98(2).
POGLAVLJE V.
CHAPTER V
UI MODELI OPĆE NAMJENE
GENERAL-PURPOSE AI MODELS
ODJELJAK 1.
SECTION 1
Pravila o klasifikaciji
Classification rules
Članak 51.
Article 51
Klasifikacija UI modela opće namjene kao UI modela opće namjene sa sistemskim rizikom
Classification of general-purpose AI models as general-purpose AI models with systemic risk
1. UI model opće namjene klasificira se kao UI model opće namjene sa sistemskim rizikom ako ispunjava bilo koji od sljedećih uvjeta:
1. A general-purpose AI model shall be classified as a general-purpose AI model with systemic risk if it meets any of the following conditions:
(a)
ima sposobnosti visokog učinka evaluirane na temelju odgovarajućih tehničkih alata i metodologija, uključujući pokazatelje i referentne vrijednosti;
(a)
it has high impact capabilities evaluated on the basis of appropriate technical tools and methodologies, including indicators and benchmarks;
(b)
na temelju odluke Komisije, po službenoj dužnosti ili slijedom kvalificiranog upozorenja znanstvenog povjerenstva, ima sposobnosti ili učinak jednakovrijedne onima utvrđenima u točki (a), uzimajući u obzir kriterije utvrđene u Prilogu XIII.
(b)
based on a decision of the Commission, ex officio or following a qualified alert from the scientific panel, it has capabilities or an impact equivalent to those set out in point (a) having regard to the criteria set out in Annex XIII.
2. Pretpostavlja se da UI model opće namjene ima sposobnosti visokog učinka u skladu sa stavkom 1. točkom (a) ako je kumulativna količina računanja korištena za njegovo treniranje iskazana brojem matematičkih operacija nad brojevima s pomičnim zarezom u sekundi veća od 1025.
2. A general-purpose AI model shall be presumed to have high impact capabilities pursuant to paragraph 1, point (a), when the cumulative amount of computation used for its training measured in floating point operations is greater than 1025.
3. Komisija donosi delegirane akte u skladu s člankom 97. radi izmjene pragova navedenih u stavcima 1. i 2. ovog članka te, prema potrebi, radi dopune referentnih vrijednosti i pokazatelja s obzirom na tehnološki razvoj, kao što su algoritamska poboljšanja ili povećanje učinkovitosti hardvera, kako bi ti pragovi odražavali najnovija dostignuća.
3. The Commission shall adopt delegated acts in accordance with Article 97 to amend the thresholds listed in paragraphs 1 and 2 of this Article, as well as to supplement benchmarks and indicators in light of evolving technological developments, such as algorithmic improvements or increased hardware efficiency, when necessary, for these thresholds to reflect the state of the art.
Članak 52.
Article 52
Postupak
Procedure
1. Ako UI model opće namjene ispunjava uvjet iz članka 51. stavka 1. točke (a), dotični dobavljač o tome obavješćuje Komisiju bez odgode, a u svakom slučaju u roku od dva tjedna nakon što je taj zahtjev ispunjen ili nakon što postane poznato da će biti ispunjen. Ta obavijest uključuje informacije potrebne kako bi se dokazalo da je dotični zahtjev ispunjen. Ako Komisija sazna za UI model opće namjene koji predstavlja sistemske rizike, a o kojem nije bila obaviještena, može ga odlučiti odrediti kao model sa sistemskim rizikom.
1. Where a general-purpose AI model meets the condition referred to in Article 51(1), point (a), the relevant provider shall notify the Commission without delay and in any event within two weeks after that requirement is met or it becomes known that it will be met. That notification shall include the information necessary to demonstrate that the relevant requirement has been met. If the Commission becomes aware of a general-purpose AI model presenting systemic risks of which it has not been notified, it may decide to designate it as a model with systemic risk.
2. Dobavljač UI modela opće namjene koji ispunjava uvjet iz članka 51. stavka 1. točke (a) može uz svoju obavijest dostaviti dostatno potkrijepljene argumente kako bi dokazao da UI model opće namjene iznimno, iako ispunjava navedeni zahtjev, zbog svojih specifičnih karakteristika ne predstavlja sistemske rizike i da ga stoga ne bi trebalo klasificirati kao UI model opće namjene sa sistemskim rizikom.
2. The provider of a general-purpose AI model that meets the condition referred to in Article 51(1), point (a), may present, with its notification, sufficiently substantiated arguments to demonstrate that, exceptionally, although it meets that requirement, the general-purpose AI model does not present, due to its specific characteristics, systemic risks and therefore should not be classified as a general-purpose AI model with systemic risk.
3. Ako Komisija zaključi da argumenti dostavljeni na temelju stavka 2. nisu dostatno potkrijepljeni i da dotični dobavljač nije dokazao da UI model opće namjene zbog svojih specifičnih karakteristika ne predstavlja sistemske rizike, ona odbacuje te argumente, a UI model opće namjene smatra se UI modelom opće namjene sa sistemskim rizikom.
3. Where the Commission concludes that the arguments submitted pursuant to paragraph 2 are not sufficiently substantiated and the relevant provider was not able to demonstrate that the general-purpose AI model does not present, due to its specific characteristics, systemic risks, it shall reject those arguments, and the general-purpose AI model shall be considered to be a general-purpose AI model with systemic risk.
4. Komisija može UI model opće namjene odrediti kao model koji predstavlja sistemske rizike na temelju kriterija iz Priloga XIII., po službenoj dužnosti ili slijedom kvalificiranog upozorenja znanstvenog povjerenstva u skladu s člankom 90. stavkom 1. točkom (a).
4. The Commission may designate a general-purpose AI model as presenting systemic risks, ex officio or following a qualified alert from the scientific panel pursuant to Article 90(1), point (a), on the basis of criteria set out in Annex XIII.
Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene Priloga XIII. utvrđivanjem i ažuriranjem kriterija utvrđenih u tom prilogu.
The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annex XIII by specifying and updating the criteria set out in that Annex.
5. Na obrazloženi zahtjev dobavljača čiji je model u skladu sa stavkom 4. određen kao UI model opće namjene sa sistemskim rizikom, Komisija takav zahtjev uzima u obzir i može odlučiti ponovno ocijeniti može li se i dalje smatrati da UI model opće namjene predstavlja sistemske rizike na temelju kriterija iz Priloga XIII. Takav zahtjev mora sadržavati objektivne, detaljne i nove razloge koji su se pojavili nakon odluke o određivanju. Dobavljači mogu zatražiti ponovnu ocjenu najranije šest mjeseci nakon odluke o određivanju. Ako Komisija nakon ponovne ocjene odluči zadržati određivanje modela kao UI modela opće namjene sa sistemskim rizikom, dobavljači mogu zatražiti ponovno ocjenjivanje najranije šest mjeseci nakon te odluke.
5. Upon a reasoned request of a provider whose model has been designated as a general-purpose AI model with systemic risk pursuant to paragraph 4, the Commission shall take the request into account and may decide to reassess whether the general-purpose AI model can still be considered to present systemic risks on the basis of the criteria set out in Annex XIII. Such a request shall contain objective, detailed and new reasons that have arisen since the designation decision. Providers may request reassessment at the earliest six months after the designation decision. Where the Commission, following its reassessment, decides to maintain the designation as a general-purpose AI model with systemic risk, providers may request reassessment at the earliest six months after that decision.
6. Komisija osigurava objavljivanje popisa UI modelâ opće namjene sa sistemskim rizikom i ažurira ga, ne dovodeći u pitanje potrebu za poštovanjem i zaštitom prava intelektualnog vlasništva i povjerljivih poslovnih informacija ili poslovnih tajni u skladu s pravom Unije i nacionalnim pravom.
6. The Commission shall ensure that a list of general-purpose AI models with systemic risk is published and shall keep that list up to date, without prejudice to the need to observe and protect intellectual property rights and confidential business information or trade secrets in accordance with Union and national law.
ODJELJAK 2.
SECTION 2
Obveze dobavljača UI modelâ opće namjene
Obligations for providers of general-purpose AI models
Članak 53.
Article 53
Obveze dobavljača UI modelâ opće namjene
Obligations for providers of general-purpose AI models
1. Dobavljači UI modelâ opće namjene:
1. Providers of general-purpose AI models shall:
(a)
izrađuju i ažuriraju tehničku dokumentaciju modela, među ostalim o postupku njegova treniranja i testiranja te rezultatima njegove evaluacije, koja sadržava barem informacije utvrđene u Prilogu XI., kako bi je na zahtjev dostavili Uredu za umjetnu inteligenciju i nacionalnim nadležnim tijelima;
(a)
draw up and keep up-to-date the technical documentation of the model, including its training and testing process and the results of its evaluation, which shall contain, at a minimum, the information set out in Annex XI for the purpose of providing it, upon request, to the AI Office and the national competent authorities;
(b)
izrađuju, ažuriraju i stavljaju na raspolaganje informacije i dokumentaciju dobavljačima UI sustava koji namjeravaju integrirati UI model opće namjene u svoje UI sustave. Ne dovodeći u pitanje potrebu za poštovanjem i zaštitom prava intelektualnog vlasništva i povjerljivih poslovnih informacija ili poslovnih tajni u skladu s pravom Unije i nacionalnim pravom, te informacije i dokumentacija:
(b)
draw up, keep up-to-date and make available information and documentation to providers of AI systems who intend to integrate the general-purpose AI model into their AI systems. Without prejudice to the need to observe and protect intellectual property rights and confidential business information or trade secrets in accordance with Union and national law, the information and documentation shall:
i.
omogućuju dobavljačima UI sustava da dobro razumiju sposobnosti i ograničenja UI modela opće namjene i da ispune svoje obveze na temelju ove Uredbe; i
(i)
enable providers of AI systems to have a good understanding of the capabilities and limitations of the general-purpose AI model and to comply with their obligations pursuant to this Regulation; and
ii.
sadržavaju barem elemente utvrđene u Prilogu XII.;
(ii)
contain, at a minimum, the elements set out in Annex XII;
(c)
uspostavljaju politiku usklađivanja s pravom Unije o autorskom pravu i povezanim pravima, posebno kako bi utvrdili i poštovali, među ostalim i s pomoću najsuvremenijih tehnologija, pridržaj prava izražen u skladu s člankom 4. stavkom 3. Direktive (EU) 2019/790;
(c)
put in place a policy to comply with Union law on copyright and related rights, and in particular to identify and comply with, including through state-of-the-art technologies, a reservation of rights expressed pursuant to Article 4(3) of Directive (EU) 2019/790;
(d)
izrađuju i objavljuju dovoljno detaljan sažetak o sadržaju upotrijebljenom za treniranje UI modela opće namjene, prema predlošku Ureda za umjetnu inteligenciju.
(d)
draw up and make publicly available a sufficiently detailed summary about the content used for training of the general-purpose AI model, according to a template provided by the AI Office.
2. Obveze utvrđene u stavku 1. točkama (a) i (b) ne primjenjuju se na dobavljače UI modela koji se objavljuju na temelju besplatne licencije za softver otvorenog koda koja omogućuje pristup modelu te njegovu upotrebu, izmjenu i distribuciju i čiji su parametri, uključujući težinske faktore, informacije o arhitekturi modela te informacije o upotrebi modela, javno dostupni. Ta se iznimka ne primjenjuje na UI modele opće namjene sa sistemskim rizikom.
2. The obligations set out in paragraph 1, points (a) and (b), shall not apply to providers of AI models that are released under a free and open-source licence that allows for the access, usage, modification, and distribution of the model, and whose parameters, including the weights, the information on the model architecture, and the information on model usage, are made publicly available. This exception shall not apply to general-purpose AI models with systemic risks.
3. Dobavljači UI modela opće namjene prema potrebi surađuju s Komisijom i nacionalnim nadležnim tijelima u izvršavanju njihovih nadležnosti i ovlasti na temelju ove Uredbe.
3. Providers of general-purpose AI models shall cooperate as necessary with the Commission and the national competent authorities in the exercise of their competences and powers pursuant to this Regulation.
4. Dobavljači UI modelâ opće namjene mogu se do objave usklađene norme osloniti na kodekse prakse u smislu članka 56. kako bi dokazali da ispunjavaju obveze utvrđene u stavku 1. ovog članka. Ispunjavanjem europskih usklađenih normi za dobavljače vrijedi pretpostavka sukladnosti u mjeri u kojoj su te obveze obuhvaćene tim normama. Dobavljači UI modelâ opće namjene koji ne poštuju odobreni kodeks prakse ili ne ispunjavaju europsku usklađenu normu moraju dokazati alternativne adekvatne načine usklađivanja kako bi ih ocijenila Komisija.
4. Providers of general-purpose AI models may rely on codes of practice within the meaning of Article 56 to demonstrate compliance with the obligations set out in paragraph 1 of this Article, until a harmonised standard is published. Compliance with European harmonised standards grants providers the presumption of conformity to the extent that those standards cover those obligations. Providers of general-purpose AI models who do not adhere to an approved code of practice or do not comply with a European harmonised standard shall demonstrate alternative adequate means of compliance for assessment by the Commission.
5. Kako bi se olakšalo usklađivanje s Prilogom XI., a posebno s njegovom točkom 2. podtočkama (d) i (e), Komisija je ovlaštena z donošenje delegiranih akata u skladu s člankom 97. kako bi detaljno opisala metodologije mjerenja i izračuna u cilju omogućavanja usporedive i provjerljive dokumentacije.
5. For the purpose of facilitating compliance with Annex XI, in particular points 2 (d) and (e) thereof, the Commission is empowered to adopt delegated acts in accordance with Article 97 to detail measurement and calculation methodologies with a view to allowing for comparable and verifiable documentation.
6. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. stavkom 2. radi izmjene priloga XI. i XII. s obzirom na tehnološki razvoj.
6. The Commission is empowered to adopt delegated acts in accordance with Article 97(2) to amend Annexes XI and XII in light of evolving technological developments.
7. Sa svim informacijama ili dokumentacijom koji se pribave u skladu s ovim člankom, uključujući poslovne tajne, postupa se u skladu s obvezama u pogledu povjerljivosti utvrđenima u članku 78.
7. Any information or documentation obtained pursuant to this Article, including trade secrets, shall be treated in accordance with the confidentiality obligations set out in Article 78.
Članak 54.
Article 54
Ovlašteni zastupnici dobavljača UI modelâ opće namjene
Authorised representatives of providers of general-purpose AI models
1. Prije stavljanja UI modelâ opće namjene na tržište Unije dobavljači s poslovnim nastanom u trećim zemljama pisanim ovlaštenjem imenuju ovlaštenog zastupnika s poslovnim nastanom Uniji.
1. Prior to placing a general-purpose AI model on the Union market, providers established in third countries shall, by written mandate, appoint an authorised representative which is established in the Union.
2. Dobavljač omogućuje svojem ovlaštenom zastupniku da obavlja zadaće navedene u ovlaštenju koje je dobio od dobavljača.
2. The provider shall enable its authorised representative to perform the tasks specified in the mandate received from the provider.
3. Ovlašteni zastupnik obavlja zadaće navedene u ovlaštenju koje je dobio od dobavljača. On dostavlja primjerak ovlaštenja Uredu za umjetnu inteligenciju na njegov zahtjev, na jednom od službenih jezika institucija Unije. Za potrebe ove Uredbe ovlaštenjem se ovlaštenom zastupniku daje ovlast da obavlja sljedeće zadaće:
3. The authorised representative shall perform the tasks specified in the mandate received from the provider. It shall provide a copy of the mandate to the AI Office upon request, in one of the official languages of the institutions of the Union. For the purposes of this Regulation, the mandate shall empower the authorised representative to carry out the following tasks:
(a)
provjerava je li tehnička dokumentacija iz Priloga XI. sastavljena i je li dobavljač ispunio sve obveze iz članka 53. i, ako je primjenjivo, članka 55.;
(a)
verify that the technical documentation specified in Annex XI has been drawn up and all obligations referred to in Article 53 and, where applicable, Article 55 have been fulfilled by the provider;
(b)
drži primjerak tehničke dokumentacije iz Priloga XI. na raspolaganju Uredu za umjetnu inteligenciju i nacionalnim nadležnim tijelima tijekom razdoblja od deset godina nakon stavljanja UI modela opće namjene na tržište i čuva kontaktne podatke dobavljača koji je imenovao ovlaštenog zastupnika;
(b)
keep a copy of the technical documentation specified in Annex XI at the disposal of the AI Office and national competent authorities, for a period of 10 years after the general-purpose AI model has been placed on the market, and the contact details of the provider that appointed the authorised representative;
(c)
Uredu za umjetnu inteligenciju na obrazloženi zahtjev dostavlja sve informacije i dokumentaciju, uključujući one iz točke (b), koji su potrebni za dokazivanje ispunjavanja obveza iz ovog poglavlja;
(c)
provide the AI Office, upon a reasoned request, with all the information and documentation, including that referred to in point (b), necessary to demonstrate compliance with the obligations in this Chapter;
(d)
na obrazloženi zahtjev surađuje s Uredom za umjetnu inteligenciju i nadležnim tijelima u svim mjerama koje oni poduzimaju u vezi s UI modelom opće namjene, među ostalim onda kada je model integriran u UI sustave koji se stavljaju na tržište ili u upotrebu u Uniji.
(d)
cooperate with the AI Office and competent authorities, upon a reasoned request, in any action they take in relation to the general-purpose AI model, including when the model is integrated into AI systems placed on the market or put into service in the Union.
4. Ovlaštenjem se ovlaštenog zastupnika ovlašćuje da, uz dobavljača ili umjesto dobavljaču, bude osoba kojoj se obraćaju Ured za umjetnu inteligenciju ili nadležna tijela u vezi sa svim pitanjima povezanima s osiguravanjem usklađenosti s ovom Uredbom.
4. The mandate shall empower the authorised representative to be addressed, in addition to or instead of the provider, by the AI Office or the competent authorities, on all issues related to ensuring compliance with this Regulation.
5. Ovlašteni zastupnik ukida ovlaštenje ako smatra ili ima razloga smatrati da dobavljač postupa protivno svojim obvezama na temelju ove Uredbe. U tom slučaju ovlašteni zastupnik o ukidanju ovlaštenja i razlozima za ukidanje ujedno odmah obavješćuje Ured za umjetnu inteligenciju.
5. The authorised representative shall terminate the mandate if it considers or has reason to consider the provider to be acting contrary to its obligations pursuant to this Regulation. In such a case, it shall also immediately inform the AI Office about the termination of the mandate and the reasons therefor.
6. Obveza utvrđena u ovom članku ne primjenjuje se na dobavljače UI modela opće namjene koji se objavljuju na temelju besplatne licencije otvorenog koda koja omogućuje pristup modelu te njegovu upotrebu, izmjenu i distribuciju i čiji su parametri, uključujući težinske faktore, informacije o arhitekturi modela te informacije o upotrebi modela, javno dostupni, osim ako UI modeli opće namjene predstavljaju sistemske rizike.
6. The obligation set out in this Article shall not apply to providers of general-purpose AI models that are released under a free and open-source licence that allows for the access, usage, modification, and distribution of the model, and whose parameters, including the weights, the information on the model architecture, and the information on model usage, are made publicly available, unless the general-purpose AI models present systemic risks.
ODJELJAK 3.
SECTION 3
Obveze dobavljača UI modelâ opće namjene sa sistemskim rizikom
Obligations of providers of general-purpose AI models with systemic risk
Članak 55.
Article 55
Obveze dobavljača UI modelâ opće namjene sa sistemskim rizikom
Obligations of providers of general-purpose AI models with systemic risk
1. Uz obveze navedene u člancima 53. i 54. dobavljači UI modelâ opće namjene sa sistemskim rizikom:
1. In addition to the obligations listed in Articles 53 and 54, providers of general-purpose AI models with systemic risk shall:
(a)
provode evaluaciju modela u skladu sa standardiziranim protokolima i alatima koji odražavaju najnovija dostignuća, uključujući provođenje i dokumentiranje neprijateljskog testiranja modela radi utvrđivanja i smanjivanja sistemskog rizika;
(a)
perform model evaluation in accordance with standardised protocols and tools reflecting the state of the art, including conducting and documenting adversarial testing of the model with a view to identifying and mitigating systemic risks;
(b)
procjenjuju i smanjuju moguće sistemske rizike na razini Unije, uključujući njihove izvore, koji mogu proizići iz razvoja, stavljanja na tržište ili korištenja UI modelâ opće namjene sa sistemskim rizikom;
(b)
assess and mitigate possible systemic risks at Union level, including their sources, that may stem from the development, the placing on the market, or the use of general-purpose AI models with systemic risk;
(c)
prate, dokumentiraju i bez nepotrebne odgode dostavljaju Uredu za umjetnu inteligenciju i, prema potrebi, nacionalnim nadležnim tijelima, relevantne informacije o ozbiljnim incidentima i mogućim korektivnim mjerama za njihovo rješavanje;
(c)
keep track of, document, and report, without undue delay, to the AI Office and, as appropriate, to national competent authorities, relevant information about serious incidents and possible corrective measures to address them;
(d)
osiguravaju odgovarajuću razinu kibernetičkosigurnosne zaštite UI modela opće namjene sa sistemskim rizikom i fizičke infrastrukture tog modela.
(d)
ensure an adequate level of cybersecurity protection for the general-purpose AI model with systemic risk and the physical infrastructure of the model.
2. Dobavljači UI modelâ opće namjene sa sistemskim rizikom mogu se do objave usklađene norme osloniti na kodekse prakse u smislu članka 56. kako bi dokazali da ispunjavaju obveze utvrđene u stavku 1. ovog članka. Ispunjavanjem europskih usklađenih normi za dobavljače vrijedi pretpostavka sukladnosti u mjeri u kojoj su te obveze obuhvaćene tim normama. Dobavljači UI modelâ opće namjene sa sistemskim rizikom koji ne poštuju odobreni kodeksa prakse ili ne ispunjavaju europsku usklađenu normu moraju dokazati alternativne adekvatne načine usklađivanja kako bi ih procijenila Komisija.
2. Providers of general-purpose AI models with systemic risk may rely on codes of practice within the meaning of Article 56 to demonstrate compliance with the obligations set out in paragraph 1 of this Article, until a harmonised standard is published. Compliance with European harmonised standards grants providers the presumption of conformity to the extent that those standards cover those obligations. Providers of general-purpose AI models with systemic risks who do not adhere to an approved code of practice or do not comply with a European harmonised standard shall demonstrate alternative adequate means of compliance for assessment by the Commission.
3. Sa svim informacijama ili dokumentacijom koji se pribave na temelju ovog članka, uključujući poslovne tajne, postupa se u skladu s obvezama u pogledu povjerljivosti utvrđenima u članku 78.
3. Any information or documentation obtained pursuant to this Article, including trade secrets, shall be treated in accordance with the confidentiality obligations set out in Article 78.
ODJELJAK 4.
SECTION 4
Kodeksi prakse
Codes of practice
Članak 56.
Article 56
Kodeksi prakse
Codes of practice
1. Ured za umjetnu inteligenciju potiče i olakšava izradu kodeksâ prakse na razini Unije kako bi se doprinijelo pravilnoj primjeni ove Uredbe, uzimajući u obzir međunarodne pristupe.
1. The AI Office shall encourage and facilitate the drawing up of codes of practice at Union level in order to contribute to the proper application of this Regulation, taking into account international approaches.
2. Ured za umjetnu inteligenciju i Vijeće za umjetnu inteligenciju nastoje osigurati da kodeksi prakse obuhvaćaju barem obveze iz članaka 53. i 55., uključujući sljedeća pitanja:
2. The AI Office and the Board shall aim to ensure that the codes of practice cover at least the obligations provided for in Articles 53 and 55, including the following issues:
(a)
sredstva kojima se osigurava da se informacije iz članka 53. stavka 1. točaka (a) i (b) ažuriraju s obzirom na tržišni i tehnološki razvoj;
(a)
the means to ensure that the information referred to in Article 53(1), points (a) and (b), is kept up to date in light of market and technological developments;
(b)
odgovarajuću razinu detaljnosti sažetka o sadržaju upotrijebljenom za treniranje;
(b)
the adequate level of detail for the summary about the content used for training;
(c)
utvrđivanje vrste i prirode sistemskih rizika na razini Unije, uključujući, prema potrebi, njihove izvore;
(c)
the identification of the type and nature of the systemic risks at Union level, including their sources, where appropriate;
(d)
mjere, postupke i modalitete za procjenu sistemskih rizika i upravljanje sistemskim rizicima na razini Unije, uključujući dokumentaciju o njima, koji su razmjerni rizicima i kojima se uzimaju u obzir ozbiljnost i vjerojatnost tih rizika te posebni izazovi uklanjanja tih rizika s obzirom na moguće načine na koje se takvi rizici mogu pojaviti i materijalizirati duž vrijednosnog lanca umjetne inteligencije.
(d)
the measures, procedures and modalities for the assessment and management of the systemic risks at Union level, including the documentation thereof, which shall be proportionate to the risks, take into consideration their severity and probability and take into account the specific challenges of tackling those risks in light of the possible ways in which such risks may emerge and materialise along the AI value chain.
3. Ured za umjetnu inteligenciju može pozvati sve dobavljače UI modelâ opće namjene, kao i relevantna nacionalna nadležna tijela, da sudjeluju u izradi kodeksâ prakse. Taj proces mogu poduprijeti organizacije civilnog društva, industrija, akademska zajednica i drugi relevantni dionici, poput dobavljača niže u lancu opskrbe i neovisnih stručnjaka.
3. The AI Office may invite all providers of general-purpose AI models, as well as relevant national competent authorities, to participate in the drawing-up of codes of practice. Civil society organisations, industry, academia and other relevant stakeholders, such as downstream providers and independent experts, may support the process.
4. Ured za umjetnu inteligenciju i Vijeće za umjetnu inteligenciju nastoje osigurati da se u kodeksima prakse jasno utvrde njihovi specifični ciljevi i da sadržavaju obveze ili mjere, prema potrebi uključujući ključne pokazatelje uspješnosti, za osiguravanje postizanja tih ciljeva, te da se u njima na odgovarajući način uzimaju u obzir potrebe i interesi svih zainteresiranih strana, među ostalim uključenih osoba, na razini Unije.
4. The AI Office and the Board shall aim to ensure that the codes of practice clearly set out their specific objectives and contain commitments or measures, including key performance indicators as appropriate, to ensure the achievement of those objectives, and that they take due account of the needs and interests of all interested parties, including affected persons, at Union level.
5. Ured za umjetnu inteligenciju nastoji osigurati da sudionici kodeksâ prakse redovito izvješćuju Ured za umjetnu inteligenciju o provedbi obveza i poduzetim mjerama te njihovim rezultatima, među ostalim u odnosu na ključne pokazatelje uspješnosti, prema potrebi. Ključni pokazatelji uspješnosti i obveze izvješćivanja moraju odražavati razlike u veličini i kapacitetu među različitim sudionicima.
5. The AI Office shall aim to ensure that participants to the codes of practice report regularly to the AI Office on the implementation of the commitments and the measures taken and their outcomes, including as measured against the key performance indicators as appropriate. Key performance indicators and reporting commitments shall reflect differences in size and capacity between various participants.
6. Ured za umjetnu inteligenciju i Vijeće za umjetnu inteligenciju redovito prate i ocjenjuju ostvarivanje ciljeva kodeksâ prakse od strane sudionika i njihov doprinos pravilnoj primjeni ove Uredbe. Ured za umjetnu inteligenciju i Vijeće za umjetnu inteligenciju ocjenjuju obuhvaćaju li kodeksi prakse obveze iz članaka 53. i 55., te redovito prate i evaluiraju postizanje njihovih ciljeva. Objavljuju svoju ocjenu adekvatnosti kodeksâ prakse.
6. The AI Office and the Board shall regularly monitor and evaluate the achievement of the objectives of the codes of practice by the participants and their contribution to the proper application of this Regulation. The AI Office and the Board shall assess whether the codes of practice cover the obligations provided for in Articles 53 and 55, and shall regularly monitor and evaluate the achievement of their objectives. They shall publish their assessment of the adequacy of the codes of practice.
Komisija može provedbenim aktom odobriti kodeks prakse i učiniti ga općenito valjanim u Uniji. Taj provedbeni akt donosi se u skladu s postupkom ispitivanja iz članka 98. stavka 2.
The Commission may, by way of an implementing act, approve a code of practice and give it a general validity within the Union. That implementing act shall be adopted in accordance with the examination procedure referred to in Article 98(2).
7. Ured za umjetnu inteligenciju može pozvati sve dobavljače UI modelâ opće namjene da poštuju kodekse prakse. Za dobavljače UI modela opće namjene koji ne predstavljaju sistemske rizike to poštovanje može se ograničiti na obveze iz članka 53., osim ako izričito izraze interes da se pridruže cijelom kodeksu.
7. The AI Office may invite all providers of general-purpose AI models to adhere to the codes of practice. For providers of general-purpose AI models not presenting systemic risks this adherence may be limited to the obligations provided for in Article 53, unless they declare explicitly their interest to join the full code.
8. Ured za umjetnu inteligenciju prema potrebi također potiče i olakšava preispitivanje i prilagodbu kodeksâ prakse, posebno s obzirom na nove norme. Ured za umjetnu inteligenciju pomaže u ocjenjivanju dostupnih normi.
8. The AI Office shall, as appropriate, also encourage and facilitate the review and adaptation of the codes of practice, in particular in light of emerging standards. The AI Office shall assist in the assessment of available standards.
9. Kodeksi prakse moraju biti spremni najkasnije do 2. svibnja 2025. Ured za umjetnu inteligenciju poduzima potrebne korake, uključujući pozivanje dobavljača u skladu sa stavkom 7.
9. Codes of practice shall be ready at the latest by 2 May 2025. The AI Office shall take the necessary steps, including inviting providers pursuant to paragraph 7.
Ako do 2. kolovoza 2025. kodeks prakse ne može biti dovršen ili ako Ured za umjetnu inteligenciju nakon ocjenjivanja na temelju stavka 6. ovog članka smatra da kodeks prakse nije adekvatan, Komisija može provedbenim aktima propisati zajednička pravila za provedbu obveza iz članaka 53. i 55., među ostalim u pogledu pitanja iz stavka 2. ovog članka. Ti se provedbeni akti donose u skladu s postupkom ispitivanja iz članka 98. stavka 2.
If, by 2 August 2025, a code of practice cannot be finalised, or if the AI Office deems it is not adequate following its assessment under paragraph 6 of this Article, the Commission may provide, by means of implementing acts, common rules for the implementation of the obligations provided for in Articles 53 and 55, including the issues set out in paragraph 2 of this Article. Those implementing acts shall be adopted in accordance with the examination procedure referred to in Article 98(2).
POGLAVLJE VI.
CHAPTER VI
MJERE ZA POTPORU INOVACIJAMA
MEASURES IN SUPPORT OF INNOVATION
Članak 57.
Article 57
Regulatorna izolirana okruženja za umjetnu inteligenciju
AI regulatory sandboxes
1. Države članice osiguravaju da njihova nadležna tijela uspostave barem jedno regulatorno izolirano okruženje za umjetnu inteligenciju na nacionalnoj razini, koje mora biti operativno do 2. kolovoza 2026. To izolirano okruženje može se uspostaviti i zajedno s nadležnim tijelima drugih država članica. Komisija može pružiti tehničku potporu, savjete i alate za uspostavu i rad regulatornih izoliranih okruženja za umjetnu inteligenciju.
1. Member States shall ensure that their competent authorities establish at least one AI regulatory sandbox at national level, which shall be operational by 2 August 2026. That sandbox may also be established jointly with the competent authorities of other Member States. The Commission may provide technical support, advice and tools for the establishment and operation of AI regulatory sandboxes.
Obveza iz prvog podstavka može se ispuniti i sudjelovanjem u postojećem izoliranom okruženju ako se tim sudjelovanjem osigurava jednakovrijedna razina nacionalne pokrivenosti za države članice sudionice.
The obligation under the first subparagraph may also be fulfilled by participating in an existing sandbox in so far as that participation provides an equivalent level of national coverage for the participating Member States.
2. Mogu se uspostaviti i dodatna regulatorna izolirana okruženja za umjetnu inteligenciju na regionalnoj ili lokalnoj razini ili se ona mogu uspostaviti zajedno s nadležnim tijelima drugih država članica.
2. Additional AI regulatory sandboxes at regional or local level, or established jointly with the competent authorities of other Member States may also be established.
3. Europski nadzornik za zaštitu podataka također može uspostaviti regulatorno izolirano okruženje za umjetnu inteligenciju za institucije, tijela, urede i agencije Unije te može izvršavati uloge i zadaće nacionalnih nadležnih tijela u skladu s ovim poglavljem.
3. The European Data Protection Supervisor may also establish an AI regulatory sandbox for Union institutions, bodies, offices and agencies, and may exercise the roles and the tasks of national competent authorities in accordance with this Chapter.
4. Države članice osiguravaju da nadležna tijela iz stavaka 1. i 2. dodijele dostatna sredstva za djelotvorno i pravodobno usklađivanje s ovim člankom. Nacionalna nadležna tijela prema potrebi surađuju s drugim relevantnim tijelima i mogu dopustiti sudjelovanje drugih aktera iz ekosustava umjetne inteligencije. Ovaj članak ne utječe na druga regulatorna izolirana okruženja uspostavljena na temelju prava Unije ili nacionalnog prava. Države članice osiguravaju odgovarajuću razinu suradnje između tijela koja nadziru ta druga izolirana okruženja i nacionalnih nadležnih tijela.
4. Member States shall ensure that the competent authorities referred to in paragraphs 1 and 2 allocate sufficient resources to comply with this Article effectively and in a timely manner. Where appropriate, national competent authorities shall cooperate with other relevant authorities, and may allow for the involvement of other actors within the AI ecosystem. This Article shall not affect other regulatory sandboxes established under Union or national law. Member States shall ensure an appropriate level of cooperation between the authorities supervising those other sandboxes and the national competent authorities.
5. Regulatorna izolirana okruženja za umjetnu inteligenciju uspostavljena na temelju stavka 1. pružaju kontrolirano okruženje koje potiče inovacije i olakšava razvoj, treniranje, testiranje i validaciju inovativnih UI sustava tijekom ograničenog razdoblja prije njihova stavljanja na tržište ili u upotrebu u skladu s posebnim planom izoliranog okruženja dogovorenim između dobavljača ili potencijalnih dobavljača i nadležnog tijela. Takva izolirana okruženja mogu uključivati testiranje u stvarnim uvjetima pod nadzorom u izoliranom okruženju.
5. AI regulatory sandboxes established under paragraph 1 shall provide for a controlled environment that fosters innovation and facilitates the development, training, testing and validation of innovative AI systems for a limited time before their being placed on the market or put into service pursuant to a specific sandbox plan agreed between the providers or prospective providers and the competent authority. Such sandboxes may include testing in real world conditions supervised therein.
6. Nadležna tijela prema potrebi pružaju smjernice, nadzor i potporu u regulatornom izoliranom okruženju za umjetnu inteligenciju radi utvrđivanja rizika, posebno za temeljna prava, zdravlje i sigurnost, te radi utvrđivanja testiranja, mjera ublažavanja i njihove djelotvornosti u odnosu na obveze i zahtjeve iz ove Uredbe i, prema potrebi, iz drugog prava Unije i nacionalnog prava čije se ispunjavanje nadzire u izoliranom okruženju.
6. Competent authorities shall provide, as appropriate, guidance, supervision and support within the AI regulatory sandbox with a view to identifying risks, in particular to fundamental rights, health and safety, testing, mitigation measures, and their effectiveness in relation to the obligations and requirements of this Regulation and, where relevant, other Union and national law supervised within the sandbox.
7. Nadležna tijela dobavljačima i potencijalnim dobavljačima koji sudjeluju u regulatornom izoliranom okruženju za umjetnu inteligenciju pružaju smjernice o regulatornim očekivanjima i načinu ispunjavanja zahtjeva i obveza utvrđenih u ovoj Uredbi.
7. Competent authorities shall provide providers and prospective providers participating in the AI regulatory sandbox with guidance on regulatory expectations and how to fulfil the requirements and obligations set out in this Regulation.
Na zahtjev dobavljača ili potencijalnog dobavljača UI sustava nadležno tijelo dostavlja pisani dokaz o aktivnostima koje su uspješno provedene u izoliranom okruženju. Nadležno tijelo dostavlja i završno izvješće koje sadržava pojedinosti o aktivnostima provedenima u izoliranom okruženju te povezanim rezultatima i ishodima učenja. Dobavljači mogu takvu dokumentaciju upotrijebiti kako bi dokazali svoju usklađenost s ovom Uredbom putem postupka ocjenjivanja sukladnosti ili relevantnih aktivnosti nadzora tržišta. U tom pogledu tijela za nadzor tržišta i prijavljena tijela pozitivno uzimaju u obzir završna izvješća i pisane dokaze koje je dostavilo nacionalno nadležno tijelo kako bi se u razumnoj mjeri ubrzali postupci ocjenjivanja sukladnosti.
Upon request of the provider or prospective provider of the AI system, the competent authority shall provide a written proof of the activities successfully carried out in the sandbox. The competent authority shall also provide an exit report detailing the activities carried out in the sandbox and the related results and learning outcomes. Providers may use such documentation to demonstrate their compliance with this Regulation through the conformity assessment process or relevant market surveillance activities. In this regard, the exit reports and the written proof provided by the national competent authority shall be taken positively into account by market surveillance authorities and notified bodies, with a view to accelerating conformity assessment procedures to a reasonable extent.
8. Podložno odredbama o povjerljivosti iz članka 78. i uz suglasnost dobavljača ili potencijalnog dobavljača, Komisija i Vijeće za umjetnu inteligenciju ovlašteni su pristupiti završnim izvješćima te ih prema potrebi uzimaju u obzir pri izvršavanju svojih zadaća na temelju ove Uredbe. Ako se i dobavljač odnosno potencijalni dobavljač i nacionalno nadležno tijelo o tome izričito dogovore, završno izvješće može se objaviti na jedinstvenoj informacijskoj platformi iz ovog članka.
8. Subject to the confidentiality provisions in Article 78, and with the agreement of the provider or prospective provider, the Commission and the Board shall be authorised to access the exit reports and shall take them into account, as appropriate, when exercising their tasks under this Regulation. If both the provider or prospective provider and the national competent authority explicitly agree, the exit report may be made publicly available through the single information platform referred to in this Article.
9. Svrha uspostave regulatornih izoliranih okruženja za umjetnu inteligenciju doprinošenje je sljedećim ciljevima:
9. The establishment of AI regulatory sandboxes shall aim to contribute to the following objectives:
(a)
unapređivanju pravne sigurnosti radi postizanja regulatorne usklađenosti s ovom Uredbom ili, prema potrebi, drugim primjenjivim pravom Unije i nacionalnim pravom;
(a)
improving legal certainty to achieve regulatory compliance with this Regulation or, where relevant, other applicable Union and national law;
(b)
podupiranju razmjene primjera najbolje prakse putem suradnje s tijelima uključenima u regulatorno izolirano okruženje za umjetnu inteligenciju;
(b)
supporting the sharing of best practices through cooperation with the authorities involved in the AI regulatory sandbox;
(c)
poticanju inovacija i konkurentnosti te olakšavanju razvoja ekosustava umjetne inteligencije;
(c)
fostering innovation and competitiveness and facilitating the development of an AI ecosystem;
(d)
doprinošenju regulatornom učenju utemeljenom na dokazima;
(d)
contributing to evidence-based regulatory learning;
(e)
olakšavanju i ubrzavanju pristupa UI sustava tržištu Unije, posebno ako su njihovi dobavljači MSP-ovi, uključujući start-up poduzeća.
(e)
facilitating and accelerating access to the Union market for AI systems, in particular when provided by SMEs, including start-ups.
10. Nacionalna nadležna tijela osiguravaju da, ako inovativni UI sustavi obuhvaćaju obradu osobnih podataka ili su na neki drugi način obuhvaćeni nadzorom drugih nacionalnih tijela ili nadležnih tijela koja pružaju ili podržavaju pristup podacima, nacionalna tijela za zaštitu podataka i ta druga nacionalna ili nadležna tijela budu uključena u rad regulatornog izoliranog okruženja za umjetnu inteligenciju i uključena u nadzor nad tim aspektima u okviru svojih zadaća i ovlasti.
10. National competent authorities shall ensure that, to the extent the innovative AI systems involve the processing of personal data or otherwise fall under the supervisory remit of other national authorities or competent authorities providing or supporting access to data, the national data protection authorities and those other national or competent authorities are associated with the operation of the AI regulatory sandbox and involved in the supervision of those aspects to the extent of their respective tasks and powers.
11. Regulatorna izolirana okruženja za umjetnu inteligenciju ne utječu na nadzorne ili korektivne ovlasti nadležnih tijela koja nadziru izolirana okruženja, među ostalim na regionalnoj ili lokalnoj razini. Ako se tijekom razvoja i testiranja takvih UI sustava uoče znatni rizici za zdravlje, sigurnost i temeljna prava, ti se rizici moraju adekvatno ublažiti. Nacionalna nadležna tijela ovlaštena su privremeno ili trajno suspendirati postupak testiranja ili sudjelovanje u izoliranom okruženju ako rizike nije moguće djelotvorno ublažiti, a o takvoj odluci obavješćuju Ured za umjetnu inteligenciju. Nacionalna nadležna tijela izvršavaju svoje nadzorne ovlasti u granicama relevantnog prava i primjenjuju svoje diskrecijske ovlasti pri provedbi pravnih odredaba u odnosu na određeni projekt u regulatornom izoliranom okruženju za umjetnu inteligenciju, s ciljem podupiranja inovacija u području umjetne inteligencije u Uniji.
11. The AI regulatory sandboxes shall not affect the supervisory or corrective powers of the competent authorities supervising the sandboxes, including at regional or local level. Any significant risks to health and safety and fundamental rights identified during the development and testing of such AI systems shall result in an adequate mitigation. National competent authorities shall have the power to temporarily or permanently suspend the testing process, or the participation in the sandbox if no effective mitigation is possible, and shall inform the AI Office of such decision. National competent authorities shall exercise their supervisory powers within the limits of the relevant law, using their discretionary powers when implementing legal provisions in respect of a specific AI regulatory sandbox project, with the objective of supporting innovation in AI in the Union.
12. Dobavljači i potencijalni dobavljači koji sudjeluju u regulatornom izoliranom okruženju za umjetnu inteligenciju i dalje su na temelju primjenjivog prava Unije o odgovornosti i nacionalnog prava o odgovornosti odgovorni za svu štetu nanesenu trećim stranama koja je posljedica eksperimentiranja u izoliranom okruženju. Međutim, ako potencijalni dobavljači poštuju posebni plan i uvjete svojeg sudjelovanja te u dobroj vjeri slijede smjernice nacionalnog nadležnog tijela, tijela ne izriču upravne novčane kazne zbog povrede ove Uredbe. Ako su druga nadležna tijela koja su odgovorna za drugo pravo Unije i nacionalno pravo bila aktivno uključena u nadzor nad UI sustavom u izoliranom okruženju i dala smjernice u pogledu usklađivanja, ne izriču se upravne novčane kazne u vezi s tim pravom.
12. Providers and prospective providers participating in the AI regulatory sandbox shall remain liable under applicable Union and national liability law for any damage inflicted on third parties as a result of the experimentation taking place in the sandbox. However, provided that the prospective providers observe the specific plan and the terms and conditions for their participation and follow in good faith the guidance given by the national competent authority, no administrative fines shall be imposed by the authorities for infringements of this Regulation. Where other competent authorities responsible for other Union and national law were actively involved in the supervision of the AI system in the sandbox and provided guidance for compliance, no administrative fines shall be imposed regarding that law.
13. Regulatorna izolirana okruženja za umjetnu inteligenciju dizajniraju se i realiziraju na takav način da se njima, ako je to relevantno, olakšava prekogranična suradnja među nacionalnim nadležnim tijelima.
13. The AI regulatory sandboxes shall be designed and implemented in such a way that, where relevant, they facilitate cross-border cooperation between national competent authorities.
14. Nacionalna nadležna tijela koordiniraju svoje aktivnosti i surađuju u okviru Vijeća za umjetnu inteligenciju.
14. National competent authorities shall coordinate their activities and cooperate within the framework of the Board.
15. Nacionalna nadležna tijela obavješćuju Ured za umjetnu inteligenciju i Vijeće za umjetnu inteligenciju o uspostavi izoliranog okruženja i mogu od njih zatražiti potporu i smjernice. Ured za umjetnu inteligenciju objavljuje popis planiranih i postojećih izoliranih okruženja i ažurira ga kako bi se potaknula veća interakcija u regulatornim izoliranim okruženjima za umjetnu inteligenciju i prekogranična suradnja.
15. National competent authorities shall inform the AI Office and the Board of the establishment of a sandbox, and may ask them for support and guidance. The AI Office shall make publicly available a list of planned and existing sandboxes and keep it up to date in order to encourage more interaction in the AI regulatory sandboxes and cross-border cooperation.
16. Nacionalna nadležna tijela podnose godišnja izvješća Uredu za umjetnu inteligenciju i Vijeću za umjetnu inteligenciju, počevši godinu dana nakon uspostave regulatornog izoliranog okruženja za umjetnu inteligenciju i svake godine nakon toga do njegove obustave, te završno izvješće. U tim se izvješćima navode informacije o napretku i rezultatima provedbe tih izoliranih okruženja, uključujući primjere najbolje prakse, incidente, stečena iskustva i preporuke o strukturi tih izoliranih okruženja te, prema potrebi, o primjeni i mogućoj reviziji ove Uredbe, uključujući njezine delegirane akte i provedbene akte, te o primjeni drugog prava Unije koju nadležna tijela nadziru u relevantnom izoliranom okruženju. Nacionalna nadležna tijela ta godišnja izvješća ili njihove sažetke stavljaju na raspolaganje javnosti na internetu. Komisija ta godišnja izvješća prema potrebi uzima u obzir pri izvršavanju svojih zadaća na temelju ove Uredbe.
16. National competent authorities shall submit annual reports to the AI Office and to the Board, from one year after the establishment of the AI regulatory sandbox and every year thereafter until its termination, and a final report. Those reports shall provide information on the progress and results of the implementation of those sandboxes, including best practices, incidents, lessons learnt and recommendations on their setup and, where relevant, on the application and possible revision of this Regulation, including its delegated and implementing acts, and on the application of other Union law supervised by the competent authorities within the sandbox. The national competent authorities shall make those annual reports or abstracts thereof available to the public, online. The Commission shall, where appropriate, take the annual reports into account when exercising its tasks under this Regulation.
17. Komisija izrađuje jedinstveno, namjensko sučelje koje sadržava sve relevantne informacije povezane s izoliranim okruženjima za umjetnu inteligenciju kako bi se dionicima omogućilo da ostvare interakciju s regulatornim izoliranim okruženjima za umjetnu inteligenciju, podnesu upite nadležnim tijelima i zatraže neobvezujuće smjernice u vezi sa sukladnošću inovativnih proizvoda, usluga i poslovnih modela u koje su ugrađene tehnologije umjetne inteligencije, u skladu s člankom 62. stavkom 1. točkom (c). Komisija se prema potrebi proaktivno koordinira s nacionalnim nadležnim tijelima.
17. The Commission shall develop a single and dedicated interface containing all relevant information related to AI regulatory sandboxes to allow stakeholders to interact with AI regulatory sandboxes and to raise enquiries with competent authorities, and to seek non-binding guidance on the conformity of innovative products, services, business models embedding AI technologies, in accordance with Article 62(1), point (c). The Commission shall proactively coordinate with national competent authorities, where relevant.
Članak 58.
Article 58
Detaljni aranžmani za regulatorna izolirana okruženja za umjetnu inteligenciju i njihovo funkcioniranje
Detailed arrangements for, and functioning of, AI regulatory sandboxes
1. Kako bi se u Uniji izbjegla fragmentacija, Komisija donosi provedbene akte o utvrđivanju detaljnih aranžmana za uspostavu, razvoj, provedbu, rad i nadzor regulatornih izoliranih okruženja za umjetnu inteligenciju. Ti provedbeni akti sadržavaju zajednička načela o sljedećim pitanjima:
1. In order to avoid fragmentation across the Union, the Commission shall adopt implementing acts specifying the detailed arrangements for the establishment, development, implementation, operation and supervision of the AI regulatory sandboxes. The implementing acts shall include common principles on the following issues:
(a)
kriterijima prihvatljivosti i odabira za sudjelovanje u regulatornom izoliranom okruženju za umjetnu inteligenciju;
(a)
eligibility and selection criteria for participation in the AI regulatory sandbox;
(b)
postupcima za primjenu regulatornog izoliranog okruženja za umjetnu inteligenciju, sudjelovanje u njemu, njegovo praćenje, izlazak iz njega i njegovu obustavu, što uključuje plan izoliranog okruženja i završno izvješće;
(b)
procedures for the application, participation, monitoring, exiting from and termination of the AI regulatory sandbox, including the sandbox plan and the exit report;
(c)
uvjetima koji se primjenjuju na sudionike.
(c)
the terms and conditions applicable to the participants.
Ti se provedbeni akti donose u skladu s postupkom ispitivanja iz članka 98. stavka 2.
Those implementing acts shall be adopted in accordance with the examination procedure referred to in Article 98(2).
2. Provedbenim aktima iz stavka 1. osigurava se sljedeće:
2. The implementing acts referred to in paragraph 1 shall ensure:
(a)
regulatorna izolirana okruženja za umjetnu inteligenciju otvorena su svim dobavljačima ili potencijalnim dobavljačima UI sustava koji ispunjava kriterije prihvatljivosti i odabira, koji su transparentni i pošteni, a nacionalna nadležna tijela obavješćuju podnositelje zahtjeva o svojoj odluci u roku od tri mjeseca od podnošenja zahtjeva;
(a)
that AI regulatory sandboxes are open to any applying provider or prospective provider of an AI system who fulfils eligibility and selection criteria, which shall be transparent and fair, and that national competent authorities inform applicants of their decision within three months of the application;
(b)
regulatorna izolirana okruženja za umjetnu inteligenciju omogućuju širok i jednak pristup te drže korak s potražnjom za sudjelovanjem; dobavljači i potencijalni dobavljači također mogu podnijeti zahtjeve u partnerstvu sa subjektima koji uvode sustav i drugim relevantnim trećim stranama;
(b)
that AI regulatory sandboxes allow broad and equal access and keep up with demand for participation; providers and prospective providers may also submit applications in partnerships with deployers and other relevant third parties;
(c)
detaljnim aranžmanima i uvjetima za regulatorna izolirana okruženja za umjetnu inteligenciju u najvećoj se mogućoj mjeri podupire fleksibilnost nacionalnih nadležnih tijela u uspostavi regulatornih izoliranih okruženja za umjetnu inteligenciju i upravljanju njima;
(c)
that the detailed arrangements for, and conditions concerning AI regulatory sandboxes support, to the best extent possible, flexibility for national competent authorities to establish and operate their AI regulatory sandboxes;
(d)
pristup regulatornim izoliranim okruženjima za umjetnu inteligenciju besplatan je za MSP-ove, uključujući start-up poduzeća, ne dovodeći u pitanje izvanredne troškove čiju naknadu na pravedan i razmjeran način mogu zatražiti nacionalna nadležna tijela;
(d)
that access to the AI regulatory sandboxes is free of charge for SMEs, including start-ups, without prejudice to exceptional costs that national competent authorities may recover in a fair and proportionate manner;
(e)
dobavljačima i potencijalnim dobavljačima olakšavaju, s pomoću ishoda učenja regulatornih izoliranih okruženja za umjetnu inteligenciju, ispunjavanje obveza u pogledu ocjenjivanja sukladnosti na temelju ove Uredbe i dobrovoljnu primjenu kodeksâ ponašanja iz članka 95.;
(e)
that they facilitate providers and prospective providers, by means of the learning outcomes of the AI regulatory sandboxes, in complying with conformity assessment obligations under this Regulation and the voluntary application of the codes of conduct referred to in Article 95;
(f)
kako bi se omogućila i olakšala suradnja s javnim sektorom i s privatnim sektorom, regulatorna izolirana okruženja za umjetnu inteligenciju olakšavaju sudjelovanje drugih relevantnih aktera iz ekosustava umjetne inteligencije, kao što su prijavljena tijela i organizacije za normizaciju, MSP-ovi, uključujući start-up poduzeća, poduzeća, inovatori, objekti za testiranje i eksperimentiranje, laboratoriji za istraživanja i eksperimentiranje, europski centri za digitalne inovacije, centri izvrsnosti i pojedinačni istraživači;
(f)
that AI regulatory sandboxes facilitate the involvement of other relevant actors within the AI ecosystem, such as notified bodies and standardisation organisations, SMEs, including start-ups, enterprises, innovators, testing and experimentation facilities, research and experimentation labs and European Digital Innovation Hubs, centres of excellence, individual researchers, in order to allow and facilitate cooperation with the public and private sectors;
(g)
postupci, procesi i administrativni uvjeti za podnošenje zahtjeva, odabir, sudjelovanje i izlazak iz regulatornog izoliranog okruženja za umjetnu inteligenciju jednostavni su, lako razumljivi i jasno priopćeni kako bi se olakšalo sudjelovanje MSP-ova, uključujući start-up poduzeća, s ograničenim pravnim i administrativnim kapacitetima i pojednostavnjeni su u cijeloj Uniji kako bi se izbjegla rascjepkanost i kako bi se sudjelovanje u regulatornom izoliranom okruženju koje je uspostavila država članica ili Europski nadzornik za zaštitu podataka uzajamno i ujednačeno priznavalo te imalo iste pravne učinke u cijeloj Uniji;
(g)
that procedures, processes and administrative requirements for application, selection, participation and exiting the AI regulatory sandbox are simple, easily intelligible, and clearly communicated in order to facilitate the participation of SMEs, including start-ups, with limited legal and administrative capacities and are streamlined across the Union, in order to avoid fragmentation and that participation in an AI regulatory sandbox established by a Member State, or by the European Data Protection Supervisor is mutually and uniformly recognised and carries the same legal effects across the Union;
(h)
sudjelovanje u regulatornom izoliranom okruženju za umjetnu inteligenciju ograničeno je na razdoblje koje je primjereno složenosti i opsegu projekta i koje može produljiti nacionalno nadležno tijelo;
(h)
that participation in the AI regulatory sandbox is limited to a period that is appropriate to the complexity and scale of the project and that may be extended by the national competent authority;
(i)
regulatorna izolirana okruženja za umjetnu inteligenciju olakšavaju razvoj alata i infrastrukture za testiranje, utvrđivanje referentnih vrijednosti, ocjenjivanje i objašnjavanje dimenzija UI sustava koje su relevantne za regulatorno učenje, poput točnosti, otpornosti i kibernetičke sigurnosti, kao i mjera za ublažavanje rizika za temeljna prava i društvo u cjelini.
(i)
that AI regulatory sandboxes facilitate the development of tools and infrastructure for testing, benchmarking, assessing and explaining dimensions of AI systems relevant for regulatory learning, such as accuracy, robustness and cybersecurity, as well as measures to mitigate risks to fundamental rights and society at large.
3. Potencijalne dobavljače u regulatornim izoliranim okruženjima za umjetnu inteligenciju, posebno MSP-ove i start-up poduzeća, prema potrebi se usmjerava na usluge prije uvođenja, kao što su smjernice o provedbi ove Uredbe, na druge usluge s dodanom vrijednošću, kao što su pomoć u vezi s dokumentima o normizaciji i certifikacijom, na objekte za testiranje i eksperimentiranje, europske centre za digitalne inovacije i centre izvrsnosti.
3. Prospective providers in the AI regulatory sandboxes, in particular SMEs and start-ups, shall be directed, where relevant, to pre-deployment services such as guidance on the implementation of this Regulation, to other value-adding services such as help with standardisation documents and certification, testing and experimentation facilities, European Digital Innovation Hubs and centres of excellence.
4. Kada nacionalna nadležna tijela razmatraju izdavanje odobrenja za testiranje u stvarnim uvjetima koje se nadzire u okviru regulatornog izoliranog okruženja za umjetnu inteligenciju koje treba uspostaviti na temelju ovog članka, sa sudionicima izričito dogovaraju uvjete tog testiranja, a posebno odgovarajuće zaštitne mjere u cilju zaštite temeljnih prava, zdravlja i sigurnosti. Prema potrebi surađuju s drugim nacionalnim nadležnim tijelima kako bi se osigurala dosljedna praksa u cijeloj Uniji.
4. Where national competent authorities consider authorising testing in real world conditions supervised within the framework of an AI regulatory sandbox to be established under this Article, they shall specifically agree the terms and conditions of such testing and, in particular, the appropriate safeguards with the participants, with a view to protecting fundamental rights, health and safety. Where appropriate, they shall cooperate with other national competent authorities with a view to ensuring consistent practices across the Union.
Članak 59.
Article 59
Daljnja obrada osobnih podataka za razvoj određenih UI sustava u javnom interesu u regulatornom izoliranom okruženju za umjetnu inteligenciju
Further processing of personal data for developing certain AI systems in the public interest in the AI regulatory sandbox
1. U regulatornom izoliranom okruženju za umjetnu inteligenciju osobni podaci koji su zakonito prikupljeni u druge svrhe mogu se obrađivati samo u svrhu razvoja, treniranja i testiranja određenih UI sustava u izoliranom okruženju ako su ispunjeni svi sljedeći uvjeti:
1. In the AI regulatory sandbox, personal data lawfully collected for other purposes may be processed solely for the purpose of developing, training and testing certain AI systems in the sandbox when all of the following conditions are met:
(a)
UI sustave razvija tijelo javne vlasti ili druga fizička ili pravna osoba u svrhu zaštite znatnog javnog interesa, u jednom ili više sljedećih područja:
(a)
AI systems shall be developed for safeguarding substantial public interest by a public authority or another natural or legal person and in one or more of the following areas:
i.
javna sigurnost i javno zdravlje, uključujući otkrivanje, dijagnosticiranje, prevenciju, kontrolu i liječenje bolesti te unapređivanje zdravstvenih sustava;
(i)
public safety and public health, including disease detection, diagnosis prevention, control and treatment and improvement of health care systems;
ii.
visoka razina zaštite i poboljšanje kvalitete okoliša, zaštita bioraznolikosti, zaštita od onečišćenja, mjere zelene tranzicije, mjere za ublažavanje klimatskih promjena i prilagodbu njima;
(ii)
a high level of protection and improvement of the quality of the environment, protection of biodiversity, protection against pollution, green transition measures, climate change mitigation and adaptation measures;
iii.
energetska održivost;
(iii)
energy sustainability;
iv.
sigurnost i otpornost prometnih sustava i mobilnosti, kritične infrastrukture i mreža;
(iv)
safety and resilience of transport systems and mobility, critical infrastructure and networks;
v.
učinkovitost i kvaliteta javne uprave i javnih usluga;
(v)
efficiency and quality of public administration and public services;
(b)
podaci koji se obrađuju potrebni su za ispunjavanje jednog ili više zahtjeva iz poglavlja III. odjeljka 2. ako se ti zahtjevi ne mogu djelotvorno ispuniti obradom anonimiziranih, sintetičkih ili drugih neosobnih podataka;
(b)
the data processed are necessary for complying with one or more of the requirements referred to in Chapter III, Section 2 where those requirements cannot effectively be fulfilled by processing anonymised, synthetic or other non-personal data;
(c)
postoje djelotvorni mehanizmi praćenja kojima se može utvrditi mogu li se tijekom eksperimentiranja u izoliranom okruženju pojaviti veliki rizici za prava i slobode ispitanikâ, kako je navedeno u članku 35. Uredbe (EU) 2016/679 i u članku 39. Uredbe (EU) 2018/1725, kao i mehanizmi za odgovor kojima se ti rizici mogu brzo ublažiti, a obrada prema potrebi zaustaviti;
(c)
there are effective monitoring mechanisms to identify if any high risks to the rights and freedoms of the data subjects, as referred to in Article 35 of Regulation (EU) 2016/679 and in Article 39 of Regulation (EU) 2018/1725, may arise during the sandbox experimentation, as well as response mechanisms to promptly mitigate those risks and, where necessary, stop the processing;
(d)
osobni podaci koji se obrađuju u izoliranom okruženju nalaze se u funkcionalno odvojenom, izoliranom i zaštićenom okruženju za obradu podataka pod kontrolom potencijalnog dobavljača i samo ovlaštene osobe imaju pristup tim podacima;
(d)
any personal data to be processed in the context of the sandbox are in a functionally separate, isolated and protected data processing environment under the control of the prospective provider and only authorised persons have access to those data;
(e)
dobavljači mogu dalje dijeliti izvorno prikupljene podatke samo u skladu s pravom Unije o zaštiti podataka; osobni podaci nastali u izoliranom okruženju ne mogu se dijeliti izvan izoliranog okruženja;
(e)
providers can further share the originally collected data only in accordance with Union data protection law; any personal data created in the sandbox cannot be shared outside the sandbox;
(f)
obrada osobnih podataka u kontekstu izoliranog okruženja ne smije dovesti do mjera ili odluka koje utječu na ispitanike niti smije utjecati na ostvarivanje njihovih prava utvrđenih u pravu Unije o zaštiti osobnih podataka;
(f)
any processing of personal data in the context of the sandbox neither leads to measures or decisions affecting the data subjects nor does it affect the application of their rights laid down in Union law on the protection of personal data;
(g)
osobni podaci koji se obrađuju u kontekstu izoliranog okruženja zaštićeni su odgovarajućim tehničkim i organizacijskim mjerama i brišu se nakon okončanja sudjelovanja u izoliranom okruženju ili isteka razdoblja čuvanja osobnih podataka;
(g)
any personal data processed in the context of the sandbox are protected by means of appropriate technical and organisational measures and deleted once the participation in the sandbox has terminated or the personal data has reached the end of its retention period;
(h)
evidencija obrade osobnih podataka u kontekstu izoliranog okruženja čuva se za vrijeme sudjelovanja u izoliranom okruženju, osim ako je pravom Unije ili nacionalnim pravom predviđeno drukčije;
(h)
the logs of the processing of personal data in the context of the sandbox are kept for the duration of the participation in the sandbox, unless provided otherwise by Union or national law;
(i)
u sklopu tehničke dokumentacije iz Priloga IV. zajedno s rezultatima testiranja čuva se potpun i detaljan opis procesa i obrazloženja treniranja, testiranja i validacije dotičnog UI sustava;
(i)
a complete and detailed description of the process and rationale behind the training, testing and validation of the AI system is kept together with the testing results as part of the technical documentation referred to in Annex IV;
(j)
na internetskim stranicama nadležnih tijela objavljuju se kratak sažetak projekta umjetne inteligencije razvijenog u izoliranom okruženju te njegovi ciljevi i očekivani rezultati; ta obveza ne obuhvaća osjetljive operativne podatke u vezi s aktivnostima tijela kaznenog progona, tijela za nadzor državne granice, tijela za imigraciju ili tijela za azil.
(j)
a short summary of the AI project developed in the sandbox, its objectives and expected results is published on the website of the competent authorities; this obligation shall not cover sensitive operational data in relation to the activities of law enforcement, border control, immigration or asylum authorities.
2. U svrhu sprečavanja, istrage, otkrivanja ili progona kaznenih djela ili izvršenja kaznenih sankcija, što uključuje zaštitu od prijetnji javnoj sigurnosti i sprečavanje tih prijetnji, pod kontrolom i odgovornošću tijela kaznenog progona, obrada osobnih podataka u regulatornim izoliranim okruženjima za umjetnu inteligenciju temelji se na posebnom pravu Unije ili nacionalnom pravu i podliježe istim kumulativnim uvjetima iz stavka 1.
2. For the purposes of the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, including safeguarding against and preventing threats to public security, under the control and responsibility of law enforcement authorities, the processing of personal data in AI regulatory sandboxes shall be based on a specific Union or national law and subject to the same cumulative conditions as referred to in paragraph 1.
3. Stavkom 1. ne dovodi se u pitanje pravo Unije ili nacionalno pravo kojim se isključuje obrada osobnih podataka u svrhe koje nisu izričito navedene u tom pravu, kao ni pravo Unije ili nacionalno pravo kojim se utvrđuje osnova za obradu osobnih podataka koja je potrebna u svrhu razvoja, testiranja ili treniranja inovativnih UI sustava ili bilo koja druga pravna osnova, u skladu s pravom Unije o zaštiti osobnih podataka.
3. Paragraph 1 is without prejudice to Union or national law which excludes processing of personal data for other purposes than those explicitly mentioned in that law, as well as to Union or national law laying down the basis for the processing of personal data which is necessary for the purpose of developing, testing or training of innovative AI systems or any other legal basis, in compliance with Union law on the protection of personal data.
Članak 60.
Article 60
Testiranje visokorizičnih UI sustava u stvarnim uvjetima izvan regulatornih izoliranih okruženja za umjetnu inteligenciju
Testing of high-risk AI systems in real world conditions outside AI regulatory sandboxes
1. Testiranje visokorizičnih UI sustava u stvarnim uvjetima izvan regulatornih izoliranih okruženja za umjetnu inteligenciju mogu provoditi dobavljači ili potencijalni dobavljači visokorizičnih UI sustava iz Priloga III. u skladu s ovim člankom i planom testiranja u stvarnim uvjetima iz ovog članka, ne dovodeći u pitanje zabrane na temelju članka 5.
1. Testing of high-risk AI systems in real world conditions outside AI regulatory sandboxes may be conducted by providers or prospective providers of high-risk AI systems listed in Annex III, in accordance with this Article and the real-world testing plan referred to in this Article, without prejudice to the prohibitions under Article 5.
Komisija provedbenim aktima utvrđuje pojedinosti plana testiranja u stvarnim uvjetima. Ti se provedbeni akti donose u skladu s postupkom ispitivanja iz članka 98. stavka 2.
The Commission shall, by means of implementing acts, specify the detailed elements of the real-world testing plan. Those implementing acts shall be adopted in accordance with the examination procedure referred to in Article 98(2).
Ovim se stavkom ne dovodi u pitanje pravo Unije ili nacionalno pravo o testiranju u stvarnim uvjetima visokorizičnih UI sustava povezanih s proizvodima obuhvaćenima zakonodavstvom Unije o usklađivanju navedenim u Prilogu I.
This paragraph shall be without prejudice to Union or national law on the testing in real world conditions of high-risk AI systems related to products covered by Union harmonisation legislation listed in Annex I.
2. Dobavljači ili potencijalni dobavljači mogu u bilo kojem trenutku prije stavljanja UI sustava na tržište ili u upotrebu provesti testiranje visokorizičnih UI sustava iz Priloga III. u stvarnim uvjetima, samostalno ili u partnerstvu s jednim ili više subjekata koji uvode sustav ili potencijalnih subjekata koji uvode sustav.
2. Providers or prospective providers may conduct testing of high-risk AI systems referred to in Annex III in real world conditions at any time before the placing on the market or the putting into service of the AI system on their own or in partnership with one or more deployers or prospective deployers.
3. Testiranjem visokorizičnih UI sustava u stvarnim uvjetima na temelju ovog članka ne dovodi se u pitanje etičko preispitivanje koje se zahtijeva pravom Unije ili nacionalnim pravom.
3. The testing of high-risk AI systems in real world conditions under this Article shall be without prejudice to any ethical review that is required by Union or national law.
4. Dobavljači ili potencijalni dobavljači testiranje u stvarnim uvjetima mogu provesti samo ako su ispunjeni svi sljedeći uvjeti:
4. Providers or prospective providers may conduct the testing in real world conditions only where all of the following conditions are met:
(a)
dobavljač ili potencijalni dobavljač izradio je plan testiranja u stvarnim uvjetima i dostavio ga tijelu za nadzor tržišta u državi članici u kojoj će se provoditi testiranje u stvarnim uvjetima;
(a)
the provider or prospective provider has drawn up a real-world testing plan and submitted it to the market surveillance authority in the Member State where the testing in real world conditions is to be conducted;
(b)
tijelo za nadzor tržišta u državi članici u kojoj će se provoditi testiranje u stvarnim uvjetima odobrilo je testiranje u stvarnim uvjetima i plan testiranja u stvarnim uvjetima; ako tijelo za nadzor tržišta ne odgovori u roku od 30 dana, smatra se da su testiranje u stvarnim uvjetima i plan testiranja u stvarnim uvjetima odobreni; ako nacionalnim pravom nije predviđeno prešutno odobrenje, testiranje u stvarnim uvjetima i dalje podliježe odobrenju;
(b)
the market surveillance authority in the Member State where the testing in real world conditions is to be conducted has approved the testing in real world conditions and the real-world testing plan; where the market surveillance authority has not provided an answer within 30 days, the testing in real world conditions and the real-world testing plan shall be understood to have been approved; where national law does not provide for a tacit approval, the testing in real world conditions shall remain subject to an authorisation;
(c)
dobavljač ili potencijalni dobavljač, uz iznimku dobavljača ili potencijalnih dobavljača visokorizičnih UI sustava iz točaka 1., 6. i 7. Priloga III. u područjima kaznenog progona, migracija, azila i upravljanja nadzorom državne granice i visokorizičnih UI sustava iz točke 2. Priloga III., registrirao je testiranje u stvarnim uvjetima u skladu s člankom 71. stavkom 4. pri čemu je naveo jedinstveni identifikacijski broj na razini Unije i informacije iz Priloga IX.; dobavljač ili potencijalni dobavljač visokorizičnih UI sustava iz točaka 1., 6. i 7. Priloga III. u područjima kaznenog progona, migracija, azila i upravljanja nadzorom državne granice registrirao je testiranje u stvarnim uvjetima u dijelu baze podataka EU-a koji nije javno dostupan u skladu s člankom 49. stavkom 4. točkom (d) pri čemu je naveo jedinstveni identifikacijski broj na razini Unije i informacije sadržane u njemu; dobavljač ili potencijalni dobavljač visokorizičnih UI sustava iz točke 2. Priloga III. registrirao je testiranje u stvarnim uvjetima u skladu s člankom 49. stavkom 5.;
(c)
the provider or prospective provider, with the exception of providers or prospective providers of high-risk AI systems referred to in points 1, 6 and 7 of Annex III in the areas of law enforcement, migration, asylum and border control management, and high-risk AI systems referred to in point 2 of Annex III has registered the testing in real world conditions in accordance with Article 71(4) with a Union-wide unique single identification number and with the information specified in Annex IX; the provider or prospective provider of high-risk AI systems referred to in points 1, 6 and 7 of Annex III in the areas of law enforcement, migration, asylum and border control management, has registered the testing in real-world conditions in the secure non-public section of the EU database according to Article 49(4), point (d), with a Union-wide unique single identification number and with the information specified therein; the provider or prospective provider of high-risk AI systems referred to in point 2 of Annex III has registered the testing in real-world conditions in accordance with Article 49(5);
(d)
dobavljač ili potencijalni dobavljač koji provodi testiranje u stvarnim uvjetima ima poslovni nastan u Uniji ili je imenovao pravnog zastupnika s poslovnim nastanom u Uniji;
(d)
the provider or prospective provider conducting the testing in real world conditions is established in the Union or has appointed a legal representative who is established in the Union;
(e)
podaci koji se prikupljaju i obrađuju u svrhu testiranja u stvarnim uvjetima prenose se trećim zemljama samo pod uvjetom da se provode odgovarajuće i primjenjive zaštitne mjere na temelju prava Unije;
(e)
data collected and processed for the purpose of the testing in real world conditions shall be transferred to third countries only provided that appropriate and applicable safeguards under Union law are implemented;
(f)
testiranje u stvarnim uvjetima ne traje dulje nego što je potrebno za postizanje njegovih ciljeva, a u svakom slučaju ne dulje od šest mjeseci, što se može produljiti za dodatno razdoblje od šest mjeseci, pod uvjetom da dobavljač ili potencijalni dobavljač o tome prethodno obavijesti tijelo za nadzor tržišta, čemu prilaže objašnjenje potrebe za takvim produljenjem;
(f)
the testing in real world conditions does not last longer than necessary to achieve its objectives and in any case not longer than six months, which may be extended for an additional period of six months, subject to prior notification by the provider or prospective provider to the market surveillance authority, accompanied by an explanation of the need for such an extension;
(g)
ispitanici koji sudjeluju u testiranju u stvarnim uvjetima koji zbog svoje dobi ili invaliditeta pripadaju skupinama ranjivih osoba primjereno su zaštićeni;
(g)
the subjects of the testing in real world conditions who are persons belonging to vulnerable groups due to their age or disability, are appropriately protected;
(h)
ako dobavljač ili potencijalni dobavljač organizira testiranje u stvarnim uvjetima u suradnji s jednim ili više subjekata koji uvode sustav ili potencijalnih subjekata koji uvode sustav, korisnici su obaviješteni o svim aspektima testiranja koji su relevantni za njihovu odluku o sudjelovanju i dane su im relevantne upute za korištenje UI sustava iz članka 13.; dobavljač ili potencijalni dobavljač i subjekt koji uvodi sustav ili potencijalni subjekt koji uvodi sustav sklapaju sporazum kojim se utvrđuju njihove uloge i odgovornosti kako bi se osigurala usklađenost s odredbama za testiranje u stvarnim uvjetima na temelju ove Uredbe i na temelju drugog primjenjivog prava Unije i nacionalnog prava;
(h)
where a provider or prospective provider organises the testing in real world conditions in cooperation with one or more deployers or prospective deployers, the latter have been informed of all aspects of the testing that are relevant to their decision to participate, and given the relevant instructions for use of the AI system referred to in Article 13; the provider or prospective provider and the deployer or prospective deployer shall conclude an agreement specifying their roles and responsibilities with a view to ensuring compliance with the provisions for testing in real world conditions under this Regulation and under other applicable Union and national law;
(i)
ispitanici koji sudjeluju u testiranju u stvarnim uvjetima dali su informirani pristanak u skladu s člankom 61. ili, u slučaju kaznenog progona, ako bi traženje informiranog pristanka spriječilo testiranje UI sustava, sâmo testiranje i ishod testiranja u stvarnim uvjetima ne smiju imati negativan učinak na ispitanike, a njihovi osobni podaci brišu se nakon provedbe testiranja;
(i)
the subjects of the testing in real world conditions have given informed consent in accordance with Article 61, or in the case of law enforcement, where the seeking of informed consent would prevent the AI system from being tested, the testing itself and the outcome of the testing in the real world conditions shall not have any negative effect on the subjects, and their personal data shall be deleted after the test is performed;
(j)
testiranje u stvarnim uvjetima djelotvorno nadzire dobavljač ili potencijalni dobavljač, kao i subjekti koji uvode sustav ili potencijalni subjekti koji uvode sustav, posredstvom osoba koje imaju odgovarajuće kvalifikacije u relevantnom području te koje imaju potrebne kapacitete, osposobljavanje i ovlasti za obavljanje svojih zadaća;
(j)
the testing in real world conditions is effectively overseen by the provider or prospective provider, as well as by deployers or prospective deployers through persons who are suitably qualified in the relevant field and have the necessary capacity, training and authority to perform their tasks;
(k)
predviđanja, preporuke ili odluke UI sustava mogu se djelotvorno poništiti i zanemariti.
(k)
the predictions, recommendations or decisions of the AI system can be effectively reversed and disregarded.
5. Svi ispitanici koji sudjeluju u testiranju u stvarnim uvjetima ili, ovisno o slučaju, njihov zakonito imenovani zastupnik, mogu se u bilo kojem trenutku povući iz testiranja povlačenjem svojeg informiranog pristanka, a da to za njih nema nikakve negativne posljedice i da pritom ne moraju pružiti nikakvo obrazloženje, te mogu zatražiti da se njihovi osobni podaci odmah i trajno izbrišu. Povlačenje informiranog pristanka ne utječe na već provedene aktivnosti.
5. Any subjects of the testing in real world conditions, or their legally designated representative, as appropriate, may, without any resulting detriment and without having to provide any justification, withdraw from the testing at any time by revoking their informed consent and may request the immediate and permanent deletion of their personal data. The withdrawal of the informed consent shall not affect the activities already carried out.
6. U skladu s člankom 75. države članice svojim tijelima za nadzor tržišta dodjeljuju ovlasti da od dobavljača i potencijalnih dobavljača zatraže informacije, da provode nenajavljene inspekcije na daljinu ili na licu mjesta i da obavljaju provjere provedbe testiranja u stvarnim uvjetima i povezanih visokorizičnih UI sustava. Tijela za nadzor tržišta koriste te ovlasti kako bi osigurala siguran razvoj testiranja u stvarnim uvjetima.
6. In accordance with Article 75, Member States shall confer on their market surveillance authorities the powers of requiring providers and prospective providers to provide information, of carrying out unannounced remote or on-site inspections, and of performing checks on the conduct of the testing in real world conditions and the related high-risk AI systems. Market surveillance authorities shall use those powers to ensure the safe development of testing in real world conditions.
7. Svaki ozbiljan incident utvrđen tijekom testiranja u stvarnim uvjetima mora se prijaviti nacionalnom tijelu za nadzor tržišta u skladu s člankom 73. Dobavljač ili potencijalni dobavljač odmah donosi mjere ublažavanja ili, ako to nije moguće, suspendira testiranje u stvarnim uvjetima dok se takve mjere ublažavanja ne provedu ili ga u suprotnom slučaju obustavlja. Dobavljač ili potencijalni dobavljač uspostavlja postupak za promptni opoziv UI sustava nakon takve obustave testiranja u stvarnim uvjetima.
7. Any serious incident identified in the course of the testing in real world conditions shall be reported to the national market surveillance authority in accordance with Article 73. The provider or prospective provider shall adopt immediate mitigation measures or, failing that, shall suspend the testing in real world conditions until such mitigation takes place, or otherwise terminate it. The provider or prospective provider shall establish a procedure for the prompt recall of the AI system upon such termination of the testing in real world conditions.
8. Dobavljači ili potencijalni dobavljači obavješćuju nacionalno tijelo za nadzor tržišta u državi članici u kojoj se će se provoditi testiranje u stvarnim uvjetima o suspenziji ili obustavi testiranja u stvarnim uvjetima i konačnim ishodima.
8. Providers or prospective providers shall notify the national market surveillance authority in the Member State where the testing in real world conditions is to be conducted of the suspension or termination of the testing in real world conditions and of the final outcomes.
9. Dobavljač ili potencijalni dobavljač odgovoran je na temelju primjenjivog prava Unije o odgovornosti i nacionalnog prava o odgovornosti za svu štetu prouzročenu tijekom svojeg testiranja u stvarnim uvjetima.
9. The provider or prospective provider shall be liable under applicable Union and national liability law for any damage caused in the course of their testing in real world conditions.
Članak 61.
Article 61
Informirani pristanak za sudjelovanje u testiranju u stvarnim uvjetima izvan regulatornih izoliranih okruženja za umjetnu inteligenciju
Informed consent to participate in testing in real world conditions outside AI regulatory sandboxes
1. Za potrebe testiranja u stvarnim uvjetima na temelju članka 60. od ispitanika koji sudjeluju u testiranju pribavlja se dobrovoljan informirani pristanak prije njihova sudjelovanja u takvom testiranju, a nakon što su s pomoću jezgrovitih, jasnih, relevantnih i razumljivih informacija propisno obaviješteni o sljedećem:
1. For the purpose of testing in real world conditions under Article 60, freely-given informed consent shall be obtained from the subjects of testing prior to their participation in such testing and after their having been duly informed with concise, clear, relevant, and understandable information regarding:
(a)
prirodi i ciljevima testiranja u stvarnim uvjetima i mogućim neugodnostima koje mogu biti povezane s njihovim sudjelovanjem;
(a)
the nature and objectives of the testing in real world conditions and the possible inconvenience that may be linked to their participation;
(b)
uvjetima pod kojima će se provoditi testiranje u stvarnim uvjetima, uključujući očekivano trajanje sudjelovanja ispitanika;
(b)
the conditions under which the testing in real world conditions is to be conducted, including the expected duration of the subject or subjects’ participation;
(c)
njihovim pravima i jamstvima u pogledu sudjelovanja, osobito o njihovu pravu na odbijanje sudjelovanja u testiranju u stvarnim uvjetima i pravu na povlačenje iz njega u bilo kojem trenutku, a da to za njih nema nikakve negativne posljedice i da pritom ne moraju pružiti nikakvo obrazloženje;
(c)
their rights, and the guarantees regarding their participation, in particular their right to refuse to participate in, and the right to withdraw from, testing in real world conditions at any time without any resulting detriment and without having to provide any justification;
(d)
aranžmanima za podnošenje zahtjeva za poništenje ili zanemarivanje predviđanja, preporuka ili odluka UI sustava;
(d)
the arrangements for requesting the reversal or the disregarding of the predictions, recommendations or decisions of the AI system;
(e)
jedinstvenom identifikacijskom broju na razini Unije za testiranje u stvarnim uvjetima, u skladu s člankom 60. stavkom 4. točkom (c) i kontaktnim podacima dobavljača ili njegova pravnog zastupnika od kojeg se mogu dobiti dodatne informacije.
(e)
the Union-wide unique single identification number of the testing in real world conditions in accordance with Article 60(4) point (c), and the contact details of the provider or its legal representative from whom further information can be obtained.
2. Informirani pristanak mora biti datiran i dokumentiran, a primjerak se daje ispitanicima koji sudjeluju u testiranju ili njihovom pravnom zastupniku.
2. The informed consent shall be dated and documented and a copy shall be given to the subjects of testing or their legal representative.
Članak 62.
Article 62
Mjere za dobavljače i subjekte koji uvode sustav, posebno MSP-ove, uključujući start-up poduzeća
Measures for providers and deployers, in particular SMEs, including start-ups
1. Države članice poduzimaju sljedeće mjere:
1. Member States shall undertake the following actions:
(a)
MSP-ovima, uključujući start-up poduzeća, koji u Uniji imaju registrirani ured ili podružnicu, daju prioritetni pristup regulatornim izoliranim okruženjima za umjetnu inteligenciju, u onoj mjeri u kojoj ispunjavaju uvjete prihvatljivosti i kriterije odabira; prioritetni pristup ne sprečava druge MSP-ove, uključujući start-up poduzeća, koja nisu ona iz ovog stavka, da pristupe regulatornom izoliranom okruženju za umjetnu inteligenciju, pod uvjetom da i oni ispunjavaju uvjete prihvatljivosti i kriterije odabira;
(a)
provide SMEs, including start-ups, having a registered office or a branch in the Union, with priority access to the AI regulatory sandboxes, to the extent that they fulfil the eligibility conditions and selection criteria; the priority access shall not preclude other SMEs, including start-ups, other than those referred to in this paragraph from access to the AI regulatory sandbox, provided that they also fulfil the eligibility conditions and selection criteria;
(b)
organiziraju specifične aktivnosti podizanja svijesti i osposobljavanja o primjeni ove Uredbe, prilagođene potrebama MSP-ova, uključujući start-up poduzeća, subjekata koji uvode sustav te, prema potrebi, lokalnih tijela javne vlasti;
(b)
organise specific awareness raising and training activities on the application of this Regulation tailored to the needs of SMEs including start-ups, deployers and, as appropriate, local public authorities;
(c)
koriste postojeće namjenske kanale za komunikaciju i prema potrebi uspostavljaju nove kanale za komunikaciju s MSP-ovima, uključujući start-up poduzeća, sa subjektima koji uvode sustav, s drugim inovatorima i, prema potrebi, s lokalnim tijelima javne vlasti, radi pružanja savjeta i odgovaranja na upite u vezi s provedbom ove Uredbe, među ostalim u pogledu sudjelovanja u regulatornim izoliranim okruženjima za umjetnu inteligenciju;
(c)
utilise existing dedicated channels and where appropriate, establish new ones for communication with SMEs including start-ups, deployers, other innovators and, as appropriate, local public authorities to provide advice and respond to queries about the implementation of this Regulation, including as regards participation in AI regulatory sandboxes;
(d)
olakšavaju sudjelovanje MSP-ova i drugih relevantnih dionika u procesu razvoja normizacije.
(d)
facilitate the participation of SMEs and other relevant stakeholders in the standardisation development process.
2. Pri određivanju naknada za ocjenjivanje sukladnosti na temelju članka 43. uzimaju se u obzir specifični interesi i potrebe dobavljača koji su MSP-ovi, uključujući start-up poduzeća, i te se naknade umanjuju razmjerno njihovoj veličini, veličini tržišta i drugim relevantnim pokazateljima.
2. The specific interests and needs of the SME providers, including start-ups, shall be taken into account when setting the fees for conformity assessment under Article 43, reducing those fees proportionately to their size, market size and other relevant indicators.
3. Ured za umjetnu inteligenciju poduzima sljedeće mjere:
3. The AI Office shall undertake the following actions:
(a)
osigurava standardizirane predloške za područja obuhvaćena ovom Uredbom, kako je navelo Vijeće za umjetnu inteligenciju u svojem zahtjevu;
(a)
provide standardised templates for areas covered by this Regulation, as specified by the Board in its request;
(b)
razvija i održava jedinstvenu informacijsku platformu na kojoj se svim operaterima iz cijele Unije pružaju informacije u vezi s ovom Uredbom koje su jednostavne za upotrebu;
(b)
develop and maintain a single information platform providing easy to use information in relation to this Regulation for all operators across the Union;
(c)
organizira odgovarajuće komunikacijske kampanje za podizanje svijesti o obvezama koje proizlaze iz ove Uredbe;
(c)
organise appropriate communication campaigns to raise awareness about the obligations arising from this Regulation;
(d)
evaluira i promiče konvergenciju primjera najbolje prakse u postupcima javne nabave u vezi s UI sustavima.
(d)
evaluate and promote the convergence of best practices in public procurement procedures in relation to AI systems.
Članak 63.
Article 63
Odstupanja za specifične operatere
Derogations for specific operators
1. Mikropoduzeća u smislu Preporuke 2003/361/EZ mogu na pojednostavnjen način ispuniti određene elemente sustava upravljanja kvalitetom koji se zahtijeva člankom 17. ove Uredbe, pod uvjetom da nemaju partnerska poduzeća ili povezana poduzeća u smislu te preporuke. U tu svrhu Komisija izrađuje smjernice o elementima sustava upravljanja kvalitetom koji se mogu ispuniti na pojednostavnjen način s obzirom na potrebe mikropoduzeća, a da se pritom ne utječe na razinu zaštite ili potrebu za ispunjavanjem zahtjeva u vezi s visokorizičnim UI sustavima.
1. Microenterprises within the meaning of Recommendation 2003/361/EC may comply with certain elements of the quality management system required by Article 17 of this Regulation in a simplified manner, provided that they do not have partner enterprises or linked enterprises within the meaning of that Recommendation. For that purpose, the Commission shall develop guidelines on the elements of the quality management system which may be complied with in a simplified manner considering the needs of microenterprises, without affecting the level of protection or the need for compliance with the requirements in respect of high-risk AI systems.
2. Stavak 1. ovog članka ne smije se tumačiti kao izuzimanje tih operatera od ispunjavanja bilo kojih drugih zahtjeva ili obveza utvrđenih u ovoj Uredbi, uključujući one utvrđene u člancima 9., 10., 11., 12., 13., 14., 15., 72. i 73.
2. Paragraph 1 of this Article shall not be interpreted as exempting those operators from fulfilling any other requirements or obligations laid down in this Regulation, including those established in Articles 9, 10, 11, 12, 13, 14, 15, 72 and 73.
POGLAVLJE VII.
CHAPTER VII
UPRAVLJANJE
GOVERNANCE
ODJELJAK 1.
SECTION 1
Upravljanje na razini Unije
Governance at Union level
Članak 64.
Article 64
Ured za umjetnu inteligenciju
AI Office
1. Komisija putem Ureda za umjetnu inteligenciju razvija stručno znanje i sposobnosti Unije u području umjetne inteligencije.
1. The Commission shall develop Union expertise and capabilities in the field of AI through the AI Office.
2. Države članice olakšavaju provedbu zadaća povjerenih Uredu za umjetnu inteligenciju, kako su odražene u ovoj Uredbi.
2. Member States shall facilitate the tasks entrusted to the AI Office, as reflected in this Regulation.
Članak 65.
Article 65
Osnivanje i struktura Europskog vijeća za umjetnu inteligenciju
Establishment and structure of the European Artificial Intelligence Board
1. Osniva se Europsko vijeće za umjetnu inteligenciju („Vijeće za umjetnu inteligenciju”).
1. A European Artificial Intelligence Board (the ‘Board’) is hereby established.
2. Vijeće za umjetnu inteligenciju sastoji se od jednog predstavnika iz svake države članice. Europski nadzornik za zaštitu podataka sudjeluje u njemu kao promatrač. Ured za umjetnu inteligenciju također prisustvuje sastancima Vijeća za umjetnu inteligenciju, bez sudjelovanja u glasovanju. Ovisno o pojedinačnom slučaju, Vijeće za umjetnu inteligenciju na sastanke može pozvati druga nacionalna tijela ili stručnjake i Unijina tijela ili stručnjake ako su pitanja o kojima se raspravlja relevantna za njih.
2. The Board shall be composed of one representative per Member State. The European Data Protection Supervisor shall participate as observer. The AI Office shall also attend the Board’s meetings, without taking part in the votes. Other national and Union authorities, bodies or experts may be invited to the meetings by the Board on a case by case basis, where the issues discussed are of relevance for them.
3. Svakog predstavnika imenuje njegova država članica na razdoblje od tri godine, koje se može jednom produljiti.
3. Each representative shall be designated by their Member State for a period of three years, renewable once.
4. Države članice osiguravaju da za njihove predstavnike u Vijeću za umjetnu inteligenciju vrijedi sljedeće:
4. Member States shall ensure that their representatives on the Board:
(a)
posjeduju relevantne kompetencije i ovlasti u svojoj državi članici kako bi aktivno doprinosili ostvarivanju zadaća Vijeća za umjetnu inteligenciju iz članka 66.;
(a)
have the relevant competences and powers in their Member State so as to contribute actively to the achievement of the Board’s tasks referred to in Article 66;
(b)
određeni su kao jedinstvena kontaktna točka u odnosu na Vijeće za umjetnu inteligenciju i, prema potrebi, uzimajući u obzir potrebe država članica, kao jedinstvena kontaktna točka za dionike;
(b)
are designated as a single contact point vis-à-vis the Board and, where appropriate, taking into account Member States’ needs, as a single contact point for stakeholders;
(c)
ovlašteni su olakšavati dosljednost i koordinaciju među nacionalnim nadležnim tijelima u svojoj državi članici u pogledu provedbe ove Uredbe, među ostalim prikupljanjem relevantnih podataka i informacija u svrhu ispunjavanja svojih zadaća u Vijeću za umjetnu inteligenciju.
(c)
are empowered to facilitate consistency and coordination between national competent authorities in their Member State as regards the implementation of this Regulation, including through the collection of relevant data and information for the purpose of fulfilling their tasks on the Board.
5. Imenovani predstavnici država članica donose poslovnik Vijeća za umjetnu inteligenciju dvotrećinskom većinom. Poslovnikom se osobito utvrđuju postupci za postupak odabira, trajanje mandata i specifikacije zadaća predsjednika, detaljni aranžmani za glasovanje te organizacija aktivnosti Vijeća za umjetnu inteligenciju i aktivnosti njegovih podskupina.
5. The designated representatives of the Member States shall adopt the Board’s rules of procedure by a two-thirds majority. The rules of procedure shall, in particular, lay down procedures for the selection process, the duration of the mandate of, and specifications of the tasks of, the Chair, detailed arrangements for voting, and the organisation of the Board’s activities and those of its sub-groups.
6. Vijeće za umjetnu inteligenciju osniva dvije stalne podskupine kako bi osigurao platformu za suradnju i razmjenu među tijelima za nadzor tržišta i tijelima koja provode prijavljivanje o pitanjima koja se odnose na nadzor tržišta odnosno na prijavljena tijela.
6. The Board shall establish two standing sub-groups to provide a platform for cooperation and exchange among market surveillance authorities and notifying authorities about issues related to market surveillance and notified bodies respectively.
Stalna podskupina za nadzor tržišta trebala bi djelovati kao skupina za administrativnu suradnju (skupina za ADCO) za ovu Uredbu u smislu članka 30. Uredbe (EU) 2019/1020.
The standing sub-group for market surveillance should act as the administrative cooperation group (ADCO) for this Regulation within the meaning of Article 30 of Regulation (EU) 2019/1020.
Vijeće za umjetnu inteligenciju prema potrebi može osnovati druge stalne ili privremene podskupine za razmatranje specifičnih pitanja. U te podskupine ili na posebne sastanke tih podskupina mogu prema potrebi biti pozvani predstavnici savjetodavnog foruma iz članka 67. kao promatrači.
The Board may establish other standing or temporary sub-groups as appropriate for the purpose of examining specific issues. Where appropriate, representatives of the advisory forum referred to in Article 67 may be invited to such sub-groups or to specific meetings of those subgroups as observers.
7. Vijeće za umjetnu inteligenciju organizirano je i djeluje tako da čuva objektivnost i nepristranost svojih aktivnosti.
7. The Board shall be organised and operated so as to safeguard the objectivity and impartiality of its activities.
8. Vijećem za umjetnu inteligenciju predsjeda jedan od predstavnika država članica. Ured za umjetnu inteligenciju osigurava tajništvo Vijeća za umjetnu inteligenciju, saziva sastanke na zahtjev predsjednika i priprema dnevni red u skladu sa zadaćama Vijeća za umjetnu inteligenciju na temelju ove Uredbe i njegovim poslovnikom.
8. The Board shall be chaired by one of the representatives of the Member States. The AI Office shall provide the secretariat for the Board, convene the meetings upon request of the Chair, and prepare the agenda in accordance with the tasks of the Board pursuant to this Regulation and its rules of procedure.
Članak 66.
Article 66
Zadaće Vijeća za umjetnu inteligenciju
Tasks of the Board
Vijeće za umjetnu inteligenciju savjetuje Komisiju i države članice i pomaže im kako bi se olakšala dosljedna i djelotvorna primjena ove Uredbe. U tom cilju Vijeće za umjetnu inteligenciju posebno može:
The Board shall advise and assist the Commission and the Member States in order to facilitate the consistent and effective application of this Regulation. To that end, the Board may in particular:
(a)
doprinositi koordinaciji među nacionalnim nadležnim tijelima odgovornima za primjenu ove Uredbe i, u suradnji s dotičnim tijelima za nadzor tržišta i podložno njihovoj suglasnosti, podupirati zajedničke aktivnosti tijela za nadzor tržišta iz članka 74. stavka 11.;
(a)
contribute to the coordination among national competent authorities responsible for the application of this Regulation and, in cooperation with and subject to the agreement of the market surveillance authorities concerned, support joint activities of market surveillance authorities referred to in Article 74(11);
(b)
prikupljati i razmjenjivati tehničko i regulatorno stručno znanje i primjere najbolje prakse među državama članicama;
(b)
collect and share technical and regulatory expertise and best practices among Member States;
(c)
pružati savjete o provedbi ove Uredbe, posebno u pogledu izvršavanja pravila o UI modelima opće namjene;
(c)
provide advice on the implementation of this Regulation, in particular as regards the enforcement of rules on general-purpose AI models;
(d)
doprinositi usklađivanju administrativnih praksi u državama članicama, među ostalim u pogledu odstupanja od postupaka ocjenjivanja sukladnosti iz članka 46., funkcioniranja regulatornih izoliranih okruženja za umjetnu inteligenciju i testiranja u stvarnim uvjetima iz članaka 57., 59. i 60.;
(d)
contribute to the harmonisation of administrative practices in the Member States, including in relation to the derogation from the conformity assessment procedures referred to in Article 46, the functioning of AI regulatory sandboxes, and testing in real world conditions referred to in Articles 57, 59 and 60;
(e)
na zahtjev Komisije ili na vlastitu inicijativu izdavati preporuke i pisana mišljenja o svim relevantnim pitanjima povezanima s provedbom ove Uredbe i njezinom dosljednom i djelotvornom primjenom, među ostalim:
(e)
at the request of the Commission or on its own initiative, issue recommendations and written opinions on any relevant matters related to the implementation of this Regulation and to its consistent and effective application, including:
i.
o izradi i primjeni kodeksâ ponašanja i kodeksâ prakse u skladu s ovom Uredbom, kao i smjernica Komisije;
(i)
on the development and application of codes of conduct and codes of practice pursuant to this Regulation, as well as of the Commission’s guidelines;
ii.
o evaluaciji i preispitivanju ove Uredbe u skladu s člankom 112., među ostalim u pogledu izvješćâ o ozbiljnim incidentima iz članka 73. i funkcioniranja baze podataka EU-a iz članka 71., o izradi delegiranih akata ili provedbenih akata te u pogledu mogućih usklađivanja ove Uredbe sa zakonodavstvom Unije o usklađivanje navedenim u Prilogu I.;
(ii)
the evaluation and review of this Regulation pursuant to Article 112, including as regards the serious incident reports referred to in Article 73, and the functioning of the EU database referred to in Article 71, the preparation of the delegated or implementing acts, and as regards possible alignments of this Regulation with the Union harmonisation legislation listed in Annex I;
iii.
o tehničkim specifikacijama ili postojećim normama u vezi sa zahtjevima utvrđenima u poglavlju III. odjeljku 2.;
(iii)
on technical specifications or existing standards regarding the requirements set out in Chapter III, Section 2;
iv.
o upotrebi usklađenih normi ili zajedničkih specifikacija iz članaka 40. i 41.;
(iv)
on the use of harmonised standards or common specifications referred to in Articles 40 and 41;
v.
o trendovima, kao što su europska globalna konkurentnost u području umjetne inteligencije, prihvaćanje umjetne inteligencije u Uniji i razvoj digitalnih vještina;
(v)
trends, such as European global competitiveness in AI, the uptake of AI in the Union, and the development of digital skills;
vi.
o trendovima u razvoju tipologije vrijednosnih lanaca umjetne inteligencije, posebno u pogledu posljedica koje iz toga proizlaze u vezi s odgovornošću;
(vi)
trends on the evolving typology of AI value chains, in particular on the resulting implications in terms of accountability;
vii.
o mogućoj potrebi za izmjenom Priloga III. u skladu s člankom 7. i o mogućoj potrebi za revizijom članka 5. u skladu s člankom 112., uzimajući u obzir relevantne dostupne dokaze i najnovija tehnološka dostignuća;
(vii)
on the potential need for amendment to Annex III in accordance with Article 7, and on the potential need for possible revision of Article 5 pursuant to Article 112, taking into account relevant available evidence and the latest developments in technology;
(f)
podupirati Komisiju u promicanju pismenosti u području umjetne inteligencije, javne svijesti o koristima, rizicima, zaštitnim mjerama, pravima i obvezama u vezi s korištenjem UI sustava te njihova razumijevanja;
(f)
support the Commission in promoting AI literacy, public awareness and understanding of the benefits, risks, safeguards and rights and obligations in relation to the use of AI systems;
(g)
olakšavati razvoj zajedničkih kriterija i zajedničko razumijevanje relevantnih koncepata predviđenih u ovoj Uredbi među tržišnim operaterima i nadležnim tijelima, među ostalim doprinošenjem razvoju referentnih vrijednosti;
(g)
facilitate the development of common criteria and a shared understanding among market operators and competent authorities of the relevant concepts provided for in this Regulation, including by contributing to the development of benchmarks;
(h)
surađivati, prema potrebi, s drugim institucijama, tijelima, uredima i agencijama Unije te relevantnim Unijinim stručnim skupinama i mrežama, posebno u područjima sigurnosti proizvoda, kibernetičke sigurnosti, tržišnog natjecanja, digitalnih i medijskih usluga, financijskih usluga, zaštite potrošača te zaštite podataka i temeljnih prava;
(h)
cooperate, as appropriate, with other Union institutions, bodies, offices and agencies, as well as relevant Union expert groups and networks, in particular in the fields of product safety, cybersecurity, competition, digital and media services, financial services, consumer protection, data and fundamental rights protection;
(i)
doprinositi djelotvornoj suradnji s nadležnim tijelima trećih zemalja i međunarodnim organizacijama;
(i)
contribute to effective cooperation with the competent authorities of third countries and with international organisations;
(j)
pomagati nacionalnim nadležnim tijelima i Komisiji u razvoju organizacijskog i tehničkog stručnog znanja potrebnog za provedbu ove Uredbe, među ostalim doprinošenjem procjeni potreba za osposobljavanjem osoblja država članica uključenog u provedbu ove Uredbe;
(j)
assist national competent authorities and the Commission in developing the organisational and technical expertise required for the implementation of this Regulation, including by contributing to the assessment of training needs for staff of Member States involved in implementing this Regulation;
(k)
pomagati Uredu za umjetnu inteligenciju u pružanju potpore nacionalnim nadležnim tijelima u uspostavi i razvoju regulatornih izoliranih okruženja za umjetnu inteligenciju te olakšavati suradnju i razmjenu informacija među regulatornim izoliranim okruženjima za umjetnu inteligenciju;
(k)
assist the AI Office in supporting national competent authorities in the establishment and development of AI regulatory sandboxes, and facilitate cooperation and information-sharing among AI regulatory sandboxes;
(l)
doprinositi izradi dokumenata sa smjernicama i pružati odgovarajuće savjete o tome;
(l)
contribute to, and provide relevant advice on, the development of guidance documents;
(m)
savjetovati Komisiju o međunarodnim pitanjima povezanima s umjetnom inteligencijom;
(m)
advise the Commission in relation to international matters on AI;
(n)
davati mišljenja Komisiji o kvalificiranim upozorenjima u vezi s UI modelima opće namjene;
(n)
provide opinions to the Commission on the qualified alerts regarding general-purpose AI models;
(o)
primati mišljenja država članica o kvalificiranim upozorenjima u vezi s UI modelima opće namjene te o nacionalnim iskustvima i nacionalnoj praksi u području praćenja i izvršavanja UI sustava, posebno sustava u koje su integrirani UI modeli opće namjene.
(o)
receive opinions by the Member States on qualified alerts regarding general-purpose AI models, and on national experiences and practices on the monitoring and enforcement of AI systems, in particular systems integrating the general-purpose AI models.
Članak 67.
Article 67
Savjetodavni forum
Advisory forum
1. Osniva se savjetodavni forum koji pruža tehničko stručno znanje i savjetuje Vijeće za umjetnu inteligenciju i Komisiju te doprinosi njihovim zadaćama na temelju ove Uredbe.
1. An advisory forum shall be established to provide technical expertise and advise the Board and the Commission, and to contribute to their tasks under this Regulation.
2. Članstvo u savjetodavnom forumu čine uravnoteženo odabrani dionici, koji uključuju industriju, start-up poduzeća, MSP-ove, civilno društvo i akademsku zajednicu. Članstvo u savjetodavnom forumu mora biti uravnoteženo u smislu komercijalnih i nekomercijalnih interesa, a unutar kategorije komercijalnih interesa uravnoteženo u smislu MSP-ova i ostalih poduzeća.
2. The membership of the advisory forum shall represent a balanced selection of stakeholders, including industry, start-ups, SMEs, civil society and academia. The membership of the advisory forum shall be balanced with regard to commercial and non-commercial interests and, within the category of commercial interests, with regard to SMEs and other undertakings.
3. Komisija među dionicima s priznatim stručnim znanjem u području umjetne inteligencije imenuje članove savjetodavnog foruma u skladu s kriterijima iz stavka 2.
3. The Commission shall appoint the members of the advisory forum, in accordance with the criteria set out in paragraph 2, from amongst stakeholders with recognised expertise in the field of AI.
4. Mandat članova savjetodavnog foruma traje dvije godine i može se produljiti za najviše četiri godine.
4. The term of office of the members of the advisory forum shall be two years, which may be extended by up to no more than four years.
5. Agencija za temeljna prava, ENISA, Europski odbor za normizaciju (CEN), Europski odbor za elektrotehničku normizaciju (CENELEC) i Europski institut za telekomunikacijske norme (ETSI) stalni su članovi savjetodavnog foruma.
5. The Fundamental Rights Agency, ENISA, the European Committee for Standardization (CEN), the European Committee for Electrotechnical Standardization (CENELEC), and the European Telecommunications Standards Institute (ETSI) shall be permanent members of the advisory forum.
6. Savjetodavni forum izrađuje svoj poslovnik. Savjetodavni forum bira dva supredsjednika među svojim članovima, u skladu s kriterijima iz stavka 2. Mandat supredsjednika traje dvije godine i može se jednom produljiti.
6. The advisory forum shall draw up its rules of procedure. It shall elect two co-chairs from among its members, in accordance with criteria set out in paragraph 2. The term of office of the co-chairs shall be two years, renewable once.
7. Savjetodavni forum održava sastanke najmanje dvaput godišnje. Savjetodavni forum na svoje sastanke može pozvati stručnjake i druge dionike.
7. The advisory forum shall hold meetings at least twice a year. The advisory forum may invite experts and other stakeholders to its meetings.
8. Savjetodavni forum na zahtjev Vijeća za umjetnu inteligenciju ili Komisije može pripremati mišljenja, preporuke i pisane doprinose.
8. The advisory forum may prepare opinions, recommendations and written contributions at the request of the Board or the Commission.
9. Savjetodavni forum može prema potrebi osnovati stalne ili privremene podskupine radi razmatranja posebnih pitanja povezanih s ciljevima ove Uredbe.
9. The advisory forum may establish standing or temporary sub-groups as appropriate for the purpose of examining specific questions related to the objectives of this Regulation.
10. Savjetodavni forum priprema godišnje izvješće o svojim aktivnostima. To se izvješće objavljuje.
10. The advisory forum shall prepare an annual report on its activities. That report shall be made publicly available.
Članak 68.
Article 68
Znanstveno povjerenstvo neovisnih stručnjaka
Scientific panel of independent experts
1. Komisija provedbenim aktom donosi odredbe o osnivanju znanstvenog povjerenstva neovisnih stručnjaka („znanstveno povjerenstvo”) čija je svrha podupirati aktivnosti izvršavanja na temelju ove Uredbe. Taj provedbeni akt donosi se u skladu s postupkom ispitivanja iz članka 98. stavka 2.
1. The Commission shall, by means of an implementing act, make provisions on the establishment of a scientific panel of independent experts (the ‘scientific panel’) intended to support the enforcement activities under this Regulation. That implementing act shall be adopted in accordance with the examination procedure referred to in Article 98(2).
2. Znanstveno povjerenstvo sastoji se od stručnjaka koje Komisija odabire na temelju najsuvremenijeg znanstvenog ili tehničkog stručnog znanja u području umjetne inteligencije potrebnog za obavljanje zadaća iz stavka 3. i koji moraju moći dokazati da ispunjavaju sve sljedeće uvjete:
2. The scientific panel shall consist of experts selected by the Commission on the basis of up-to-date scientific or technical expertise in the field of AI necessary for the tasks set out in paragraph 3, and shall be able to demonstrate meeting all of the following conditions:
(a)
posjeduju posebno stručno znanje i kompetencije te znanstveno ili tehničko stručno znanje u području umjetne inteligencije;
(a)
having particular expertise and competence and scientific or technical expertise in the field of AI;
(b)
neovisni su od svih dobavljača UI sustava ili UI modela opće namjene;
(b)
independence from any provider of AI systems or general-purpose AI models;
(c)
sposobni su aktivnosti provoditi savjesno, točno i objektivno.
(c)
an ability to carry out activities diligently, accurately and objectively.
Komisija u savjetovanju s Vijećem za umjetnu inteligenciju određuje broj stručnjaka u povjerenstvu u skladu s potrebama i osigurava pravednu rodnu i geografsku zastupljenost.
The Commission, in consultation with the Board, shall determine the number of experts on the panel in accordance with the required needs and shall ensure fair gender and geographical representation.
3. Znanstveno povjerenstvo savjetuje i podupire Ured za umjetnu inteligenciju, posebno u pogledu sljedećih zadaća:
3. The scientific panel shall advise and support the AI Office, in particular with regard to the following tasks:
(a)
podupiranja provedbe i izvršavanja ove Uredbe u pogledu UI modela i sustava opće namjene, posebno tako što:
(a)
supporting the implementation and enforcement of this Regulation as regards general-purpose AI models and systems, in particular by:
i.
upozorava Ured za umjetnu inteligenciju o mogućim sistemskim rizicima na razini Unije u pogledu UI modela opće namjene, u skladu s člankom 90.;
(i)
alerting the AI Office of possible systemic risks at Union level of general-purpose AI models, in accordance with Article 90;
ii.
doprinosi razvoju alata i metodologija za evaluaciju sposobnosti UI modela i sustava opće namjene, među ostalim s pomoću referentnih vrijednosti;
(ii)
contributing to the development of tools and methodologies for evaluating capabilities of general-purpose AI models and systems, including through benchmarks;
iii.
pruža savjete o klasifikaciji UI modela opće namjene sa sistemskim rizikom;
(iii)
providing advice on the classification of general-purpose AI models with systemic risk;
iv.
pruža savjete o klasifikaciji različitih UI modela i sustava opće namjene;
(iv)
providing advice on the classification of various general-purpose AI models and systems;
v.
doprinosi razvoju alata i predložaka;
(v)
contributing to the development of tools and templates;
(b)
podupiranja rada tijela za nadzor tržišta na njihov zahtjev;
(b)
supporting the work of market surveillance authorities, at their request;
(c)
podupiranja prekograničnih aktivnosti nadzora tržišta iz članka 74. stavka 11., ne dovodeći u pitanje ovlasti tijelâ za nadzor tržišta;
(c)
supporting cross-border market surveillance activities as referred to in Article 74(11), without prejudice to the powers of market surveillance authorities;
(d)
podupiranja Ureda za umjetnu inteligenciju u izvršavanju njegovih dužnosti u kontekstu zaštitnog postupka Unije u skladu s člankom 81.
(d)
supporting the AI Office in carrying out its duties in the context of the Union safeguard procedure pursuant to Article 81.
4. Stručnjaci iz znanstvenog povjerenstva svoje zadaće obavljaju nepristrano i objektivno i osiguravaju povjerljivost informacija i podataka dobivenih pri obavljanju svojih zadaća i aktivnosti. Pri obavljanju svojih zadaća iz stavka 3. ne smiju tražiti ni primati upute ni od koga. Svaki stručnjak sastavlja izjavu o interesima, koja se objavljuje. Ured za umjetnu inteligenciju uspostavlja sustave i postupke za aktivno upravljanje mogućim sukobima interesa i njihovo sprečavanje.
4. The experts on the scientific panel shall perform their tasks with impartiality and objectivity, and shall ensure the confidentiality of information and data obtained in carrying out their tasks and activities. They shall neither seek nor take instructions from anyone when exercising their tasks under paragraph 3. Each expert shall draw up a declaration of interests, which shall be made publicly available. The AI Office shall establish systems and procedures to actively manage and prevent potential conflicts of interest.
5. Provedbeni akt iz stavka 1. uključuje odredbe o uvjetima, postupcima i detaljnim aranžmanima u skladu s kojima znanstveno povjerenstvo i njegovi članovi izdaju upozorenja i traže pomoć Ureda za umjetnu inteligenciju u obavljanju zadaća znanstvenog povjerenstva.
5. The implementing act referred to in paragraph 1 shall include provisions on the conditions, procedures and detailed arrangements for the scientific panel and its members to issue alerts, and to request the assistance of the AI Office for the performance of the tasks of the scientific panel.
Članak 69.
Article 69
Pristup država članica stručnjacima
Access to the pool of experts by the Member States
1. Države članice mogu pozvati stručnjake iz znanstvenog povjerenstva da im pruže potporu u njihovim aktivnostima izvršavanja na temelju ove Uredbe.
1. Member States may call upon experts of the scientific panel to support their enforcement activities under this Regulation.
2. Od država članica može se zahtijevati plaćanje naknada za savjete i potporu stručnjaka. Komisija provedbenim aktom iz članka 68. stavka 1. utvrđuje strukturu i visinu naknada te ljestvicu i strukturu troškova čiji je povrat moguće tražiti, uzimajući u obzir ciljeve adekvatne provedbe ove Uredbe, troškovnu učinkovitost i potrebu da se svim državama članicama osigura djelotvoran pristup stručnjacima.
2. The Member States may be required to pay fees for the advice and support provided by the experts. The structure and the level of fees as well as the scale and structure of recoverable costs shall be set out in the implementing act referred to in Article 68(1), taking into account the objectives of the adequate implementation of this Regulation, cost-effectiveness and the necessity of ensuring effective access to experts for all Member States.
3. Komisija državama članicama olakšava pravodoban pristup stručnjacima, prema potrebi, i osigurava da kombinacija potpornih aktivnosti koje provode potporna struktura Unije za testiranje umjetne inteligencije u skladu s člankom 84. i stručnjaci u skladu s ovim člankom bude učinkovito organizirana i da donosi najveću moguću dodanu vrijednost.
3. The Commission shall facilitate timely access to the experts by the Member States, as needed, and ensure that the combination of support activities carried out by Union AI testing support pursuant to Article 84 and experts pursuant to this Article is efficiently organised and provides the best possible added value.
ODJELJAK 2.
SECTION 2
Nacionalna nadležna tijela
National competent authorities
Članak 70.
Article 70
Imenovanje nacionalnih nadležnih tijela i jedinstvenih kontaktnih točaka
Designation of national competent authorities and single points of contact
1. Za potrebe ove Uredbe svaka država članica osniva ili imenuje kao nacionalna nadležna tijela barem jedno tijelo koje provodi prijavljivanje i barem jedno tijelo za nadzor tržišta. Ta nacionalna nadležna tijela izvršavaju svoje ovlasti neovisno, nepristrano i bez predrasuda kako bi zaštitila objektivnost svojih aktivnosti i zadaća te osigurala primjenu i provedbu ove Uredbe. Članovi tih tijela suzdržavaju se od svakog djelovanja koje je nespojivo s njihovim dužnostima. Pod uvjetom da se poštuju ta načela, takve aktivnosti i zadaće može obavljati jedno ili više imenovanih tijela, u skladu s organizacijskim potrebama države članice.
1. Each Member State shall establish or designate as national competent authorities at least one notifying authority and at least one market surveillance authority for the purposes of this Regulation. Those national competent authorities shall exercise their powers independently, impartially and without bias so as to safeguard the objectivity of their activities and tasks, and to ensure the application and implementation of this Regulation. The members of those authorities shall refrain from any action incompatible with their duties. Provided that those principles are observed, such activities and tasks may be performed by one or more designated authorities, in accordance with the organisational needs of the Member State.
2. Države članice obavješćuju Komisiju o identitetu tijela koja provode prijavljivanje i tijela za nadzor tržišta te o zadaćama tih tijela, kao i o svim kasnijim promjenama u vezi s njima. Države članice do 2. kolovoza 2025. elektroničkim komunikacijskim sredstvima objavljuju informacije o tome kako se može stupiti u kontakt s nadležnim tijelima i jedinstvenim kontaktnim točkama. Države članice imenuju tijelo za nadzor tržišta koje će djelovati kao jedinstvena kontaktna točka za ovu Uredbu i obavješćuju Komisiju o identitetu jedinstvene kontaktne točke. Komisija objavljuje popis jedinstvenih kontaktnih točaka.
2. Member States shall communicate to the Commission the identity of the notifying authorities and the market surveillance authorities and the tasks of those authorities, as well as any subsequent changes thereto. Member States shall make publicly available information on how competent authorities and single points of contact can be contacted, through electronic communication means by 2 August 2025. Member States shall designate a market surveillance authority to act as the single point of contact for this Regulation, and shall notify the Commission of the identity of the single point of contact. The Commission shall make a list of the single points of contact publicly available.
3. Države članice osiguravaju da njihova nacionalna nadležna tijela imaju adekvatne tehničke, financijske i ljudske resurse i infrastrukturu za djelotvorno obavljanje svojih zadaća na temelju ove Uredbe. Nacionalna nadležna tijela osobito moraju imati dovoljno stalno raspoloživog osoblja čije kompetencije i stručno znanje obuhvaćaju temeljito razumijevanje tehnologija umjetne inteligencije, podataka i obrade podataka, zaštite osobnih podataka, kibernetičke sigurnosti, temeljnih prava i rizika za zdravlje i sigurnost te poznavanje postojećih normi i pravnih zahtjeva. Države članice jednom godišnje ocjenjuju i, ako je to potrebno, ažuriraju zahtjeve u pogledu kompetencija i resursa iz ovog stavka.
3. Member States shall ensure that their national competent authorities are provided with adequate technical, financial and human resources, and with infrastructure to fulfil their tasks effectively under this Regulation. In particular, the national competent authorities shall have a sufficient number of personnel permanently available whose competences and expertise shall include an in-depth understanding of AI technologies, data and data computing, personal data protection, cybersecurity, fundamental rights, health and safety risks and knowledge of existing standards and legal requirements. Member States shall assess and, if necessary, update competence and resource requirements referred to in this paragraph on an annual basis.
4. Nacionalna nadležna tijela poduzimaju odgovarajuće mjere kako bi se osigurala odgovarajuća razina kibernetičke sigurnosti.
4. National competent authorities shall take appropriate measures to ensure an adequate level of cybersecurity.
5. Pri obavljanju svojih zadaća nacionalna nadležna tijela postupaju u skladu s obvezama u pogledu povjerljivosti utvrđenima u članku 78.
5. When performing their tasks, the national competent authorities shall act in accordance with the confidentiality obligations set out in Article 78.
6. Države članice do 2. kolovoza 2025., a zatim jednom svake dvije godine izvješćuju Komisiju o stanju financijskih i ljudskih resursa nacionalnih nadležnih tijela, uz ocjenu njihove adekvatnosti. Komisija te informacije prosljeđuje Vijeću za umjetnu inteligenciju radi rasprave i utvrđivanja mogućih preporuka.
6. By 2 August 2025, and once every two years thereafter, Member States shall report to the Commission on the status of the financial and human resources of the national competent authorities, with an assessment of their adequacy. The Commission shall transmit that information to the Board for discussion and possible recommendations.
7. Komisija olakšava razmjenu iskustava među nacionalnim nadležnim tijelima.
7. The Commission shall facilitate the exchange of experience between national competent authorities.
8. Nacionalna nadležna tijela mogu pružati smjernice i savjete o provedbi ove Uredbe, posebno MSP-ovima, uključujući start-up poduzeća, prema potrebi uzimajući u obzir smjernice i savjete Vijeća za umjetnu inteligenciju i Komisije. Ako nacionalna nadležna tijela namjeravaju pružiti smjernice i savjete u vezi s određenim UI sustavom u područjima obuhvaćenima drugim pravom Unije, prema potrebi se savjetuju s nacionalnim nadležnim tijelima na temelju tog prava Unije.
8. National competent authorities may provide guidance and advice on the implementation of this Regulation, in particular to SMEs including start-ups, taking into account the guidance and advice of the Board and the Commission, as appropriate. Whenever national competent authorities intend to provide guidance and advice with regard to an AI system in areas covered by other Union law, the national competent authorities under that Union law shall be consulted, as appropriate.
9. Ako područje primjene ove Uredbe obuhvaća institucije, tijela, urede ili agencije Unije, Europski nadzornik za zaštitu podataka djeluje kao tijelo nadležno za njihov nadzor.
9. Where Union institutions, bodies, offices or agencies fall within the scope of this Regulation, the European Data Protection Supervisor shall act as the competent authority for their supervision.
POGLAVLJE VIII.
CHAPTER VIII
BAZA PODATAKA EU-A ZA VISOKORIZIČNE UI SUSTAVE
EU DATABASE FOR HIGH-RISK AI SYSTEMS
Članak 71.
Article 71
Baza podataka EU-a za visokorizične UI sustave iz Priloga III.
EU database for high-risk AI systems listed in Annex III
1. Komisija u suradnji s državama članicama uspostavlja i održava bazu podataka EU-a koja sadržava informacije iz stavaka 2. i 3. ovog članka o visokorizičnim UI sustavima iz članka 6. stavka 2. koji su registrirani u skladu s člancima 49. i 60. i UI sustavima koji se ne smatraju visokorizičnima na temelju članka 6. stavka 3. i koji su registrirani u skladu s člankom 6. stavkom 4. i člankom 49. Pri utvrđivanju funkcionalnih specifikacija te baze podataka Komisija se savjetuje s relevantnim stručnjacima, a pri ažuriranju funkcionalnih specifikacija te baze podataka Komisija se savjetuje s Vijećem za umjetnu inteligenciju.
1. The Commission shall, in collaboration with the Member States, set up and maintain an EU database containing information referred to in paragraphs 2 and 3 of this Article concerning high-risk AI systems referred to in Article 6(2) which are registered in accordance with Articles 49 and 60 and AI systems that are not considered as high-risk pursuant to Article 6(3) and which are registered in accordance with Article 6(4) and Article 49. When setting the functional specifications of such database, the Commission shall consult the relevant experts, and when updating the functional specifications of such database, the Commission shall consult the Board.
2. Podatke navedene u odjeljcima A i B Priloga VIII. u bazu podataka EU-a unosi dobavljač ili, ako je primjenjivo, ovlašteni zastupnik.
2. The data listed in Sections A and B of Annex VIII shall be entered into the EU database by the provider or, where applicable, by the authorised representative.
3. Podatke navedene u odjeljku C Priloga VIII. u bazu podataka EU-a unosi subjekt koji uvodi sustav i koji je tijelo javne vlasti, javna agencija ili javno tijelo ili koji djeluje u ime tijela javne vlasti, javne agencije ili javnog tijela, u skladu s člankom 49. stavcima 3. i 4.
3. The data listed in Section C of Annex VIII shall be entered into the EU database by the deployer who is, or who acts on behalf of, a public authority, agency or body, in accordance with Article 49(3) and (4).
4. Uz iznimku dijela iz članka 49. stavka 4. i članka 60. stavka 4. točke (c), informacije iz baze podataka EU-a registrirane u skladu s člankom 49. moraju biti pristupačne i javno dostupne na način prilagođen korisnicima. Te bi informacije trebale biti jednostavne za snalaženje i strojno čitljive. Informacije registrirane u skladu s člankom 60. dostupne su samo tijelima za nadzor tržišta i Komisiji, osim ako je potencijalni dobavljač ili dobavljač dao privolu da te informacije budu dostupne javnosti.
4. With the exception of the section referred to in Article 49(4) and Article 60(4), point (c), the information contained in the EU database registered in accordance with Article 49 shall be accessible and publicly available in a user-friendly manner. The information should be easily navigable and machine-readable. The information registered in accordance with Article 60 shall be accessible only to market surveillance authorities and the Commission, unless the prospective provider or provider has given consent for also making the information accessible the public.
5. Baza podataka EU-a sadržava osobne podatke samo ako je to potrebno za prikupljanje i obradu informacija u skladu s ovom Uredbom. Te informacije uključuju imena i kontaktne podatke pojedinaca koji su odgovorni za registraciju sustava i koji imaju pravnu ovlast za zastupanje dobavljača ili subjekta koji uvodi sustav, ovisno o slučaju.
5. The EU database shall contain personal data only in so far as necessary for collecting and processing information in accordance with this Regulation. That information shall include the names and contact details of natural persons who are responsible for registering the system and have the legal authority to represent the provider or the deployer, as applicable.
6. Komisija je nadzornik baze podataka EU-a. Dobavljačima, potencijalnim dobavljačima i subjektima koji uvode sustav Komisija stavlja na raspolaganje adekvatnu tehničku i administrativnu potporu. Baza podataka EU-a mora ispunjavati primjenjive zahtjeve u pogledu pristupačnosti.
6. The Commission shall be the controller of the EU database. It shall make available to providers, prospective providers and deployers adequate technical and administrative support. The EU database shall comply with the applicable accessibility requirements.
POGLAVLJE IX.
CHAPTER IX
PRAĆENJE NAKON STAVLJANJA NA TRŽIŠTE, RAZMJENA INFORMACIJA I NADZOR TRŽIŠTA
POST-MARKET MONITORING, INFORMATION SHARING AND MARKET SURVEILLANCE
ODJELJAK 1.
SECTION 1
Praćenje nakon stavljanja na tržište
Post-market monitoring
Članak 72.
Article 72
Praćenje nakon stavljanja na tržište koje provode dobavljači i plan praćenja nakon stavljanja na tržište za visokorizične UI sustave
Post-market monitoring by providers and post-market monitoring plan for high-risk AI systems
1. Dobavljači uspostavljaju sustav praćenja nakon stavljanja na tržište i izrađuju dokumentaciju za njega na način koji je razmjeran prirodi tehnologija umjetne inteligencije i rizicima visokorizičnog UI sustava.
1. Providers shall establish and document a post-market monitoring system in a manner that is proportionate to the nature of the AI technologies and the risks of the high-risk AI system.
2. Sustavom praćenja nakon stavljanja na tržište aktivno se i sustavno prikupljaju, dokumentiraju i analiziraju relevantni podaci koje mogu dostaviti subjekti koji uvode sustav ili koji se mogu prikupiti iz drugih izvora o učinkovitosti visokorizičnih UI sustava tijekom cijelog njihova životnog ciklusa i koji dobavljaču omogućuju evaluaciju kontinuirane usklađenosti UI sustavâ sa zahtjevima iz poglavlja III. odjeljka 2. Ako je to relevantno, praćenje nakon stavljanja na tržište uključuje analizu interakcije s drugim UI sustavima. Ta obveza ne obuhvaća osjetljive operativne podatke subjekata koji uvode sustav koji su tijela kaznenog progona.
2. The post-market monitoring system shall actively and systematically collect, document and analyse relevant data which may be provided by deployers or which may be collected through other sources on the performance of high-risk AI systems throughout their lifetime, and which allow the provider to evaluate the continuous compliance of AI systems with the requirements set out in Chapter III, Section 2. Where relevant, post-market monitoring shall include an analysis of the interaction with other AI systems. This obligation shall not cover sensitive operational data of deployers which are law-enforcement authorities.
3. Sustav praćenja nakon stavljanja na tržište temelji se na planu praćenja nakon stavljanja na tržište. Plan praćenja nakon stavljanja na tržište dio je tehničke dokumentacije iz Priloga IV. Komisija do 2. veljače 2026. donosi provedbeni akt s detaljnim odredbama kojima se utvrđuje predložak za plan praćenja nakon stavljanja na tržište i popis elemenata koje treba uključiti u taj plan. Taj provedbeni akt donosi se u skladu s postupkom ispitivanja iz članka 98. stavka 2.
3. The post-market monitoring system shall be based on a post-market monitoring plan. The post-market monitoring plan shall be part of the technical documentation referred to in Annex IV. The Commission shall adopt an implementing act laying down detailed provisions establishing a template for the post-market monitoring plan and the list of elements to be included in the plan by 2 February 2026. That implementing act shall be adopted in accordance with the examination procedure referred to in Article 98(2).
4. Za visokorizične UI sustave obuhvaćene zakonodavstvom Unije o usklađivanju navedenim u odjeljku A Priloga I., ako su sustav i plan praćenja nakon stavljanja na tržište već uspostavljeni na temelju tog zakonodavstva, kako bi se osigurala dosljednost, izbjeglo udvostručavanje i smanjila dodatna opterećenja, dobavljači imaju mogućnost da, koristeći se predloškom iz stavka 3., potrebne elemente opisane u stavcima 1., 2. i 3. prema potrebi integriraju u sustave i planove koji već postoje na temelju tog zakonodavstva, pod uvjetom da se time postiže jednakovrijedna razina zaštite.
4. For high-risk AI systems covered by the Union harmonisation legislation listed in Section A of Annex I, where a post-market monitoring system and plan are already established under that legislation, in order to ensure consistency, avoid duplications and minimise additional burdens, providers shall have a choice of integrating, as appropriate, the necessary elements described in paragraphs 1, 2 and 3 using the template referred in paragraph 3 into systems and plans already existing under that legislation, provided that it achieves an equivalent level of protection.
Prvi podstavak ovog stavka primjenjuje se i na visokorizične UI sustave iz točke 5. Priloga III. koje na tržište ili u upotrebu stavljaju financijske institucije na koje se u pogledu njihova unutarnjeg upravljanja, aranžmana ili procesa primjenjuju zahtjevi na temelju prava Unije o financijskim uslugama.
The first subparagraph of this paragraph shall also apply to high-risk AI systems referred to in point 5 of Annex III placed on the market or put into service by financial institutions that are subject to requirements under Union financial services law regarding their internal governance, arrangements or processes.
ODJELJAK 2.
SECTION 2
Razmjena informacija o ozbiljnim incidentima
Sharing of information on serious incidents
Članak 73.
Article 73
Prijavljivanje ozbiljnih incidenata
Reporting of serious incidents
1. Dobavljači visokorizičnih UI sustava stavljenih na tržište Unije prijavljuju svaki ozbiljan incident tijelima za nadzor tržišta država članica u kojima je došlo do tog incidenta.
1. Providers of high-risk AI systems placed on the Union market shall report any serious incident to the market surveillance authorities of the Member States where that incident occurred.
2. Prijavljivanje iz stavka 1. provodi se odmah nakon što je dobavljač utvrdio uzročno-posljedičnu vezu između UI sustava i ozbiljnog incidenta ili razumnu vjerojatnost takve veze, a u svakom slučaju najkasnije 15 dana nakon što je dobavljač ili, ako je primjenjivo, subjekt koji uvodi sustav, saznao za ozbiljni incident.
2. The report referred to in paragraph 1 shall be made immediately after the provider has established a causal link between the AI system and the serious incident or the reasonable likelihood of such a link, and, in any event, not later than 15 days after the provider or, where applicable, the deployer, becomes aware of the serious incident.
Razdobljem za prijavljivanje iz prvog podstavka uzima se u obzir težina ozbiljnog incidenta.
The period for the reporting referred to in the first subparagraph shall take account of the severity of the serious incident.
3. Neovisno o stavku 2. ovog članka, u slučaju raširene povrede ili ozbiljnog incidenta kako je definiran u članku 3. točki 49. podtočki (b), prijavljivanje iz stavka 1. ovog članka provodi se odmah, a najkasnije dva dana nakon što dobavljač ili, ako je primjenjivo, subjekt koji uvodi sustav, sazna za taj incident.
3. Notwithstanding paragraph 2 of this Article, in the event of a widespread infringement or a serious incident as defined in Article 3, point (49)(b), the report referred to in paragraph 1 of this Article shall be provided immediately, and not later than two days after the provider or, where applicable, the deployer becomes aware of that incident.
4. Neovisno o stavku 2., u slučaju smrti osobe prijavljivanje se provodi odmah nakon što je dobavljač ili subjekt koji uvodi sustav utvrdio uzročno-posljedičnu vezu između visokorizičnog UI sustava i ozbiljnog incidenta ili čim je posumnjao u postojanje takve veze, a najkasnije deset dana nakon datuma na koji je dobavljač ili, ako je primjenjivo, subjekt koji uvodi sustav, saznao za ozbiljni incident.
4. Notwithstanding paragraph 2, in the event of the death of a person, the report shall be provided immediately after the provider or the deployer has established, or as soon as it suspects, a causal relationship between the high-risk AI system and the serious incident, but not later than 10 days after the date on which the provider or, where applicable, the deployer becomes aware of the serious incident.
5. Ako je to potrebno kako bi se osiguralo pravodobno prijavljivanje, dobavljač ili, ako je primjenjivo, subjekt koji uvodi sustav može podnijeti početnu prijavu koja je nepotpuna, nakon koje slijedi potpuna prijava.
5. Where necessary to ensure timely reporting, the provider or, where applicable, the deployer, may submit an initial report that is incomplete, followed by a complete report.
6. Nakon prijavljivanja ozbiljnog incidenta u skladu sa stavkom 1. dobavljač bez odgode provodi potrebne istrage u vezi s ozbiljnim incidentom i dotičnim UI sustavom. To uključuje procjenu rizika incidenta i korektivne mjere.
6. Following the reporting of a serious incident pursuant to paragraph 1, the provider shall, without delay, perform the necessary investigations in relation to the serious incident and the AI system concerned. This shall include a risk assessment of the incident, and corrective action.
Dobavljač surađuje s nadležnim tijelima i, prema potrebi, s dotičnim prijavljenim tijelom tijekom istraga iz prvog podstavka i ne provodi istragu koja uključuje izmjenu dotičnog UI sustava na način koji bi mogao utjecati na naknadnu evaluaciju uzroka incidenta prije nego što o takvom djelovanju obavijesti nadležna tijela.
The provider shall cooperate with the competent authorities, and where relevant with the notified body concerned, during the investigations referred to in the first subparagraph, and shall not perform any investigation which involves altering the AI system concerned in a way which may affect any subsequent evaluation of the causes of the incident, prior to informing the competent authorities of such action.
7. Nakon primitka obavijesti o ozbiljnom incidentu iz članka 3. točke 49. podtočke (c) relevantno tijelo za nadzor tržišta o tome obavješćuje nacionalna tijela javne vlasti ili javna tijela iz članka 77. stavka 1. Komisija izrađuje namjenske smjernice za lakše ispunjavanje obveza utvrđenih u stavku 1. ovog članka. Te se smjernice izdaju do 2. kolovoza 2025. i redovito se ocjenjuju.
7. Upon receiving a notification related to a serious incident referred to in Article 3, point (49)(c), the relevant market surveillance authority shall inform the national public authorities or bodies referred to in Article 77(1). The Commission shall develop dedicated guidance to facilitate compliance with the obligations set out in paragraph 1 of this Article. That guidance shall be issued by 2 August 2025, and shall be assessed regularly.
8. Tijelo za nadzor tržišta u roku od sedam dana od datuma na koji je primilo prijavu iz stavka 1. ovog članka poduzima odgovarajuće mjere, kako je predviđeno u članku 19. Uredbe (EU) 2019/1020, i slijedi postupke prijavljivanja predviđene u toj uredbi.
8. The market surveillance authority shall take appropriate measures, as provided for in Article 19 of Regulation (EU) 2019/1020, within seven days from the date it received the notification referred to in paragraph 1 of this Article, and shall follow the notification procedures as provided in that Regulation.
9. Za visokorizične UI sustave iz Priloga III. koje na tržište ili u upotrebu stavljaju dobavljači na koje se primjenjuju zakonodavni instrumenti Unije kojima se utvrđuju obveze izvješćivanja jednakovrijedne onima koje su utvrđene u ovoj Uredbi, prijavljivanje ozbiljnih incidenata ograničava se na ozbiljne incidente iz članka 3. točke 49. podtočke (c).
9. For high-risk AI systems referred to in Annex III that are placed on the market or put into service by providers that are subject to Union legislative instruments laying down reporting obligations equivalent to those set out in this Regulation, the notification of serious incidents shall be limited to those referred to in Article 3, point (49)(c).
10. Za visokorizične UI sustave koji su sigurnosne komponente uređaja ili su sami uređaji, a obuhvaćeni su uredbama (EU) 2017/745 i (EU) 2017/746, prijava ozbiljnih incidenata ograničava se na ozbiljne incidente iz članka 3. točke 49. podtočke (c) ove Uredbe i upućuje se nacionalnom nadležnom tijelu koje su u tu svrhu odabrale države članice u kojima je došlo do incidenta.
10. For high-risk AI systems which are safety components of devices, or are themselves devices, covered by Regulations (EU) 2017/745 and (EU) 2017/746, the notification of serious incidents shall be limited to those referred to in Article 3, point (49)(c) of this Regulation, and shall be made to the national competent authority chosen for that purpose by the Member States where the incident occurred.
11. Nacionalna nadležna tijela odmah prijavljuju Komisiji svaki ozbiljan incident u skladu s člankom 20. Uredbe (EU) 2019/1020, bez obzira na to jesu li u vezi s njim poduzela mjere.
11. National competent authorities shall immediately notify the Commission of any serious incident, whether or not they have taken action on it, in accordance with Article 20 of Regulation (EU) 2019/1020.
ODJELJAK 3.
SECTION 3
Izvršavanje
Enforcement
Članak 74.
Article 74
Nadzor nad tržištem i kontrola UI sustava na tržištu Unije
Market surveillance and control of AI systems in the Union market
1. Uredba (EU) 2019/1020 primjenjuje se na UI sustave obuhvaćene ovom Uredbom. U svrhu djelotvornog izvršavanja ove Uredbe:
1. Regulation (EU) 2019/1020 shall apply to AI systems covered by this Regulation. For the purposes of the effective enforcement of this Regulation:
(a)
smatra se da svako upućivanje na gospodarski subjekt na temelju Uredbe (EU) 2019/1020 uključuje sve operatere iz članka 2. stavka 1. ove Uredbe;
(a)
any reference to an economic operator under Regulation (EU) 2019/1020 shall be understood as including all operators identified in Article 2(1) of this Regulation;
(b)
smatra se da svako upućivanje na proizvod na temelju Uredbe (EU) 2019/1020 uključuje sve UI sustave obuhvaćene područjem primjene ove Uredbe.
(b)
any reference to a product under Regulation (EU) 2019/1020 shall be understood as including all AI systems falling within the scope of this Regulation.
2. U okviru svojih obveza izvješćivanja na temelju članka 34. stavka 4. Uredbe (EU) 2019/1020 tijela za nadzor tržišta svake godine izvješćuju Komisiju i relevantna nacionalna tijela nadležna za tržišno natjecanje o svim informacijama utvrđenima tijekom aktivnosti nadzora tržišta koje bi mogle biti od interesa za primjenu prava Unije o pravilima tržišnog natjecanja. Također svake godine izvješćuju Komisiju o primjeni zabranjenih praksi do koje je došlo tijekom te godine i o poduzetim mjerama.
2. As part of their reporting obligations under Article 34(4) of Regulation (EU) 2019/1020, the market surveillance authorities shall report annually to the Commission and relevant national competition authorities any information identified in the course of market surveillance activities that may be of potential interest for the application of Union law on competition rules. They shall also annually report to the Commission about the use of prohibited practices that occurred during that year and about the measures taken.
3. Za visokorizične UI sustave povezane s proizvodima na koje se primjenjuje zakonodavstvo Unije o usklađivanju navedeno u odjeljku A Priloga I. tijelo za nadzor tržišta za potrebe ove Uredbe tijelo je odgovorno za aktivnosti nadzora tržišta imenovano na temelju tih pravnih akata.
3. For high-risk AI systems related to products covered by the Union harmonisation legislation listed in Section A of Annex I, the market surveillance authority for the purposes of this Regulation shall be the authority responsible for market surveillance activities designated under those legal acts.
Odstupajući od prvog podstavka i u primjerenim okolnostima, države članice mogu imenovati drugo relevantno tijelo koje će djelovati kao tijelo za nadzor tržišta pod uvjetom da osiguraju koordinaciju s relevantnim sektorskim tijelima za nadzor tržišta odgovornima za izvršavanje zakonodavstva Unije o usklađivanju navedenog u Prilogu I.
By derogation from the first subparagraph, and in appropriate circumstances, Member States may designate another relevant authority to act as a market surveillance authority, provided they ensure coordination with the relevant sectoral market surveillance authorities responsible for the enforcement of the Union harmonisation legislation listed in Annex I.
4. Postupci iz članaka od 79. do 83. ove Uredbe ne primjenjuju se na UI sustave povezane s proizvodima na koje se primjenjuje zakonodavstvo Unije o usklađivanju navedeno u odjeljku A Priloga I. ako su tim pravnim aktima već predviđeni postupci kojima se osigurava jednakovrijedna razina zaštite i ako ti pravni akti imaju isti cilj. U takvim se slučajevima primjenjuju relevantni sektorski postupci.
4. The procedures referred to in Articles 79 to 83 of this Regulation shall not apply to AI systems related to products covered by the Union harmonisation legislation listed in section A of Annex I, where such legal acts already provide for procedures ensuring an equivalent level of protection and having the same objective. In such cases, the relevant sectoral procedures shall apply instead.
5. Ne dovodeći u pitanje ovlasti tijela za nadzor tržišta na temelju članka 14. Uredbe (EU) 2019/1020, u svrhu osiguravanja djelotvornog izvršavanja ove Uredbe tijela za nadzor tržišta ovlasti iz članka 14. stavka 4. točaka (d) i (j) te uredbe mogu, prema potrebi, izvršavati na daljinu.
5. Without prejudice to the powers of market surveillance authorities under Article 14 of Regulation (EU) 2019/1020, for the purpose of ensuring the effective enforcement of this Regulation, market surveillance authorities may exercise the powers referred to in Article 14(4), points (d) and (j), of that Regulation remotely, as appropriate.
6. Za visokorizične UI sustave koji se stavljaju na tržište, stavljaju u upotrebu ili koje koriste financijske institucije regulirane pravom Unije o financijskim uslugama, tijelo za nadzor tržišta za potrebe ove Uredbe relevantno je nacionalno tijelo odgovorno za financijski nadzor tih institucija na temelju tog zakonodavstva ako su stavljanje na tržište, stavljanje u upotrebu ili korištenje UI sustava izravno povezani s pružanjem tih financijskih usluga.
6. For high-risk AI systems placed on the market, put into service, or used by financial institutions regulated by Union financial services law, the market surveillance authority for the purposes of this Regulation shall be the relevant national authority responsible for the financial supervision of those institutions under that legislation in so far as the placing on the market, putting into service, or the use of the AI system is in direct connection with the provision of those financial services.
7. Odstupajući od stavka 6., u primjerenim okolnostima i pod uvjetom da je osigurana koordinacija, država članica može odrediti drugo relevantno tijelo kao tijelo za nadzor tržišta za potrebe ove Uredbe.
7. By way of derogation from paragraph 6, in appropriate circumstances, and provided that coordination is ensured, another relevant authority may be identified by the Member State as market surveillance authority for the purposes of this Regulation.
Nacionalna tijela za nadzor tržišta koja nadziru regulirane kreditne institucije regulirane Direktivom 2013/36/EU, a koje sudjeluju u jedinstvenom nadzornom mehanizmu uspostavljenom Uredbom (EU) br. 1024/2013, trebala bi bez odgode izvijestiti Europsku središnju banku o svim informacijama utvrđenima tijekom njihovih aktivnosti nadzora tržišta koje bi mogle biti od interesa za zadaće bonitetnog nadzora Europske središnje banke navedene u toj uredbi.
National market surveillance authorities supervising regulated credit institutions regulated under Directive 2013/36/EU, which are participating in the Single Supervisory Mechanism established by Regulation (EU) No 1024/2013, should report, without delay, to the European Central Bank any information identified in the course of their market surveillance activities that may be of potential interest for the prudential supervisory tasks of the European Central Bank specified in that Regulation.
8. Za visokorizične UI sustave iz točke 1. Priloga III. ovoj Uredbi, ako se ti sustavi upotrebljavaju u svrhu kaznenog progona, upravljanja granicama, pravosuđa i demokracije, te za visokorizične UI sustave navedene u točkama 6., 7. i 8. Priloga III. ovoj Uredbi, države članice za potrebe ove Uredbe kao tijela za nadzor tržišta imenuju ili nadležna nadzorna tijela za zaštitu podataka na temelju Uredbe (EU) 2016/679 ili Direktive (EU) 2016/680 ili bilo koje drugo tijelo imenovano u skladu s istim uvjetima, utvrđenima u člancima od 41. do 44. Direktive (EU) 2016/680. Aktivnosti nadzora tržišta ni na koji način ne smiju utjecati na neovisnost pravosudnih tijela niti smiju na drugi način utjecati na njihove aktivnosti kada djeluju u pravosudnom svojstvu.
8. For high-risk AI systems listed in point 1 of Annex III to this Regulation, in so far as the systems are used for law enforcement purposes, border management and justice and democracy, and for high-risk AI systems listed in points 6, 7 and 8 of Annex III to this Regulation, Member States shall designate as market surveillance authorities for the purposes of this Regulation either the competent data protection supervisory authorities under Regulation (EU) 2016/679 or Directive (EU) 2016/680, or any other authority designated pursuant to the same conditions laid down in Articles 41 to 44 of Directive (EU) 2016/680. Market surveillance activities shall in no way affect the independence of judicial authorities, or otherwise interfere with their activities when acting in their judicial capacity.
9. Ako područje primjene ove Uredbe obuhvaća institucije, tijela, urede ili agencije Unije, Europski nadzornik za zaštitu podataka djeluje kao njihovo tijelo za nadzor tržišta, osim u odnosu na Sud Europske unije kada djeluje u svojem sudbenom svojstvu.
9. Where Union institutions, bodies, offices or agencies fall within the scope of this Regulation, the European Data Protection Supervisor shall act as their market surveillance authority, except in relation to the Court of Justice of the European Union acting in its judicial capacity.
10. Države članice olakšavaju koordinaciju između tijela za nadzor tržišta imenovanih na temelju ove Uredbe i drugih relevantnih nacionalnih tijela koja nadziru primjenu prava Unije o usklađivanju navedenog u Prilogu I. ili drugog prava Unije koje bi moglo biti relevantno za visokorizične UI sustave iz Priloga III.
10. Member States shall facilitate coordination between market surveillance authorities designated under this Regulation and other relevant national authorities or bodies which supervise the application of Union harmonisation legislation listed in Annex I, or in other Union law, that might be relevant for the high-risk AI systems referred to in Annex III.
11. Tijela za nadzor tržišta i Komisija mogu predložiti zajedničke aktivnosti, uključujući zajedničke istrage, koje trebaju provesti tijela za nadzor tržišta ili tijela za nadzor tržišta zajedno s Komisijom, a čiji je cilj promicanje usklađenosti, utvrđivanje neusklađenosti, podizanje svijesti ili pružanje smjernica u vezi s ovom Uredbom u pogledu specifičnih kategorija visokorizičnih UI sustava za koje je utvrđeno da predstavljaju ozbiljan rizik u dvjema ili više država članica u skladu s člankom 9. Uredbe (EU) 2019/1020. Ured za umjetnu inteligenciju pruža koordinacijsku potporu za zajedničke istrage.
11. Market surveillance authorities and the Commission shall be able to propose joint activities, including joint investigations, to be conducted by either market surveillance authorities or market surveillance authorities jointly with the Commission, that have the aim of promoting compliance, identifying non-compliance, raising awareness or providing guidance in relation to this Regulation with respect to specific categories of high-risk AI systems that are found to present a serious risk across two or more Member States in accordance with Article 9 of Regulation (EU) 2019/1020. The AI Office shall provide coordination support for joint investigations.
12. Ne dovodeći u pitanje ovlasti predviđene na temelju Uredbe (EU) 2019/1020 te, ako je to relevantno i ograničeno na ono što je potrebno za ispunjavanje njihovih zadaća, dobavljači tijelima za nadzor tržišta odobravaju puni pristup dokumentaciji i skupovima podataka za treniranje, validaciju i testiranje koji se upotrebljavaju za razvoj visokorizičnih UI sustava, među ostalim, prema potrebi i podložno sigurnosnim zaštitnim mjerama, putem aplikacijskih programskih sučelja ili drugih relevantnih tehničkih sredstava i alata koji omogućuju daljinski pristup.
12. Without prejudice to the powers provided for under Regulation (EU) 2019/1020, and where relevant and limited to what is necessary to fulfil their tasks, the market surveillance authorities shall be granted full access by providers to the documentation as well as the training, validation and testing data sets used for the development of high-risk AI systems, including, where appropriate and subject to security safeguards, through application programming interfaces (API) or other relevant technical means and tools enabling remote access.
13. Tijelima za nadzor tržišta odobrava se pristup izvornom kodu visokorizičnog UI sustava na obrazložen zahtjev i samo ako su ispunjena sljedeća dva uvjeta:
13. Market surveillance authorities shall be granted access to the source code of the high-risk AI system upon a reasoned request and only when both of the following conditions are fulfilled:
(a)
pristup izvornom kodu potreban je za ocjenjivanje sukladnosti visokorizičnog UI sustava sa zahtjevima utvrđenima u poglavlju III. odjeljku 2.; i
(a)
access to source code is necessary to assess the conformity of a high-risk AI system with the requirements set out in Chapter III, Section 2; and
(b)
postupci testiranja ili revizije i provjere na temelju podataka i dokumentacije koje je dostavio dobavljač iscrpljeni su ili su se pokazali nedostatnima.
(b)
testing or auditing procedures and verifications based on the data and documentation provided by the provider have been exhausted or proved insufficient.
14. Sa svim informacijama ili dokumentacijom koje su tijela za nadzor tržišta dobila postupa se u skladu s obvezama u pogledu povjerljivosti utvrđenima u članku 78.
14. Any information or documentation obtained by market surveillance authorities shall be treated in accordance with the confidentiality obligations set out in Article 78.
Članak 75.
Article 75
Uzajamna pomoć, nadzor tržišta i kontrola UI sustavâ opće namjene
Mutual assistance, market surveillance and control of general-purpose AI systems
1. Ako se UI sustav temelji na UI modelu opće namjene, a model i sustav razvija isti dobavljač, Ured za umjetnu inteligenciju ima ovlasti za praćenje i nadzor usklađenosti tog UI sustava s obvezama na temelju ove Uredbe. Za obavljanje svojih zadaća praćenja i nadzora Ured za umjetnu inteligenciju ima sve ovlasti tijela za nadzor tržišta predviđene u ovom odjeljku i u Uredbi (EU) 2019/1020.
1. Where an AI system is based on a general-purpose AI model, and the model and the system are developed by the same provider, the AI Office shall have powers to monitor and supervise compliance of that AI system with obligations under this Regulation. To carry out its monitoring and supervision tasks, the AI Office shall have all the powers of a market surveillance authority provided for in this Section and Regulation (EU) 2019/1020.
2. Ako relevantna tijela za nadzor tržišta imaju dovoljno razloga smatrati da UI sustavi opće namjene koje subjekti koji uvode sustav mogu izravno upotrebljavati u barem jednu svrhu koja je na temelju ove Uredbe klasificirana kao visokorizična nisu usklađeni sa zahtjevima ove Uredbe, ona surađuju s Uredom za umjetnu inteligenciju kako bi provela evaluacije usklađenosti i o tome obavješćuju Vijeće za umjetnu inteligenciju i druga tijela za nadzor tržišta.
2. Where the relevant market surveillance authorities have sufficient reason to consider general-purpose AI systems that can be used directly by deployers for at least one purpose that is classified as high-risk pursuant to this Regulation to be non-compliant with the requirements laid down in this Regulation, they shall cooperate with the AI Office to carry out compliance evaluations, and shall inform the Board and other market surveillance authorities accordingly.
3. Ako tijelo za nadzor tržišta ne može zaključiti svoju istragu visokorizičnog UI sustava zbog toga što nema pristup određenim informacijama povezanima s UI modelom opće namjene, iako je poduzelo sve potrebne korake kako bi ih pribavilo, ono može Uredu za umjetnu inteligenciju podnijeti obrazloženi zahtjev na temelju kojeg se nalaže pristup tim informacijama. U tom slučaju Ured za umjetnu inteligenciju bez odgode, a najkasnije u roku od 30 dana, tijelu podnositelju zahtjeva dostavlja sve informacije koje Ured za umjetnu inteligenciju smatra važnima za utvrđivanje je li visokorizični UI sustav neusklađen. Tijela za nadzor tržišta štite povjerljivost informacija koje su pribavila u skladu s člankom 78. ove Uredbe. Postupak predviđen u poglavlju VI. Uredbe (EU) 2019/1020 primjenjuje se mutatis mutandis.
3. Where a market surveillance authority is unable to conclude its investigation of the high-risk AI system because of its inability to access certain information related to the general-purpose AI model despite having made all appropriate efforts to obtain that information, it may submit a reasoned request to the AI Office, by which access to that information shall be enforced. In that case, the AI Office shall supply to the applicant authority without delay, and in any event within 30 days, any information that the AI Office considers to be relevant in order to establish whether a high-risk AI system is non-compliant. Market surveillance authorities shall safeguard the confidentiality of the information that they obtain in accordance with Article 78 of this Regulation. The procedure provided for in Chapter VI of Regulation (EU) 2019/1020 shall apply mutatis mutandis.
Članak 76.
Article 76
Nadzor testiranja u stvarnim uvjetima koji provode tijela za nadzor tržišta
Supervision of testing in real world conditions by market surveillance authorities
1. Tijela za nadzor tržišta imaju nadležnosti i ovlasti da osiguraju da se testiranje u stvarnim uvjetima provodi u skladu s ovom Uredbom.
1. Market surveillance authorities shall have competences and powers to ensure that testing in real world conditions is in accordance with this Regulation.
2. Ako se testiranje u stvarnim uvjetima provodi za UI sustave koji se nadziru u regulatornom izoliranom okruženju za umjetnu inteligenciju na temelju članka 58., tijela za nadzor tržišta provjeravaju usklađenost s člankom 60. u okviru svoje nadzorne uloge za regulatorno izolirano okruženje za umjetnu inteligenciju. Ta tijela mogu, prema potrebi, dopustiti da dobavljač ili potencijalni dobavljač provodi testiranje u stvarnim uvjetima odstupajući od uvjeta utvrđenih u članku 60. stavku 4. točaka (f) i (g).
2. Where testing in real world conditions is conducted for AI systems that are supervised within an AI regulatory sandbox under Article 58, the market surveillance authorities shall verify the compliance with Article 60 as part of their supervisory role for the AI regulatory sandbox. Those authorities may, as appropriate, allow the testing in real world conditions to be conducted by the provider or prospective provider, in derogation from the conditions set out in Article 60(4), points (f) and (g).
3. Ako su potencijalni dobavljač, dobavljač ili treća strana obavijestili tijelo za nadzor tržišta o ozbiljnom incidentu ili ono ima drugih razloga vjerovati da uvjeti iz članaka 60. i 61. nisu ispunjeni, ono može na svojem državnom području prema potrebi donijeti jednu od sljedećih odluka:
3. Where a market surveillance authority has been informed by the prospective provider, the provider or any third party of a serious incident or has other grounds for considering that the conditions set out in Articles 60 and 61 are not met, it may take either of the following decisions on its territory, as appropriate:
(a)
suspendirati ili obustaviti testiranje u stvarnim uvjetima;
(a)
to suspend or terminate the testing in real world conditions;
(b)
zahtijevati od dobavljača ili potencijalnog dobavljača i od subjekta koji uvodi sustav ili potencijalnog subjekta koji uvodi sustav da izmijeni bilo koji aspekt testiranja u stvarnim uvjetima.
(b)
to require the provider or prospective provider and the deployer or prospective deployer to modify any aspect of the testing in real world conditions.
4. Ako je tijelo za nadzor tržišta donijelo odluku iz stavka 3. ovog članka ili je podnijelo prigovor u smislu članka 60. stavka 4. točke (b), u odluci ili prigovoru moraju se navesti razlozi za njih te način na koji dobavljač ili potencijalni dobavljač može osporiti odluku ili prigovor.
4. Where a market surveillance authority has taken a decision referred to in paragraph 3 of this Article, or has issued an objection within the meaning of Article 60(4), point (b), the decision or the objection shall indicate the grounds therefor and how the provider or prospective provider can challenge the decision or objection.
5. Kada je primjenjivo, ako je tijelo za nadzor tržišta donijelo odluku iz stavka 3., o razlozima njezina donošenja obavješćuje tijela za nadzor tržišta drugih država članica u kojima je UI sustav testiran u skladu s planom testiranja.
5. Where applicable, where a market surveillance authority has taken a decision referred to in paragraph 3, it shall communicate the grounds therefor to the market surveillance authorities of other Member States in which the AI system has been tested in accordance with the testing plan.
Članak 77.
Article 77
Ovlasti tijela nadležnih za zaštitu temeljnih prava
Powers of authorities protecting fundamental rights
1. Nacionalna tijela javne vlasti ili javna tijela koja nadziru ili izvršavaju poštovanje obveza na temelju prava Unije o zaštiti temeljnih prava, uključujući pravo na nediskriminaciju, u pogledu korištenja visokorizičnih UI sustava iz Priloga III. ovlaštena su zatražiti i pristupiti svoj dokumentaciji izrađenoj ili vođenoj na temelju ove Uredbe na pristupačnom jeziku i u pristupačnom formatu kada je pristup toj dokumentaciji potreban za djelotvorno ispunjavanje njihovih mandata u granicama njihove jurisdikcije. Relevantno tijelo javne vlasti ili javno tijelo obavješćuje tijelo za nadzor tržišta dotične države članice o svakom takvom zahtjevu.
1. National public authorities or bodies which supervise or enforce the respect of obligations under Union law protecting fundamental rights, including the right to non-discrimination, in relation to the use of high-risk AI systems referred to in Annex III shall have the power to request and access any documentation created or maintained under this Regulation in accessible language and format when access to that documentation is necessary for effectively fulfilling their mandates within the limits of their jurisdiction. The relevant public authority or body shall inform the market surveillance authority of the Member State concerned of any such request.
2. Svaka država članica do 2. studenoga 2024. određuje tijela javne vlasti ili javna tijela iz stavka 1. i objavljuje popis tih tijela. Države članice taj popis dostavljaju Komisiji i drugim državama članicama te ga ažuriraju.
2. By 2 November 2024, each Member State shall identify the public authorities or bodies referred to in paragraph 1 and make a list of them publicly available. Member States shall notify the list to the Commission and to the other Member States, and shall keep the list up to date.
3. Ako dokumentacija iz stavka 1. nije dovoljna za utvrđivanje je li došlo do povrede obveza na temelju prava Unije o zaštiti temeljnih prava, tijelo javne vlasti ili javno tijelo iz stavka 1. može tijelu za nadzor tržišta podnijeti obrazloženi zahtjev za organiziranje testiranja visokorizičnog UI sustava tehničkim sredstvima. Tijelo za nadzor tržišta u razumnom roku nakon podnošenja zahtjeva organizira testiranje u bliskoj suradnji s tijelom javne vlasti ili javnim tijelom koje je podnijelo zahtjev.
3. Where the documentation referred to in paragraph 1 is insufficient to ascertain whether an infringement of obligations under Union law protecting fundamental rights has occurred, the public authority or body referred to in paragraph 1 may make a reasoned request to the market surveillance authority, to organise testing of the high-risk AI system through technical means. The market surveillance authority shall organise the testing with the close involvement of the requesting public authority or body within a reasonable time following the request.
4. Sa svim informacijama ili dokumentacijom koje su nacionalna tijela javne vlasti ili javna tijela iz stavka 1. ovog članka dobila na temelju ovog članka postupa se u skladu s obvezama u pogledu povjerljivosti utvrđenima u članku 78.
4. Any information or documentation obtained by the national public authorities or bodies referred to in paragraph 1 of this Article pursuant to this Article shall be treated in accordance with the confidentiality obligations set out in Article 78.
Članak 78.
Article 78
Povjerljivost
Confidentiality
1. Komisija, tijela za nadzor tržišta, prijavljena tijela i sve druge fizičke ili pravne osobe uključene u primjenu ove Uredbe, u skladu s pravom Unije ili nacionalnim pravom, poštuju povjerljivost informacija i podataka dobivenih pri obavljanju svojih zadaća i aktivnosti tako da osobito štite:
1. The Commission, market surveillance authorities and notified bodies and any other natural or legal person involved in the application of this Regulation shall, in accordance with Union or national law, respect the confidentiality of information and data obtained in carrying out their tasks and activities in such a manner as to protect, in particular:
(a)
prava intelektualnog vlasništva i povjerljive poslovne informacije ili poslovne tajne fizičke ili pravne osobe, uključujući izvorni kôd, osim u slučajevima iz članka 5. Direktive (EU) 2016/943 Europskog parlamenta i Vijeća (57);
(a)
the intellectual property rights and confidential business information or trade secrets of a natural or legal person, including source code, except in the cases referred to in Article 5 of Directive (EU) 2016/943 of the European Parliament and of the Council (57);
(b)
djelotvornu provedbu ove Uredbe, osobito za potrebe inspekcija, istraga ili revizija;
(b)
the effective implementation of this Regulation, in particular for the purposes of inspections, investigations or audits;
(c)
javne i nacionalne sigurnosne interese;
(c)
public and national security interests;
(d)
provedbu kaznenih ili upravnih postupaka;
(d)
the conduct of criminal or administrative proceedings;
(e)
podatke klasificirane na temelju prava Unije ili nacionalnog prava.
(e)
information classified pursuant to Union or national law.
2. Tijela uključena u primjenu ove Uredbe u skladu sa stavkom 1. zahtijevaju samo one podatke koji su nužni za procjenu rizika koji predstavljaju UI sustavi i za izvršavanje svojih ovlasti u skladu s ovom Uredbom i s Uredbom (EU) 2019/1020. Ta tijela uspostavljaju adekvatne i djelotvorne mjere u području kibernetičke sigurnosti radi zaštite sigurnosti i povjerljivosti dobivenih informacija i podataka te u skladu s primjenjivim pravom Unije ili nacionalnim pravom brišu prikupljene podatke čim prestanu biti potrebni u svrhu za koju su dobiveni.
2. The authorities involved in the application of this Regulation pursuant to paragraph 1 shall request only data that is strictly necessary for the assessment of the risk posed by AI systems and for the exercise of their powers in accordance with this Regulation and with Regulation (EU) 2019/1020. They shall put in place adequate and effective cybersecurity measures to protect the security and confidentiality of the information and data obtained, and shall delete the data collected as soon as it is no longer needed for the purpose for which it was obtained, in accordance with applicable Union or national law.
3. Ne dovodeći u pitanje stavke 1. i 2., informacije koje na povjerljivoj osnovi međusobno razmjenjuju nacionalna nadležna tijela ili nacionalna nadležna tijela i Komisija ne otkrivaju se bez prethodnog savjetovanja s nacionalnim nadležnim tijelom od kojeg informacije potječu i sa subjektom koji uvodi sustav kada tijela kaznenog progona, tijela za nadzor granica, tijela za imigraciju ili tijela za azil upotrebljavaju visokorizične UI sustave iz točaka 1., 6. ili 7. Priloga III. i kada bi se takvim otkrivanjem ugrozili javni i nacionalni sigurnosni interesi. Ta razmjena informacija ne obuhvaća osjetljive operativne podatke u vezi s aktivnostima tijela kaznenog progona, tijela za nadzor granica, tijela za imigraciju ili tijela za azil.
3. Without prejudice to paragraphs 1 and 2, information exchanged on a confidential basis between the national competent authorities or between national competent authorities and the Commission shall not be disclosed without prior consultation of the originating national competent authority and the deployer when high-risk AI systems referred to in point 1, 6 or 7 of Annex III are used by law enforcement, border control, immigration or asylum authorities and when such disclosure would jeopardise public and national security interests. This exchange of information shall not cover sensitive operational data in relation to the activities of law enforcement, border control, immigration or asylum authorities.
Ako su tijela kaznenog progona, tijela za imigraciju ili tijela za azil dobavljači visokorizičnih UI sustava iz točaka 1., 6. ili 7. Priloga III., tehnička dokumentacija iz Priloga IV. ostaje u prostorijama tih tijela. Ta tijela osiguravaju da tijela za nadzor tržišta iz članka 74. stavaka 8. i 9., ovisno o slučaju, mogu na zahtjev odmah pristupiti toj dokumentaciji ili dobiti njezin primjerak. Pristup toj dokumentaciji ili njezinim primjercima dopušten je samo osoblju tijela za nadzor tržišta koje je prošlo odgovarajući stupanj sigurnosne provjere.
When the law enforcement, immigration or asylum authorities are providers of high-risk AI systems referred to in point 1, 6 or 7 of Annex III, the technical documentation referred to in Annex IV shall remain within the premises of those authorities. Those authorities shall ensure that the market surveillance authorities referred to in Article 74(8) and (9), as applicable, can, upon request, immediately access the documentation or obtain a copy thereof. Only staff of the market surveillance authority holding the appropriate level of security clearance shall be allowed to access that documentation or any copy thereof.
4. Stavci 1., 2. i 3. ne utječu na prava ili obveze Komisije, država članica i njihovih relevantnih tijela, kao ni na obveze prijavljenih tijela u pogledu razmjene informacija i širenja upozorenja, među ostalim u kontekstu prekogranične suradnje, a ne utječu ni na obveze dotičnih stranaka da pruže informacije na temelju kaznenog prava država članica.
4. Paragraphs 1, 2 and 3 shall not affect the rights or obligations of the Commission, Member States and their relevant authorities, as well as those of notified bodies, with regard to the exchange of information and the dissemination of warnings, including in the context of cross-border cooperation, nor shall they affect the obligations of the parties concerned to provide information under criminal law of the Member States.
5. Komisija i države članice mogu, kada je to potrebno i u skladu s relevantnim odredbama međunarodnih i trgovinskih sporazuma, razmjenjivati povjerljive informacije s regulatornim tijelima trećih zemalja s kojima su sklopile bilateralne ili multilateralne aranžmane o povjerljivosti kojima se jamči odgovarajuća razina povjerljivosti.
5. The Commission and Member States may exchange, where necessary and in accordance with relevant provisions of international and trade agreements, confidential information with regulatory authorities of third countries with which they have concluded bilateral or multilateral confidentiality arrangements guaranteeing an adequate level of confidentiality.
Članak 79.
Article 79
Postupak koji se na nacionalnoj razini primjenjuje na UI sustave koji predstavljaju rizik
Procedure at national level for dealing with AI systems presenting a risk
1. UI sustavi koji predstavljaju rizik smatraju se „proizvodom koji predstavlja rizik” kako je definiran u članku 3. točki 19. Uredbe (EU) 2019/1020 u mjeri u kojoj predstavljaju rizike za zdravlje ili sigurnost osoba ili za temeljna prava osoba.
1. AI systems presenting a risk shall be understood as a ‘product presenting a risk’ as defined in Article 3, point 19 of Regulation (EU) 2019/1020, in so far as they present risks to the health or safety, or to fundamental rights, of persons.
2. Ako tijelo za nadzor tržišta države članice ima dovoljno razloga smatrati da UI sustav predstavlja rizik u smislu stavka 1. ovog članka, ono evaluira usklađenost dotičnog UI sustava sa svim zahtjevima i obvezama utvrđenima u ovoj Uredbi. Posebna pozornost posvećuje se UI sustavima koji predstavljaju rizik za skupine ranjivih osoba. Ako su utvrđeni rizici za temeljna prava, tijelo za nadzor tržišta ujedno obavješćuje relevantna nacionalna tijela javne vlasti ili javna tijela iz članka 77. stavka 1. te s njima u potpunosti surađuje. Relevantni operateri prema potrebi surađuju s tijelom za nadzor tržišta i drugim nacionalnim tijelima javne vlasti ili javnim tijelima iz članka 77. stavka 1.
2. Where the market surveillance authority of a Member State has sufficient reason to consider an AI system to present a risk as referred to in paragraph 1 of this Article, it shall carry out an evaluation of the AI system concerned in respect of its compliance with all the requirements and obligations laid down in this Regulation. Particular attention shall be given to AI systems presenting a risk to vulnerable groups. Where risks to fundamental rights are identified, the market surveillance authority shall also inform and fully cooperate with the relevant national public authorities or bodies referred to in Article 77(1). The relevant operators shall cooperate as necessary with the market surveillance authority and with the other national public authorities or bodies referred to in Article 77(1).
Ako tijekom te evaluacije tijelo za nadzor tržišta ili, ako je primjenjivo, tijelo za nadzor tržišta u suradnji s nacionalnim tijelom javne vlasti iz članka 77. stavka 1. utvrdi da UI sustav ne ispunjava zahtjeve i obveze utvrđene u ovoj Uredbi, ono bez nepotrebne odgode od relevantnog operatera zahtijeva da poduzme sve odgovarajuće korektivne mjere kako bi UI sustav uskladio s tim zahtjevima i obvezama, povukao ga s tržišta ili ga opozvao u roku koji može propisati tijelo za nadzor tržišta, a u svakom slučaju unutar manje od 15 radnih dana ili kako je predviđeno u relevantnom zakonodavstvu Unije o usklađivanju.
Where, in the course of that evaluation, the market surveillance authority or, where applicable the market surveillance authority in cooperation with the national public authority referred to in Article 77(1), finds that the AI system does not comply with the requirements and obligations laid down in this Regulation, it shall without undue delay require the relevant operator to take all appropriate corrective actions to bring the AI system into compliance, to withdraw the AI system from the market, or to recall it within a period the market surveillance authority may prescribe, and in any event within the shorter of 15 working days, or as provided for in the relevant Union harmonisation legislation.
Tijelo za nadzor tržišta o tome obavješćuje relevantno prijavljeno tijelo. Na mjere navedene u drugom podstavku ovog stavka primjenjuje se članak 18. Uredbe (EU) 2019/1020.
The market surveillance authority shall inform the relevant notified body accordingly. Article 18 of Regulation (EU) 2019/1020 shall apply to the measures referred to in the second subparagraph of this paragraph.
3. Ako tijelo za nadzor tržišta smatra da neusklađenost nije ograničena samo na njegovo državno područje, ono bez nepotrebne odgode obavješćuje Komisiju i druge države članice o rezultatima evaluacije i mjerama za koje je zatražilo da ih operater poduzme.
3. Where the market surveillance authority considers that the non-compliance is not restricted to its national territory, it shall inform the Commission and the other Member States without undue delay of the results of the evaluation and of the actions which it has required the operator to take.
4. Operater osigurava da se poduzmu sve odgovarajuće korektivne mjere u pogledu svih dotičnih UI sustava koje je stavio na raspolaganje na tržištu Unije.
4. The operator shall ensure that all appropriate corrective action is taken in respect of all the AI systems concerned that it has made available on the Union market.
5. Ako operater UI sustava ne poduzme adekvatne korektivne mjere u roku iz stavka 2., tijelo za nadzor tržišta poduzima sve odgovarajuće privremene mjere kako bi zabranilo ili ograničilo stavljanje UI sustava na raspolaganje na svojem nacionalnom tržištu ili njegovo stavljanje u upotrebu, odnosno kako bi povuklo taj proizvod ili samostalan UI sustav s tog tržišta ili ga opozvalo. To tijelo bez nepotrebne odgode obavješćuje Komisiju i druge države članice o navedenim mjerama.
5. Where the operator of an AI system does not take adequate corrective action within the period referred to in paragraph 2, the market surveillance authority shall take all appropriate provisional measures to prohibit or restrict the AI system’s being made available on its national market or put into service, to withdraw the product or the standalone AI system from that market or to recall it. That authority shall without undue delay notify the Commission and the other Member States of those measures.
6. Obavijest iz stavka 5. uključuje sve dostupne pojedinosti, a osobito informacije potrebne za identifikaciju neusklađenog UI sustava, njegovo podrijetlo i lanac opskrbe, prirodu navodne neusklađenosti i povezanog rizika, prirodu i trajanje poduzetih nacionalnih mjera te argumente relevantnog operatera. Tijela za nadzor tržišta posebno navode je li neusklađenost posljedica jednog ili više sljedećih uzroka:
6. The notification referred to in paragraph 5 shall include all available details, in particular the information necessary for the identification of the non-compliant AI system, the origin of the AI system and the supply chain, the nature of the non-compliance alleged and the risk involved, the nature and duration of the national measures taken and the arguments put forward by the relevant operator. In particular, the market surveillance authorities shall indicate whether the non-compliance is due to one or more of the following:
(a)
ne poštuje se zabrana praksi u području umjetne inteligencije iz članka 5.;
(a)
non-compliance with the prohibition of the AI practices referred to in Article 5;
(b)
visokorizični UI sustav ne ispunjava zahtjeve utvrđene u poglavlju III. odjeljku 2.;
(b)
a failure of a high-risk AI system to meet requirements set out in Chapter III, Section 2;
(c)
postoje nedostaci u usklađenim normama ili zajedničkim specifikacijama iz članaka 40. i 41. kojima se stvara pretpostavka sukladnosti;
(c)
shortcomings in the harmonised standards or common specifications referred to in Articles 40 and 41 conferring a presumption of conformity;
(d)
izostaje usklađenost s člankom 50.
(d)
non-compliance with Article 50.
7. Tijela za nadzor tržišta koja nisu tijelo za nadzor tržišta države članice koje pokreće postupak bez nepotrebne odgode obavješćuju Komisiju i druge države članice o svim donesenim mjerama i o svim dodatnim informacijama koje su im na raspolaganju i koje se odnose na neusklađenost dotičnog UI sustava te, u slučaju neslaganja s nacionalnom mjerom o kojoj je obaviješteno, o svojim prigovorima.
7. The market surveillance authorities other than the market surveillance authority of the Member State initiating the procedure shall, without undue delay, inform the Commission and the other Member States of any measures adopted and of any additional information at their disposal relating to the non-compliance of the AI system concerned, and, in the event of disagreement with the notified national measure, of their objections.
8. Ako u roku od tri mjeseca od primitka obavijesti iz stavka 5. ovog članka ni tijelo za nadzor tržišta države članice ni Komisija ne podnese prigovor na privremenu mjeru koju je poduzelo tijelo za nadzor tržišta druge države članice, ta mjera smatra se opravdanom. Time se ne dovode u pitanje postupovna prava dotičnog operatera u skladu s člankom 18. Uredbe (EU) 2019/1020. Tromjesečno razdoblje iz ovog stavka skraćuje se na 30 dana u slučaju nepoštovanja zabrane praksi u području umjetne inteligencije iz članka 5. ove Uredbe.
8. Where, within three months of receipt of the notification referred to in paragraph 5 of this Article, no objection has been raised by either a market surveillance authority of a Member State or by the Commission in respect of a provisional measure taken by a market surveillance authority of another Member State, that measure shall be deemed justified. This shall be without prejudice to the procedural rights of the concerned operator in accordance with Article 18 of Regulation (EU) 2019/1020. The three-month period referred to in this paragraph shall be reduced to 30 days in the event of non-compliance with the prohibition of the AI practices referred to in Article 5 of this Regulation.
9. Tijela za nadzor tržišta osiguravaju da se u odnosu na dotični proizvod ili UI sustav bez nepotrebne odgode poduzmu primjerene restriktivne mjere, primjerice povlačenje proizvoda ili UI sustava s njihovih tržišta.
9. The market surveillance authorities shall ensure that appropriate restrictive measures are taken in respect of the product or the AI system concerned, such as withdrawal of the product or the AI system from their market, without undue delay.
Članak 80.
Article 80
Postupak koji se primjenjuje na UI sustave koje je dobavljač u skladu s Prilogom III. klasificirao kao UI sustave koji nisu visokorizični
Procedure for dealing with AI systems classified by the provider as non-high-risk in application of Annex III
1. Ako tijelo za nadzor tržišta ima dovoljno razloga smatrati da UI sustav koji je dobavljač u skladu s člankom 6. stavkom 3. klasificirao kao UI sustav koji nije visokorizičan zapravo jest visokorizičan, ono provodi evaluaciju dotičnog UI sustava u vezi s njegovom klasifikacijom kao visokorizičnim UI sustavom na temelju uvjeta utvrđenih u članku 6. stavku 3. i smjernica Komisije.
1. Where a market surveillance authority has sufficient reason to consider that an AI system classified by the provider as non-high-risk pursuant to Article 6(3) is indeed high-risk, the market surveillance authority shall carry out an evaluation of the AI system concerned in respect of its classification as a high-risk AI system based on the conditions set out in Article 6(3) and the Commission guidelines.
2. Ako tijekom te evaluacije tijelo za nadzor tržišta utvrdi da je dotični UI sustav visokorizičan, ono od relevantnog dobavljača bez nepotrebne odgode zahtijeva da poduzme sve potrebne mjere kako bi UI sustav uskladio sa zahtjevima i obvezama utvrđenima u ovoj Uredbi te da u roku koji može propisati tijelo za nadzor tržišta poduzme odgovarajuće korektivne mjere.
2. Where, in the course of that evaluation, the market surveillance authority finds that the AI system concerned is high-risk, it shall without undue delay require the relevant provider to take all necessary actions to bring the AI system into compliance with the requirements and obligations laid down in this Regulation, as well as take appropriate corrective action within a period the market surveillance authority may prescribe.
3. Ako tijelo za nadzor tržišta smatra da korištenje dotičnog UI sustava nije ograničeno samo na njegovo državno područje, ono bez nepotrebne odgode Komisiju i druge države članice obavješćuje o rezultatima evaluacije i mjerama za koje je zatražilo da ih dobavljač poduzme.
3. Where the market surveillance authority considers that the use of the AI system concerned is not restricted to its national territory, it shall inform the Commission and the other Member States without undue delay of the results of the evaluation and of the actions which it has required the provider to take.
4. Dobavljač osigurava da se poduzmu sve potrebne mjere kako bi se UI sustav uskladio sa zahtjevima i obvezama utvrđenima u ovoj Uredbi. Ako dobavljač dotičnog UI sustava u roku iz stavka 2. ovog članka ne uskladi taj UI sustav s navedenim zahtjevima i obvezama, izriču mu se novčane kazne u skladu s člankom 99.
4. The provider shall ensure that all necessary action is taken to bring the AI system into compliance with the requirements and obligations laid down in this Regulation. Where the provider of an AI system concerned does not bring the AI system into compliance with those requirements and obligations within the period referred to in paragraph 2 of this Article, the provider shall be subject to fines in accordance with Article 99.
5. Dobavljač osigurava da se poduzmu sve odgovarajuće korektivne mjere u pogledu svih dotičnih UI sustava koje je stavio na raspolaganje na tržištu Unije.
5. The provider shall ensure that all appropriate corrective action is taken in respect of all the AI systems concerned that it has made available on the Union market.
6. Ako dobavljač dotičnog UI sustava u roku iz stavka 2. ovog članka ne poduzme odgovarajuće korektivne mjere, primjenjuje se članak 79. stavci od 5. do 9.
6. Where the provider of the AI system concerned does not take adequate corrective action within the period referred to in paragraph 2 of this Article, Article 79(5) to (9) shall apply.
7. Ako tijekom evaluacije na temelju stavka 1. ovog članka tijelo za nadzor tržišta utvrdi da je dobavljač pogrešno klasificirao UI sustav kao UI sustav koji nije visokorizičan kako bi izbjegao primjenu zahtjevâ iz poglavlja III. odjeljka 2., dobavljaču se izriču novčane kazne u skladu s člankom 99.
7. Where, in the course of the evaluation pursuant to paragraph 1 of this Article, the market surveillance authority establishes that the AI system was misclassified by the provider as non-high-risk in order to circumvent the application of requirements in Chapter III, Section 2, the provider shall be subject to fines in accordance with Article 99.
8. Pri izvršavanju svojih ovlasti za praćenje primjene ovog članka, a u skladu s člankom 11. Uredbe (EU) 2019/1020, tijela za nadzor tržišta mogu provoditi odgovarajuće provjere, posebno uzimajući u obzir informacije pohranjene u bazi podataka EU-a iz članka 71. ove Uredbe.
8. In exercising their power to monitor the application of this Article, and in accordance with Article 11 of Regulation (EU) 2019/1020, market surveillance authorities may perform appropriate checks, taking into account in particular information stored in the EU database referred to in Article 71 of this Regulation.
Članak 81.
Article 81
Zaštitni postupak Unije
Union safeguard procedure
1. Ako tijelo za nadzor tržišta države članice u roku od tri mjeseca od primitka obavijesti iz članka 79. stavka 5., ili u roku od 30 dana u slučaju nepoštovanja zabrane praksi u području umjetne inteligencije iz članka 5., podnese prigovore na mjeru koju je poduzelo drugo tijelo za nadzor tržišta ili ako Komisija smatra da je mjera u suprotnosti s pravom Unije, Komisija bez nepotrebne odgode započinje savjetovanje s tijelom za nadzor tržišta relevantne države članice i operaterom ili operaterima te provodi evaluaciju nacionalne mjere. Na temelju rezultata te evaluacije Komisija u roku od šest mjeseci, ili u roku od 60 dana u slučaju nepoštovanja zabrane praksi u području umjetne inteligencije iz članka 5., od obavijesti iz članka 79. stavka 5. odlučuje je li nacionalna mjera opravdana i svoju odluke priopćuje tijelu za nadzor tržišta dotične države članice. Komisija o svojoj odluci obavješćuje i sva ostala tijela za nadzor tržišta.
1. Where, within three months of receipt of the notification referred to in Article 79(5), or within 30 days in the case of non-compliance with the prohibition of the AI practices referred to in Article 5, objections are raised by the market surveillance authority of a Member State to a measure taken by another market surveillance authority, or where the Commission considers the measure to be contrary to Union law, the Commission shall without undue delay enter into consultation with the market surveillance authority of the relevant Member State and the operator or operators, and shall evaluate the national measure. On the basis of the results of that evaluation, the Commission shall, within six months, or within 60 days in the case of non-compliance with the prohibition of the AI practices referred to in Article 5, starting from the notification referred to in Article 79(5), decide whether the national measure is justified and shall notify its decision to the market surveillance authority of the Member State concerned. The Commission shall also inform all other market surveillance authorities of its decision.
2. Ako Komisija smatra da je mjera koju je poduzela relevantna država članica opravdana, sve države članice osiguravaju da u vezi s dotičnim UI sustavom poduzmu primjerene restriktivne mjere, primjerice tako da zahtijevaju da se taj UI sustav bez nepotrebne odgode povuče s njihova tržišta, i o tome obavješćuju Komisiju. Ako Komisija smatra da je nacionalna mjera neopravdana, dotična država članica povlači mjeru i o tome obavješćuje Komisiju.
2. Where the Commission considers the measure taken by the relevant Member State to be justified, all Member States shall ensure that they take appropriate restrictive measures in respect of the AI system concerned, such as requiring the withdrawal of the AI system from their market without undue delay, and shall inform the Commission accordingly. Where the Commission considers the national measure to be unjustified, the Member State concerned shall withdraw the measure and shall inform the Commission accordingly.
3. Ako se nacionalna mjera smatra opravdanom i ako se neusklađenost UI sustava pripisuje nedostacima u usklađenim normama ili zajedničkim specifikacijama iz članaka 40. i 41. ove Uredbe, Komisija primjenjuje postupak iz članka 11. Uredbe (EU) br. 1025/2012.
3. Where the national measure is considered justified and the non-compliance of the AI system is attributed to shortcomings in the harmonised standards or common specifications referred to in Articles 40 and 41 of this Regulation, the Commission shall apply the procedure provided for in Article 11 of Regulation (EU) No 1025/2012.
Članak 82.
Article 82
Usklađeni UI sustavi koji predstavljaju rizik
Compliant AI systems which present a risk
1. Ako tijelo za nadzor tržišta države članice nakon provedene evaluacije na temelju članka 79. i savjetovanja s relevantnim nacionalnim tijelom javne vlasti iz članka 77. stavka 1. zaključi da visokorizični UI sustav, iako je u skladu s ovom Uredbom, ipak predstavlja rizik za zdravlje ili sigurnost osoba, za temeljna prava ili za druge aspekte zaštite javnog interesa, od relevantnog operatera zahtijeva da bez nepotrebne odgode i u roku koji ono može propisati poduzme sve odgovarajuće mjere kako bi se osiguralo da dotični UI sustav, kada bude stavljen na tržište ili u upotrebu, više ne predstavlja taj rizik.
1. Where, having performed an evaluation under Article 79, after consulting the relevant national public authority referred to in Article 77(1), the market surveillance authority of a Member State finds that although a high-risk AI system complies with this Regulation, it nevertheless presents a risk to the health or safety of persons, to fundamental rights, or to other aspects of public interest protection, it shall require the relevant operator to take all appropriate measures to ensure that the AI system concerned, when placed on the market or put into service, no longer presents that risk without undue delay, within a period it may prescribe.
2. Dobavljač ili drugi relevantni operater osigurava da se u roku koji je propisalo tijelo za nadzor tržišta države članice iz stavka 1. poduzmu korektivne mjere u pogledu dotičnih UI sustava koje je stavio na raspolaganje na tržištu Unije.
2. The provider or other relevant operator shall ensure that corrective action is taken in respect of all the AI systems concerned that it has made available on the Union market within the timeline prescribed by the market surveillance authority of the Member State referred to in paragraph 1.
3. Države članice odmah obavješćuju Komisiju i druge države članice o zaključku na temelju stavka 1. Te informacije uključuju sve dostupne pojedinosti, a osobito podatke potrebne za identifikaciju dotičnog UI sustava, podrijetlo i lanac opskrbe tog UI sustava, prirodu s njime povezanog rizika te prirodu i trajanje poduzetih nacionalnih mjera.
3. The Member States shall immediately inform the Commission and the other Member States of a finding under paragraph 1. That information shall include all available details, in particular the data necessary for the identification of the AI system concerned, the origin and the supply chain of the AI system, the nature of the risk involved and the nature and duration of the national measures taken.
4. Komisija bez nepotrebne odgode započinje savjetovanje s dotičnim državama članicama i relevantnim operaterima te provodi evaluaciju poduzetih nacionalnih mjera. Na temelju rezultata te evaluacije Komisija odlučuje je li mjera opravdana i prema potrebi predlaže druge odgovarajuće mjere.
4. The Commission shall without undue delay enter into consultation with the Member States concerned and the relevant operators, and shall evaluate the national measures taken. On the basis of the results of that evaluation, the Commission shall decide whether the measure is justified and, where necessary, propose other appropriate measures.
5. Komisija svoju odluku odmah priopćuje dotičnim državama članicama i relevantnim operaterima. Komisija o njoj obavješćuje i druge države članice.
5. The Commission shall immediately communicate its decision to the Member States concerned and to the relevant operators. It shall also inform the other Member States.
Članak 83.
Article 83
Formalna neusklađenost
Formal non-compliance
1. Tijelo za nadzor tržišta države članice od relevantnog dobavljača zahtijeva da određenu neusklađenost otkloni u roku koji ono može propisati ako ustanovi jedno od sljedećeg:
1. Where the market surveillance authority of a Member State makes one of the following findings, it shall require the relevant provider to put an end to the non-compliance concerned, within a period it may prescribe:
(a)
oznaka CE stavljena je uz kršenje članka 48.;
(a)
the CE marking has been affixed in violation of Article 48;
(b)
oznaka CE uopće nije stavljena;
(b)
the CE marking has not been affixed;
(c)
EU izjava o sukladnosti iz članka 47. nije sastavljena;
(c)
the EU declaration of conformity referred to in Article 47 has not been drawn up;
(d)
EU izjava o sukladnosti iz članka 47. nije ispravno sastavljena;
(d)
the EU declaration of conformity referred to in Article 47 has not been drawn up correctly;
(e)
registracija u bazi podataka EU-a iz članka 71. nije provedena;
(e)
the registration in the EU database referred to in Article 71 has not been carried out;
(f)
ovlašteni zastupnik nije imenovan, ako je primjenjivo;
(f)
where applicable, no authorised representative has been appointed;
(g)
tehnička dokumentacija nije dostupna.
(g)
technical documentation is not available.
2. Ako se neusklađenost iz stavka 1. nastavi, tijelo za nadzor tržišta dotične države članice poduzima odgovarajuće i razmjerne mjere kako bi ograničilo ili zabranilo stavljanje visokorizičnog UI sustava na raspolaganje na tržištu ili kako bi osiguralo da se taj UI sustav bez odgode opozove ili povuče s tržišta.
2. Where the non-compliance referred to in paragraph 1 persists, the market surveillance authority of the Member State concerned shall take appropriate and proportionate measures to restrict or prohibit the high-risk AI system being made available on the market or to ensure that it is recalled or withdrawn from the market without delay.
Članak 84.
Article 84
Potporne strukture Unije za testiranje umjetne inteligencije
Union AI testing support structures
1. Komisija za obavljanje zadaća na temelju članka 21. stavka 6. Uredbe (EU) 2019/1020 u području umjetne inteligencije određuje jednu ili više potpornih struktura Unije za testiranje umjetne inteligencije.
1. The Commission shall designate one or more Union AI testing support structures to perform the tasks listed under Article 21(6) of Regulation (EU) 2019/1020 in the area of AI.
2. Ne dovodeći u pitanje zadaće iz stavka 1., potporne strukture Unije za testiranje umjetne inteligencije također pružaju neovisne tehničke ili znanstvene savjete na zahtjev Vijeća za umjetnu inteligenciju, Komisije ili tijelâ za nadzor tržišta.
2. Without prejudice to the tasks referred to in paragraph 1, Union AI testing support structures shall also provide independent technical or scientific advice at the request of the Board, the Commission, or of market surveillance authorities.
ODJELJAK 4.
SECTION 4
Pravna sredstva
Remedies
Članak 85.
Article 85
Pravo na podnošenje pritužbe tijelu za nadzor tržišta
Right to lodge a complaint with a market surveillance authority
Ne dovodeći u pitanje druga upravna ili sudska pravna sredstva, svaka fizička ili pravna osoba koja ima razloga smatrati da je došlo do povrede odredaba ove Uredbe može podnijeti pritužbe relevantnom tijelu za nadzor tržišta.
Without prejudice to other administrative or judicial remedies, any natural or legal person having grounds to consider that there has been an infringement of the provisions of this Regulation may submit complaints to the relevant market surveillance authority.
U skladu s Uredbom (EU) 2019/1020 takve pritužbe uzimaju se u obzir u svrhu provođenja aktivnosti nadzora tržišta i s njima se postupa u skladu s posebnim postupcima koje su u tu svrhu utvrdila tijela za nadzor tržišta.
In accordance with Regulation (EU) 2019/1020, such complaints shall be taken into account for the purpose of conducting market surveillance activities, and shall be handled in line with the dedicated procedures established therefor by the market surveillance authorities.
Članak 86.
Article 86
Pravo na objašnjenje donošenja pojedinačnih odluka
Right to explanation of individual decision-making
1. Svaka osoba na koju se primjenjuje odluka koju subjekt koji uvodi sustav donese na temelju izlaznih podataka visokorizičnog UI sustava iz Priloga III., uz iznimku sustava navedenih u točki 2. tog priloga, a koja proizvodi pravne učinke ili na tu osobu na sličan način znatno utječe tako da ona smatra da ima negativan učinak na njezino zdravlje, sigurnost ili temeljna prava, ima pravo od subjekta koji uvodi sustav zatražiti jasna i smislena objašnjenja o ulozi UI sustava u postupku donošenja odluka i o glavnim elementima donesene odluke.
1. Any affected person subject to a decision which is taken by the deployer on the basis of the output from a high-risk AI system listed in Annex III, with the exception of systems listed under point 2 thereof, and which produces legal effects or similarly significantly affects that person in a way that they consider to have an adverse impact on their health, safety or fundamental rights shall have the right to obtain from the deployer clear and meaningful explanations of the role of the AI system in the decision-making procedure and the main elements of the decision taken.
2. Stavak 1. ne primjenjuje se na korištenje UI sustava za koje iznimke od obveze iz tog stavka ili njezina ograničenja proizlaze iz prava Unije ili nacionalnog prava u skladu s pravom Unije.
2. Paragraph 1 shall not apply to the use of AI systems for which exceptions from, or restrictions to, the obligation under that paragraph follow from Union or national law in compliance with Union law.
3. Ovaj se članak primjenjuje samo ako pravo iz stavka 1. nije na drugi način predviđeno na temelju prava Unije.
3. This Article shall apply only to the extent that the right referred to in paragraph 1 is not otherwise provided for under Union law.
Članak 87.
Article 87
Prijava povreda i zaštita prijavitelja povreda
Reporting of infringements and protection of reporting persons
Direktiva (EU) 2019/1937 primjenjuje se na prijave povreda ove Uredbe i zaštitu osoba koje prijavljuju takve povrede.
Directive (EU) 2019/1937 shall apply to the reporting of infringements of this Regulation and the protection of persons reporting such infringements.
ODJELJAK 5.
SECTION 5
Nadzor, istrage, izvršavanje i praćenje u vezi s dobavljačima UI modelâ opće namjene
Supervision, investigation, enforcement and monitoring in respect of providers of general-purpose AI models
Članak 88.
Article 88
Izvršavanje obveza dobavljača UI modelâ opće namjene
Enforcement of the obligations of providers of general-purpose AI models
1. Komisija ima isključive ovlasti za nadzor i izvršavanje poglavlja V., uzimajući u obzir postupovna jamstva na temelju članka 94. Komisija provedbu tih zadaća povjerava Uredu za umjetnu inteligenciju, ne dovodeći u pitanje organizacijske ovlasti Komisije i podjelu nadležnosti između država članica i Unije na temelju Ugovorâ.
1. The Commission shall have exclusive powers to supervise and enforce Chapter V, taking into account the procedural guarantees under Article 94. The Commission shall entrust the implementation of these tasks to the AI Office, without prejudice to the powers of organisation of the Commission and the division of competences between Member States and the Union based on the Treaties.
2. Ne dovodeći u pitanje članak 75. stavak 3., tijela za nadzor tržišta mogu od Komisije zatražiti da izvrši ovlasti utvrđene u ovom odjeljku ako je to potrebno i razmjerno kako bi im se pomoglo u ispunjavanju njihovih zadaća na temelju ove Uredbe.
2. Without prejudice to Article 75(3), market surveillance authorities may request the Commission to exercise the powers laid down in this Section, where that is necessary and proportionate to assist with the fulfilment of their tasks under this Regulation.
Članak 89.
Article 89
Mjere praćenja
Monitoring actions
1. Za potrebe obavljanja zadaća koje su mu dodijeljene na temelju ovog odjeljka Ured za umjetnu inteligenciju može poduzimati mjere potrebne za praćenje djelotvorne provedbe ove Uredbe i usklađenosti s njome od strane dobavljača UI modelâ opće namjene, među ostalim i njihova poštovanja odobrenih kodeksa prakse.
1. For the purpose of carrying out the tasks assigned to it under this Section, the AI Office may take the necessary actions to monitor the effective implementation and compliance with this Regulation by providers of general-purpose AI models, including their adherence to approved codes of practice.
2. Dobavljači niže u lancu imaju pravo podnijeti pritužbu zbog navodne povrede ove Uredbe. Pritužba mora biti propisno obrazložena, a u njoj se navodi barem sljedeće:
2. Downstream providers shall have the right to lodge a complaint alleging an infringement of this Regulation. A complaint shall be duly reasoned and indicate at least:
(a)
kontaktna točka dotičnog dobavljača UI modela opće namjene;
(a)
the point of contact of the provider of the general-purpose AI model concerned;
(b)
opis relevantnih činjenica, dotične odredbe ove Uredbe i razlog zašto dobavljač niže u lancu smatra da je dotični dobavljač UI modela opće namjene počinio povredu ove Uredbe;
(b)
a description of the relevant facts, the provisions of this Regulation concerned, and the reason why the downstream provider considers that the provider of the general-purpose AI model concerned infringed this Regulation;
(c)
sve ostale informacije koje dobavljač niže u lancu koji je podnio zahtjev smatra relevantnima, uključujući, prema potrebi, informacije prikupljene na vlastitu inicijativu.
(c)
any other information that the downstream provider that sent the request considers relevant, including, where appropriate, information gathered on its own initiative.
Članak 90.
Article 90
Upozorenja znanstvenog povjerenstva o sistemskim rizicima
Alerts of systemic risks by the scientific panel
1. Znanstveno povjerenstvo može Uredu za umjetnu inteligenciju dostaviti kvalificirano upozorenje ako ima razloga sumnjati na sljedeće:
1. The scientific panel may provide a qualified alert to the AI Office where it has reason to suspect that:
(a)
UI model opće namjene predstavlja konkretan utvrdiv rizik na razini Unije; ili
(a)
a general-purpose AI model poses concrete identifiable risk at Union level; or
(b)
UI model opće namjene ispunjava uvjete iz članka 51.
(b)
a general-purpose AI model meets the conditions referred to in Article 51.
2. Slijedom takvog kvalificiranog upozorenja Komisija, putem Ureda za umjetnu inteligenciju i nakon što je obavijestila Vijeće za umjetnu inteligenciju, može izvršavati ovlasti utvrđene u ovom odjeljku u svrhu procjene tog pitanja. Ured za umjetnu inteligenciju obavješćuje Vijeće za umjetnu inteligenciju o svim mjerama u skladu s člancima od 91. do 94.
2. Upon such qualified alert, the Commission, through the AI Office and after having informed the Board, may exercise the powers laid down in this Section for the purpose of assessing the matter. The AI Office shall inform the Board of any measure according to Articles 91 to 94.
3. Kvalificirano upozorenje mora biti propisno obrazloženo, a u njemu se navodi barem sljedeće:
3. A qualified alert shall be duly reasoned and indicate at least:
(a)
kontaktna točka dobavljača dotičnog UI modela opće namjene sa sistemskim rizikom;
(a)
the point of contact of the provider of the general-purpose AI model with systemic risk concerned;
(b)
opis relevantnih činjenica i razloga za upozorenje znanstvenog povjerenstva;
(b)
a description of the relevant facts and the reasons for the alert by the scientific panel;
(c)
sve ostale informacije koje znanstveno povjerenstvo smatra relevantnima, uključujući, prema potrebi, informacije prikupljene na vlastitu inicijativu.
(c)
any other information that the scientific panel considers to be relevant, including, where appropriate, information gathered on its own initiative.
Članak 91.
Article 91
Ovlast za zahtijevanje dokumentacije i informacija
Power to request documentation and information
1. Komisija može od dobavljača dotičnog UI modela opće namjene zahtijevati da dostavi dokumentaciju koju je dobavljač sastavio u skladu s člancima 53. i 55. ili sve dodatne informacije koje su potrebne u svrhu procjene usklađenosti dobavljača s ovom Uredbom.
1. The Commission may request the provider of the general-purpose AI model concerned to provide the documentation drawn up by the provider in accordance with Articles 53 and 55, or any additional information that is necessary for the purpose of assessing compliance of the provider with this Regulation.
2. Prije slanja zahtjeva za informacije Ured za umjetnu inteligenciju može pokrenuti strukturirani dijalog s dobavljačem UI modela opće namjene.
2. Before sending the request for information, the AI Office may initiate a structured dialogue with the provider of the general-purpose AI model.
3. Na propisno obrazložen zahtjev znanstvenog povjerenstva Komisija može uputiti zahtjev za informacije dobavljaču UI modela opće namjene ako je pristup informacijama potreban i razmjeran za ispunjavanje zadaća znanstvenog povjerenstva u skladu s člankom 68. stavkom 2.
3. Upon a duly substantiated request from the scientific panel, the Commission may issue a request for information to a provider of a general-purpose AI model, where the access to information is necessary and proportionate for the fulfilment of the tasks of the scientific panel under Article 68(2).
4. U zahtjevu za informacije navode se pravna osnova i svrha zahtjeva, preciziraju se informacije koje se zahtijevaju, određuje se rok u kojem se moraju dostaviti informacije i navode se novčane kazne predviđene u članku 101. za dostavljanje netočnih, nepotpunih ili obmanjujućih informacija.
4. The request for information shall state the legal basis and the purpose of the request, specify what information is required, set a period within which the information is to be provided, and indicate the fines provided for in Article 101 for supplying incorrect, incomplete or misleading information.
5. Dobavljač dotičnog UI modela opće namjene ili njegov zastupnik dostavlja informacije obuhvaćene zahtjevom. U slučaju pravnih osoba, trgovačkih društava ili, ako dobavljač nema pravnu osobnost, osobe koje su ih na temelju zakona ili njihovih internih pravnih akata ovlaštene zastupati dostavljaju informacije obuhvaćene zahtjevom u ime dobavljača dotičnog UI modela opće namjene. Propisno ovlašteni odvjetnici mogu dostaviti informacije u ime svojih klijenata. Međutim, klijenti snose punu odgovornost ako su dostavljene informacije nepotpune, netočne ili obmanjujuće.
5. The provider of the general-purpose AI model concerned, or its representative shall supply the information requested. In the case of legal persons, companies or firms, or where the provider has no legal personality, the persons authorised to represent them by law or by their statutes, shall supply the information requested on behalf of the provider of the general-purpose AI model concerned. Lawyers duly authorised to act may supply information on behalf of their clients. The clients shall nevertheless remain fully responsible if the information supplied is incomplete, incorrect or misleading.
Članak 92.
Article 92
Ovlast za provođenje evaluacija
Power to conduct evaluations
1. Ured za umjetnu inteligenciju može, nakon savjetovanja s Vijećem za umjetnu inteligenciju, provoditi evaluacije dotičnog UI modela opće namjene radi sljedećeg:
1. The AI Office, after consulting the Board, may conduct evaluations of the general-purpose AI model concerned:
(a)
procjene usklađenosti dobavljača s obvezama na temelju ove Uredbe ako su informacije prikupljene na temelju članka 91. nedostatne; ili
(a)
to assess compliance of the provider with obligations under this Regulation, where the information gathered pursuant to Article 91 is insufficient; or
(b)
istrage sistemskih rizika na razini Unije u pogledu UI modelâ opće namjene sa sistemskim rizikom, posebice slijedom kvalificiranog upozorenja znanstvenog povjerenstva u skladu s člankom 90. stavkom 1. točkom (a).
(b)
to investigate systemic risks at Union level of general-purpose AI models with systemic risk, in particular following a qualified alert from the scientific panel in accordance with Article 90(1), point (a).
2. Komisija može odlučiti imenovati neovisne stručnjake, među ostalim iz znanstvenog povjerenstva osnovanog na temelju članka 68., koji će biti zaduženi za provedbu evaluacija u njezino ime. Neovisni stručnjaci imenovani za tu zadaću moraju ispunjavati kriterije iz članka 68. stavka 2.
2. The Commission may decide to appoint independent experts to carry out evaluations on its behalf, including from the scientific panel established pursuant to Article 68. Independent experts appointed for this task shall meet the criteria outlined in Article 68(2).
3. Za potrebe stavka 1. Komisija može zatražiti pristup dotičnom UI modelu opće namjene putem aplikacijskih programskih sučelja ili drugih odgovarajućih tehničkih sredstava i alata, uključujući izvorni kôd.
3. For the purposes of paragraph 1, the Commission may request access to the general-purpose AI model concerned through APIs or further appropriate technical means and tools, including source code.
4. U zahtjevu za pristup navode se pravna osnova, svrha zahtjeva i razlozi za njegovo podnošenje, određuje se rok u kojem se mora omogućiti pristup i navode se novčane kazne predviđene u članku 101. ako se pristup ne omogući.
4. The request for access shall state the legal basis, the purpose and reasons of the request and set the period within which the access is to be provided, and the fines provided for in Article 101 for failure to provide access.
5. Dobavljač dotičnog UI modela opće namjene ili njegov zastupnik dostavlja informacije obuhvaćene zahtjevom. U slučaju pravnih osoba, trgovačkih društava ili, ako dobavljači nemaju pravnu osobnost, osobe koje su ih na temelju zakona ili njihovih internih pravnih akata ovlaštene zastupati omogućuju zatraženi pristup u ime dobavljača dotičnog UI modela opće namjene.
5. The providers of the general-purpose AI model concerned or its representative shall supply the information requested. In the case of legal persons, companies or firms, or where the provider has no legal personality, the persons authorised to represent them by law or by their statutes, shall provide the access requested on behalf of the provider of the general-purpose AI model concerned.
6. Komisija donosi provedbene akte kojima se utvrđuju detaljni aranžmani i uvjeti za evaluacije, uključujući detaljne aranžmane za uključivanje neovisnih stručnjaka i postupak za njihov odabir. Ti se provedbeni akti donose u skladu s postupkom ispitivanja iz članka 98. stavka 2.
6. The Commission shall adopt implementing acts setting out the detailed arrangements and the conditions for the evaluations, including the detailed arrangements for involving independent experts, and the procedure for the selection thereof. Those implementing acts shall be adopted in accordance with the examination procedure referred to in Article 98(2).
7. Prije nego što zatraži pristup dotičnom UI modelu opće namjene Ured za umjetnu inteligenciju može pokrenuti strukturirani dijalog s dobavljačem UI modela opće namjene kako bi prikupio više informacija o unutarnjem testiranju modela, unutarnjim zaštitnim mjerama za sprečavanje sistemskih rizika i drugim unutarnjim postupcima i mjerama koje je dobavljač poduzeo za ublažavanje takvih rizika.
7. Prior to requesting access to the general-purpose AI model concerned, the AI Office may initiate a structured dialogue with the provider of the general-purpose AI model to gather more information on the internal testing of the model, internal safeguards for preventing systemic risks, and other internal procedures and measures the provider has taken to mitigate such risks.
Članak 93.
Article 93
Ovlast za zahtijevanje mjera
Power to request measures
1. Ako je to potrebno i primjereno, Komisija može od dobavljača zahtijevati sljedeće:
1. Where necessary and appropriate, the Commission may request providers to:
(a)
da poduzmu odgovarajuće mjere za ispunjavanje obveza utvrđenih u člancima 53. i 54.;
(a)
take appropriate measures to comply with the obligations set out in Articles 53 and 54;
(b)
da provedu mjere za ublažavanje rizika ako je evaluacija provedena u skladu s člankom 92. rezultirala ozbiljnom i potkrijepljenom sumnjom na postojanje sistemskog rizika na razini Unije;
(b)
implement mitigation measures, where the evaluation carried out in accordance with Article 92 has given rise to serious and substantiated concern of a systemic risk at Union level;
(c)
da ograniče stavljanje modela na raspolaganje na tržištu, povuku ga ili opozovu.
(c)
restrict the making available on the market, withdraw or recall the model.
2. Prije zahtijevanja mjere Ured za umjetnu inteligenciju može pokrenuti strukturirani dijalog s dobavljačem UI modela opće namjene.
2. Before a measure is requested, the AI Office may initiate a structured dialogue with the provider of the general-purpose AI model.
3. Ako tijekom strukturiranog dijaloga iz stavka 2. dobavljač UI modela opće namjene sa sistemskim rizikom ponudi da će preuzeti obveze za provedbu mjera za ublažavanje sistemskog rizika na razini Unije, Komisija može odlukom odrediti da te obveze budu obvezujuće i navesti da nema daljnjih razloga za djelovanje.
3. If, during the structured dialogue referred to in paragraph 2, the provider of the general-purpose AI model with systemic risk offers commitments to implement mitigation measures to address a systemic risk at Union level, the Commission may, by decision, make those commitments binding and declare that there are no further grounds for action.
Članak 94.
Article 94
Postupovna prava gospodarskih subjekata UI modela opće namjene
Procedural rights of economic operators of the general-purpose AI model
Članak 18. Uredbe (EU) 2019/1020 primjenjuje se mutatis mutandis na dobavljače UI modela opće namjene, ne dovodeći u pitanje specifičnija postupovna prava predviđena u ovoj Uredbi.
Article 18 of Regulation (EU) 2019/1020 shall apply mutatis mutandis to the providers of the general-purpose AI model, without prejudice to more specific procedural rights provided for in this Regulation.
POGLAVLJE X.
CHAPTER X
KODEKSI PONAŠANJA I SMJERNICE
CODES OF CONDUCT AND GUIDELINES
Članak 95.
Article 95
Kodeksi ponašanja za dobrovoljnu primjenu specifičnih zahtjeva
Codes of conduct for voluntary application of specific requirements
1. Ured za umjetnu inteligenciju i države članice potiču i olakšavaju izradu kodeksa ponašanja, uključujući povezane mehanizme upravljanja, namijenjenih poticanju dobrovoljne primjene pojedinih ili svih zahtjeva iz poglavlja III. odjeljka 2. na UI sustave koji nisu visokorizični, uzimajući u obzir dostupna tehnička rješenja i primjere najbolje prakse iz sektora koji omogućuju primjenu takvih zahtjeva.
1. The AI Office and the Member States shall encourage and facilitate the drawing up of codes of conduct, including related governance mechanisms, intended to foster the voluntary application to AI systems, other than high-risk AI systems, of some or all of the requirements set out in Chapter III, Section 2 taking into account the available technical solutions and industry best practices allowing for the application of such requirements.
2. Ured za umjetnu inteligenciju i države članice olakšavaju izradu kodeksa ponašanja koji se odnose na dobrovoljnu primjenu specifičnih zahtjeva na sve UI sustave, među ostalim od strane subjekata koji uvode sustav, na temelju jasnih ciljeva i ključnih pokazatelja uspješnosti za mjerenje ostvarenja tih ciljeva, koji uključuju, ali nisu ograničeni na sljedeće elemente:
2. The AI Office and the Member States shall facilitate the drawing up of codes of conduct concerning the voluntary application, including by deployers, of specific requirements to all AI systems, on the basis of clear objectives and key performance indicators to measure the achievement of those objectives, including elements such as, but not limited to:
(a)
primjenjive elemente predviđene u etičkim smjernicama Unije za pouzdanu umjetnu inteligenciju;
(a)
applicable elements provided for in Union ethical guidelines for trustworthy AI;
(b)
procjenu učinka UI sustava na okolišnu održivost i njegovo svođenje na najmanju moguću mjeru, među ostalim u pogledu energetski učinkovitog programiranja i tehnika za učinkovit dizajn, treniranje i korištenje umjetne inteligencije;
(b)
assessing and minimising the impact of AI systems on environmental sustainability, including as regards energy-efficient programming and techniques for the efficient design, training and use of AI;
(c)
promicanje pismenosti u području umjetne inteligencije, posebice za osobe koje se bave razvojem, radom i korištenjem umjetne inteligencije;
(c)
promoting AI literacy, in particular that of persons dealing with the development, operation and use of AI;
(d)
olakšavanje uključivog i raznolikog dizajna UI sustava, među ostalim osnivanjem uključivih i raznolikih razvojnih timova i promicanjem sudjelovanja dionika u tom procesu;
(d)
facilitating an inclusive and diverse design of AI systems, including through the establishment of inclusive and diverse development teams and the promotion of stakeholders’ participation in that process;
(e)
procjenu i sprečavanje negativnog učinka UI sustava na ranjive osobe ili skupine ranjivih osoba, među ostalim u pogledu pristupačnosti za osobe s invaliditetom, kao i na rodnu ravnopravnost.
(e)
assessing and preventing the negative impact of AI systems on vulnerable persons or groups of vulnerable persons, including as regards accessibility for persons with a disability, as well as on gender equality.
3. Kodekse ponašanja mogu izraditi pojedinačni dobavljači UI sustava ili subjekti koji uvode te sustave ili organizacije koje ih zastupaju ili i ti dobavljači ili subjekti i te organizacije, među ostalim uz sudjelovanje svih zainteresiranih dionika i njihovih predstavničkih organizacija, uključujući organizacije civilnog društva i akademsku zajednicu. Kodeksi ponašanja mogu obuhvaćati jedan UI sustav ili više njih, uzimajući u obzir sličnost namjene relevantnih sustava.
3. Codes of conduct may be drawn up by individual providers or deployers of AI systems or by organisations representing them or by both, including with the involvement of any interested stakeholders and their representative organisations, including civil society organisations and academia. Codes of conduct may cover one or more AI systems taking into account the similarity of the intended purpose of the relevant systems.
4. Pri poticanju i olakšavanju izrade kodeksâ ponašanja Ured za umjetnu inteligenciju i države članice uzimaju u obzir posebne interese i potrebe MSP-ova, uključujući start-up poduzeća.
4. The AI Office and the Member States shall take into account the specific interests and needs of SMEs, including start-ups, when encouraging and facilitating the drawing up of codes of conduct.
Članak 96.
Article 96
Smjernice Komisije o provedbi ove Uredbe
Guidelines from the Commission on the implementation of this Regulation
1. Komisija izrađuje smjernice o praktičnoj provedbi ove Uredbe, a posebno o sljedećem:
1. The Commission shall develop guidelines on the practical implementation of this Regulation, and in particular on:
(a)
primjeni zahtjeva i obveza iz članaka od 8. do 15. i iz članka 25.;
(a)
the application of the requirements and obligations referred to in Articles 8 to 15 and in Article 25;
(b)
zabranjenim praksama iz članka 5.;
(b)
the prohibited practices referred to in Article 5;
(c)
praktičnoj provedbi odredaba o bitnoj izmjeni;
(c)
the practical implementation of the provisions related to substantial modification;
(d)
praktičnoj provedbi obveza u pogledu transparentnosti utvrđenih u članku 50.;
(d)
the practical implementation of transparency obligations laid down in Article 50;
(e)
detaljnim informacijama o odnosu ove Uredbe sa zakonodavstvom Unije o usklađivanju iz Priloga I., kao i s drugim relevantnim pravom Unije, među ostalim u pogledu dosljednosti u njihovu izvršavanju;
(e)
detailed information on the relationship of this Regulation with the Union harmonisation legislation listed in Annex I, as well as with other relevant Union law, including as regards consistency in their enforcement;
(f)
primjeni definicije UI sustava kako je utvrđena u članku 3. točki 1.
(f)
the application of the definition of an AI system as set out in Article 3, point (1).
Pri izdavanju takvih smjernica Komisija posebnu pozornost posvećuje potrebama MSP-ova, uključujući start-up poduzeća, lokalnih tijela javne vlasti i sektora za koje postoji najveća vjerojatnost da će ova Uredba na njih utjecati.
When issuing such guidelines, the Commission shall pay particular attention to the needs of SMEs including start-ups, of local public authorities and of the sectors most likely to be affected by this Regulation.
U smjernicama iz prvog podstavka ovog stavka na odgovarajući način uzimaju se u obzir općepriznata najnovija dostignuća u području umjetne inteligencije, kao i relevantne usklađene norme i zajedničke specifikacije iz članaka 40. i 41. te usklađene norme ili tehničke specifikacije utvrđene na temelju prava Unije o usklađivanju.
The guidelines referred to in the first subparagraph of this paragraph shall take due account of the generally acknowledged state of the art on AI, as well as of relevant harmonised standards and common specifications that are referred to in Articles 40 and 41, or of those harmonised standards or technical specifications that are set out pursuant to Union harmonisation law.
2. Komisija na zahtjev država članica ili Ureda za umjetnu inteligenciju ili na vlastitu inicijativu ažurira prethodno donesene smjernice kada to smatra potrebnim.
2. At the request of the Member States or the AI Office, or on its own initiative, the Commission shall update guidelines previously adopted when deemed necessary.
POGLAVLJE XI.
CHAPTER XI
DELEGIRANJE OVLASTI I POSTUPAK ODBORA
DELEGATION OF POWER AND COMMITTEE PROCEDURE
Članak 97.
Article 97
Izvršavanje delegiranja ovlasti
Exercise of the delegation
1. Ovlast za donošenje delegiranih akata dodjeljuje se Komisiji podložno uvjetima utvrđenima u ovom članku.
1. The power to adopt delegated acts is conferred on the Commission subject to the conditions laid down in this Article.
2. Ovlast za donošenje delegiranih akata iz članka 6. stavaka 6. i 7., članka 7. stavaka 1. i 3., članka 11. stavka 3., članka 43. stavaka 5. i 6., članka 47. stavka 5., članka 51. stavka 3., članka 52. stavka 4. i članka 53. stavaka 5. i 6. dodjeljuje se Komisiji na razdoblje od pet godina počevši od 1. kolovoza 2024. Komisija izrađuje izvješće o delegiranju ovlasti najkasnije devet mjeseci prije kraja razdoblja od pet godina. Delegiranje ovlasti prešutno se produljuje za razdoblja jednakog trajanja, osim ako se Europski parlament ili Vijeće tom produljenju usprotive najkasnije tri mjeseca prije kraja svakog razdoblja.
2. The power to adopt delegated acts referred to in Article 6(6) and (7), Article 7(1) and (3), Article 11(3), Article 43(5) and (6), Article 47(5), Article 51(3), Article 52(4) and Article 53(5) and (6) shall be conferred on the Commission for a period of five years from 1 August 2024. The Commission shall draw up a report in respect of the delegation of power not later than nine months before the end of the five-year period. The delegation of power shall be tacitly extended for periods of an identical duration, unless the European Parliament or the Council opposes such extension not later than three months before the end of each period.
3. Europski parlament ili Vijeće u svakom trenutku mogu opozvati delegiranje ovlasti iz članka 6. stavaka 6. i 7., članka 7. stavaka 1. i 3., članka 11. stavka 3., članka 43. stavaka 5. i 6., članka 47. stavka 5., članka 51. stavka 3., članka 52. stavka 4. i članka 53. stavaka 5. i 6. Odlukom o opozivu prekida se delegiranje ovlasti koje je u njoj navedeno. Opoziv počinje proizvoditi učinke sljedećeg dana od dana objave spomenute odluke u Službenom listu Europske unije ili na kasniji datum naveden u spomenutoj odluci. On ne utječe na valjanost delegiranih akata koji su već na snazi.
3. The delegation of power referred to in Article 6(6) and (7), Article 7(1) and (3), Article 11(3), Article 43(5) and (6), Article 47(5), Article 51(3), Article 52(4) and Article 53(5) and (6) may be revoked at any time by the European Parliament or by the Council. A decision of revocation shall put an end to the delegation of power specified in that decision. It shall take effect the day following that of its publication in the Official Journal of the European Union or at a later date specified therein. It shall not affect the validity of any delegated acts already in force.
4. Prije donošenja delegiranog akta Komisija se savjetuje sa stručnjacima koje je imenovala svaka država članica u skladu s načelima utvrđenima u Međuinstitucijskom sporazumu o boljoj izradi zakonodavstva od 13. travnja 2016.
4. Before adopting a delegated act, the Commission shall consult experts designated by each Member State in accordance with the principles laid down in the Interinstitutional Agreement of 13 April 2016 on Better Law-Making.
5. Čim donese delegirani akt, Komisija ga istodobno priopćuje Europskom parlamentu i Vijeću.
5. As soon as it adopts a delegated act, the Commission shall notify it simultaneously to the European Parliament and to the Council.
6. Delegirani akt donesen na temelju članka 6. stavka 6. ili stavka 7., članka 7. stavka 1. ili stavka 3., članka 11. stavka 3., članka 43. stavka 5. ili stavka 6., članka 47. stavka 5., članka 51. stavka 3., članka 52. stavka 4. ili članka 53. stavka 5. ili stavka 6. stupa na snagu samo ako ni Europski parlament ni Vijeće u roku od tri mjeseca od priopćenja tog akta Europskom parlamentu i Vijeću na njega ne podnesu prigovor ili ako su prije isteka tog roka i Europski parlament i Vijeće obavijestili Komisiju da neće podnijeti prigovore. Taj se rok produljuje za tri mjeseca na inicijativu Europskog parlamenta ili Vijeća.
6. Any delegated act adopted pursuant to Article 6(6) or (7), Article 7(1) or (3), Article 11(3), Article 43(5) or (6), Article 47(5), Article 51(3), Article 52(4) or Article 53(5) or (6) shall enter into force only if no objection has been expressed by either the European Parliament or the Council within a period of three months of notification of that act to the European Parliament and the Council or if, before the expiry of that period, the European Parliament and the Council have both informed the Commission that they will not object. That period shall be extended by three months at the initiative of the European Parliament or of the Council.
Članak 98.
Article 98
Postupak odbora
Committee procedure
1. Komisiji pomaže odbor. Navedeni odbor je odbor u smislu Uredbe (EU) br. 182/2011.
1. The Commission shall be assisted by a committee. That committee shall be a committee within the meaning of Regulation (EU) No 182/2011.
2. Pri upućivanju na ovaj stavak primjenjuje se članak 5. Uredbe (EU) br. 182/2011.
2. Where reference is made to this paragraph, Article 5 of Regulation (EU) No 182/2011 shall apply.
POGLAVLJE XII.
CHAPTER XII
SANKCIJE
PENALTIES
Članak 99.
Article 99
Sankcije
Penalties
1. U skladu s uvjetima utvrđenima u ovoj Uredbi, države članice utvrđuju pravila o sankcijama i drugim mjerama izvršavanja, koje također mogu uključivati upozorenja i nenovčane mjere, koje se primjenjuju na povrede ove Uredbe od strane operaterâ te poduzimaju sve potrebne mjere radi osiguranja njihove pravilne i djelotvorne provedbe, uzimajući pritom u obzir smjernice koje je Komisija izdala u skladu s člankom 96. Predviđene sankcije moraju biti učinkovite, proporcionalne i odvraćajuće. Njima se uzimaju u obzir interesi MSP-ova, uključujući start-up poduzeća, i njihova gospodarska održivost.
1. In accordance with the terms and conditions laid down in this Regulation, Member States shall lay down the rules on penalties and other enforcement measures, which may also include warnings and non-monetary measures, applicable to infringements of this Regulation by operators, and shall take all measures necessary to ensure that they are properly and effectively implemented, thereby taking into account the guidelines issued by the Commission pursuant to Article 96. The penalties provided for shall be effective, proportionate and dissuasive. They shall take into account the interests of SMEs, including start-ups, and their economic viability.
2. Države članice bez odgode, a najkasnije do datuma početka njihove primjene, obavješćuju Komisiju o pravilima o sankcijama i drugim mjerama izvršavanja iz stavka 1. te je bez odgode obavješćuju o svim njihovim naknadnim izmjenama.
2. The Member States shall, without delay and at the latest by the date of entry into application, notify the Commission of the rules on penalties and of other enforcement measures referred to in paragraph 1, and shall notify it, without delay, of any subsequent amendment to them.
3. Za nepoštovanje zabrane praksi u području umjetne inteligencije iz članka 5. izriču se upravne novčane kazne u iznosu do 35 000 000 EUR ili, ako je počinitelj poduzeće, do 7 % njegova ukupnog svjetskog godišnjeg prometa za prethodnu financijsku godinu, ovisno o tome koji je iznos veći.
3. Non-compliance with the prohibition of the AI practices referred to in Article 5 shall be subject to administrative fines of up to EUR 35 000 000 or, if the offender is an undertaking, up to 7 % of its total worldwide annual turnover for the preceding financial year, whichever is higher.
4. Za neusklađenost s jednom od sljedećih odredaba povezanih s operaterima ili prijavljenim tijelima, osim onih utvrđenih u članku 5., izriču se upravne novčane kazne u iznosu do 15 000 000 EUR ili, ako je počinitelj poduzeće, do 3 % njegova ukupnog svjetskog godišnjeg prometa za prethodnu financijsku godinu, ovisno o tome koji je iznos veći:
4. Non-compliance with any of the following provisions related to operators or notified bodies, other than those laid down in Articles 5, shall be subject to administrative fines of up to EUR 15 000 000 or, if the offender is an undertaking, up to 3 % of its total worldwide annual turnover for the preceding financial year, whichever is higher:
(a)
obvezama dobavljačâ na temelju članka 16.;
(a)
obligations of providers pursuant to Article 16;
(b)
obvezama ovlaštenih zastupnika na temelju članka 22.;
(b)
obligations of authorised representatives pursuant to Article 22;
(c)
obvezama uvoznikâ na temelju članka 23.;
(c)
obligations of importers pursuant to Article 23;
(d)
obvezama distributerâ na temelju članka 24.;
(d)
obligations of distributors pursuant to Article 24;
(e)
obvezama subjekata koji uvode sustav na temelju članka 26.;
(e)
obligations of deployers pursuant to Article 26;
(f)
zahtjevima i obvezama koji se odnose na prijavljena tijela na temelju članka 31., članka 33. stavaka 1., 3. i 4. ili članka 34.;
(f)
requirements and obligations of notified bodies pursuant to Article 31, Article 33(1), (3) and (4) or Article 34;
(g)
obvezama u pogledu transparentnosti za dobavljače i subjekte koji uvode sustav na temelju članka 50.
(g)
transparency obligations for providers and deployers pursuant to Article 50.
5. Ako se prijavljenim tijelima ili nacionalnim nadležnim tijelima u odgovoru na zahtjev dostave netočne, nepotpune ili obmanjujuće informacije, izriču se upravne novčane kazne u iznosu do 7 500 000 EUR ili, ako je počinitelj poduzeće, do 1 % njegova ukupnog svjetskog godišnjeg prometa za prethodnu financijsku godinu, ovisno o tome koji je iznos veći.
5. The supply of incorrect, incomplete or misleading information to notified bodies or national competent authorities in reply to a request shall be subject to administrative fines of up to EUR 7 500 000 or, if the offender is an undertaking, up to 1 % of its total worldwide annual turnover for the preceding financial year, whichever is higher.
6. U slučaju MSP-ova, uključujući start-up poduzeća, maksimalna visina svake novčane kazne iz ovog članka odgovara postotku ili iznosu iz stavaka 3., 4. i 5., ovisno o tome koji je od ta dva iznosa manji.
6. In the case of SMEs, including start-ups, each fine referred to in this Article shall be up to the percentages or amount referred to in paragraphs 3, 4 and 5, whichever thereof is lower.
7. Pri odlučivanju o izricanju upravne novčane kazne i o njezinu iznosu u svakom pojedinačnom slučaju uzimaju se u obzir sve relevantne okolnosti specifične situacije te se, prema potrebi, pozornost posvećuje sljedećem:
7. When deciding whether to impose an administrative fine and when deciding on the amount of the administrative fine in each individual case, all relevant circumstances of the specific situation shall be taken into account and, as appropriate, regard shall be given to the following:
(a)
prirodi, težini i trajanju povrede te njezinim posljedicama, uzimajući u obzir svrhu UI sustava te, prema potrebi, broj pogođenih osoba i razinu štete koju su pretrpjele;
(a)
the nature, gravity and duration of the infringement and of its consequences, taking into account the purpose of the AI system, as well as, where appropriate, the number of affected persons and the level of damage suffered by them;
(b)
eventualnim upravnim novčanim kaznama koje su druga tijela za nadzor tržišta već izrekla istom operateru za istu povredu;
(b)
whether administrative fines have already been applied by other market surveillance authorities to the same operator for the same infringement;
(c)
eventualnim upravnim novčanim kaznama koje su druga tijela već izrekla istom operateru za povrede drugog prava Unije ili nacionalnog prava, ako su takve povrede posljedica iste aktivnosti ili propusta koji predstavljaju relevantnu povredu ove Uredbe;
(c)
whether administrative fines have already been applied by other authorities to the same operator for infringements of other Union or national law, when such infringements result from the same activity or omission constituting a relevant infringement of this Regulation;
(d)
veličini, godišnjem prometu i tržišnom udjelu operatera koji je počinio povredu;
(d)
the size, the annual turnover and market share of the operator committing the infringement;
(e)
svim ostalim otegotnim ili olakotnim čimbenicima primjenjivima na okolnosti slučaja, kao što su financijska korist ostvarena povredom ili gubici izbjegnuti, izravno ili neizravno, tom povredom;
(e)
any other aggravating or mitigating factor applicable to the circumstances of the case, such as financial benefits gained, or losses avoided, directly or indirectly, from the infringement;
(f)
stupnju suradnje s nacionalnim nadležnim tijelima radi ispravljanja povrede i ublažavanja mogućih štetnih posljedica te povrede;
(f)
the degree of cooperation with the national competent authorities, in order to remedy the infringement and mitigate the possible adverse effects of the infringement;
(g)
stupnju odgovornosti operatera, uzimajući u obzir tehničke i organizacijske mjere koje je proveo;
(g)
the degree of responsibility of the operator taking into account the technical and organisational measures implemented by it;
(h)
načinu na koji su nacionalna nadležna tijela doznala za povredu, osobito je li i u kojoj mjeri operater obavijestio o povredi;
(h)
the manner in which the infringement became known to the national competent authorities, in particular whether, and if so to what extent, the operator notified the infringement;
(i)
tome je li povreda počinjena namjerno ili iz nepažnje;
(i)
the intentional or negligent character of the infringement;
(j)
svim mjerama koje je operater poduzeo kako bi ublažio štetu koju su pretrpjele pogođene osobe.
(j)
any action taken by the operator to mitigate the harm suffered by the affected persons.
8. Svaka država članica utvrđuje pravila o tome u kojoj se mjeri tijelima javne vlasti i javnim tijelima te države članice mogu izreći upravne novčane kazne.
8. Each Member State shall lay down rules on to what extent administrative fines may be imposed on public authorities and bodies established in that Member State.
9. Ovisno o pravnom sustavu država članica, pravila o upravnim novčanim kaznama mogu se primjenjivati tako da novčane kazne izriču nadležni nacionalni sudovi ili druga tijela, kako je primjenjivo u tim državama članicama. Primjena takvih pravila u tim državama članicama mora imati jednakovrijedan učinak.
9. Depending on the legal system of the Member States, the rules on administrative fines may be applied in such a manner that the fines are imposed by competent national courts or by other bodies, as applicable in those Member States. The application of such rules in those Member States shall have an equivalent effect.
10. Izvršavanje ovlasti na temelju ovog članka podliježe odgovarajućim postupovnim zaštitnim mjerama u skladu s pravom Unije i nacionalnim pravom, uključujući djelotvorna sudska pravna sredstva i zakonito postupanje.
10. The exercise of powers under this Article shall be subject to appropriate procedural safeguards in accordance with Union and national law, including effective judicial remedies and due process.
11. Države članice svake godine izvješćuju Komisiju o upravnim novčanim kaznama koje su izrekle tijekom te godine, u skladu s ovim člankom, te o svim povezanim pravnim sporovima ili sudskim postupcima.
11. Member States shall, on an annual basis, report to the Commission about the administrative fines they have issued during that year, in accordance with this Article, and about any related litigation or judicial proceedings.
Članak 100.
Article 100
Upravne novčane kazne za institucije, tijela, urede i agencije Unije
Administrative fines on Union institutions, bodies, offices and agencies
1. Europski nadzornik za zaštitu podataka može izreći upravne novčane kazne institucijama, tijelima, uredima i agencijama Unije obuhvaćenima područjem primjene ove Uredbe. Pri odlučivanju o izricanju upravne novčane kazne i o njezinu iznosu u svakom pojedinačnom slučaju uzimaju se u obzir sve relevantne okolnosti specifične situacije i dužna se pozornost posvećuje sljedećem:
1. The European Data Protection Supervisor may impose administrative fines on Union institutions, bodies, offices and agencies falling within the scope of this Regulation. When deciding whether to impose an administrative fine and when deciding on the amount of the administrative fine in each individual case, all relevant circumstances of the specific situation shall be taken into account and due regard shall be given to the following:
(a)
prirodi, težini i trajanju povrede te njezinim posljedicama, uzimajući u obzir svrhu dotičnog UI sustava te, prema potrebi, broj pogođenih osoba i razinu štete koju su pretrpjele;
(a)
the nature, gravity and duration of the infringement and of its consequences, taking into account the purpose of the AI system concerned, as well as, where appropriate, the number of affected persons and the level of damage suffered by them;
(b)
stupnju odgovornosti institucije, tijela, ureda ili agencije Unije, uzimajući u obzir tehničke i organizacijske mjere koje su proveli;
(b)
the degree of responsibility of the Union institution, body, office or agency, taking into account technical and organisational measures implemented by them;
(c)
svim mjerama koje su institucija, tijelo, ured ili agencija Unije poduzeli kako bi ublažili štetu koju su pretrpjele pogođene osobe;
(c)
any action taken by the Union institution, body, office or agency to mitigate the damage suffered by affected persons;
(d)
stupnju suradnje s Europskim nadzornikom za zaštitu podataka radi ispravljanja povrede i ublažavanja mogućih štetnih posljedica te povrede, uključujući usklađenost sa svim mjerama koje je Europski nadzornik za zaštitu podataka prethodno izrekao dotičnoj instituciji, tijelu, uredu ili agenciji Unije u vezi s istim predmetom;
(d)
the degree of cooperation with the European Data Protection Supervisor in order to remedy the infringement and mitigate the possible adverse effects of the infringement, including compliance with any of the measures previously ordered by the European Data Protection Supervisor against the Union institution, body, office or agency concerned with regard to the same subject matter;
(e)
svim sličnim prijašnjim povredama od strane dotične institucija, tijela, ureda ili agencije Unije;
(e)
any similar previous infringements by the Union institution, body, office or agency;
(f)
načinu na koji je Europski nadzornik za zaštitu podataka doznao za povredu, osobito jesu li i u kojoj mjeri institucija, tijelo, ured ili agencija Unije obavijestili o povredi;
(f)
the manner in which the infringement became known to the European Data Protection Supervisor, in particular whether, and if so to what extent, the Union institution, body, office or agency notified the infringement;
(g)
godišnjem proračunu institucije, tijela, ureda ili agencije Unije.
(g)
the annual budget of the Union institution, body, office or agency.
2. Za nepoštovanje zabrane praksi u području umjetne inteligencije iz članka 5. izriču se upravne novčane kazne u iznosu do 1 500 000 EUR.
2. Non-compliance with the prohibition of the AI practices referred to in Article 5 shall be subject to administrative fines of up to EUR 1 500 000.
3. Za neusklađenost UI sustava s nekim od zahtjeva ili obveza na temelju ove Uredbe, osim onih utvrđeni u članku 5., izriču se upravne novčane kazne u iznosu do 750 000 EUR.
3. The non-compliance of the AI system with any requirements or obligations under this Regulation, other than those laid down in Article 5, shall be subject to administrative fines of up to EUR 750 000.
4. Prije donošenja odluka u skladu s ovim člankom Europski nadzornik za zaštitu podataka pruža instituciji, tijelu, uredu ili agenciji Unije protiv kojih vodi postupak mogućnost da se očituju o mogućoj povredi. Europski nadzornik za zaštitu podataka svoje odluke temelji isključivo na elementima i okolnostima o kojima su se dotične stranke mogle očitovati. Eventualni podnositelji pritužbe moraju biti blisko uključeni u postupak.
4. Before taking decisions pursuant to this Article, the European Data Protection Supervisor shall give the Union institution, body, office or agency which is the subject of the proceedings conducted by the European Data Protection Supervisor the opportunity of being heard on the matter regarding the possible infringement. The European Data Protection Supervisor shall base his or her decisions only on elements and circumstances on which the parties concerned have been able to comment. Complainants, if any, shall be associated closely with the proceedings.
5. U postupku se u potpunosti poštuje pravo dotičnih stranaka na obranu. Stranke imaju pravo na uvid u spis Europskog nadzornika za zaštitu podataka pod uvjetom da se poštuju legitimni interesi pojedinaca ili poduzeća da štite svoje osobne podatke ili poslovne tajne.
5. The rights of defence of the parties concerned shall be fully respected in the proceedings. They shall be entitled to have access to the European Data Protection Supervisor’s file, subject to the legitimate interest of individuals or undertakings in the protection of their personal data or business secrets.
6. Sredstva prikupljena naplatom novčanih kazni iz ovog članka doprinos su općem proračunu Unije. Novčane kazne ne smiju utjecati na djelotvorno funkcioniranje institucije, tijela, ureda ili agencije Unije kojima je izrečena novčana kazna.
6. Funds collected by imposition of fines in this Article shall contribute to the general budget of the Union. The fines shall not affect the effective operation of the Union institution, body, office or agency fined.
7. Europski nadzornik za zaštitu podataka jednom godišnje obavješćuje Komisiju o upravnim novčanim kaznama koje je izrekao na temelju ovog članka te o svim pravnim sporovima ili sudskim postupcima koje je pokrenuo.
7. The European Data Protection Supervisor shall, on an annual basis, notify the Commission of the administrative fines it has imposed pursuant to this Article and of any litigation or judicial proceedings it has initiated.
Članak 101.
Article 101
Novčane kazne za dobavljače UI modelâ opće namjene
Fines for providers of general-purpose AI models
1. Komisija može dobavljačima UI modelâ opće namjene izreći novčane kazne koje ne premašuju 3 % njihova ukupnog svjetskog prometa na godišnjoj razini u prethodnoj financijskoj godini ili 15 000 000 EUR, ovisno o tome koji je iznos veći, ako utvrdi da je dobavljač namjerno ili iz nepažnje učinio sljedeće:
1. The Commission may impose on providers of general-purpose AI models fines not exceeding 3 % of their annual total worldwide turnover in the preceding financial year or EUR 15 000 000, whichever is higher., when the Commission finds that the provider intentionally or negligently:
(a)
povrijedio je relevantne odredbe ove Uredbe;
(a)
infringed the relevant provisions of this Regulation;
(b)
nije postupio u skladu sa zahtjevom za dokumentaciju ili informacije na temelju članka 91. ili je dostavio netočne, nepotpune ili obmanjujuće informacije;
(b)
failed to comply with a request for a document or for information pursuant to Article 91, or supplied incorrect, incomplete or misleading information;
(c)
nije postupio u skladu s mjerom zahtijevanom na temelju članka 93.;
(c)
failed to comply with a measure requested under Article 93;
(d)
Komisiji nije omogućio pristup UI modelu opće namjene ili UI modelu opće namjene sa sistemskim rizikom radi provedbe evaluacije na temelju članka 92.
(d)
failed to make available to the Commission access to the general-purpose AI model or general-purpose AI model with systemic risk with a view to conducting an evaluation pursuant to Article 92.
Pri određivanju iznosa novčane kazne ili periodičnog penala u obzir se uzimaju priroda, težina i trajanje povrede, vodeći pritom na odgovarajući način računa o načelima proporcionalnosti i primjerenosti. Komisija također uzima u obzir obveze preuzete u skladu s člankom 93. stavkom 3. ili preuzete u relevantnim kodeksima prakse u skladu s člankom 56.
In fixing the amount of the fine or periodic penalty payment, regard shall be had to the nature, gravity and duration of the infringement, taking due account of the principles of proportionality and appropriateness. The Commission shall also into account commitments made in accordance with Article 93(3) or made in relevant codes of practice in accordance with Article 56.
2. Prije donošenja odluke na temelju stavka 1. Komisija dostavlja svoje preliminarne nalaze dobavljaču UI modela opće namjene i pruža mu mogućnost da se očituje.
2. Before adopting the decision pursuant to paragraph 1, the Commission shall communicate its preliminary findings to the provider of the general-purpose AI model and give it an opportunity to be heard.
3. Novčane kazne izrečene u skladu s ovim člankom moraju biti učinkovite, proporcionalne i odvraćajuće.
3. Fines imposed in accordance with this Article shall be effective, proportionate and dissuasive.
4. Informacije o novčanim kaznama izrečenima na temelju ovog članka ujedno se prema potrebi priopćuju Vijeću za umjetnu inteligenciju.
4. Information on fines imposed under this Article shall also be communicated to the Board as appropriate.
5. Sud Europske unije ima neograničenu nadležnost za preispitivanje odluka Komisije kojima se određuje novčana kazna na temelju ovog članka. On izrečenu novčanu kaznu može ukinuti, smanjiti ili povećati.
5. The Court of Justice of the European Union shall have unlimited jurisdiction to review decisions of the Commission fixing a fine under this Article. It may cancel, reduce or increase the fine imposed.
6. Komisija donosi provedbene akte koji sadržavaju detaljne aranžmane i postupovne zaštitne mjere za postupke s obzirom na moguće donošenje odluka na temelju stavka 1. ovog članka. Ti se provedbeni akti donose u skladu s postupkom ispitivanja iz članka 98. stavka 2.
6. The Commission shall adopt implementing acts containing detailed arrangements and procedural safeguards for proceedings in view of the possible adoption of decisions pursuant to paragraph 1 of this Article. Those implementing acts shall be adopted in accordance with the examination procedure referred to in Article 98(2).
POGLAVLJE XIII.
CHAPTER XIII
ZAVRŠNE ODREDBE
FINAL PROVISIONS
Članak 102.
Article 102
Izmjena Uredbe (EZ) br. 300/2008
Amendment to Regulation (EC) No 300/2008
U članku 4. stavku 3. Uredbe (EZ) br. 300/2008 dodaje se sljedeći podstavak:
In Article 4(3) of Regulation (EC) No 300/2008, the following subparagraph is added:
„Pri donošenju podrobnih mjera povezanih s tehničkim specifikacijama i postupcima za odobravanje i uporabu zaštitne opreme koje se odnose na sustave umjetne inteligencije u smislu Uredbe (EU) 2024/1689 Europskog parlamenta i Vijeća (*1) u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.
‘When adopting detailed measures related to technical specifications and procedures for approval and use of security equipment concerning Artificial Intelligence systems within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*1), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.
Članak 103.
Article 103
Izmjena Uredbe (EU) br. 167/2013
Amendment to Regulation (EU) No 167/2013
U članku 17. stavku 5. Uredbe (EU) br. 167/2013 dodaje se sljedeći podstavak:
In Article 17(5) of Regulation (EU) No 167/2013, the following subparagraph is added:
„Pri donošenju delegiranih akata na temelju prvog podstavka o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689 Europskog parlamenta i Vijeća (*2) u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.
‘When adopting delegated acts pursuant to the first subparagraph concerning artificial intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*2), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.
Članak 104.
Article 104
Izmjena Uredbe (EU) br. 168/2013
Amendment to Regulation (EU) No 168/2013
U članku 22. stavku 5. Uredbe (EU) br. 168/2013 dodaje se sljedeći podstavak:
In Article 22(5) of Regulation (EU) No 168/2013, the following subparagraph is added:
„Pri donošenju delegiranih akata na temelju prvog podstavka o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689 Europskog parlamenta i Vijeća (*3) u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.
‘When adopting delegated acts pursuant to the first subparagraph concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*3), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.
Članak 105.
Article 105
Izmjena Direktive 2014/90/EU
Amendment to Directive 2014/90/EU
U članku 8. Direktive 2014/90/EU dodaje se sljedeći stavak:
In Article 8 of Directive 2014/90/EU, the following paragraph is added:
„5. Kad je riječ o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689 Europskog parlamenta i Vijeća (*4), Komisija pri obavljanju svojih aktivnosti na temelju stavka 1. i pri donošenju tehničkih specifikacija i ispitnih normi u skladu sa stavcima 2. i 3. u obzir uzima zahtjeve iz poglavlja III. odjeljka 2. te uredbe.
‘5. For Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*4), when carrying out its activities pursuant to paragraph 1 and when adopting technical specifications and testing standards in accordance with paragraphs 2 and 3, the Commission shall take into account the requirements set out in Chapter III, Section 2, of that Regulation.
Članak 106.
Article 106
Izmjena Direktive (EU) 2016/797
Amendment to Directive (EU) 2016/797
U članku 5. Direktive (EU) 2016/797 dodaje se sljedeći stavak:
In Article 5 of Directive (EU) 2016/797, the following paragraph is added:
„12. Pri donošenju delegiranih akata na temelju stavka 1. i provedbenih akata na temelju stavka 11. o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689 Europskog parlamenta i Vijeća (*5) u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.
‘12. When adopting delegated acts pursuant to paragraph 1 and implementing acts pursuant to paragraph 11 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*5), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.
Članak 107.
Article 107
Izmjena Uredbe (EU) 2018/858
Amendment to Regulation (EU) 2018/858
U članku 5. Uredbe (EU) 2018/858 dodaje se sljedeći stavak:
In Article 5 of Regulation (EU) 2018/858 the following paragraph is added:
„4. Pri donošenju delegiranih akata na temelju stavka 3. o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689 Europskog parlamenta i Vijeća (*6) u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.
‘4. When adopting delegated acts pursuant to paragraph 3 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*6), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.
Članak 108.
Article 108
Izmjene Uredbe (EU) 2018/1139
Amendments to Regulation (EU) 2018/1139
Uredba (EU) 2018/1139 mijenja se kako slijedi:
Regulation (EU) 2018/1139 is amended as follows:
1.
u članku 17. dodaje se sljedeći stavak:
(1)
in Article 17, the following paragraph is added:
„3. Na dovodeći u pitanje stavak 2., pri donošenju provedbenih akata na temelju stavka 1. o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689 Europskog parlamenta i Vijeća (*7) u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.
‘3. Without prejudice to paragraph 2, when adopting implementing acts pursuant to paragraph 1 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*7), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.
(*7) Uredba (EU) 2024/1689 Europskog parlamenta i Vijeća od 13. lipnja 2024. o utvrđivanju usklađenih pravila o umjetnoj inteligenciji i o izmjeni uredaba (EZ) br. 300/2008, (EU) br. 167/2013, (EU) br. 168/2013, (EU) 2018/858, (EU) 2018/1139 i (EU) 2019/2144 te direktiva 2014/90/EU, (EU) 2016/797 i (EU) 2020/1828 (Akt o umjetnoj inteligenciji) (SL L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).”;"
(*7) Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).’;"
2.
u članku 19. dodaje se sljedeći stavak:
(2)
in Article 19, the following paragraph is added:
„4. Pri donošenju delegiranih akata na temelju stavaka 1. i 2. o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689 u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.”
‘4. When adopting delegated acts pursuant to paragraphs 1 and 2 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689, the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.’
;
;
3.
u članku 43. dodaje se sljedeći stavak:
(3)
in Article 43, the following paragraph is added:
„4. Pri donošenju provedbenih akata na temelju stavaka 1. o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689 u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.”
‘4. When adopting implementing acts pursuant to paragraph 1 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689, the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.’
;
;
4.
u članku 47. dodaje se sljedeći stavak:
(4)
in Article 47, the following paragraph is added:
„3. Pri donošenju delegiranih akata na temelju stavaka 1. i 2. o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689 u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.”
‘3. When adopting delegated acts pursuant to paragraphs 1 and 2 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689, the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.’
;
;
5.
u članku 57. dodaje se sljedeći podstavak:
(5)
in Article 57, the following subparagraph is added:
„Pri donošenju tih provedbenih akata o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689 u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.”
‘When adopting those implementing acts concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689, the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.’
;
;
6.
u članku 58. dodaje se sljedeći stavak:
(6)
in Article 58, the following paragraph is added:
„3. Pri donošenju delegiranih akata na temelju stavaka 1. i 2. o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689 u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.”.
‘3. When adopting delegated acts pursuant to paragraphs 1 and 2 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689, the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.’.
Članak 109.
Article 109
Izmjena Uredbe (EU) 2019/2144
Amendment to Regulation (EU) 2019/2144
U članku 11. Uredbe (EU) 2019/2144 dodaje se sljedeći stavak:
In Article 11 of Regulation (EU) 2019/2144, the following paragraph is added:
„3. Pri donošenju provedbenih akata na temelju stavka 2. o sustavima umjetne inteligencije koji su sigurnosne komponente u smislu Uredbe (EU) 2024/1689. Europskog parlamenta i Vijeća (*8) u obzir se uzimaju zahtjevi iz poglavlja III. odjeljka 2. te uredbe.
‘3. When adopting the implementing acts pursuant to paragraph 2, concerning artificial intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*8), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.
Članak 110.
Article 110
Izmjena Direktive (EU) 2020/1828
Amendment to Directive (EU) 2020/1828
U Prilogu I. Direktivi (EU) 2020/1828 Europskog parlamenta i Vijeća (58) dodaje se sljedeća točka:
In Annex I to Directive (EU) 2020/1828 of the European Parliament and of the Council (58), the following point is added:
„68.
Uredba (EU) 2024/1689 Europskog parlamenta i Vijeća od 13. lipnja 2024. o utvrđivanju usklađenih pravila o umjetnoj inteligenciji i o izmjeni uredaba (EZ) br. 300/2008, (EU) br. 167/2013, (EU) br. 168/2013, (EU) 2018/858, (EU) 2018/1139 i (EU) 2019/2144 te direktiva 2014/90/EU, (EU) 2016/797 i (EU) 2020/1828 (Akt o umjetnoj inteligenciji) (SL L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).”.
‘(68)
Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).’.
Članak 111.
Article 111
UI sustavi koji su već stavljeni na tržište ili u upotrebu i UI modeli opće namjene koji su već stavljeni na tržište
AI systems already placed on the market or put into service and general-purpose AI models already placed on the marked
1. Ne dovodeći u pitanje primjenu članka 5. kako je predviđena u članku 113. stavku 3. točki (a), UI sustavi koji su komponente opsežnih informacijskih sustava uspostavljenih pravnim aktima iz Priloga X. i koji su stavljeni na tržište ili u upotrebu prije 2. kolovoza 2027. usklađuju se s ovom Uredbom do 31. prosinca 2030.
1. Without prejudice to the application of Article 5 as referred to in Article 113(3), point (a), AI systems which are components of the large-scale IT systems established by the legal acts listed in Annex X that have been placed on the market or put into service before 2 August 2027 shall be brought into compliance with this Regulation by 31 December 2030.
Zahtjevi utvrđeni u ovoj Uredbi uzimaju se u obzir pri evaluaciji svakog opsežnog informacijskog sustava uspostavljenog pravnim aktima iz Priloga X. koju treba provesti kako je predviđeno u tim pravnim aktima i onda kada se ti pravni akti zamjenjuju ili mijenjaju.
The requirements laid down in this Regulation shall be taken into account in the evaluation of each large-scale IT system established by the legal acts listed in Annex X to be undertaken as provided for in those legal acts and where those legal acts are replaced or amended.
2. Ne dovodeći u pitanje primjenu članka 5. kako je predviđena u članku 113. stavku 3. točki (a), ova se Uredba primjenjuje na operatere visokorizičnih UI sustava, osim sustava iz stavka 1. ovog članka, koji su stavljeni na tržište ili u upotrebu prije 2. kolovoza 2026. samo ako se nakon tog datuma znatno promijeni dizajn tih sustava. U svakom slučaju, dobavljači visokorizičnih UI sustava i subjekti koji ih uvode, koji su namijenjeni korištenju od strane tijela javne vlasti, poduzimaju potrebne korake kako bi ispunili zahtjeve i obveze iz ove Uredbe do 2. kolovoza 2030.
2. Without prejudice to the application of Article 5 as referred to in Article 113(3), point (a), this Regulation shall apply to operators of high-risk AI systems, other than the systems referred to in paragraph 1 of this Article, that have been placed on the market or put into service before 2 August 2026, only if, as from that date, those systems are subject to significant changes in their designs. In any case, the providers and deployers of high-risk AI systems intended to be used by public authorities shall take the necessary steps to comply with the requirements and obligations of this Regulation by 2 August 2030.
3. Dobavljači UI modela opće namjene koji su stavljeni na tržište prije 2. kolovoza 2025. poduzimaju potrebne korake kako bi ispunili obveze utvrđene u ovoj Uredbi do 2. kolovoza 2027.
3. Providers of general-purpose AI models that have been placed on the market before 2 August 2025 shall take the necessary steps in order to comply with the obligations laid down in this Regulation by 2 August 2027.
Članak 112.
Article 112
Evaluacija i preispitivanje
Evaluation and review
1. Komisija jednom godišnje nakon stupanja na snagu ove Uredbe i do kraja razdoblja delegiranja ovlasti utvrđenog u članku 97. procjenjuje potrebu za izmjenom popisa iz Priloga III. i popisa zabranjenih praksi u području umjetne inteligencije utvrđenog u članku 5. Komisija zaključke te procjene podnosi Europskom parlamentu i Vijeću.
1. The Commission shall assess the need for amendment of the list set out in Annex III and of the list of prohibited AI practices laid down in Article 5, once a year following the entry into force of this Regulation, and until the end of the period of the delegation of power laid down in Article 97. The Commission shall submit the findings of that assessment to the European Parliament and the Council.
2. Komisija do 2. kolovoza 2028. i svake četiri godine nakon toga provodi evaluaciju te izvješćuje Europski parlament i Vijeće o sljedećem:
2. By 2 August 2028 and every four years thereafter, the Commission shall evaluate and report to the European Parliament and to the Council on the following:
(a)
potrebi za izmjenama radi proširenja postojećih kategorija područja ili dodavanja novih područja u Prilog III.;
(a)
the need for amendments extending existing area headings or adding new area headings in Annex III;
(b)
izmjenama popisa UI sustava za koje su potrebne dodatne mjere transparentnosti iz članka 50.;
(b)
amendments to the list of AI systems requiring additional transparency measures in Article 50;
(c)
izmjenama radi povećanja djelotvornosti sustava nadzora i upravljanja.
(c)
amendments enhancing the effectiveness of the supervision and governance system.
3. Komisija do 2. kolovoza 2029. i svake četiri godine nakon toga Europskom parlamentu i Vijeću podnosi izvješće o evaluaciji i preispitivanju ove Uredbe. Izvješće uključuje ocjenu u vezi sa strukturom izvršavanja i mogućom potrebom da agencija Unije otkloni utvrđene nedostatke. Na temelju nalaza tom se izvješću, prema potrebi, prilaže prijedlog za izmjenu ove Uredbe. Ta se izvješća objavljuju.
3. By 2 August 2029 and every four years thereafter, the Commission shall submit a report on the evaluation and review of this Regulation to the European Parliament and to the Council. The report shall include an assessment with regard to the structure of enforcement and the possible need for a Union agency to resolve any identified shortcomings. On the basis of the findings, that report shall, where appropriate, be accompanied by a proposal for amendment of this Regulation. The reports shall be made public.
4. U izvješćima iz stavka 2. posebna se pozornost posvećuje sljedećem:
4. The reports referred to in paragraph 2 shall pay specific attention to the following:
(a)
stanju financijskih, tehničkih i ljudskih resursa nacionalnih nadležnih tijela za djelotvorno obavljanje zadaća koje su im dodijeljene na temelju ove Uredbe;
(a)
the status of the financial, technical and human resources of the national competent authorities in order to effectively perform the tasks assigned to them under this Regulation;
(b)
stanju sankcija, a posebno upravnih novčanih kazni iz članka 99. stavka 1. koje države članice primjenjuju za povrede ove Uredbe;
(b)
the state of penalties, in particular administrative fines as referred to in Article 99(1), applied by Member States for infringements of this Regulation;
(c)
donesenim usklađenim normama i zajedničkim specifikacijama razvijenima kao potpora ovoj Uredbi;
(c)
adopted harmonised standards and common specifications developed to support this Regulation;
(d)
broju poduzeća koja ulaze na tržište nakon početka primjene ove Uredbe i koliko je među njima MSP-ova.
(d)
the number of undertakings that enter the market after the entry into application of this Regulation, and how many of them are SMEs.
5. Komisija do 2. kolovoza 2028. evaluira funkcioniranje Ureda za umjetnu inteligenciju, jesu li Uredu za umjetnu inteligenciju dodijeljene dostatne ovlasti i nadležnosti za ispunjavanje njegovih zadaća i bi li za pravilnu provedbu i izvršavanje ove Uredbe bilo relevantno i potrebno osnažiti Ured za umjetnu inteligenciju i njegove nadležnosti u području izvršavanja te povećati njegove resurse. Komisija podnosi izvješće o svojoj evaluaciji Europskom parlamentu i Vijeću.
5. By 2 August 2028, the Commission shall evaluate the functioning of the AI Office, whether the AI Office has been given sufficient powers and competences to fulfil its tasks, and whether it would be relevant and needed for the proper implementation and enforcement of this Regulation to upgrade the AI Office and its enforcement competences and to increase its resources. The Commission shall submit a report on its evaluation to the European Parliament and to the Council.
6. Komisija do 2. kolovoza 2028. i svake četiri godine nakon toga podnosi izvješće o preispitivanju napretka u razvoju normizacijskih dokumenata o energetski učinkovitom razvoju UI modela opće namjene te procjenjuje potrebu za daljnjim mjerama ili djelovanjem, uključujući obvezujuće mjere ili djelovanje. To se izvješće podnosi Europskom parlamentu i Vijeću i objavljuje.
6. By 2 August 2028 and every four years thereafter, the Commission shall submit a report on the review of the progress on the development of standardisation deliverables on the energy-efficient development of general-purpose AI models, and asses the need for further measures or actions, including binding measures or actions. The report shall be submitted to the European Parliament and to the Council, and it shall be made public.
7. Komisija do 2. kolovoza 2028. i svake tri godine nakon toga evaluira učinak i djelotvornost dobrovoljnih kodeksa ponašanja namijenjenih poticanju primjene zahtjeva utvrđenih u poglavlju III. odjeljku 2. za UI sustave koji nisu visokorizični i eventualno drugih dodatnih zahtjeva za UI sustave koji nisu visokorizični, među ostalim u pogledu okolišne održivosti.
7. By 2 August 2028 and every three years thereafter, the Commission shall evaluate the impact and effectiveness of voluntary codes of conduct to foster the application of the requirements set out in Chapter III, Section 2 for AI systems other than high-risk AI systems and possibly other additional requirements for AI systems other than high-risk AI systems, including as regards environmental sustainability.
8. Za potrebe stavaka od 1. do 7. Vijeće za umjetnu inteligenciju, države članice i nacionalna nadležna tijela Komisiji dostavljaju informacije na njezin zahtjev i bez nepotrebne odgode.
8. For the purposes of paragraphs 1 to 7, the Board, the Member States and national competent authorities shall provide the Commission with information upon its request and without undue delay.
9. Pri provedbi evaluacija i preispitivanja iz stavaka od 1. do 7. Komisija uzima u obzir stajališta i zaključke Vijeća za umjetnu inteligenciju, Europskog parlamenta, Vijeća i drugih relevantnih tijela ili izvora.
9. In carrying out the evaluations and reviews referred to in paragraphs 1 to 7, the Commission shall take into account the positions and findings of the Board, of the European Parliament, of the Council, and of other relevant bodies or sources.
10. Komisija prema potrebi podnosi odgovarajuće prijedloge radi izmjene ove Uredbe, posebno uzimajući u obzir razvoj tehnologije i učinke UI sustavâ na zdravlje i sigurnost te na temeljna prava, i s obzirom na napredak informacijskog društva.
10. The Commission shall, if necessary, submit appropriate proposals to amend this Regulation, in particular taking into account developments in technology, the effect of AI systems on health and safety, and on fundamental rights, and in light of the state of progress in the information society.
11. Radi usmjeravanja evaluacija i preispitivanja iz stavaka od 1. do 7.ovog članka Ured za umjetnu inteligenciju obvezuje se razviti objektivnu i participativnu metodologiju za evaluaciju razine rizika na temelju kriterija navedenih u relevantnim člancima i za uključivanje novih sustava na sljedeće:
11. To guide the evaluations and reviews referred to in paragraphs 1 to 7 of this Article, the AI Office shall undertake to develop an objective and participative methodology for the evaluation of risk levels based on the criteria outlined in the relevant Articles and the inclusion of new systems in:
(a)
popis utvrđen u Prilogu III., uključujući proširenje postojećih kategorija područja ili dodavanje novih kategorija područja u taj prilog;
(a)
the list set out in Annex III, including the extension of existing area headings or the addition of new area headings in that Annex;
(b)
popis zabranjenih praksi utvrđen u članku 5.; i
(b)
the list of prohibited practices set out in Article 5; and
(c)
popis UI sustava za koje su potrebne dodatne mjere transparentnosti na temelju članka 50.
(c)
the list of AI systems requiring additional transparency measures pursuant to Article 50.
12. Pri svakoj izmjeni ove Uredbe na temelju stavka 10. ili relevantnih delegiranih akata ili provedbenih akata koja se odnosi na sektorsko zakonodavstvo Unije o usklađivanju navedeno u odjeljku B Priloga I. u obzir se uzimaju regulatorne posebnosti svakog sektora i postojeći mehanizmi upravljanja, ocjenjivanja sukladnosti i izvršenja te tijela koja su njime utvrđena.
12. Any amendment to this Regulation pursuant to paragraph 10, or relevant delegated or implementing acts, which concerns sectoral Union harmonisation legislation listed in Section B of Annex I shall take into account the regulatory specificities of each sector, and the existing governance, conformity assessment and enforcement mechanisms and authorities established therein.
13. Komisija do 2. kolovoza 2031. ocjenjuje izvršavanje ove Uredbe i o tome izvješćuje Europski parlament, Vijeće te Europski gospodarski i socijalni odbor, uzimajući u obzir prve godine primjene ove Uredbe. Na temelju zaključaka tom se izvješću prema potrebi prilaže prijedlog za izmjenu ove Uredbe u vezi sa strukturom izvršavanja i potrebom da agencija Unije otkloni utvrđene nedostatke.
13. By 2 August 2031, the Commission shall carry out an assessment of the enforcement of this Regulation and shall report on it to the European Parliament, the Council and the European Economic and Social Committee, taking into account the first years of application of this Regulation. On the basis of the findings, that report shall, where appropriate, be accompanied by a proposal for amendment of this Regulation with regard to the structure of enforcement and the need for a Union agency to resolve any identified shortcomings.
Članak 113.
Article 113
Stupanje na snagu i primjena
Entry into force and application
Ova Uredba stupa na snagu dvadesetog dana od dana objave u Službenom listu Europske unije.
This Regulation shall enter into force on the twentieth day following that of its publication in the Official Journal of the European Union.
Primjenjuje se od 2. kolovoza 2026.
It shall apply from 2 August 2026.
Međutim:
However:
(a)
poglavlja I. i II. primjenjuju se od 2. veljače 2025.;
(a)
Chapters I and II shall apply from 2 February 2025;
(b)
poglavlje III. odjeljak 4., poglavlje V., poglavlje VII. i poglavlje XII. te članak 78. primjenjuju se od 2. kolovoza 2025., uz iznimku članka 101.;
(b)
Chapter III Section 4, Chapter V, Chapter VII and Chapter XII and Article 78 shall apply from 2 August 2025, with the exception of Article 101;
(c)
članak 6. stavak 1. i odgovarajuće obveze iz ove Uredbe primjenjuju se od 2. kolovoza 2027.
(c)
Article 6(1) and the corresponding obligations in this Regulation shall apply from 2 August 2027.
Ova je Uredba u cijelosti obvezujuća i izravno se primjenjuje u svim državama članicama.
This Regulation shall be binding in its entirety and directly applicable in all Member States.
Sastavljeno u Bruxellesu 13. lipnja 2024.
Done at Brussels, 13 June 2024.
Za Europski parlament
For the European Parliament
Predsjednica
The President
R. METSOLA
R. METSOLA
Za Vijeće
For the Council
Predsjednik
The President
M. MICHEL
M. MICHEL
(1) SL C 517, 22.12.2021., str. 56.
(1) OJ C 517, 22.12.2021, p. 56.
(2) SL C 115, 11.3.2022., str. 5.
(2) OJ C 115, 11.3.2022, p. 5.
(3) SL C 97, 28.2.2022., str. 60.
(3) OJ C 97, 28.2.2022, p. 60.
(4) Stajalište Europskog parlamenta od 13. ožujka 2024. (još nije objavljeno u Službenom listu) i Odluka Vijeća od 21. svibnja 2024.
(4) Position of the European Parliament of 13 March 2024 (not yet published in the Official Journal) and decision of the Council of 21 May 2024.
(5) Europsko vijeće, izvanredni sastanak Europskog vijeća (1. i 2. listopada 2020.) – zaključci, EUCO 13/20, 2020., str. 6.
(5) European Council, Special meeting of the European Council (1 and 2 October 2020) — Conclusions, EUCO 13/20, 2020, p. 6.
(6) Rezolucija Europskog parlamenta od 20. listopada 2020. s preporukama Komisiji o okviru etičkih aspekata umjetne inteligencije, robotike i s njima povezanih tehnologija, 2020/2012(INL).
(6) European Parliament resolution of 20 October 2020 with recommendations to the Commission on a framework of ethical aspects of artificial intelligence, robotics and related technologies, 2020/2012(INL).
(7) Uredba (EZ) br. 765/2008 Europskog parlamenta i Vijeća od 9. srpnja 2008. o utvrđivanju zahtjeva za akreditaciju i o stavljanju izvan snage Uredbe (EEZ) br. 339/93 (SL L 218, 13.8.2008., str. 30.).
(7) Regulation (EC) No 765/2008 of the European Parliament and of the Council of 9 July 2008 setting out the requirements for accreditation and repealing Regulation (EEC) No 339/93 (OJ L 218, 13.8.2008, p. 30).
(8) Odluka br. 768/2008/EZ Europskog parlamenta i Vijeća od 9. srpnja 2008. o zajedničkom okviru za stavljanje na tržište proizvoda i o stavljanju izvan snage Odluke Vijeća 93/465/EEZ (SL L 218, 13.8.2008., str. 82.).
(8) Decision No 768/2008/EC of the European Parliament and of the Council of 9 July 2008 on a common framework for the marketing of products, and repealing Council Decision 93/465/EEC (OJ L 218, 13.8.2008, p. 82).
(9) Uredba (EU) 2019/1020 Europskog parlamenta i Vijeća od 20. lipnja 2019. o nadzoru tržišta i sukladnosti proizvoda i o izmjeni Direktive 2004/42/EZ i uredbi (EZ) br. 765/2008 i (EU) br. 305/2011 (SL L 169, 25.6.2019., str. 1.).
(9) Regulation (EU) 2019/1020 of the European Parliament and of the Council of 20 June 2019 on market surveillance and compliance of products and amending Directive 2004/42/EC and Regulations (EC) No 765/2008 and (EU) No 305/2011 (OJ L 169, 25.6.2019, p. 1).
(10) Direktiva Vijeća 85/374/EEZ od 25. srpnja 1985. o približavanju zakona i drugih propisa država članica u vezi s odgovornošću za neispravne proizvode (SL L 210, 7.8.1985., str. 29.).
(10) Council Directive 85/374/EEC of 25 July 1985 on the approximation of the laws, regulations and administrative provisions of the Member States concerning liability for defective products (OJ L 210, 7.8.1985, p. 29).
(11) Uredba (EU) 2016/679 Europskog parlamenta i Vijeća od 27. travnja 2016. o zaštiti pojedinaca u vezi s obradom osobnih podataka i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Direktive 95/46/EZ (Opća uredba o zaštiti podataka) (SL L 119, 4.5.2016., str. 1.).
(11) Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation) (OJ L 119, 4.5.2016, p. 1).
(12) Uredba (EU) 2018/1725 Europskog parlamenta i Vijeća od 23. listopada 2018. o zaštiti pojedinaca u vezi s obradom osobnih podataka u institucijama, tijelima, uredima i agencijama Unije i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Uredbe (EZ) br. 45/2001 i Odluke br. 1247/2002/EZ (SL L 295, 21.11.2018., str. 39.).
(12) Regulation (EU) 2018/1725 of the European Parliament and of the Council of 23 October 2018 on the protection of natural persons with regard to the processing of personal data by the Union institutions, bodies, offices and agencies and on the free movement of such data, and repealing Regulation (EC) No 45/2001 and Decision No 1247/2002/EC (OJ L 295, 21.11.2018, p. 39).
(13) Direktiva (EU) 2016/680 Europskog parlamenta i Vijeća od 27. travnja 2016. o zaštiti pojedinaca u vezi s obradom osobnih podataka od strane nadležnih tijela u svrhe sprečavanja, istrage, otkrivanja ili progona kaznenih djela ili izvršavanja kaznenih sankcija i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Okvirne odluke Vijeća 2008/977/PUP (SL L 119, 4.5.2016., str. 89.).
(13) Directive (EU) 2016/680 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data by competent authorities for the purposes of the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, and on the free movement of such data, and repealing Council Framework Decision 2008/977/JHA (OJ L 119, 4.5.2016, p. 89).
(14) Direktiva 2002/58/EZ Europskog parlamenta i Vijeća od 12. srpnja 2002. o obradi osobnih podataka i zaštiti privatnosti u području elektroničkih komunikacija (Direktiva o privatnosti i elektroničkim komunikacijama)(SL L 201, 31.7.2002., str. 37.).
(14) Directive 2002/58/EC of the European Parliament and of the Council of 12 July 2002 concerning the processing of personal data and the protection of privacy in the electronic communications sector (Directive on privacy and electronic communications) (OJ L 201, 31.7.2002, p. 37).
(15) Uredba (EU) 2022/2065 Europskog parlamenta i Vijeća od 19. listopada 2022. o jedinstvenom tržištu digitalnih usluga i izmjeni Direktive 2000/31/EZ (Akt o digitalnim uslugama) (SL L 277, 27.10.2022., str. 1.).
(15) Regulation (EU) 2022/2065 of the European Parliament and of the Council of 19 October 2022 on a Single Market For Digital Services and amending Directive 2000/31/EC (Digital Services Act) (OJ L 277, 27.10.2022, p. 1).
(16) Direktiva (EU) 2019/882 Europskog parlamenta i Vijeća od 17. travnja 2019. o zahtjevima za pristupačnost proizvoda i usluga (SL L 151, 7.6.2019., str. 70.).
(16) Directive (EU) 2019/882 of the European Parliament and of the Council of 17 April 2019 on the accessibility requirements for products and services (OJ L 151, 7.6.2019, p. 70).
(17) Direktiva 2005/29/EZ Europskog parlamenta i Vijeća od 11. svibnja 2005. o nepoštenoj poslovnoj praksi poslovnog subjekta u odnosu prema potrošaču na unutarnjem tržištu i o izmjeni Direktive Vijeća 84/450/EEZ, direktiva 97/7/EZ, 98/27/EZ i 2002/65/EZ Europskog parlamenta i Vijeća, kao i Uredbe (EZ) br. 2006/2004 Europskog parlamenta i Vijeća („Direktiva o nepoštenoj poslovnoj praksi”) (SL L 149, 11.6.2005., str. 22.).
(17) Directive 2005/29/EC of the European Parliament and of the Council of 11 May 2005 concerning unfair business-to-consumer commercial practices in the internal market and amending Council Directive 84/450/EEC, Directives 97/7/EC, 98/27/EC and 2002/65/EC of the European Parliament and of the Council and Regulation (EC) No 2006/2004 of the European Parliament and of the Council (‘Unfair Commercial Practices Directive’) (OJ L 149, 11.6.2005, p. 22).
(18) Okvirna odluka Vijeća 2002/584/PUP od 13. lipnja 2002. o Europskom uhidbenom nalogu i postupcima predaje između država članica (SL L 190, 18.7.2002., str. 1.).
(18) Council Framework Decision 2002/584/JHA of 13 June 2002 on the European arrest warrant and the surrender procedures between Member States (OJ L 190, 18.7.2002, p. 1).
(19) Direktiva (EU) 2022/2557 Europskog parlamenta i Vijeća od 14. prosinca 2022. o otpornosti kritičnih subjekata i o stavljanju izvan snage Direktive Vijeća 2008/114/EZ (SL L 333, 27.12.2022., str. 164.).
(19) Directive (EU) 2022/2557 of the European Parliament and of the Council of 14 December 2022 on the resilience of critical entities and repealing Council Directive 2008/114/EC (OJ L 333, 27.12.2022, p. 164).
(20) SL C 247, 29.6.2022., str. 1.
(20) OJ C 247, 29.6.2022, p. 1.
(21) Uredba (EU) 2017/745 Europskog parlamenta i Vijeća od 5. travnja 2017. o medicinskim proizvodima, o izmjeni Direktive 2001/83/EZ, Uredbe (EZ) br. 178/2002 i Uredbe (EZ) br. 1223/2009 te o stavljanju izvan snage direktiva Vijeća 90/385/EEZ i 93/42/EEZ (SL L 117, 5.5.2017., str. 1.).
(21) Regulation (EU) 2017/745 of the European Parliament and of the Council of 5 April 2017 on medical devices, amending Directive 2001/83/EC, Regulation (EC) No 178/2002 and Regulation (EC) No 1223/2009 and repealing Council Directives 90/385/EEC and 93/42/EEC (OJ L 117, 5.5.2017, p. 1).
(22) Uredba (EU) 2017/746 Europskog parlamenta i Vijeća od 5. travnja 2017. o in vitro dijagnostičkim medicinskim proizvodima te o stavljanju izvan snage Direktive 98/79/EZ i Odluke Komisije 2010/227/EU (SL L 117, 5.5.2017., str. 176.).
(22) Regulation (EU) 2017/746 of the European Parliament and of the Council of 5 April 2017 on in vitro diagnostic medical devices and repealing Directive 98/79/EC and Commission Decision 2010/227/EU (OJ L 117, 5.5.2017, p. 176).
(23) Direktiva 2006/42/EZ Europskog parlamenta i Vijeća od 17. svibnja 2006. o strojevima o izmjeni Direktive 95/16/EZ (SL L 157, 9.6.2006., str. 24.).
(23) Directive 2006/42/EC of the European Parliament and of the Council of 17 May 2006 on machinery, and amending Directive 95/16/EC (OJ L 157, 9.6.2006, p. 24).
(24) Uredba (EZ) br. 300/2008 Europskog parlamenta i Vijeća od 11. ožujka 2008. o zajedničkim pravilima u području zaštite civilnog zračnog prometa i stavljanju izvan snage Uredbe (EZ) br. 2320/2002 (SL L 97, 9.4.2008., str. 72.).
(24) Regulation (EC) No 300/2008 of the European Parliament and of the Council of 11 March 2008 on common rules in the field of civil aviation security and repealing Regulation (EC) No 2320/2002 (OJ L 97, 9.4.2008, p. 72).
(25) Uredba (EU) br. 167/2013 Europskog parlamenta i Vijeća od 5. veljače 2013. o homologaciji i nadzoru tržišta traktora za poljoprivredu i šumarstvo (SL L 60, 2.3.2013., str. 1.).
(25) Regulation (EU) No 167/2013 of the European Parliament and of the Council of 5 February 2013 on the approval and market surveillance of agricultural and forestry vehicles (OJ L 60, 2.3.2013, p. 1).
(26) Uredba (EU) br. 168/2013 Europskog parlamenta i Vijeća od 15. siječnja 2013. o homologaciji i nadzoru tržišta vozila na dva ili tri kotača i četverocikala (SL L 60, 2.3.2013., str. 52.).
(26) Regulation (EU) No 168/2013 of the European Parliament and of the Council of 15 January 2013 on the approval and market surveillance of two- or three-wheel vehicles and quadricycles (OJ L 60, 2.3.2013, p. 52).
(27) Direktiva 2014/90/EU Europskog parlamenta i Vijeća od 23. srpnja 2014. o pomorskoj opremi i stavljanju izvan snage Direktive Vijeća 96/98/EZ (SL L 257, 28.8.2014., str. 146.).
(27) Directive 2014/90/EU of the European Parliament and of the Council of 23 July 2014 on marine equipment and repealing Council Directive 96/98/EC (OJ L 257, 28.8.2014, p. 146).
(28) Direktiva (EU) 2016/797 Europskog parlamenta i Vijeća od 11. svibnja 2016. o interoperabilnosti željezničkog sustava u Europskoj uniji (SL L 138, 26.5.2016., str. 44.).
(28) Directive (EU) 2016/797 of the European Parliament and of the Council of 11 May 2016 on the interoperability of the rail system within the European Union (OJ L 138, 26.5.2016, p. 44).
(29) Uredba (EU) 2018/858 Europskog parlamenta i Vijeća od 30. svibnja 2018. o homologaciji i nadzoru tržišta motornih vozila i njihovih prikolica te sustava, sastavnih dijelova i zasebnih tehničkih jedinica namijenjenih za takva vozila, o izmjeni uredaba (EZ) br. 715/2007 i (EZ) br. 595/2009 te o stavljanju izvan snage Direktive 2007/46/EZ (SL L 151, 14.6.2018., str. 1.).
(29) Regulation (EU) 2018/858 of the European Parliament and of the Council of 30 May 2018 on the approval and market surveillance of motor vehicles and their trailers, and of systems, components and separate technical units intended for such vehicles, amending Regulations (EC) No 715/2007 and (EC) No 595/2009 and repealing Directive 2007/46/EC (OJ L 151, 14.6.2018, p. 1).
(30) Uredba (EU) 2018/1139 Europskog parlamenta i Vijeća od 4. srpnja 2018. o zajedničkim pravilima u području civilnog zrakoplovstva i osnivanju Agencije Europske unije za sigurnost zračnog prometa i izmjeni uredbi (EZ) br. 2111/2005, (EZ) br. 1008/2008, (EU) br. 996/2010, (EU) br. 376/2014 i direktiva 2014/30/EU i 2014/53/EU Europskog parlamenta i Vijeća te stavljanju izvan snage uredbi (EZ) br. 552/2004 i (EZ) br. 216/2008 Europskog parlamenta i Vijeća i Uredbe Vijeća (EEZ) br. 3922/91 (SL L 212, 22.8.2018., str. 1.).
(30) Regulation (EU) 2018/1139 of the European Parliament and of the Council of 4 July 2018 on common rules in the field of civil aviation and establishing a European Union Aviation Safety Agency, and amending Regulations (EC) No 2111/2005, (EC) No 1008/2008, (EU) No 996/2010, (EU) No 376/2014 and Directives 2014/30/EU and 2014/53/EU of the European Parliament and of the Council, and repealing Regulations (EC) No 552/2004 and (EC) No 216/2008 of the European Parliament and of the Council and Council Regulation (EEC) No 3922/91 (OJ L 212, 22.8.2018, p. 1).
(31) Uredba (EU) 2019/2144 Europskog parlamenta i Vijeća od 27. studenoga 2019. o zahtjevima za homologaciju tipa za motorna vozila i njihove prikolice te za sustave, sastavne dijelove i zasebne tehničke jedinice namijenjene za takva vozila, u pogledu njihove opće sigurnosti te zaštite osoba u vozilima i nezaštićenih sudionika u cestovnom prometu, o izmjeni Uredbe (EU) 2018/858 Europskog parlamenta i Vijeća i stavljanju izvan snage uredbi (EZ) br. 78/2009, (EZ) br. 79/2009 i (EZ) br. 661/2009 Europskog parlamenta i Vijeća i uredbi Komisije (EZ) br. 631/2009, (EU) br. 406/2010, (EU) br. 672/2010, (EU) br. 1003/2010, (EU) br. 1005/2010, (EU) br. 1008/2010, (EU) br. 1009/2010, (EU) br. 19/2011, (EU) br. 109/2011, (EU) br. 458/2011, (EU) br. 65/2012, (EU) br. 130/2012, (EU) br. 347/2012, (EU) br. 351/2012, (EU) br. 1230/2012 i (EU) 2015/166 (SL L 325, 16.12.2019., str. 1.).
(31) Regulation (EU) 2019/2144 of the European Parliament and of the Council of 27 November 2019 on type-approval requirements for motor vehicles and their trailers, and systems, components and separate technical units intended for such vehicles, as regards their general safety and the protection of vehicle occupants and vulnerable road users, amending Regulation (EU) 2018/858 of the European Parliament and of the Council and repealing Regulations (EC) No 78/2009, (EC) No 79/2009 and (EC) No 661/2009 of the European Parliament and of the Council and Commission Regulations (EC) No 631/2009, (EU) No 406/2010, (EU) No 672/2010, (EU) No 1003/2010, (EU) No 1005/2010, (EU) No 1008/2010, (EU) No 1009/2010, (EU) No 19/2011, (EU) No 109/2011, (EU) No 458/2011, (EU) No 65/2012, (EU) No 130/2012, (EU) No 347/2012, (EU) No 351/2012, (EU) No 1230/2012 and (EU) 2015/166 (OJ L 325, 16.12.2019, p. 1).
(32) Uredba (EZ) br. 810/2009 Europskog parlamenta i Vijeća od 13. srpnja 2009. o uspostavi Zakonika Zajednice o vizama (Zakonik o vizama) (SL L 243, 15.9.2009., str. 1.).
(32) Regulation (EC) No 810/2009 of the European Parliament and of the Council of 13 July 2009 establishing a Community Code on Visas (Visa Code) (OJ L 243, 15.9.2009, p. 1).
(33) Direktiva 2013/32/EU Europskog parlamenta i Vijeća od 26. lipnja 2013. o zajedničkim postupcima za priznavanje i oduzimanje međunarodne zaštite (SL L 180, 29.6.2013., str. 60.).
(33) Directive 2013/32/EU of the European Parliament and of the Council of 26 June 2013 on common procedures for granting and withdrawing international protection (OJ L 180, 29.6.2013, p. 60).
(34) Uredba (EU) 2024/900 Europskog parlamenta i Vijeća od 13. ožujka 2024. o transparentnosti i ciljanju u političkom oglašavanju (SL L, 2024/900, 20.3.2024., ELI: http://data.europa.eu/eli/reg/2024/900/oj).
(34) Regulation (EU) 2024/900 of the European parliament and of the Council of 13 March 2024 on the transparency and targeting of political advertising (OJ L, 2024/900, 20.3.2024, ELI: http://data.europa.eu/eli/reg/2024/900/oj).
(35) Direktiva 2014/31/EU Europskog parlamenta i Vijeća od 26. veljače 2014. o usklađivanju zakonodavstava država članica u odnosu na stavljanje na raspolaganje neautomatskih vaga na tržište (SL L 96, 29.3.2014., str. 107.).
(35) Directive 2014/31/EU of the European Parliament and of the Council of 26 February 2014 on the harmonisation of the laws of the Member States relating to the making available on the market of non-automatic weighing instruments (OJ L 96, 29.3.2014, p. 107).
(36) Direktiva 2014/32/EU Europskog parlamenta i Vijeća od 26. veljače 2014. o usklađivanju zakonodavstava država članica u odnosu na stavljanje na raspolaganje mjernih instrumenata na tržištu (SL L 96, 29.3.2014., str. 149.).
(36) Directive 2014/32/EU of the European Parliament and of the Council of 26 February 2014 on the harmonisation of the laws of the Member States relating to the making available on the market of measuring instruments (OJ L 96, 29.3.2014, p. 149).
(37) Uredba (EU) 2019/881 Europskog parlamenta i Vijeća od 17. travnja 2019. o ENISA-i (Agencija Europske unije za kibersigurnost) te o kibersigurnosnoj certifikaciji u području informacijske i komunikacijske tehnologije i stavljanju izvan snage Uredbe (EU) br. 526/2013 (Akt o kibersigurnosti) (SL L 151, 7.6.2019., str. 15.).
(37) Regulation (EU) 2019/881 of the European Parliament and of the Council of 17 April 2019 on ENISA (the European Union Agency for Cybersecurity) and on information and communications technology cybersecurity certification and repealing Regulation (EU) No 526/2013 (Cybersecurity Act) (OJ L 151, 7.6.2019, p. 15).
(38) Direktiva (EU) 2016/2102 Europskog parlamenta i Vijeća od 26. listopada 2016. o pristupačnosti internetskih stranica i mobilnih aplikacija tijela javnog sektora (SL L 327, 2.12.2016., str. 1.).
(38) Directive (EU) 2016/2102 of the European Parliament and of the Council of 26 October 2016 on the accessibility of the websites and mobile applications of public sector bodies (OJ L 327, 2.12.2016, p. 1).
(39) Direktiva 2002/14/EZ Europskog parlamenta i Vijeća od 11. ožujka 2002. o uspostavljanju općeg okvira za obavješćivanje i savjetovanje s radnicima u Europskoj zajednici (SL L 80, 23.3.2002., str. 29.).
(39) Directive 2002/14/EC of the European Parliament and of the Council of 11 March 2002 establishing a general framework for informing and consulting employees in the European Community (OJ L 80, 23.3.2002, p. 29).
(40) Direktiva (EU) 2019/790 Europskog parlamenta i Vijeća od 17. travnja 2019. o autorskom i srodnim pravima na jedinstvenom digitalnom tržištu i izmjeni direktiva 96/9/EZ i 2001/29/EZ (SL L 130, 17.5.2019., str. 92.).
(40) Directive (EU) 2019/790 of the European Parliament and of the Council of 17 April 2019 on copyright and related rights in the Digital Single Market and amending Directives 96/9/EC and 2001/29/EC (OJ L 130, 17.5.2019, p. 92).
(41) Uredba (EU) br. 1025/2012 Europskog parlamenta i Vijeća od 25. listopada 2012. o europskoj normizaciji, o izmjeni direktiva Vijeća 89/686/EEZ i 93/15/EEZ i direktiva 94/9/EZ, 94/25/EZ, 95/16/EZ, 97/23/EZ, 98/34/EZ, 2004/22/EZ, 2007/23/EZ, 2009/23/EZ i 2009/105/EZ Europskog parlamenta i Vijeća te o stavljanju izvan snage Odluke Vijeća 87/95/EEZ i Odluke br. 1673/2006/EZ Europskog parlamenta i Vijeća (SL L 316, 14.11.2012., str. 12.).
(41) Regulation (EU) No 1025/2012 of the European Parliament and of the Council of 25 October 2012 on European standardisation, amending Council Directives 89/686/EEC and 93/15/EEC and Directives 94/9/EC, 94/25/EC, 95/16/EC, 97/23/EC, 98/34/EC, 2004/22/EC, 2007/23/EC, 2009/23/EC and 2009/105/EC of the European Parliament and of the Council and repealing Council Decision 87/95/EEC and Decision No 1673/2006/EC of the European Parliament and of the Council (OJ L 316, 14.11.2012, p. 12).
(42) Uredba (EU) 2022/868 Europskog parlamenta i Vijeća od 30. svibnja 2022. o europskom upravljanju podacima i izmjeni Uredbe (EU) 2018/1724 (Akt o upravljanju podacima) (SL L 152, 3.6.2022., str. 1.).
(42) Regulation (EU) 2022/868 of the European Parliament and of the Council of 30 May 2022 on European data governance and amending Regulation (EU) 2018/1724 (Data Governance Act) (OJ L 152, 3.6.2022, p. 1).
(43) Uredba (EU) 2023/2854 Europskog parlamenta i Vijeća od 13. prosinca 2023. o usklađenim pravilima za pravedan pristup podacima i njihovu uporabu i o izmjeni Uredbe (EU) 2017/2394 i Direktive (EU) 2020/1828 (Akt o podacima) (SL L, 2023/2854, 22.12.2023., ELI: http://data.europa.eu/eli/reg/2023/2854/oj).
(43) Regulation (EU) 2023/2854 of the European Parliament and of the Council of 13 December 2023 on harmonised rules on fair access to and use of data and amending Regulation (EU) 2017/2394 and Directive (EU) 2020/1828 (Data Act) (OJ L, 2023/2854, 22.12.2023, ELI: http://data.europa.eu/eli/reg/2023/2854/oj).
(44) Preporuka Komisije od 6. svibnja 2003. o definiciji mikro, malih i srednjih poduzeća (SL L 124, 20.5.2003., str. 36.).
(44) Commission Recommendation of 6 May 2003 concerning the definition of micro, small and medium-sized enterprises (OJ L 124, 20.5.2003, p. 36).
(45) Odluka Komisije od 24. siječnja 2024. o osnivanju Europskog ureda za umjetnu inteligenciju C(2024) 390.
(45) Commission Decision of 24.1.2024 establishing the European Artificial Intelligence Office C(2024) 390.
(46) Uredba (EU) br. 575/2013 Europskog parlamenta i Vijeća od 26. lipnja 2013. o bonitetnim zahtjevima za kreditne institucije i investicijska društva i o izmjeni Uredbe (EU) br. 648/2012 (SL L 176, 27.6.2013., str. 1.).
(46) Regulation (EU) No 575/2013 of the European Parliament and of the Council of 26 June 2013 on prudential requirements for credit institutions and investment firms and amending Regulation (EU) No 648/2012 (OJ L 176, 27.6.2013, p. 1).
(47) Direktiva 2008/48/EZ Europskog parlamenta i Vijeća od 23. travnja 2008. o ugovorima o potrošačkim kreditima i stavljanju izvan snage Direktive Vijeća 87/102/EEZ (SL L 133, 22.5.2008., str. 66.).
(47) Directive 2008/48/EC of the European Parliament and of the Council of 23 April 2008 on credit agreements for consumers and repealing Council Directive 87/102/EEC (OJ L 133, 22.5.2008, p. 66).
(48) Direktiva 2009/138/EZ Europskog parlamenta i Vijeća od 25. studenoga 2009. o osnivanju i obavljanju djelatnosti osiguranja i reosiguranja (Solventnost II) (SL L 335, 17.12.2009., str. 1.).
(48) Directive 2009/138/EC of the European Parliament and of the Council of 25 November 2009 on the taking-up and pursuit of the business of Insurance and Reinsurance (Solvency II) (OJ L 335, 17.12.2009, p. 1).
(49) Direktiva 2013/36/EU Europskog parlamenta i Vijeća od 26. lipnja 2013. o pristupanju djelatnosti kreditnih institucija i bonitetnom nadzoru nad kreditnim institucijama i investicijskim društvima, izmjeni Direktive 2002/87/EZ te stavljanju izvan snage direktiva 2006/48/EZ i 2006/49/EZ (SL L 176, 27.6.2013., str. 338.).
(49) Directive 2013/36/EU of the European Parliament and of the Council of 26 June 2013 on access to the activity of credit institutions and the prudential supervision of credit institutions and investment firms, amending Directive 2002/87/EC and repealing Directives 2006/48/EC and 2006/49/EC (OJ L 176, 27.6.2013, p. 338).
(50) Direktiva 2014/17/ЕU Europskog parlamenta i Vijeća od 4. veljače 2014. o ugovorima o potrošačkim kreditima koji se odnose na stambene nekretnine i o izmjeni direktiva 2008/48/EZ i 2013/36/EU i Uredbe (EU) br. 1093/2010 (SL L 60, 28.2.2014., str. 34.).
(50) Directive 2014/17/EU of the European Parliament and of the Council of 4 February 2014 on credit agreements for consumers relating to residential immovable property and amending Directives 2008/48/EC and 2013/36/EU and Regulation (EU) No 1093/2010 (OJ L 60, 28.2.2014, p. 34).
(51) Direktiva (EU) 2016/97 Europskog parlamenta i Vijeća od 20. siječnja 2016. o distribuciji osiguranja (SL L 26, 2.2.2016., str. 19.).
(51) Directive (EU) 2016/97 of the European Parliament and of the Council of 20 January 2016 on insurance distribution (OJ L 26, 2.2.2016, p. 19).
(52) Uredba Vijeća (EU) br. 1024/2013 od 15. listopada 2013. o dodjeli određenih zadaća Europskoj središnjoj banci u vezi s politikama bonitetnog nadzora kreditnih institucija (SL L 287, 29.10.2013., str. 63.).
(52) Council Regulation (EU) No 1024/2013 of 15 October 2013 conferring specific tasks on the European Central Bank concerning policies relating to the prudential supervision of credit institutions (OJ L 287, 29.10.2013, p. 63).
(53) Uredba (EU) 2023/988 Europskog parlamenta i Vijeća od 10. svibnja 2023. o općoj sigurnosti proizvoda, izmjeni Uredbe (EU) br. 1025/2012 Europskog parlamenta i Vijeća i Direktive (EU) 2020/1828 Europskog parlamenta i Vijeća te o stavljanju izvan snage Direktive 2001/95/EZ Europskog parlamenta i Vijeća i Direktive Vijeća 87/357/EEZ (SL L 135, 23.5.2023., str. 1.).
(53) Regulation (EU) 2023/988 of the European Parliament and of the Council of 10 May 2023 on general product safety, amending Regulation (EU) No 1025/2012 of the European Parliament and of the Council and Directive (EU) 2020/1828 of the European Parliament and the Council, and repealing Directive 2001/95/EC of the European Parliament and of the Council and Council Directive 87/357/EEC (OJ L 135, 23.5.2023, p. 1).
(54) Direktiva (EU) 2019/1937 Europskog parlamenta i Vijeća od 23. listopada 2019. o zaštiti osoba koje prijavljuju povrede prava Unije (SL L 305, 26.11.2019., str. 17.).
(54) Directive (EU) 2019/1937 of the European Parliament and of the Council of 23 October 2019 on the protection of persons who report breaches of Union law (OJ L 305, 26.11.2019, p. 17).
(55) SL L 123, 12.5.2016., str. 1.
(55) OJ L 123, 12.5.2016, p. 1.
(56) Uredba (EU) br. 182/2011 Europskog parlamenta i Vijeća od 16. veljače 2011. o utvrđivanju pravila i općih načela u vezi s mehanizmima nadzora država članica nad izvršavanjem provedbenih ovlasti Komisije (SL L 55, 28.2.2011., str. 13.).
(56) Regulation (EU) No 182/2011 of the European Parliament and of the Council of 16 February 2011 laying down the rules and general principles concerning mechanisms for control by Member States of the Commission’s exercise of implementing powers (OJ L 55, 28.2.2011, p. 13).
(57) Direktiva (EU) 2016/943 Europskog parlamenta i Vijeća od 8. lipnja 2016. o zaštiti neotkrivenih znanja i iskustva te poslovnih informacija (poslovne tajne) od nezakonitog pribavljanja, korištenja i otkrivanja (SL L 157, 15.6.2016., str. 1.).
(57) Directive (EU) 2016/943 of the European Parliament and of the Council of 8 June 2016 on the protection of undisclosed know-how and business information (trade secrets) against their unlawful acquisition, use and disclosure (OJ L 157, 15.6.2016, p. 1).
(58) Direktiva (EU) 2020/1828 Europskog parlamenta i Vijeća od 25. studenoga 2020. o predstavničkim tužbama za zaštitu kolektivnih interesa potrošačâ i stavljanju izvan snage Direktive 2009/22/EZ (SL L 409, 4.12.2020., str. 1.).
(58) Directive (EU) 2020/1828 of the European Parliament and of the Council of 25 November 2020 on representative actions for the protection of the collective interests of consumers and repealing Directive 2009/22/EC (OJ L 409, 4.12.2020, p. 1).
PRILOG I.
ANNEX I
Popis zakonodavstva Unije o usklađivanju
List of Union harmonisation legislation
Odjeljak A. Popis zakonodavstva Unije o usklađivanju na temelju novog zakonodavnog okvira
Section A. List of Union harmonisation legislation based on the New Legislative Framework
1.
Direktiva 2006/42/EZ Europskog parlamenta i Vijeća od 17. svibnja 2006. o strojevima o izmjeni Direktive 95/16/EZ (SL L 157, 9.6.2006., str. 24.);
1.
Directive 2006/42/EC of the European Parliament and of the Council of 17 May 2006 on machinery, and amending Directive 95/16/EC (OJ L 157, 9.6.2006, p. 24);
2.
Direktiva 2009/48/EZ Europskog parlamenta i Vijeća od 18. lipnja 2009. o sigurnosti igračaka (SL L 170, 30.6.2009., str. 1.);
2.
Directive 2009/48/EC of the European Parliament and of the Council of 18 June 2009 on the safety of toys (OJ L 170, 30.6.2009, p. 1);
3.
Direktiva 2013/53/EU Europskog parlamenta i Vijeća od 20. studenoga 2013. o rekreacijskim plovilima i osobnim plovilima na vodomlazni pogon i o stavljanju izvan snage Direktive Vijeća 94/25/EZ (SL L 354, 28.12.2013., str. 90.);
3.
Directive 2013/53/EU of the European Parliament and of the Council of 20 November 2013 on recreational craft and personal watercraft and repealing Directive 94/25/EC (OJ L 354, 28.12.2013, p. 90);
4.
Direktiva 2014/33/EU Europskog parlamenta i Vijeća od 26. veljače 2014. o usklađivanju zakonodavstava država članica u odnosu na dizala i sigurnosne komponente za dizala (SL L 96, 29.3.2014., str. 251.);
4.
Directive 2014/33/EU of the European Parliament and of the Council of 26 February 2014 on the harmonisation of the laws of the Member States relating to lifts and safety components for lifts (OJ L 96, 29.3.2014, p. 251);
5.
Direktiva 2014/34/EU Europskog parlamenta i Vijeća od 26. veljače 2014. o usklađivanju zakonodavstava država članica u odnosu na opremu i zaštitne sustave namijenjene za uporabu u potencijalno eksplozivnim atmosferama (SL L 96, 29.3.2014., str. 309.);
5.
Directive 2014/34/EU of the European Parliament and of the Council of 26 February 2014 on the harmonisation of the laws of the Member States relating to equipment and protective systems intended for use in potentially explosive atmospheres (OJ L 96, 29.3.2014, p. 309);
6.
Direktiva 2014/53/EU Europskog parlamenta i Vijeća od 16. travnja 2014. o usklađivanju zakonodavstava država članica o stavljanju na raspolaganje radijske opreme na tržištu i stavljanju izvan snage Direktive 1999/5/EZ (SL L 153, 22.5.2014., str. 62.);
6.
Directive 2014/53/EU of the European Parliament and of the Council of 16 April 2014 on the harmonisation of the laws of the Member States relating to the making available on the market of radio equipment and repealing Directive 1999/5/EC (OJ L 153, 22.5.2014, p. 62);
7.
Direktiva 2014/68/EU Europskog parlamenta i Vijeća od 15. svibnja 2014. o usklađivanju zakonodavstava država članica o stavljanju na raspolaganje na tržištu tlačne opreme (SL L 189, 27.6.2014., str. 164.);
7.
Directive 2014/68/EU of the European Parliament and of the Council of 15 May 2014 on the harmonisation of the laws of the Member States relating to the making available on the market of pressure equipment (OJ L 189, 27.6.2014, p. 164);
8.
Uredba (EU) 2016/424 Europskog parlamenta i Vijeća od 9. ožujka 2016. o žičarama i stavljanju izvan snage Direktive 2000/9/EZ (SL L 81, 31.3.2016., str. 1.);
8.
Regulation (EU) 2016/424 of the European Parliament and of the Council of 9 March 2016 on cableway installations and repealing Directive 2000/9/EC (OJ L 81, 31.3.2016, p. 1);
9.
Uredba (EU) 2016/425 Europskog parlamenta i Vijeća od 9. ožujka 2016. o osobnoj zaštitnoj opremi i o stavljanju izvan snage Direktive Vijeća 89/686/EEZ (SL L 81, 31.3.2016., str. 51.);
9.
Regulation (EU) 2016/425 of the European Parliament and of the Council of 9 March 2016 on personal protective equipment and repealing Council Directive 89/686/EEC (OJ L 81, 31.3.2016, p. 51);
10.
Uredba (EU) 2016/426 Europskog parlamenta i Vijeća od 9. ožujka 2016. o aparatima na plinovita goriva i stavljanju izvan snage Direktive 2009/142/EZ (SL L 81, 31.3.2016., str. 99.);
10.
Regulation (EU) 2016/426 of the European Parliament and of the Council of 9 March 2016 on appliances burning gaseous fuels and repealing Directive 2009/142/EC (OJ L 81, 31.3.2016, p. 99);
11.
Uredba (EU) 2017/745 Europskog parlamenta i Vijeća od 5. travnja 2017. o medicinskim proizvodima, o izmjeni Direktive 2001/83/EZ, Uredbe (EZ) br. 178/2002 i Uredbe (EZ) br. 1223/2009 te o stavljanju izvan snage direktiva Vijeća 90/385/EEZ i 93/42/EEZ (SL L 117, 5.5.2017., str. 1.);
11.
Regulation (EU) 2017/745 of the European Parliament and of the Council of 5 April 2017 on medical devices, amending Directive 2001/83/EC, Regulation (EC) No 178/2002 and Regulation (EC) No 1223/2009 and repealing Council Directives 90/385/EEC and 93/42/EEC (OJ L 117, 5.5.2017, p. 1);
12.
Uredba (EU) 2017/746 Europskog parlamenta i Vijeća od 5. travnja 2017. o in vitro dijagnostičkim medicinskim proizvodima te o stavljanju izvan snage Direktive 98/79/EZ i Odluke Komisije 2010/227/EU (SL L 117, 5.5.2017., str. 176.).
12.
Regulation (EU) 2017/746 of the European Parliament and of the Council of 5 April 2017 on in vitro diagnostic medical devices and repealing Directive 98/79/EC and Commission Decision 2010/227/EU (OJ L 117, 5.5.2017, p. 176).
Odjeljak B. Popis ostalog zakonodavstva Unije o usklađivanju
Section B. List of other Union harmonisation legislation
13.
Uredba (EZ) br. 300/2008 Europskog parlamenta i Vijeća od 11. ožujka 2008. o zajedničkim pravilima u području zaštite civilnog zračnog prometa i stavljanju izvan snage Uredbe (EZ) br. 2320/2002 (SL L 97, 9.4.2008., str. 72.);
13.
Regulation (EC) No 300/2008 of the European Parliament and of the Council of 11 March 2008 on common rules in the field of civil aviation security and repealing Regulation (EC) No 2320/2002 (OJ L 97, 9.4.2008, p. 72);
14.
Uredba (EU) br. 168/2013 Europskog parlamenta i Vijeća od 15. siječnja 2013. o homologaciji i nadzoru tržišta vozila na dva ili tri kotača i četverocikala (SL L 60, 2.3.2013., str. 52.);
14.
Regulation (EU) No 168/2013 of the European Parliament and of the Council of 15 January 2013 on the approval and market surveillance of two- or three-wheel vehicles and quadricycles (OJ L 60, 2.3.2013, p. 52);
15.
Uredba (EU) br. 167/2013 Europskog parlamenta i Vijeća od 5. veljače 2013. o homologaciji i nadzoru tržišta traktora za poljoprivredu i šumarstvo (SL L 60, 2.3.2013., str. 1.);
15.
Regulation (EU) No 167/2013 of the European Parliament and of the Council of 5 February 2013 on the approval and market surveillance of agricultural and forestry vehicles (OJ L 60, 2.3.2013, p. 1);
16.
Direktiva 2014/90/EU Europskog parlamenta i Vijeća od 23. srpnja 2014. o pomorskoj opremi i stavljanju izvan snage Direktive Vijeća 96/98/EZ (SL L 257, 28.8.2014., str. 146.);
16.
Directive 2014/90/EU of the European Parliament and of the Council of 23 July 2014 on marine equipment and repealing Council Directive 96/98/EC (OJ L 257, 28.8.2014, p. 146);
17.
Direktiva (EU) 2016/797 Europskog parlamenta i Vijeća od 11. svibnja 2016. o interoperabilnosti željezničkog sustava u Europskoj uniji (SL L 138, 26.5.2016., str. 44.);
17.
Directive (EU) 2016/797 of the European Parliament and of the Council of 11 May 2016 on the interoperability of the rail system within the European Union (OJ L 138, 26.5.2016, p. 44);
18.
Uredba (EU) 2018/858 Europskog parlamenta i Vijeća od 30. svibnja 2018. o homologaciji i nadzoru tržišta motornih vozila i njihovih prikolica te sustavâ, sastavnih dijelova i zasebnih tehničkih jedinica namijenjenih za takva vozila, o izmjeni uredaba (EZ) br. 715/2007 i (EZ) br. 595/2009 te o stavljanju izvan snage Direktive 2007/46/EZ (SL L 151, 14.6.2018., str. 1.);
18.
Regulation (EU) 2018/858 of the European Parliament and of the Council of 30 May 2018 on the approval and market surveillance of motor vehicles and their trailers, and of systems, components and separate technical units intended for such vehicles, amending Regulations (EC) No 715/2007 and (EC) No 595/2009 and repealing Directive 2007/46/EC (OJ L 151, 14.6.2018, p. 1);
19.
Uredba (EU) 2019/2144 Europskog parlamenta i Vijeća od 27. studenoga 2019. o zahtjevima za homologaciju tipa za motorna vozila i njihove prikolice te za sustave, sastavne dijelove i zasebne tehničke jedinice namijenjene za takva vozila, u pogledu njihove opće sigurnosti te zaštite osoba u vozilima i nezaštićenih sudionika u cestovnom prometu, o izmjeni Uredbe (EU) 2018/858 Europskog parlamenta i Vijeća i stavljanju izvan snage uredbi (EZ) br. 78/2009, (EZ) br. 79/2009 i (EZ) br. 661/2009 Europskog parlamenta i Vijeća i uredbi Komisije (EZ) br. 631/2009, (EU) br. 406/2010, (EU) br. 672/2010, (EU) br. 1003/2010, (EU) br. 1005/2010, (EU) br. 1008/2010, (EU) br. 1009/2010, (EU) br. 19/2011, (EU) br. 109/2011, (EU) br. 458/2011, (EU) br. 65/2012, (EU) br. 130/2012, (EU) br. 347/2012, (EU) br. 351/2012, (EU) br. 1230/2012 i (EU) 2015/166 (SL L 325, 16.12.2019., str. 1.);
19.
Regulation (EU) 2019/2144 of the European Parliament and of the Council of 27 November 2019 on type-approval requirements for motor vehicles and their trailers, and systems, components and separate technical units intended for such vehicles, as regards their general safety and the protection of vehicle occupants and vulnerable road users, amending Regulation (EU) 2018/858 of the European Parliament and of the Council and repealing Regulations (EC) No 78/2009, (EC) No 79/2009 and (EC) No 661/2009 of the European Parliament and of the Council and Commission Regulations (EC) No 631/2009, (EU) No 406/2010, (EU) No 672/2010, (EU) No 1003/2010, (EU) No 1005/2010, (EU) No 1008/2010, (EU) No 1009/2010, (EU) No 19/2011, (EU) No 109/2011, (EU) No 458/2011, (EU) No 65/2012, (EU) No 130/2012, (EU) No 347/2012, (EU) No 351/2012, (EU) No 1230/2012 and (EU) 2015/166 (OJ L 325, 16.12.2019, p. 1);
20.
Uredba (EU) 2018/1139 Europskog parlamenta i Vijeća od 4. srpnja 2018. o zajedničkim pravilima u području civilnog zrakoplovstva i osnivanju Agencije Europske unije za sigurnost zračnog prometa i izmjeni uredbi (EZ) br. 2111/2005, (EZ) br. 1008/2008, (EU) br. 996/2010, (EU) br. 376/2014 i direktiva 2014/30/EU i 2014/53/EU Europskog parlamenta i Vijeća te stavljanju izvan snage uredbi (EZ) br. 552/2004 i (EZ) br. 216/2008 Europskog parlamenta i Vijeća i Uredbe Vijeća (EEZ) br. 3922/91 (SL L 212, 22.8.2018., str. 1.), kada je riječ o projektiranju, proizvodnji i stavljanju na tržište zrakoplova iz članka 2. stavka 1. točaka (a) i (b), u vezi s bespilotnim zrakoplovima i njihovim motorima, propelerima, dijelovima i opremi za daljinsko upravljanje tim zrakoplovima.
20.
Regulation (EU) 2018/1139 of the European Parliament and of the Council of 4 July 2018 on common rules in the field of civil aviation and establishing a European Union Aviation Safety Agency, and amending Regulations (EC) No 2111/2005, (EC) No 1008/2008, (EU) No 996/2010, (EU) No 376/2014 and Directives 2014/30/EU and 2014/53/EU of the European Parliament and of the Council, and repealing Regulations (EC) No 552/2004 and (EC) No 216/2008 of the European Parliament and of the Council and Council Regulation (EEC) No 3922/91 (OJ L 212, 22.8.2018, p. 1), in so far as the design, production and placing on the market of aircrafts referred to in Article 2(1), points (a) and (b) thereof, where it concerns unmanned aircraft and their engines, propellers, parts and equipment to control them remotely, are concerned.
PRILOG II.
ANNEX II
Popis kaznenih djela iz članka 5. stavka 1. prvog podstavka točke (h) podtočke iii.
List of criminal offences referred to in Article 5(1), first subparagraph, point (h)(iii)
Kaznena djela iz članka 5. stavka 1. prvog podstavka točke (h) podtočke iii.:
Criminal offences referred to in Article 5(1), first subparagraph, point (h)(iii):
terorizam,
terrorism,
trgovina ljudima,
trafficking in human beings,
seksualno iskorištavanje djece i dječja pornografija,
sexual exploitation of children, and child pornography,
nezakonita trgovina opojnim drogama ili psihotropnim tvarima,
illicit trafficking in narcotic drugs or psychotropic substances,
nezakonita trgovina oružjem, streljivom ili eksplozivima,
illicit trafficking in weapons, munitions or explosives,
ubojstvo, teška tjelesna ozljeda,
murder, grievous bodily injury,
nezakonita trgovina ljudskim organima ili tkivom,
illicit trade in human organs or tissue,
nezakonita trgovina nuklearnim ili radioaktivnim materijalima,
illicit trafficking in nuclear or radioactive materials,
otmica, protupravno oduzimanje slobode ili uzimanje talaca,
kidnapping, illegal restraint or hostage-taking,
kaznena djela iz nadležnosti Međunarodnog kaznenog suda,
crimes within the jurisdiction of the International Criminal Court,
protupravno oduzimanje zrakoplova ili brodova,
unlawful seizure of aircraft or ships,
silovanje,
rape,
kazneno djelo protiv okoliša,
environmental crime,
organizirana ili oružana pljačka,
organised or armed robbery,
sabotaža,
sabotage,
sudjelovanje u zločinačkoj organizaciji uključenoj u jednoj od navedenih kaznenih djela ili više njih.
participation in a criminal organisation involved in one or more of the offences listed above.
PRILOG III.
ANNEX III
Visokorizični UI sustavi iz članka 6. stavka 2.
High-risk AI systems referred to in Article 6(2)
Visokorizični UI sustavi u skladu s člankom 6. stavkom 2. jesu UI sustavi u bilo kojem od sljedećih područja:
High-risk AI systems pursuant to Article 6(2) are the AI systems listed in any of the following areas:
1.
Biometrija, ako je njezino korištenje dopušteno na temelju relevantnog prava Unije ili nacionalnog prava:
1.
Biometrics, in so far as their use is permitted under relevant Union or national law:
(a)
sustavi za daljinsku biometrijsku identifikaciju.
(a)
remote biometric identification systems.
To ne uključuje UI sustave namijenjene za biometrijsku provjeru čija je jedina svrha potvrditi da je određena fizička osoba doista ona osoba kojom se predstavlja;
This shall not include AI systems intended to be used for biometric verification the sole purpose of which is to confirm that a specific natural person is the person he or she claims to be;
(b)
UI sustavi namijenjeni za biometrijsku kategorizaciju, u skladu s osjetljivim ili zaštićenim atributima ili karakteristikama na temelju zaključivanja o tim atributima ili značajkama;
(b)
AI systems intended to be used for biometric categorisation, according to sensitive or protected attributes or characteristics based on the inference of those attributes or characteristics;
(c)
UI sustavi namijenjeni za prepoznavanje emocija.
(c)
AI systems intended to be used for emotion recognition.
2.
Kritična infrastruktura: UI sustavi namijenjeni za korištenje kao sigurnosne komponente za upravljanje kritičnom digitalnom infrastrukturom, cestovnim prometom ili opskrbom vodom, plinom, grijanjem ili električnom energijom te za njihov rad.
2.
Critical infrastructure: AI systems intended to be used as safety components in the management and operation of critical digital infrastructure, road traffic, or in the supply of water, gas, heating or electricity.
3.
Obrazovanje i strukovno osposobljavanje:
3.
Education and vocational training:
(a)
UI sustavi namijenjeni za odlučivanje o pristupu ili upisu ili za razvrstavanje fizičkih osoba u ustanove ili programe za obrazovanje i strukovno osposobljavanje na svim razinama;
(a)
AI systems intended to be used to determine access or admission or to assign natural persons to educational and vocational training institutions at all levels;
(b)
UI sustavi namijenjeni za evaluaciju ishoda učenja, među ostalim kad se ti ishodi upotrebljavaju za usmjeravanje procesa učenja fizičkih osoba u ustanovama za obrazovanje i strukovno osposobljavanje na svim razinama;
(b)
AI systems intended to be used to evaluate learning outcomes, including when those outcomes are used to steer the learning process of natural persons in educational and vocational training institutions at all levels;
(c)
UI sustavi namijenjeni za upotrebu u svrhu procjene odgovarajuće razine obrazovanja koju će pojedinci primiti ili kojoj će moći pristupiti, u kontekstu ili unutar ustanova za obrazovanje i strukovno osposobljavanje na svim razinama;
(c)
AI systems intended to be used for the purpose of assessing the appropriate level of education that an individual will receive or will be able to access, in the context of or within educational and vocational training institutions at all levels;
(d)
UI sustavi namijenjeni za praćenje i otkrivanje zabranjenog postupanja učenika tijekom testiranja u kontekstu ili unutar ustanova za obrazovanje i strukovno osposobljavanje na svim razinama.
(d)
AI systems intended to be used for monitoring and detecting prohibited behaviour of students during tests in the context of or within educational and vocational training institutions at all levels.
4.
Zapošljavanje, kadrovsko upravljanje i pristup samozapošljavanju:
4.
Employment, workers’ management and access to self-employment:
(a)
UI sustavi namijenjeni za zapošljavanje ili odabir fizičkih osoba, posebno za postavljanje ciljanih oglasa za posao, za analizu i filtriranje prijava za posao te za evaluaciju kandidata;
(a)
AI systems intended to be used for the recruitment or selection of natural persons, in particular to place targeted job advertisements, to analyse and filter job applications, and to evaluate candidates;
(b)
UI sustavi namijenjeni za donošenje odluka koje utječu na uvjete radnog odnosa, promaknuće ili otkazivanje radnih ugovornih odnosa, za dodjelu zadataka na osnovi individualnog ponašanja ili osobnih obilježja odnosno karakteristika te za praćenje i evaluaciju učinkovitosti i ponašanja osoba u takvim odnosima.
(b)
AI systems intended to be used to make decisions affecting terms of work-related relationships, the promotion or termination of work-related contractual relationships, to allocate tasks based on individual behaviour or personal traits or characteristics or to monitor and evaluate the performance and behaviour of persons in such relationships.
5.
Pristup osnovnim privatnim uslugama te osnovnim javnim uslugama i naknadama i njihovo korištenje:
5.
Access to and enjoyment of essential private services and essential public services and benefits:
(a)
UI sustavi namijenjeni za korištenje od strane tijela javne vlasti ili u njihovo ime za evaluaciju prihvatljivosti fizičkih osoba za osnovne naknade i usluge javne pomoći, uključujući zdravstvene usluge, te za dodjeljivanje, smanjenje, ukidanje ili povrat takvih naknada i usluga;
(a)
AI systems intended to be used by public authorities or on behalf of public authorities to evaluate the eligibility of natural persons for essential public assistance benefits and services, including healthcare services, as well as to grant, reduce, revoke, or reclaim such benefits and services;
(b)
UI sustavi namijenjeni za evaluaciju kreditne sposobnosti fizičkih osoba ili utvrđivanje njihova kreditnog rejtinga, uz iznimku UI sustava koji se upotrebljavaju za otkrivanje financijskih prijevara;
(b)
AI systems intended to be used to evaluate the creditworthiness of natural persons or establish their credit score, with the exception of AI systems used for the purpose of detecting financial fraud;
(c)
UI sustavi namijenjeni za procjenu rizika i određivanje cijena u odnosu na fizičke osobe u slučaju životnog i zdravstvenog osiguranja;
(c)
AI systems intended to be used for risk assessment and pricing in relation to natural persons in the case of life and health insurance;
(d)
UI sustavi namijenjeni za evaluaciju i klasifikaciju hitnih poziva fizičkih osoba ili za dispečiranje ili određivanje prioriteta pri dispečiranju hitnih službi, uključujući policiju, vatrogasce i medicinsku pomoć, kao i sustave za trijažu pacijenata u pružanju hitne skrbi.
(d)
AI systems intended to evaluate and classify emergency calls by natural persons or to be used to dispatch, or to establish priority in the dispatching of, emergency first response services, including by police, firefighters and medical aid, as well as of emergency healthcare patient triage systems.
6.
Kazneni progon, ako je njihovo korištenje dopušteno na temelju relevantnog prava Unije ili nacionalnog prava:
6.
Law enforcement, in so far as their use is permitted under relevant Union or national law:
(a)
UI sustavi namijenjeni za korištenje od strane tijela kaznenog progona ili u njihovo ime ili od strane institucija, tijela, ureda ili agencija Unije za potporu tijelima kaznenog progona ili u njihovo ime za procjenu rizika fizičke osobe da postane žrtva kaznenih djela;
(a)
AI systems intended to be used by or on behalf of law enforcement authorities, or by Union institutions, bodies, offices or agencies in support of law enforcement authorities or on their behalf to assess the risk of a natural person becoming the victim of criminal offences;
(b)
UI sustavi namijenjeni za upotrebu od strane tijela kaznenog progona ili u njihovo ime ili od strane institucija, tijela, ureda ili agencija Unije za potporu tijelima kaznenog progona kao poligrafi ili slični alati;
(b)
AI systems intended to be used by or on behalf of law enforcement authorities or by Union institutions, bodies, offices or agencies in support of law enforcement authorities as polygraphs or similar tools;
(c)
UI sustavi namijenjeni za korištenje od strane tijela kaznenog progona ili u njihovo ime ili od strane institucija, tijela, ureda ili agencija Unije za potporu tijelima kaznenog progona za evaluaciju pouzdanosti dokaza tijekom istrage ili progona kaznenih djela;
(c)
AI systems intended to be used by or on behalf of law enforcement authorities, or by Union institutions, bodies, offices or agencies, in support of law enforcement authorities to evaluate the reliability of evidence in the course of the investigation or prosecution of criminal offences;
(d)
UI sustavi namijenjeni za korištenje od strane tijela kaznenog progona ili u njihovo ime ili od strane institucija, tijela, ureda ili agencija Unije za potporu tijelima kaznenog progona za procjenu rizika fizičke osobe do počini ili ponovno počini kazneno djelo ne samo na osnovi izrade profila fizičkih osoba kako je navedeno u članku 3. točki 4. Direktive (EU) 2016/680 ili za procjenu osobina i karakteristika ili prethodnog kriminalnog ponašanja fizičkih osoba ili skupina;
(d)
AI systems intended to be used by law enforcement authorities or on their behalf or by Union institutions, bodies, offices or agencies in support of law enforcement authorities for assessing the risk of a natural person offending or re-offending not solely on the basis of the profiling of natural persons as referred to in Article 3(4) of Directive (EU) 2016/680, or to assess personality traits and characteristics or past criminal behaviour of natural persons or groups;
(e)
UI sustavi namijenjeni za korištenje od strane tijela kaznenog progona ili u njihovo ime ili od strane institucija, tijela, ureda ili agencija Unije za potporu tijelima kaznenog progona za izradu profila fizičkih osoba kako je navedeno u članku 3. točki 4. Direktive (EU) 2016/680 tijekom otkrivanja, istrage ili progona kaznenih djela.
(e)
AI systems intended to be used by or on behalf of law enforcement authorities or by Union institutions, bodies, offices or agencies in support of law enforcement authorities for the profiling of natural persons as referred to in Article 3(4) of Directive (EU) 2016/680 in the course of the detection, investigation or prosecution of criminal offences.
7.
Migracije, azil i upravljanje nadzorom državne granice, ako je njihovo korištenje dopušteno na temelju relevantnog prava Unije ili nacionalnog prava:
7.
Migration, asylum and border control management, in so far as their use is permitted under relevant Union or national law:
(a)
UI sustavi namijenjeni za korištenje od strane nadležnih tijela javne vlasti ili u njihovo ime ili od strane institucija, tijela, ureda ili agencija Unije kao poligrafi ili slični alati;
(a)
AI systems intended to be used by or on behalf of competent public authorities or by Union institutions, bodies, offices or agencies as polygraphs or similar tools;
(b)
UI sustavi namijenjeni za korištenje od strane nadležnih tijela javne vlasti ili u njihovo ime ili od strane institucija, tijela, ureda ili agencija Unije za procjenu rizika, uključujući rizik za sigurnost, rizik od nezakonitih migracija ili rizik za zdravlje, koji predstavlja fizička osoba koja namjerava ući ili je ušla na državno područje države članice;
(b)
AI systems intended to be used by or on behalf of competent public authorities or by Union institutions, bodies, offices or agencies to assess a risk, including a security risk, a risk of irregular migration, or a health risk, posed by a natural person who intends to enter or who has entered into the territory of a Member State;
(c)
UI sustavi namijenjeni za korištenje od strane nadležnih tijela javne vlasti ili u njihovo ime ili od strane institucija, tijela, ureda ili agencija Unije za pomoć nadležnim tijelima javne vlasti u razmatranju zahtjeva za azil, viza ili boravišnih dozvola i povezanih pritužbi u pogledu prihvatljivosti fizičkih osoba koje podnose zahtjev za određeni status, uključujući povezane procjene pouzdanosti dokaza;
(c)
AI systems intended to be used by or on behalf of competent public authorities or by Union institutions, bodies, offices or agencies to assist competent public authorities for the examination of applications for asylum, visa or residence permits and for associated complaints with regard to the eligibility of the natural persons applying for a status, including related assessments of the reliability of evidence;
(d)
UI sustavi namijenjeni za korištenje od strane nadležnih tijela javne vlasti ili u njihovo ime ili od strane institucija, tijela, ureda ili agencija Unije, u kontekstu migracija, azila ili upravljanja nadzorom državne granice, u svrhu otkrivanja, prepoznavanja ili identifikacije fizičkih osoba, uz iznimku provjere putnih isprava.
(d)
AI systems intended to be used by or on behalf of competent public authorities, or by Union institutions, bodies, offices or agencies, in the context of migration, asylum or border control management, for the purpose of detecting, recognising or identifying natural persons, with the exception of the verification of travel documents.
8.
Sudovanje i demokratski procesi:
8.
Administration of justice and democratic processes:
(a)
UI sustavi namijenjeni za korištenje od strane pravosudnih tijela ili u njihovo ime za pomoć pravosudnom tijelu u istraživanju i tumačenju činjenica i prava te primjeni prava na konkretan skup činjenica ili za upotrebu na sličan način u alternativnom rješavanju sporova;
(a)
AI systems intended to be used by a judicial authority or on their behalf to assist a judicial authority in researching and interpreting facts and the law and in applying the law to a concrete set of facts, or to be used in a similar way in alternative dispute resolution;
(b)
UI sustavi namijenjeni za utjecanje na ishod izbora ili referenduma ili na ponašanje fizičkih osoba pri glasovanju na izborima ili referendumima. To ne uključuje UI sustave čijim izlaznim podacima fizičke osobe nisu izravno izložene, kao što su alati koji se upotrebljavaju za organizaciju, optimizaciju i strukturiranje političkih kampanja s administrativnog ili logističkog stajališta.
(b)
AI systems intended to be used for influencing the outcome of an election or referendum or the voting behaviour of natural persons in the exercise of their vote in elections or referenda. This does not include AI systems to the output of which natural persons are not directly exposed, such as tools used to organise, optimise or structure political campaigns from an administrative or logistical point of view.
PRILOG IV.
ANNEX IV
Tehnička dokumentacija iz članka 11. stavka 1.
Technical documentation referred to in Article 11(1)
Tehnička dokumentacija iz članka 11. stavka 1. sadržava barem sljedeće informacije, ovisno o tome što je primjenjivo na dotični UI sustav:
The technical documentation referred to in Article 11(1) shall contain at least the following information, as applicable to the relevant AI system:
1.
opći opis UI sustava, uključujući:
1.
A general description of the AI system including:
(a)
njegovu namjenu, ime dobavljača i verziju sustava koja odražava njegovu povezanost s prethodnim verzijama;
(a)
its intended purpose, the name of the provider and the version of the system reflecting its relation to previous versions;
(b)
način na koji je UI sustav u interakciji s hardverom ili softverom, među ostalim s drugim UI sustavima koji nisu dio samog UI sustava, ili način na koji se može upotrijebiti za takvu interakciju, ako je primjenjivo;
(b)
how the AI system interacts with, or can be used to interact with, hardware or software, including with other AI systems, that are not part of the AI system itself, where applicable;
(c)
verzije relevantnog softvera ili ugrađenog softvera i sve zahtjeve povezane s ažuriranjem verzija;
(c)
the versions of relevant software or firmware, and any requirements related to version updates;
(d)
opis svih oblika u kojima se UI sustav stavlja na tržište ili u upotrebu, kao što su softverski paketi ugrađeni u hardver, preuzimanja ili aplikacijska programska sučelja;
(d)
the description of all the forms in which the AI system is placed on the market or put into service, such as software packages embedded into hardware, downloads, or APIs;
(e)
opis hardvera na kojem bi UI sustav trebao raditi;
(e)
the description of the hardware on which the AI system is intended to run;
(f)
ako je UI sustav komponenta proizvoda, fotografije ili ilustracije koje prikazuju vanjske značajke, oznake i unutarnju strukturu tih proizvoda;
(f)
where the AI system is a component of products, photographs or illustrations showing external features, the marking and internal layout of those products;
(g)
osnovni opis korisničkog sučelja koje se pruža subjektu koji uvodi sustav;
(g)
a basic description of the user-interface provided to the deployer;
(h)
upute za korištenje namijenjene subjektu koji uvodi sustav i osnovni opis korisničkog sučelja koje se pruža subjektu koji uvod sustav, ako je primjenjivo;
(h)
instructions for use for the deployer, and a basic description of the user-interface provided to the deployer, where applicable;
2.
detaljan opis elemenata UI sustava i postupka njegova razvoja, uključujući:
2.
A detailed description of the elements of the AI system and of the process for its development, including:
(a)
metode i korake provedene u razvoju UI sustava, uključujući, ako je to relevantno, upotrebu prethodno treniranih sustava ili alata trećih strana i način na koji ih je dobavljač upotrijebio, integrirao ili izmijenio;
(a)
the methods and steps performed for the development of the AI system, including, where relevant, recourse to pre-trained systems or tools provided by third parties and how those were used, integrated or modified by the provider;
(b)
specifikacije dizajna sustava, odnosno opću logiku UI sustava i algoritama; najvažnije odabire u pogledu dizajna, uključujući obrazloženja i pretpostavke, među ostalim u vezi s osobama ili skupinama osoba u vezi s kojima se sustav namjerava upotrebljavati; glavne klasifikacijske odabire; informacije o tome što bi sustav svojim dizajnom trebao optimizirati i relevantnost različitih parametara; opis očekivanih izlaznih podataka sustava i njihove kvalitete; odluke o eventualnim kompromisima u pogledu tehničkih rješenja donesenima radi ispunjavanja zahtjeva iz poglavlja III. odjeljka 2.;
(b)
the design specifications of the system, namely the general logic of the AI system and of the algorithms; the key design choices including the rationale and assumptions made, including with regard to persons or groups of persons in respect of who, the system is intended to be used; the main classification choices; what the system is designed to optimise for, and the relevance of the different parameters; the description of the expected output and output quality of the system; the decisions about any possible trade-off made regarding the technical solutions adopted to comply with the requirements set out in Chapter III, Section 2;
(c)
opis arhitekture sustava u kojem se objašnjava kako se softverske komponente međusobno nadopunjuju ili potpomažu te kako su integrirane u cjelokupnu obradu; računalne resurse upotrijebljene za razvoj, treniranje, testiranje i validaciju UI sustava;
(c)
the description of the system architecture explaining how software components build on or feed into each other and integrate into the overall processing; the computational resources used to develop, train, test and validate the AI system;
(d)
ako je to relevantno, zahtjeve u pogledu podataka u smislu tablica s opisom metodologija i tehnika treniranja te upotrijebljenih skupova podataka za treniranje, uključujući opći opis tih skupova podataka i informacije o njihovu podrijetlu, sadržaju i glavnim karakteristikama; način na koji su podaci dobiveni i odabrani; postupke označivanja (npr. za nadzirano učenje), metodologije čišćenja podataka (npr. otkrivanje netipičnih vrijednosti);
(d)
where relevant, the data requirements in terms of datasheets describing the training methodologies and techniques and the training data sets used, including a general description of these data sets, information about their provenance, scope and main characteristics; how the data was obtained and selected; labelling procedures (e.g. for supervised learning), data cleaning methodologies (e.g. outliers detection);
(e)
procjenu mjera ljudskog nadzora potrebnih u skladu s člankom 14., uključujući procjenu tehničkih mjera potrebnih kako bi se subjektima koji uvode sustav olakšalo tumačenje izlaznih podataka UI sustava, u skladu s člankom 13. stavkom 3. točkom (d);
(e)
assessment of the human oversight measures needed in accordance with Article 14, including an assessment of the technical measures needed to facilitate the interpretation of the outputs of AI systems by the deployers, in accordance with Article 13(3), point (d);
(f)
ako je primjenjivo, detaljan opis unaprijed određenih promjena UI sustava i njegove učinkovitosti, zajedno sa svim relevantnim informacijama o tehničkim rješenjima primijenjenima radi osiguravanja kontinuirane usklađenosti UI sustava s relevantnim zahtjevima iz poglavlja III. odjeljka 2.;
(f)
where applicable, a detailed description of pre-determined changes to the AI system and its performance, together with all the relevant information related to the technical solutions adopted to ensure continuous compliance of the AI system with the relevant requirements set out in Chapter III, Section 2;
(g)
primijenjene postupke validacije i testiranja, uključujući informacije o podacima upotrijebljenima za validaciju i testiranje te njihovim glavnim karakteristikama; parametre upotrijebljene za mjerenje točnosti, otpornosti i usklađenosti s drugim relevantnim zahtjevima iz poglavlja III. odjeljka 2., kao i potencijalne diskriminirajuće učinke; evidenciju događaja tijekom testiranja i sva izvješća o testiranju s datumom i potpisom odgovornih osoba, među ostalim u vezi s unaprijed određenim promjenama iz točke (f);
(g)
the validation and testing procedures used, including information about the validation and testing data used and their main characteristics; metrics used to measure accuracy, robustness and compliance with other relevant requirements set out in Chapter III, Section 2, as well as potentially discriminatory impacts; test logs and all test reports dated and signed by the responsible persons, including with regard to pre-determined changes as referred to under point (f);
(h)
uspostavljene mjere u području kibernetičke sigurnosti;
(h)
cybersecurity measures put in place;
3.
detaljne informacije o praćenju, funkcioniranju i kontroli UI sustava, posebno u pogledu sljedećeg: njegovih sposobnosti i ograničenja u radu, uključujući stupnjeve točnosti za konkretne osobe ili skupine osoba na kojima se sustav namjerava upotrebljavati te ukupnu očekivanu razinu točnosti u odnosu na namjenu sustava; predvidljivih neplaniranih ishoda i izvora rizika za zdravlje i sigurnost, temeljna prava i u pogledu diskriminacije s obzirom na namjenu UI sustava; mjera ljudskog nadzora potrebnih u skladu s člankom 14., uključujući tehničke mjere uspostavljene kako bi se subjektima koji uvode sustav olakšalo tumačenje izlaznih podataka UI sustava; specifikacije ulaznih podataka, prema potrebi;
3.
Detailed information about the monitoring, functioning and control of the AI system, in particular with regard to: its capabilities and limitations in performance, including the degrees of accuracy for specific persons or groups of persons on which the system is intended to be used and the overall expected level of accuracy in relation to its intended purpose; the foreseeable unintended outcomes and sources of risks to health and safety, fundamental rights and discrimination in view of the intended purpose of the AI system; the human oversight measures needed in accordance with Article 14, including the technical measures put in place to facilitate the interpretation of the outputs of AI systems by the deployers; specifications on input data, as appropriate;
4.
opis primjerenosti parametara učinkovitosti za određeni UI sustav;
4.
A description of the appropriateness of the performance metrics for the specific AI system;
5.
detaljan opis sustava upravljanja rizikom u skladu s člankom 9.;
5.
A detailed description of the risk management system in accordance with Article 9;
6.
opis svih relevantnih promjena koje je dobavljač unio u sustav tijekom njegova životnog ciklusa;
6.
A description of relevant changes made by the provider to the system through its lifecycle;
7.
popis u cijelosti ili djelomično primijenjenih usklađenih normi na koje su objavljena upućivanja u Službenom listu Europske unije; ako nisu primijenjene takve usklađene norme, detaljan opis rješenja koja su primijenjenima radi ispunjavanja zahtjeva iz poglavlja III. odjeljka 2., uključujući popis drugih primijenjenih relevantnih normi i tehničkih specifikacija;
7.
A list of the harmonised standards applied in full or in part the references of which have been published in the Official Journal of the European Union; where no such harmonised standards have been applied, a detailed description of the solutions adopted to meet the requirements set out in Chapter III, Section 2, including a list of other relevant standards and technical specifications applied;
8.
primjerak EU izjave o sukladnosti iz članka 47.;
8.
A copy of the EU declaration of conformity referred to in Article 47;
9.
detaljan opis sustava uspostavljenog za evaluaciju učinkovitosti UI sustava u fazi nakon stavljanja na tržište u skladu s člankom 72., uključujući plan praćenja nakon stavljanja na tržište iz članka 72. stavka 3.
9.
A detailed description of the system in place to evaluate the AI system performance in the post-market phase in accordance with Article 72, including the post-market monitoring plan referred to in Article 72(3).
PRILOG V.
ANNEX V
EU izjava o sukladnosti
EU declaration of conformity
EU izjava o sukladnosti iz članka 47. sadržava sve sljedeće informacije:
The EU declaration of conformity referred to in Article 47, shall contain all of the following information:
1.
ime i vrstu UI sustava te sve dodatne nedvosmislene referentne oznake koje omogućuju identifikaciju i sljedivost UI sustava;
1.
AI system name and type and any additional unambiguous reference allowing the identification and traceability of the AI system;
2.
ime i adresu dobavljača ili, kada je to primjenjivo, njegova ovlaštenog zastupnika;
2.
The name and address of the provider or, where applicable, of their authorised representative;
3.
izjavu da je za izdavanje EU izjave o sukladnosti iz članka 47. odgovoran isključivo dobavljač;
3.
A statement that the EU declaration of conformity referred to in Article 47 is issued under the sole responsibility of the provider;
4.
izjavu da je UI sustav sukladan s ovom Uredbom i, ako je primjenjivo, sa svim drugim relevantnim pravom Unije kojim je predviđeno izdavanje EU izjave o sukladnosti iz članka 47.;
4.
A statement that the AI system is in conformity with this Regulation and, if applicable, with any other relevant Union law that provides for the issuing of the EU declaration of conformity referred to in Article 47;
5.
ako UI sustav obuhvaća obradu osobnih podataka, izjavu da je taj UI sustav usklađen s uredbama (EU) 2016/679 i (EU) 2018/1725 te Direktivom (EU) 2016/680;
5.
Where an AI system involves the processing of personal data, a statement that that AI system complies with Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680;
6.
upućivanja na sve primijenjene relevantne usklađene norme ili druge zajedničke specifikacije u odnosu na koje se izjavljuje sukladnost;
6.
References to any relevant harmonised standards used or any other common specification in relation to which conformity is declared;
7.
ako je primjenjivo, ime i identifikacijski broj prijavljenog tijela, opis provedenog postupka ocjenjivanja sukladnosti te identifikacijsku oznaku izdane potvrde;
7.
Where applicable, the name and identification number of the notified body, a description of the conformity assessment procedure performed, and identification of the certificate issued;
8.
mjesto i datum izdavanja izjave, ime i funkciju osobe koja ju je potpisala, uključujući navod za koga ili u čije ime je potpisana, te potpis.
8.
The place and date of issue of the declaration, the name and function of the person who signed it, as well as an indication for, or on behalf of whom, that person signed, a signature.
PRILOG VI.
ANNEX VI
Postupak ocjenjivanja sukladnosti na temelju unutarnje kontrole
Conformity assessment procedure based on internal control
1.
1.
Postupak ocjenjivanja sukladnosti na temelju unutarnje kontrole postupak je ocjenjivanja sukladnosti na temelju točaka 2., 3. i 4.
The conformity assessment procedure based on internal control is the conformity assessment procedure based on points 2, 3 and 4.
2.
2.
Dobavljač provjerava je li uvedeni sustav upravljanja kvalitetom usklađen sa zahtjevima iz članka 17.
The provider verifies that the established quality management system is in compliance with the requirements of Article 17.
3.
3.
Dobavljač pregledava informacije iz tehničke dokumentacije kako bi ocijenio usklađenost UI sustava s relevantnim temeljnim zahtjevima iz poglavlja III. odjeljka 2.
The provider examines the information contained in the technical documentation in order to assess the compliance of the AI system with the relevant essential requirements set out in Chapter III, Section 2.
4.
4.
Osim toga, dobavljač provjerava jesu li postupak dizajniranja i razvoja UI sustava te njegovo praćenje nakon stavljanja na tržište iz članka 72. u skladu s tehničkom dokumentacijom.
The provider also verifies that the design and development process of the AI system and its post-market monitoring as referred to in Article 72 is consistent with the technical documentation.
PRILOG VII.
ANNEX VII
Sukladnost na temelju ocjenjivanja sustava upravljanja kvalitetom i ocjenjivanja tehničke dokumentacije
Conformity based on an assessment of the quality management system and an assessment of the technical documentation
1. Uvod
1. Introduction
Sukladnost na temelju ocjenjivanja sustava upravljanja kvalitetom i ocjenjivanja tehničke dokumentacije postupak je ocjenjivanja sukladnosti na temelju točaka od 2. do 5.
Conformity based on an assessment of the quality management system and an assessment of the technical documentation is the conformity assessment procedure based on points 2 to 5.
2. Pregled
2. Overview
Odobreni sustav upravljanja kvalitetom za dizajniranje, razvoj i testiranje UI sustavâ na temelju članka 17. ispituje se u skladu s točkom 3. i podliježe nadzoru kako je utvrđeno u točki 5. Tehnička dokumentacija UI sustava pregledava se u skladu s točkom 4.
The approved quality management system for the design, development and testing of AI systems pursuant to Article 17 shall be examined in accordance with point 3 and shall be subject to surveillance as specified in point 5. The technical documentation of the AI system shall be examined in accordance with point 4.
3. Sustav upravljanja kvalitetom
3. Quality management system
3.1.
Zahtjev dobavljača sadržava:
3.1.
The application of the provider shall include:
(a)
ime i adresu dobavljača te, ako je zahtjev podnio ovlašteni zastupnik, i njegovo ime te adresu;
(a)
the name and address of the provider and, if the application is lodged by an authorised representative, also their name and address;
(b)
popis UI sustava obuhvaćenih istim sustavom upravljanja kvalitetom;
(b)
the list of AI systems covered under the same quality management system;
(c)
tehničku dokumentaciju za svaki UI sustav obuhvaćen istim sustavom upravljanja kvalitetom;
(c)
the technical documentation for each AI system covered under the same quality management system;
(d)
dokumentaciju o sustavu upravljanja kvalitetom koja obuhvaća sve aspekte navedene u članku 17.;
(d)
the documentation concerning the quality management system which shall cover all the aspects listed under Article 17;
(e)
opis uspostavljenih postupaka kojima se osigurava da sustav upravljanja kvalitetom ostane adekvatan i djelotvoran;
(e)
a description of the procedures in place to ensure that the quality management system remains adequate and effective;
(f)
pisanu izjavu da isti zahtjev nije podnesen nijednom drugom prijavljenom tijelu.
(f)
a written declaration that the same application has not been lodged with any other notified body.
3.2.
Prijavljeno tijelo ocjenjuje sustav upravljanja kvalitetom i utvrđuje udovoljava li on zahtjevima iz članka 17.
3.2.
The quality management system shall be assessed by the notified body, which shall determine whether it satisfies the requirements referred to in Article 17.
O toj se odluci obavješćuje dobavljač ili njegov ovlašteni zastupnik.
The decision shall be notified to the provider or its authorised representative.
Ta obavijest sadržava zaključke ocjenjivanja sustava upravljanja kvalitetom i obrazloženu odluku o ocjeni.
The notification shall contain the conclusions of the assessment of the quality management system and the reasoned assessment decision.
3.3.
Dobavljač nastavlja primjenjivati i održavati odobreni sustav upravljanja kvalitetom tako da ostane adekvatan i učinkovit.
3.3.
The quality management system as approved shall continue to be implemented and maintained by the provider so that it remains adequate and efficient.
3.4.
Dobavljač obavješćuje prijavljeno tijelo o svakoj planiranoj promjeni odobrenog sustava upravljanja kvalitetom ili popisa UI sustava koji su njime obuhvaćeni.
3.4.
Any intended change to the approved quality management system or the list of AI systems covered by the latter shall be brought to the attention of the notified body by the provider.
Prijavljeno tijelo pregledava predložene promjene i donosi odluku o tome ispunjava li izmijenjeni sustav upravljanja kvalitetom i dalje zahtjeve iz točke 3.2. ili je potrebno ponovno ocjenjivanje.
The proposed changes shall be examined by the notified body, which shall decide whether the modified quality management system continues to satisfy the requirements referred to in point 3.2 or whether a reassessment is necessary.
Prijavljeno tijelo obavješćuje dobavljača o svojoj odluci. Ta obavijest sadržava zaključke pregleda promjena i obrazloženu odluku o ocjeni.
The notified body shall notify the provider of its decision. The notification shall contain the conclusions of the examination of the changes and the reasoned assessment decision.
4. Kontrola tehničke dokumentacije
4. Control of the technical documentation.
4.1.
Uz zahtjev iz točke 3. dobavljač podnosi prijavljenom tijelu koje je sâm odabrao zahtjev za ocjenjivanje tehničke dokumentacije UI sustava koji dobavljač namjerava staviti na tržište ili u upotrebu i koji je obuhvaćen sustavom upravljanja kvalitetom iz točke 3.
4.1.
In addition to the application referred to in point 3, an application with a notified body of their choice shall be lodged by the provider for the assessment of the technical documentation relating to the AI system which the provider intends to place on the market or put into service and which is covered by the quality management system referred to under point 3.
4.2.
Taj zahtjev sadržava:
4.2.
The application shall include:
(a)
ime i adresu dobavljača;
(a)
the name and address of the provider;
(b)
pisanu izjavu da isti zahtjev nije podnesen nijednom drugom prijavljenom tijelu;
(b)
a written declaration that the same application has not been lodged with any other notified body;
(c)
tehničku dokumentaciju iz Priloga IV.
(c)
the technical documentation referred to in Annex IV.
4.3.
Prijavljeno tijelo pregledava tu tehničku dokumentaciju. Ako je to relevantno i ograničeno na ono što je potrebno za ispunjavanje njegovih zadaća, prijavljenom tijelu odobrava se puni pristup upotrijebljenim skupovima podataka za treniranje, validaciju i testiranje, među ostalim, prema potrebi i podložno sigurnosnim zaštitnim mjerama, putem aplikacijskih programskih sučelja ili drugih relevantnih tehničkih sredstava i alata koji omogućuju daljinski pristup.
4.3.
The technical documentation shall be examined by the notified body. Where relevant, and limited to what is necessary to fulfil its tasks, the notified body shall be granted full access to the training, validation, and testing data sets used, including, where appropriate and subject to security safeguards, through API or other relevant technical means and tools enabling remote access.
4.4.
Pri pregledu tehničke dokumentacije prijavljeno tijelo može zatražiti da dobavljač dostavi dodatne dokaze ili provede dodatna testiranja kako bi se omogućilo pravilno ocjenjivanje sukladnosti UI sustava sa zahtjevima utvrđenima u poglavlju III. odjeljku 2. Ako prijavljeno tijelo nije zadovoljno testiranjima koja je proveo dobavljač, ono prema potrebi samo izravno provodi adekvatna testiranja.
4.4.
In examining the technical documentation, the notified body may require that the provider supply further evidence or carry out further tests so as to enable a proper assessment of the conformity of the AI system with the requirements set out in Chapter III, Section 2. Where the notified body is not satisfied with the tests carried out by the provider, the notified body shall itself directly carry out adequate tests, as appropriate.
4.5.
Ako je to potrebno za ocjenjivanje sukladnosti visokorizičnog UI sustava sa zahtjevima utvrđenima u poglavlju III. odjeljku 2., nakon što su svi drugi razumni načini provjere sukladnosti iscrpljeni ili su se pokazali nedostatnima, i na obrazložen zahtjev, prijavljenom tijelu također se odobrava pristup modelima za treniranje i istreniranim modelima UI sustava, uključujući njegove relevantne parametre. Na taj pristup primjenjuje se postojeće pravo Unije u području zaštite intelektualnog vlasništva i poslovnih tajni.
4.5.
Where necessary to assess the conformity of the high-risk AI system with the requirements set out in Chapter III, Section 2, after all other reasonable means to verify conformity have been exhausted and have proven to be insufficient, and upon a reasoned request, the notified body shall also be granted access to the training and trained models of the AI system, including its relevant parameters. Such access shall be subject to existing Union law on the protection of intellectual property and trade secrets.
4.6.
O odluci prijavljenog tijela obavješćuje se dobavljač ili njegov ovlašteni zastupnik. Ta obavijest sadržava zaključke ocjenjivanja tehničke dokumentacije i obrazloženu odluku o ocjeni.
4.6.
The decision of the notified body shall be notified to the provider or its authorised representative. The notification shall contain the conclusions of the assessment of the technical documentation and the reasoned assessment decision.
Ako je UI sustav sukladan sa zahtjevima iz poglavlja III. odjeljka 2., prijavljeno tijelo izdaje potvrdu Unije o ocjenjivanju tehničke dokumentacije. Ta potvrda sadržava ime i adresu dobavljača, zaključke pregleda, uvjete valjanosti potvrde (ako postoje) i podatke potrebne za identifikaciju dotičnog UI sustava.
Where the AI system is in conformity with the requirements set out in Chapter III, Section 2, the notified body shall issue a Union technical documentation assessment certificate. The certificate shall indicate the name and address of the provider, the conclusions of the examination, the conditions (if any) for its validity and the data necessary for the identification of the AI system.
Potvrda i njezini prilozi sadržavaju sve relevantne informacije potrebne za omogućivanje evaluacije sukladnosti UI sustava i, prema potrebi, za kontrolu UI sustava tijekom korištenja.
The certificate and its annexes shall contain all relevant information to allow the conformity of the AI system to be evaluated, and to allow for control of the AI system while in use, where applicable.
Ako UI sustav nije sukladan sa zahtjevima iz poglavlja III. odjeljka 2., prijavljeno tijelo odbija izdati potvrdu Unije o ocjenjivanju tehničke dokumentacije te o tome obavješćuje podnositelja zahtjeva, uz detaljno obrazloženje odbijanja.
Where the AI system is not in conformity with the requirements set out in Chapter III, Section 2, the notified body shall refuse to issue a Union technical documentation assessment certificate and shall inform the applicant accordingly, giving detailed reasons for its refusal.
Ako UI sustav ne ispunjava zahtjev u pogledu podataka upotrijebljenih za njegovo treniranje, prije podnošenja zahtjeva za novo ocjenjivanje sukladnosti bit će potrebno ponovno treniranje dotičnog UI sustava. U tom slučaju obrazložena odluka prijavljenog tijela o odbijanju izdavanja potvrde Unije o ocjenjivanju tehničke dokumentacije sadržava konkretne argumente o kvaliteti podataka upotrijebljenih za treniranje UI sustava, a posebno o razlozima za utvrđivanje neusklađenosti.
Where the AI system does not meet the requirement relating to the data used to train it, re-training of the AI system will be needed prior to the application for a new conformity assessment. In this case, the reasoned assessment decision of the notified body refusing to issue the Union technical documentation assessment certificate shall contain specific considerations on the quality data used to train the AI system, in particular on the reasons for non-compliance.
4.7.
Svaku promjenu UI sustava koja bi mogla utjecati na usklađenost UI sustava sa zahtjevima ili na njegovu namjenu ocjenjuje prijavljeno tijelo koje je izdalo potvrdu Unije o ocjenjivanju tehničke dokumentacije. Dobavljač obavješćuje to prijavljeno tijelo o svojoj namjeri da uvede neku od navedenih promjena ili ako na neki drugi način sazna za pojavu takvih promjena. Prijavljeno tijelo ocjenjuje planirane promjene i odlučuje je li zbog njih potrebno novo ocjenjivanje sukladnosti u skladu s člankom 43. stavkom 4. ili se za njih može izdati dodatak potvrdi Unije o ocjenjivanju tehničke dokumentacije. U potonjem slučaju prijavljeno tijelo ocjenjuje promjene, obavješćuje dobavljača o svojoj odluci te, ako promjene odobri, dobavljaču izdaje dodatak potvrdi Unije o ocjenjivanju tehničke dokumentacije.
4.7.
Any change to the AI system that could affect the compliance of the AI system with the requirements or its intended purpose shall be assessed by the notified body which issued the Union technical documentation assessment certificate. The provider shall inform such notified body of its intention to introduce any of the abovementioned changes, or if it otherwise becomes aware of the occurrence of such changes. The intended changes shall be assessed by the notified body, which shall decide whether those changes require a new conformity assessment in accordance with Article 43(4) or whether they could be addressed by means of a supplement to the Union technical documentation assessment certificate. In the latter case, the notified body shall assess the changes, notify the provider of its decision and, where the changes are approved, issue to the provider a supplement to the Union technical documentation assessment certificate.
5. Nadzor nad odobrenim sustavom upravljanja kvalitetom
5. Surveillance of the approved quality management system.
5.1.
Svrha je nadzora koji provodi prijavljeno tijelo iz točke 3. osigurati da dobavljač ispunjava uvjete odobrenog sustava upravljanja kvalitetom.
5.1.
The purpose of the surveillance carried out by the notified body referred to in Point 3 is to make sure that the provider duly complies with the terms and conditions of the approved quality management system.
5.2.
Za potrebe ocjenjivanja dobavljač prijavljenom tijelu omogućuje pristup prostorima u kojima se odvijaju dizajniranje, razvoj i testiranje UI sustava. Osim toga, dobavljač prijavljenom tijelu daje sve potrebne informacije.
5.2.
For assessment purposes, the provider shall allow the notified body to access the premises where the design, development, testing of the AI systems is taking place. The provider shall further share with the notified body all necessary information.
5.3.
Prijavljeno tijelo provodi periodične revizije kako bi potvrdilo da dobavljač provodi i primjenjuje sustav upravljanja kvalitetom te dobavljaču dostavlja izvješće o reviziji. U okviru tih revizija prijavljeno tijelo može provesti dodatna testiranja UI sustava za koje je izdana potvrda Unije o ocjenjivanju tehničke dokumentacije.
5.3.
The notified body shall carry out periodic audits to make sure that the provider maintains and applies the quality management system and shall provide the provider with an audit report. In the context of those audits, the notified body may carry out additional tests of the AI systems for which a Union technical documentation assessment certificate was issued.
PRILOG VIII.
ANNEX VIII
Informacije koje se moraju dostaviti pri registraciji visokorizičnih UI sustava u skladu s člankom 49.
Information to be submitted upon the registration of high-risk AI systems in accordance with Article 49
Odjeljak A – Informacije koje moraju dostaviti dobavljači visokorizičnih UI sustava u skladu s člankom 49. stavkom 1.
Section A — Information to be submitted by providers of high-risk AI systems in accordance with Article 49(1)
Za visokorizične UI sustave koji se moraju registrirati u skladu s člankom 49. stavkom 1. dostavljaju se, a nakon toga ažuriraju, sljedeće informacije:
The following information shall be provided and thereafter kept up to date with regard to high-risk AI systems to be registered in accordance with Article 49(1):
1.
ime, adresa i kontaktni podaci dobavljača;
1.
The name, address and contact details of the provider;
2.
ako informacije dostavlja druga osoba u ime dobavljača, ime, adresa i kontaktni podaci te osobe;
2.
Where submission of information is carried out by another person on behalf of the provider, the name, address and contact details of that person;
3.
ime, adresa i kontaktni podaci ovlaštenog zastupnika, ako je primjenjivo;
3.
The name, address and contact details of the authorised representative, where applicable;
4.
trgovačko ime UI sustava i sve dodatne nedvosmislene referentne oznake koje omogućuju identifikaciju i sljedivost UI sustava;
4.
The AI system trade name and any additional unambiguous reference allowing the identification and traceability of the AI system;
5.
opis namjene UI sustava te komponenti i funkcija koje podržava taj UI sustav;
5.
A description of the intended purpose of the AI system and of the components and functions supported through this AI system;
6.
osnovni i sažet opis informacija koje sustav upotrebljava (podaci, ulazne vrijednosti) i njegova logika funkcioniranja;
6.
A basic and concise description of the information used by the system (data, inputs) and its operating logic;
7.
status UI sustava (stavljen na tržište ili u upotrebi; više nije stavljen na tržište / u upotrebi, opozvan);
7.
The status of the AI system (on the market, or in service; no longer placed on the market/in service, recalled);
8.
vrsta, broj i datum isteka potvrde koju je izdalo prijavljeno tijelo te ime ili identifikacijski broj tog prijavljenog tijela, ako je primjenjivo;
8.
The type, number and expiry date of the certificate issued by the notified body and the name or identification number of that notified body, where applicable;
9.
skenirani primjerak potvrde iz točke 8., ako je primjenjivo;
9.
A scanned copy of the certificate referred to in point 8, where applicable;
10.
imena država članica u kojima je UI sustav stavljen na tržište, u upotrebu ili na raspolaganje u Uniji;
10.
Any Member States in which the AI system has been placed on the market, put into service or made available in the Union;
11.
primjerak EU izjave o sukladnosti iz članka 47.;
11.
A copy of the EU declaration of conformity referred to in Article 47;
12.
upute za korištenje u elektroničkom formatu; te se informacije ne dostavljaju za visokorizične UI sustave u području kaznenog progona ili migracija, azila i upravljanja nadzorom državne granice iz Priloga III. točaka 1., 6. i 7.;
12.
Electronic instructions for use; this information shall not be provided for high-risk AI systems in the areas of law enforcement or migration, asylum and border control management referred to in Annex III, points 1, 6 and 7;
13.
URL adresa za dodatne informacije (nije obvezno).
13.
A URL for additional information (optional).
Odjeljak B – Informacije koje moraju dostaviti dobavljači visokorizičnih UI sustava u skladu s člankom 49. stavkom 2.
Section B — Information to be submitted by providers of high-risk AI systems in accordance with Article 49(2)
Za UI sustave koji se moraju registrirati u skladu s člankom 49. stavkom 2. dostavljaju se, a nakon toga ažuriraju, sljedeće informacije:
The following information shall be provided and thereafter kept up to date with regard to AI systems to be registered in accordance with Article 49(2):
1.
ime, adresa i kontaktni podaci dobavljača;
1.
The name, address and contact details of the provider;
2.
ako informacije dostavlja druga osoba u ime dobavljača, ime, adresa i kontaktni podaci te osobe;
2.
Where submission of information is carried out by another person on behalf of the provider, the name, address and contact details of that person;
3.
ime, adresa i kontaktni podaci ovlaštenog zastupnika, ako je primjenjivo;
3.
The name, address and contact details of the authorised representative, where applicable;
4.
trgovačko ime UI sustava i sve dodatne nedvosmislene referentne oznake koje omogućuju identifikaciju i sljedivost UI sustava;
4.
The AI system trade name and any additional unambiguous reference allowing the identification and traceability of the AI system;
5.
opis namjene UI sustava;
5.
A description of the intended purpose of the AI system;
6.
uvjet ili uvjeti iz članka 6. stavka 3. na temelju kojih se UI sustav ne smatra visokorizičnim;
6.
The condition or conditions under Article 6(3)based on which the AI system is considered to be not-high-risk;
7.
kratak sažetak obrazloženja zašto se UI sustav ne smatra visokorizičnim pri primjeni postupka iz članka 6. stavka 3.;
7.
A short summary of the grounds on which the AI system is considered to be not-high-risk in application of the procedure under Article 6(3);
8.
status UI sustava (stavljen na tržište ili u upotrebi; više nije stavljen na tržište / u upotrebi, opozvan);
8.
The status of the AI system (on the market, or in service; no longer placed on the market/in service, recalled);
9.
imena država članica u kojima je UI sustav stavljen na tržište, u upotrebu ili na raspolaganje u Uniji.
9.
Any Member States in which the AI system has been placed on the market, put into service or made available in the Union.
Odjeljak C – Informacije koje moraju dostaviti subjekti koji uvode visokorizične UI sustave u skladu s člankom 49. stavkom 3.
Section C — Information to be submitted by deployers of high-risk AI systems in accordance with Article 49(3)
Za visokorizične UI sustave koji se moraju registrirati u skladu s člankom 49. stavkom 3. dostavljaju se, a nakon toga ažuriraju, sljedeće informacije:
The following information shall be provided and thereafter kept up to date with regard to high-risk AI systems to be registered in accordance with Article 49(3):
1.
ime, adresa i kontaktni podaci subjekta koji uvodi sustav;
1.
The name, address and contact details of the deployer;
2.
ime, adresa i kontaktni podaci osobe koja dostavlja informacije u ime subjekta koji uvodi sustav;
2.
The name, address and contact details of the person submitting information on behalf of the deployer;
3.
URL adresa unosa UI sustava u bazu podataka EU-a od strane njegova dobavljača;
3.
The URL of the entry of the AI system in the EU database by its provider;
4.
sažetak nalaza procjene učinka na temeljna prava provedene u skladu s člankom 27.;
4.
A summary of the findings of the fundamental rights impact assessment conducted in accordance with Article 27;
5.
sažetak procjene učinka na zaštitu podataka provedene u skladu s člankom 35. Uredbe (EU) 2016/679 ili člankom 27. Direktive (EU) 2016/680 kako je navedeno u članku 26. stavku 8. ove Uredbe, ako je primjenjivo.
5.
A summary of the data protection impact assessment carried out in accordance with Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680 as specified in Article 26(8) of this Regulation, where applicable.
PRILOG IX.
ANNEX IX
Informacije koje se moraju dostaviti pri registraciji visokorizičnih UI sustava iz priloga III. u vezi s testiranjem u stvarnim uvjetima u skladu s člankom 60.
Information to be submitted upon the registration of high-risk AI systems listed in Annex III in relation to testing in real world conditions in accordance with Article 60
U vezi s testiranjem u stvarnim uvjetima koje se mora registrirati u skladu s člankom 60. dostavljaju se, a nakon toga ažuriraju, sljedeće informacije:
The following information shall be provided and thereafter kept up to date with regard to testing in real world conditions to be registered in accordance with Article 60:
1.
jedinstveni identifikacijski broj na razini Unije za testiranje u stvarnim uvjetima;
1.
A Union-wide unique single identification number of the testing in real world conditions;
2.
ime i kontaktni podaci dobavljača ili potencijalnog dobavljača i subjekata koji uvode sustav koji sudjeluju u testiranju u stvarnim uvjetima;
2.
The name and contact details of the provider or prospective provider and of the deployers involved in the testing in real world conditions;
3.
kratak opis UI sustava i njegove namjene te druge informacije potrebne za identifikaciju sustava;
3.
A brief description of the AI system, its intended purpose, and other information necessary for the identification of the system;
4.
sažetak glavnih karakteristika plana testiranja u stvarnim uvjetima;
4.
A summary of the main characteristics of the plan for testing in real world conditions;
5.
informacije o suspenziji ili obustavi testiranja u stvarnim uvjetima.
5.
Information on the suspension or termination of the testing in real world conditions.
PRILOG X.
ANNEX X
Zakonodavni akti Unije o opsežnim informacijskim sustavima u području slobode, sigurnosti i pravde
Union legislative acts on large-scale IT systems in the area of Freedom, Security and Justice
1. Schengenski informacijski sustav
1. Schengen Information System
(a)
Uredba (EU) 2018/1860 Europskog parlamenta i Vijeća od 28. studenoga 2018. o upotrebi Schengenskog informacijskog sustava za vraćanje državljana trećih zemalja s nezakonitim boravkom (SL L 312, 7.12.2018., str. 1.);
(a)
Regulation (EU) 2018/1860 of the European Parliament and of the Council of 28 November 2018 on the use of the Schengen Information System for the return of illegally staying third-country nationals (OJ L 312, 7.12.2018, p. 1).
(b)
Uredba (EU) 2018/1861 Europskog parlamenta i Vijeća od 28. studenoga 2018. o uspostavi, radu i upotrebi Schengenskog informacijskog sustava (SIS) u području granične kontrole i o izmjeni Konvencije o provedbi Schengenskog sporazuma te o izmjeni i stavljanju izvan snage Uredbe (EZ) br. 1987/2006 (SL L 312, 7.12.2018., str. 14.);
(b)
Regulation (EU) 2018/1861 of the European Parliament and of the Council of 28 November 2018 on the establishment, operation and use of the Schengen Information System (SIS) in the field of border checks, and amending the Convention implementing the Schengen Agreement, and amending and repealing Regulation (EC) No 1987/2006 (OJ L 312, 7.12.2018, p. 14).
(c)
Uredba (EU) 2018/1862 Europskog parlamenta i Vijeća od 28. studenoga 2018. o uspostavi, radu i upotrebi Schengenskog informacijskog sustava (SIS) u području policijske suradnje i pravosudne suradnje u kaznenim stvarima, izmjeni i stavljanju izvan snage Odluke Vijeća 2007/533/PUP i stavljanju izvan snage Uredbe (EZ) br. 1986/2006 Europskog parlamenta i Vijeća i Odluke Komisije 2010/261/EU (SL L 312, 7.12.2018., str. 56.).
(c)
Regulation (EU) 2018/1862 of the European Parliament and of the Council of 28 November 2018 on the establishment, operation and use of the Schengen Information System (SIS) in the field of police cooperation and judicial cooperation in criminal matters, amending and repealing Council Decision 2007/533/JHA, and repealing Regulation (EC) No 1986/2006 of the European Parliament and of the Council and Commission Decision 2010/261/EU (OJ L 312, 7.12.2018, p. 56).
2. Vizni informacijski sustav
2. Visa Information System
(a)
Uredba (EU) 2021/1133 Europskog parlamenta i Vijeća od 7. srpnja 2021. o izmjeni uredaba (EU) br. 603/2013, (EU) 2016/794, (EU) 2018/1862, (EU) 2019/816 i (EU) 2019/818 u pogledu utvrđivanja uvjeta za pristup drugim informacijskim sustavima EU-a za potrebe viznog informacijskog sustava (SL L 248, 13.7.2021., str. 1.);
(a)
Regulation (EU) 2021/1133 of the European Parliament and of the Council of 7 July 2021 amending Regulations (EU) No 603/2013, (EU) 2016/794, (EU) 2018/1862, (EU) 2019/816 and (EU) 2019/818 as regards the establishment of the conditions for accessing other EU information systems for the purposes of the Visa Information System (OJ L 248, 13.7.2021, p. 1).
(b)
Uredba (EU) 2021/1134 Europskog parlamenta i Vijeća od 7. srpnja 2021. o izmjeni uredaba (EZ) br. 767/2008, (EZ) br. 810/2009, (EU) 2016/399, (EU) 2017/2226, (EU) 2018/1240, (EU) 2018/1860, (EU) 2018/1861, (EU) 2019/817 i (EU) 2019/1896 Europskog parlamenta i Vijeća te o stavljanju izvan snage odluka Vijeća 2004/512/EZ i 2008/633/PUP u svrhu reforme viznog informacijskog sustava (SL L 248, 13.7.2021., str. 11.).
(b)
Regulation (EU) 2021/1134 of the European Parliament and of the Council of 7 July 2021 amending Regulations (EC) No 767/2008, (EC) No 810/2009, (EU) 2016/399, (EU) 2017/2226, (EU) 2018/1240, (EU) 2018/1860, (EU) 2018/1861, (EU) 2019/817 and (EU) 2019/1896 of the European Parliament and of the Council and repealing Council Decisions 2004/512/EC and 2008/633/JHA, for the purpose of reforming the Visa Information System (OJ L 248, 13.7.2021, p. 11).
3. Eurodac
3. Eurodac
Uredba (EU) 2024/1358 Europskog parlamenta i Vijeća od 14. svibnja 2024. o uspostavi sustava „Eurodac” za usporedbu biometrijskih podataka radi djelotvorne primjene uredaba (EU) 2024/1315 i (EU) 2024/1350 Europskog parlamenta i Vijeća i Direktive Vijeća 2001/55/EZ te radi utvrđivanja identiteta državljana treće zemlje i osoba bez državljanstva s nezakonitim boravkom i o zahtjevima tijela za izvršavanje zakonodavstva država članica i Europola za usporedbu s podacima iz Eurodaca u svrhu izvršavanja zakonodavstva, o izmjeni uredaba (EU) 2018/1240 i (EU) 2019/818 Europskog parlamenta i Vijeća te o stavljanju izvan snage Uredbe (EU) br. 603/2013 Europskog parlamenta i Vijeća (SL L, 2024/1358, 22.5.2024., ELI: http://data.europa.eu/eli/reg/2024/1358/oj) .
Regulation (EU) 2024/1358 of the European Parliament and of the Council of 14 May 2024 on the establishment of ‘Eurodac’ for the comparison of biometric data in order to effectively apply Regulations (EU) 2024/1315 and (EU) 2024/1350 of the European Parliament and of the Council and Council Directive 2001/55/EC and to identify illegally staying third-country nationals and stateless persons and on requests for the comparison with Eurodac data by Member States’ law enforcement authorities and Europol for law enforcement purposes, amending Regulations (EU) 2018/1240 and (EU) 2019/818 of the European Parliament and of the Council and repealing Regulation (EU) No 603/2013 of the European Parliament and of the Council (OJ L, 2024/1358, 22.5.2024, ELI: http://data.europa.eu/eli/reg/2024/1358/oj).
4. Sustav ulaska/izlaska
4. Entry/Exit System
Uredba (EU) 2017/2226 Europskog parlamenta i Vijeća od 30. studenoga 2017. o uspostavi sustava ulaska/izlaska (EES) za registraciju podataka o ulasku i izlasku te podataka o odbijanju ulaska za državljane trećih zemalja koji prelaze vanjske granice država članica i određivanju uvjeta za pristup EES-u za potrebe izvršavanja zakonodavstva te o izmjeni Konvencije o provedbi Schengenskog sporazuma i uredbi (EZ) br. 767/2008 i (EU) br. 1077/2011 (SL L 327, 9.12.2017., str. 20.).
Regulation (EU) 2017/2226 of the European Parliament and of the Council of 30 November 2017 establishing an Entry/Exit System (EES) to register entry and exit data and refusal of entry data of third-country nationals crossing the external borders of the Member States and determining the conditions for access to the EES for law enforcement purposes, and amending the Convention implementing the Schengen Agreement and Regulations (EC) No 767/2008 and (EU) No 1077/2011 (OJ L 327, 9.12.2017, p. 20).
5. Europski sustav za informacije o putovanjima i odobravanje putovanja
5. European Travel Information and Authorisation System
(a)
Uredba (EU) 2018/1240 Europskog parlamenta i Vijeća od 12. rujna 2018. o uspostavi europskog sustava za informacije o putovanjima i odobravanje putovanja (ETIAS) i izmjeni uredaba (EU) br. 1077/2011, (EU) br. 515/2014, (EU) 2016/399, (EU) 2016/1624 i (EU) 2017/2226 (SL L 236, 19.9.2018., str. 1.);
(a)
Regulation (EU) 2018/1240 of the European Parliament and of the Council of 12 September 2018 establishing a European Travel Information and Authorisation System (ETIAS) and amending Regulations (EU) No 1077/2011, (EU) No 515/2014, (EU) 2016/399, (EU) 2016/1624 and (EU) 2017/2226 (OJ L 236, 19.9.2018, p. 1).
(b)
Uredba (EU) 2018/1241 Europskog parlamenta i Vijeća od 12. rujna 2018. o izmjeni Uredbe (EU) 2016/794 u svrhu uspostave europskog sustava za informacije o putovanjima i odobravanje putovanja (ETIAS) (SL L 236, 19.9.2018., str. 72.).
(b)
Regulation (EU) 2018/1241 of the European Parliament and of the Council of 12 September 2018 amending Regulation (EU) 2016/794 for the purpose of establishing a European Travel Information and Authorisation System (ETIAS) (OJ L 236, 19.9.2018, p. 72).
6. Europski informacijski sustav kaznene evidencije za državljane trećih zemalja i osobe bez državljanstva
6. European Criminal Records Information System on third-country nationals and stateless persons
Uredba (EU) 2019/816 Europskog parlamenta i Vijeća od 17. travnja 2019. o uspostavi centraliziranog sustava za utvrđivanje država članica koje imaju podatke o osuđujućim presudama protiv državljana trećih zemalja i osoba bez državljanstva (sustav ECRIS-TCN) za dopunu Europskog informacijskog sustava kaznene evidencije te o izmjeni Uredbe (EU) 2018/1726 (SL L 135, 22.5.2019., str. 1.).
Regulation (EU) 2019/816 of the European Parliament and of the Council of 17 April 2019 establishing a centralised system for the identification of Member States holding conviction information on third-country nationals and stateless persons (ECRIS-TCN) to supplement the European Criminal Records Information System and amending Regulation (EU) 2018/1726 (OJ L 135, 22.5.2019, p. 1).
7. Interoperabilnost
7. Interoperability
(a)
Uredba (EU) 2019/817 Europskog parlamenta i Vijeća od 20. svibnja 2019. o uspostavi okvira za interoperabilnost informacijskih sustava EU-a u području granica i viza i izmjeni uredaba (EZ) br. 767/2008, (EU) 2016/399, (EU) 2017/2226, (EU) 2018/1240, (EU) 2018/1726 i (EU) 2018/1861 Europskog parlamenta i Vijeća te odluka Vijeća 2004/512/EZ i 2008/633/PUP (SL L 135, 22.5.2019., str. 27.);
(a)
Regulation (EU) 2019/817 of the European Parliament and of the Council of 20 May 2019 on establishing a framework for interoperability between EU information systems in the field of borders and visa and amending Regulations (EC) No 767/2008, (EU) 2016/399, (EU) 2017/2226, (EU) 2018/1240, (EU) 2018/1726 and (EU) 2018/1861 of the European Parliament and of the Council and Council Decisions 2004/512/EC and 2008/633/JHA (OJ L 135, 22.5.2019, p. 27).
(b)
Uredba (EU) 2019/818 Europskog parlamenta i Vijeća od 20. svibnja 2019. o uspostavi okvira za interoperabilnost informacijskih sustava EU-a u području policijske i pravosudne suradnje, azila i migracija i izmjeni uredaba (EU) 2018/1726, (EU) 2018/1862 i (EU) 2019/816 (SL L 135, 22.5.2019., str. 85.).
(b)
Regulation (EU) 2019/818 of the European Parliament and of the Council of 20 May 2019 on establishing a framework for interoperability between EU information systems in the field of police and judicial cooperation, asylum and migration and amending Regulations (EU) 2018/1726, (EU) 2018/1862 and (EU) 2019/816 (OJ L 135, 22.5.2019, p. 85).
PRILOG XI.
ANNEX XI
Tehnička dokumentacija iz članka 53. stavka 1. točke (a) – tehnička dokumentacija za dobavljače UI modela opće namjene
Technical documentation referred to in Article 53(1), point (a) — technical documentation for providers of general-purpose AI models
Odjeljak 1.
Section 1
Informacije koje moraju dostaviti svi dobavljači UI modelâ opće namjene
Information to be provided by all providers of general-purpose AI models
Tehnička dokumentacija iz članka 53. stavka 1. točke (a) sadržava barem sljedeće informacije, ovisno o veličini i profilu rizika modela:
The technical documentation referred to in Article 53(1), point (a) shall contain at least the following information as appropriate to the size and risk profile of the model:
1.
Opći opis UI modela opće namjene, uključujući:
1.
A general description of the general-purpose AI model including:
(a)
zadaće koje bi model trebao obavljati te vrstu i prirodu UI sustava u koje se može integrirati;
(a)
the tasks that the model is intended to perform and the type and nature of AI systems in which it can be integrated;
(b)
primjenjive politike u pogledu prihvatljivog korištenja;
(b)
the acceptable use policies applicable;
(c)
datum stavljanja na tržište i metode distribucije;
(c)
the date of release and methods of distribution;
d)
arhitekturu i broj parametara;
(d)
the architecture and number of parameters;
(e)
modalitet (npr. tekst, slika) i format ulaznih i izlaznih podataka;
(e)
the modality (e.g. text, image) and format of inputs and outputs;
(f)
licenciju.
(f)
the licence.
2.
Detaljan opis elemenata modela iz točke 1. i relevantne informacije o postupku njegova razvoja, uključujući sljedeće elemente:
2.
A detailed description of the elements of the model referred to in point 1, and relevant information of the process for the development, including the following elements:
(a)
tehnička sredstva (npr. upute za korištenje, infrastruktura, alati) potrebna za integraciju UI modela opće namjene u UI sustave;
(a)
the technical means (e.g. instructions of use, infrastructure, tools) required for the general-purpose AI model to be integrated in AI systems;
(b)
specifikacije dizajna modela i postupka treniranja, uključujući metodologije i tehnike treniranja, najvažnije odabire u pogledu dizajna, uključujući obrazloženja i pretpostavke; informacije o tome što bi model svojim dizajnom trebao optimizirati i relevantnost različitih parametara, ako je primjenjivo;
(b)
the design specifications of the model and training process, including training methodologies and techniques, the key design choices including the rationale and assumptions made; what the model is designed to optimise for and the relevance of the different parameters, as applicable;
(c)
informacije o podacima upotrijebljenima za treniranje, testiranje i validaciju, ako je primjenjivo, uključujući vrstu i podrijetlo podataka i metodologije skrbi o podacima (npr. čišćenje, filtriranje itd.), količinu podataka, njihov opseg i glavne karakteristike; način na koji su podaci dobiveni i odabrani, kao i sve druge mjere za otkrivanje neprimjerenosti izvora podataka i metode za otkrivanje utvrdivih pristranosti, ako je primjenjivo;
(c)
information on the data used for training, testing and validation, where applicable, including the type and provenance of data and curation methodologies (e.g. cleaning, filtering, etc.), the number of data points, their scope and main characteristics; how the data was obtained and selected as well as all other measures to detect the unsuitability of data sources and methods to detect identifiable biases, where applicable;
(d)
računalne resurse upotrijebljene za treniranje modela (npr. broj matematičkih operacija nad s brojevima s pomičnim zarezom), vrijeme treniranja i druge relevantne pojedinosti povezane s treniranjem;
(d)
the computational resources used to train the model (e.g. number of floating point operations), training time, and other relevant details related to the training;
(e)
poznatu ili procijenjenu potrošnju energije modela.
(e)
known or estimated energy consumption of the model.
Kad je riječ o točki (e), ako je potrošnja energije modela nepoznata, potrošnja energije može se temeljiti na informacijama o upotrijebljenim računalnim resursima.
With regard to point (e), where the energy consumption of the model is unknown, the energy consumption may be based on information about computational resources used.
Odjeljak 2.
Section 2
Dodatne informacije koje moraju dostaviti dobavljači UI modela opće namjene sa sistemskim rizikom
Additional information to be provided by providers of general-purpose AI models with systemic risk
1.
Detaljan opis strategija evaluacije, uključujući rezultate evaluacije, na temelju dostupnih javnih evaluacijskih protokola i alata ili drugih metodologija evaluacije. Strategije evaluacije uključuju evaluacijske kriterije, parametre i metodologiju za utvrđivanje ograničenja.
1.
A detailed description of the evaluation strategies, including evaluation results, on the basis of available public evaluation protocols and tools or otherwise of other evaluation methodologies. Evaluation strategies shall include evaluation criteria, metrics and the methodology on the identification of limitations.
2.
Ako je primjenjivo, detaljan opis mjera uspostavljenih u svrhu provedbe unutarnjeg i/ili vanjskog neprijateljskog testiranja (npr. penetracijsko testiranje) i prilagodaba modela, uključujući usklađivanje i doradu.
2.
Where applicable, a detailed description of the measures put in place for the purpose of conducting internal and/or external adversarial testing (e.g. red teaming), model adaptations, including alignment and fine-tuning.
3.
Ako je primjenjivo, detaljan opis arhitekture sustava koji objašnjava kako se softverske komponente međusobno nadopunjuju ili potpomažu te kako su integrirane u cjelokupnu obradu.
3.
Where applicable, a detailed description of the system architecture explaining how software components build or feed into each other and integrate into the overall processing.
PRILOG XII.
ANNEX XII
Informacije o transparentnosti iz članka 53. stavka 1. točke (b) – tehnička dokumentacija koju dobavljači UI modela opće namjene stavljaju na raspolaganje dobavljačima niže u lancu koji integriraju model u svoj UI sustav
Transparency information referred to in Article 53(1), point (b) — technical documentation for providers of general-purpose AI models to downstream providers that integrate the model into their AI system
Informacije iz članka 53. stavka 1. točke (b) sadržavaju barem sljedeće elemente:
The information referred to in Article 53(1), point (b) shall contain at least the following:
1.
opći opis UI modela opće namjene, uključujući:
1.
A general description of the general-purpose AI model including:
(a)
zadaće koje bi model trebao obavljati te vrstu i prirodu UI sustava u koje se može integrirati;
(a)
the tasks that the model is intended to perform and the type and nature of AI systems into which it can be integrated;
(b)
primjenjive politike u pogledu prihvatljivog korištenja;
(b)
the acceptable use policies applicable;
(c)
datum stavljanja na tržište i metode distribucije;
(c)
the date of release and methods of distribution;
(d)
način na koji je model u interakciji s hardverom ili softverom koji nije dio samog modela ili na koji se može upotrijebiti za takvu interakciju, ako je primjenjivo;
(d)
how the model interacts, or can be used to interact, with hardware or software that is not part of the model itself, where applicable;
(e)
verzije relevantnog softvera povezanog s korištenjem UI modela opće namjene, ako je primjenjivo;
(e)
the versions of relevant software related to the use of the general-purpose AI model, where applicable;
(f)
arhitekturu i broj parametara;
(f)
the architecture and number of parameters;
(g)
modalitet (npr. tekst, slika) i format ulaznih i izlaznih podataka;
(g)
the modality (e.g. text, image) and format of inputs and outputs;
(h)
licenciju za model;
(h)
the licence for the model.
2.
opis elemenata UI modela i postupka njegova razvoja, uključujući:
2.
A description of the elements of the model and of the process for its development, including:
(a)
tehnička sredstva (npr. upute za korištenje, infrastruktura, alati) potrebna za integraciju UI modela opće namjene u UI sustave;
(a)
the technical means (e.g. instructions for use, infrastructure, tools) required for the general-purpose AI model to be integrated into AI systems;
(b)
modalitet (npr. tekst, slika itd.) i format ulaznih i izlaznih podataka te njihova maksimalna veličina (npr. veličina kontekstualnog prozora itd.);
(b)
the modality (e.g. text, image, etc.) and format of the inputs and outputs and their maximum size (e.g. context window length, etc.);
(c)
informacije o podacima upotrijebljenima za treniranje, testiranje i validaciju, ako je primjenjivo, uključujući vrstu i podrijetlo podataka i metodologije skrbi o podacima.
(c)
information on the data used for training, testing and validation, where applicable, including the type and provenance of data and curation methodologies.
PRILOG XIII.
ANNEX XIII
Kriteriji za određivanje UI modela opće namjene sa sistemskim rizikom iz članka 51.
Criteria for the designation of general-purpose AI models with systemic risk referred to in Article 51
Kako bi utvrdila ima li određeni UI model opće namjene sposobnosti ili učinak jednakovrijedne onima iz članka 51. stavka 1. točke (a), Komisija uzima u obzir sljedeće kriterije:
For the purpose of determining that a general-purpose AI model has capabilities or an impact equivalent to those set out in Article 51(1), point (a), the Commission shall take into account the following criteria:
(a)
broj parametara modela;
(a)
the number of parameters of the model;
(b)
kvalitetu ili veličinu skupa podataka, primjerice mjereno tokenima;
(b)
the quality or size of the data set, for example measured through tokens;
(c)
količinu računanja upotrijebljenu za treniranje modela, izmjerenu u matematičkim operacijama nad brojevima s pomičnim zarezom ili izraženu kombinacijom drugih varijabli kao što su procijenjeni troškovi treniranja, procijenjeno vrijeme potrebno za treniranje ili procijenjena potrošnja energije za treniranje;
(c)
the amount of computation used for training the model, measured in floating point operations or indicated by a combination of other variables such as estimated cost of training, estimated time required for the training, or estimated energy consumption for the training;
(d)
ulazne i izlazne modalitete modela, kao što su pretvaranje teksta u tekst (veliki jezični modeli), pretvaranje teksta u sliku, multimodalnost i najnoviji pragovi za utvrđivanje sposobnosti visokog učinka za svaki modalitet, kao i specifičnu vrstu ulaznih i izlaznih podataka (npr. biološke sekvence);
(d)
the input and output modalities of the model, such as text to text (large language models), text to image, multi-modality, and the state of the art thresholds for determining high-impact capabilities for each modality, and the specific type of inputs and outputs (e.g. biological sequences);
(e)
referentne vrijednosti i evaluacije sposobnosti modela, što uključuje uzimanje u obzir broja zadaća bez dodatnog treniranja, prilagodljivost za učenje novih, različitih zadaća, njegovu razinu autonomije i skalabilnosti, alate kojima ima pristup;
(e)
the benchmarks and evaluations of capabilities of the model, including considering the number of tasks without additional training, adaptability to learn new, distinct tasks, its level of autonomy and scalability, the tools it has access to;
(f)
ima li model zbog svojeg dosega znatan utjecaj na unutarnje tržište, što se pretpostavlja ako je stavljen na raspolaganje najmanje 10 000 registriranih poslovnih korisnika s poslovnim nastanom u Uniji;
(f)
whether it has a high impact on the internal market due to its reach, which shall be presumed when it has been made available to at least 10 000 registered business users established in the Union;
(g)
broj registriranih krajnjih korisnika.
(g)
the number of registered end-users.
ELI: http://data.europa.eu/eli/reg/2024/1689/oj
ELI: http://data.europa.eu/eli/reg/2024/1689/oj
ISSN 1977-0847 (electronic edition)
ISSN 1977-0677 (electronic edition)