Službeni list
Europske unije
HR
Diario Oficial
de la Unión Europea
ES
UREDBA (EU) 2024/1689 EUROPSKOG PARLAMENTA I VIJEĆA
REGLAMENTO (UE) 2024/1689 DEL PARLAMENTO EUROPEO Y DEL CONSEJO
o utvrđivanju usklađenih pravila o umjetnoj inteligenciji i o izmjeni uredaba (EZ) br. 300/2008, (EU) br. 167/2013, (EU) br. 168/2013, (EU) 2018/858, (EU) 2018/1139 i (EU) 2019/2144 te direktiva 2014/90/EU, (EU) 2016/797 i (EU) 2020/1828 (Akt o umjetnoj inteligenciji)
por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) n.o 300/2008, (UE) n.o 167/2013, (UE) n.o 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828 (Reglamento de Inteligencia Artificial)
(Texto pertinente a efectos del EEE)
EUROPSKI PARLAMENT I VIJEĆE EUROPSKE UNIJE,
EL PARLAMENTO EUROPEO Y EL CONSEJO DE LA UNIÓN EUROPEA,
uzimajući u obzir Ugovor o funkcioniranju Europske unije, a posebno njegove članke 16. i 114.,
Visto el Tratado de Funcionamiento de la Unión Europea, y en particular sus artículos 16 y 114,
uzimajući u obzir prijedlog Europske komisije,
Vista la propuesta de la Comisión Europea,
nakon prosljeđivanja nacrta zakonodavnog akta nacionalnim parlamentima,
Previa transmisión del proyecto de acto legislativo a los Parlamentos nacionales,
uzimajući u obzir mišljenje Europskoga gospodarskog i socijalnog odbora (1),
Visto el dictamen del Comité Económico y Social Europeo (1),
uzimajući u obzir mišljenje Europske središnje banke (2),
Visto el dictamen del Banco Central Europeo (2),
uzimajući u obzir mišljenje Odbora regija (3),
Visto el dictamen del Comité de las Regiones (3),
u skladu s redovnim zakonodavnim postupkom (4),
De conformidad con el procedimiento legislativo ordinario (4),
Considerando lo siguiente:
(1)
Svrha je ove Uredbe poboljšati funkcioniranje unutarnjeg tržišta utvrđivanjem ujednačenog pravnog okvira, osobito za razvoj, stavljanje na tržište, stavljanje u upotrebu i korištenje sustava umjetne inteligencije („UI sustavi”) u Uniji, u skladu s vrijednostima Unije, promicati prihvaćanje antropocentrične i pouzdane umjetne inteligencije uz istodobno jamčenje visoke razine zaštite zdravlja, sigurnosti i temeljnih prava kako su sadržana u Povelji Europske unije o temeljnim pravima („Povelja”), uključujući demokraciju, vladavinu prava i zaštitu okoliša, zaštitu od štetnih učinaka UI sustavâ u Uniji, te podupirati inovacije. Ovom se Uredbom osigurava slobodno prekogranično kretanje robe i usluga temeljenih na umjetnoj inteligenciji, čime se države članice sprečava da nametnu ograničenja razvoju, stavljanju na tržište i korištenju UI sustavâ, osim ako je to izričito odobreno ovom Uredbom.
(1)
El objetivo del presente Reglamento es mejorar el funcionamiento del mercado interior mediante el establecimiento de un marco jurídico uniforme, en particular para el desarrollo, la introducción en el mercado, la puesta en servicio y la utilización de sistemas de inteligencia artificial (en lo sucesivo, «sistemas de IA») en la Unión, de conformidad con los valores de la Unión, a fin de promover la adopción de una inteligencia artificial (IA) centrada en el ser humano y fiable, garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta de los Derechos Fundamentales de la Unión Europea (en lo sucesivo, «Carta»), incluidos la democracia, el Estado de Derecho y la protección del medio ambiente, proteger frente a los efectos perjudiciales de los sistemas de IA en la Unión, así como brindar apoyo a la innovación. El presente Reglamento garantiza la libre circulación transfronteriza de mercancías y servicios basados en la IA, con lo que impide que los Estados miembros impongan restricciones al desarrollo, la comercialización y la utilización de sistemas de IA, a menos que el presente Reglamento lo autorice expresamente.
(2)
Ova bi se Uredba trebala primjenjivati u skladu s vrijednostima Unije sadržanima u Povelji i trebala bi olakšati zaštitu fizičkih osoba, poduzeća, demokracije, vladavine prava i okoliša, a istodobno poticati inovacije i zapošljavanje te učiniti Uniju predvodnikom u prihvaćanju pouzdane umjetne inteligencije.
(2)
El presente Reglamento debe aplicarse de conformidad con los valores de la Unión consagrados en la Carta, lo que facilitará la protección de las personas físicas, las empresas, la democracia, el Estado de Derecho y la protección del medio ambiente y, al mismo tiempo, impulsará la innovación y el empleo y convertirá a la Unión en líder en la adopción de una IA fiable.
(3)
UI sustavi mogu se lako uvesti u brojne različite sektore gospodarstva i mnoge dijelove društva, među ostalim i preko granica, te lako cirkulirati u cijeloj Uniji. Neke su države članice već razmotrile donošenje nacionalnih pravila kojima bi se zajamčilo da umjetna inteligencija bude pouzdana i sigurna te da se razvija i upotrebljava u skladu s obvezama u području temeljnih prava. Divergentna nacionalna pravila mogu dovesti do fragmentacije unutarnjeg tržišta i smanjiti pravnu sigurnost za operatere koji razvijaju, uvoze ili upotrebljavaju UI sustave. Stoga bi za postizanje pouzdane umjetne inteligencije trebalo osigurati dosljednu i visoku razinu zaštite u cijeloj Uniji, dok bi divergencije koje otežavaju slobodnu cirkulaciju, inovacije te uvođenje i prihvaćanje UI sustava i povezanih proizvoda i usluga na unutarnjem tržištu trebalo spriječiti utvrđivanjem ujednačenih obveza za operatere i jamčenjem ujednačene zaštite prevladavajućih razloga od javnog interesa i pravâ osoba na cijelom unutarnjem tržištu na temelju članka 114. Ugovora o funkcioniranju Europske unije (UFEU). U mjeri u kojoj ova Uredba sadržava specifična pravila o zaštiti pojedinaca u pogledu obrade osobnih podataka u vezi s ograničenjima korištenja UI sustavâ za daljinsku biometrijsku identifikaciju u svrhu kaznenog progona, korištenja UI sustavâ za procjene rizika u pogledu fizičkih osoba u svrhu kaznenog progona i korištenja UI sustavâ za biometrijsku kategorizaciju u svrhu kaznenog progona, primjereno je ovu Uredbu, u mjeri u kojoj se odnosi na ta specifična pravila, temeljiti na članku 16. UFEU-a. S obzirom na ta specifična pravila i pozivanje na članak 16. UFEU-a, primjereno je zatražiti mišljenje Europskog odbora za zaštitu podataka.
(3)
Los sistemas de IA pueden desplegarse con facilidad en sectores muy diversos de la economía y en muchas partes de la sociedad, también a escala transfronteriza, y circular fácilmente por toda la Unión. Algunos Estados miembros ya han estudiado adopción de normas nacionales destinadas a garantizar que la IA sea fiable y segura y se desarrolle y utilice de conformidad con las obligaciones relativas a los derechos fundamentales. La existencia de normas nacionales divergentes puede dar lugar a la fragmentación del mercado interior y reducir la seguridad jurídica de los operadores que desarrollan, importan o utilizan sistemas de IA. Por lo tanto, es preciso garantizar un nivel elevado y coherente de protección en toda la Unión para lograr una IA fiable, así como evitar las divergencias que obstaculizan la libre circulación, la innovación, el despliegue y la adopción en el mercado interior de los sistemas de IA y los productos y servicios conexos mediante el establecimiento de obligaciones uniformes para los operadores y la garantía de una protección uniforme de los fines imperiosos de interés general y de los derechos de las personas en todo el mercado interior, sobre la base del artículo 114 del Tratado de Funcionamiento de la Unión Europea (TFUE). En la medida en que el presente Reglamento contiene normas específicas para la protección de las personas en relación con el tratamiento de datos personales que restringen el uso de sistemas de IA para la identificación biométrica remota con fines de garantía del cumplimiento del Derecho, el uso de sistemas de IA para la realización de evaluaciones de riesgos de personas físicas con fines de garantía del cumplimiento del Derecho y el uso de sistemas de IA de categorización biométrica con fines de garantía del cumplimiento del Derecho, resulta adecuado basar este Reglamento, en lo que atañe a dichas normas específicas, en el artículo 16 del TFUE. A la luz de dichas normas específicas y del recurso al artículo 16 del TFUE, conviene consultar al Comité Europeo de Protección de Datos.
(4)
Umjetna inteligencija skup je tehnologija koji se brzo razvija i doprinosi širokom spektru gospodarskih, okolišnih i društvenih koristi u cijelom nizu industrija i društvenih aktivnosti. Zahvaljujući boljem predviđanju, optimizaciji operacija i dodjeli resursa te personalizaciji digitalnih rješenja dostupnih pojedincima i organizacijama, korištenje umjetne inteligencije može poduzećima pružiti ključne konkurentske prednosti te podupirati društveno i okolišno korisne ishode, na primjer u zdravstvu, poljoprivredi, sigurnosti hrane, obrazovanju i osposobljavanju, medijima, sportu, kulturi, upravljanju infrastrukturom, energetici, prometu i logistici, javnim uslugama, sigurnosti, pravosuđu, resursnoj i energetskoj učinkovitosti, praćenju stanja okoliša, očuvanju i obnovi bioraznolikosti i ekosustavâ te ublažavanju klimatskih promjena i prilagodbi njima.
(4)
La IA es un conjunto de tecnologías en rápida evolución que contribuye a generar beneficios económicos, medioambientales y sociales muy diversos en todos los sectores económicos y las actividades sociales. El uso de la IA puede proporcionar ventajas competitivas esenciales a las empresas y facilitar la obtención de resultados positivos desde el punto de vista social y medioambiental en los ámbitos de la asistencia sanitaria, la agricultura, la seguridad alimentaria, la educación y la formación, los medios de comunicación, el deporte, la cultura, la gestión de infraestructuras, la energía, el transporte y la logística, los servicios públicos, la seguridad, la justicia, la eficiencia de los recursos y la energía, el seguimiento ambiental, la conservación y restauración de la biodiversidad y los ecosistemas, y la mitigación del cambio climático y la adaptación a él, entre otros, al mejorar la predicción, optimizar las operaciones y la asignación de los recursos, y personalizar las soluciones digitales que se encuentran a disposición de la población y las organizaciones.
(5)
Istodobno, ovisno o okolnostima njezine specifične primjene, korištenja i razine tehnološkog razvoja, umjetna inteligencija može stvoriti rizike i uzrokovati štetu javnim interesima i temeljnim pravima zaštićenima pravom Unije. Ta šteta može biti materijalna ili nematerijalna, uključujući tjelesnu, psihološku, društvenu ili ekonomsku štetu.
(5)
Al mismo tiempo, dependiendo de las circunstancias relativas a su aplicación, utilización y nivel de desarrollo tecnológico concretos, la IA puede generar riesgos y menoscabar los intereses públicos y los derechos fundamentales que protege el Derecho de la Unión. Dicho menoscabo puede ser tangible o intangible e incluye los perjuicios físicos, psíquicos, sociales o económicos.
(6)
S obzirom na velik učinak koji umjetna inteligencija može imati na društvo i potrebu za izgradnjom povjerenja, ključno je da se umjetna inteligencija i njezin regulatorni okvir razvijaju u skladu s vrijednostima Unije sadržanima u članku 2. Ugovora o Europskoj uniji (UEU), temeljnim pravima i slobodama sadržanima u Ugovorima i, na temelju članka 6. UEU-a, u Povelji. Umjetna inteligencija neophodno bi trebala biti antropocentrična tehnologija. Trebala bi služiti kao alat namijenjen ljudima s krajnjim ciljem povećanja njihove dobrobiti.
(6)
Dadas las importantes repercusiones que la IA puede tener en la sociedad y la necesidad de generar confianza, es fundamental que la IA y su marco reglamentario se desarrollen de conformidad con los valores de la Unión consagrados en el artículo 2 del Tratado de la Unión Europea (TUE), los derechos y libertades fundamentales consagrados en los Tratados y, de conformidad con el artículo 6 del TUE, la Carta. Como requisito previo, la IA debe ser una tecnología centrada en el ser humano. Además, debe ser una herramienta para las personas y tener por objetivo último aumentar el bienestar humano.
(7)
Kako bi se osigurala dosljedna i visoka razina zaštite javnih interesa u smislu zdravlja, sigurnosti i temeljnih prava, trebalo bi utvrditi zajednička pravila za visokorizične UI sustave. Ta bi pravila trebala biti dosljedna s Poveljom, nediskriminirajuća i usklađena s međunarodnim trgovinskim obvezama Unije. Njima bi se ujedno trebalo uzeti u obzir Europsku deklaraciju o digitalnim pravima i načelima za digitalno desetljeće i Etičke smjernice za pouzdanu umjetnu inteligenciju koje je sastavila Stručna skupina na visokoj razini za umjetnu inteligenciju.
(7)
Conviene establecer normas comunes para los sistemas de IA de alto riesgo al objeto de garantizar un nivel elevado y coherente de protección de los intereses públicos en lo que respecta a la salud, la seguridad y los derechos fundamentales. Estas normas deben ser coherentes con la Carta, no deben ser discriminatorias y deben estar en consonancia con los compromisos de la Unión en materia de comercio internacional. También deben tener en cuenta la Declaración Europea sobre los Derechos y Principios Digitales para la Década Digital y las Directrices éticas para una IA fiable del Grupo independiente de expertos de alto nivel sobre inteligencia artificial.
(8)
Stoga je potreban pravni okvir Unije kojim se utvrđuju usklađena pravila o umjetnoj inteligenciji kako bi se poticali razvoj, korištenje i prihvaćanje umjetne inteligencije na unutarnjem tržištu i istodobno ostvarila visoka razina zaštite javnih interesa, kao što su zdravlje i sigurnost te zaštita temeljnih prava, uključujući demokraciju, vladavinu prava i zaštitu okoliša, kako su priznata i zaštićena pravom Unije. Da bi se postigao taj cilj, trebalo bi utvrditi pravila kojima se uređuju stavljanje na tržište, stavljanje u upotrebu i korištenje određenih UI sustava, te tako osigurati neometano funkcioniranje unutarnjeg tržišta i omogućiti da ti sustavi ostvaruju koristi od načela slobodnog kretanja robe i usluga pogoduju. Ta bi pravila trebala biti jasna i snažna u zaštiti temeljnih prava, podupirati nova inovativna rješenja i pogodovati europskom ekosustavu javnih i privatnih aktera koji stvaraju UI sustave u skladu s vrijednostima Unije te ostvariti potencijal digitalne transformacije u svim regijama Unije. Utvrđivanjem tih pravila i mjera za potporu inovacijama s osobitim naglaskom na malim i srednjim poduzećima (MSP-ovi), uključujući start-up poduzeća, ovom se Uredbom doprinosi cilju promicanja europskog antropocentričnog pristupa umjetnoj inteligenciji i globalnog vodstva u razvoju sigurne, pouzdane i etične umjetne inteligencije kako je navelo Europsko vijeće (5) te se osigurava zaštita etičkih načela u skladu s izričitim zahtjevom Europskog parlamenta (6).
(8)
En consecuencia, se necesita un marco jurídico de la Unión que establezca unas normas armonizadas en materia de IA para impulsar el desarrollo, la utilización y la adopción en el mercado interior de la IA y que, al mismo tiempo, ofrezca un nivel elevado de protección de los intereses públicos, como la salud y la seguridad y la protección de los derechos fundamentales, incluidos la democracia, el Estado de Derecho y la protección del medio ambiente, reconocidos y protegidos por el Derecho de la Unión. Para alcanzar dicho objetivo, conviene establecer normas que regulen la introducción en el mercado, la puesta en servicio y la utilización de determinados sistemas de IA, lo que garantizará el buen funcionamiento del mercado interior y permitirá que dichos sistemas se beneficien del principio de libre circulación de mercancías y servicios. Esas normas deben ser claras y firmes por lo que respecta a proteger los derechos fundamentales, apoyar nuevas soluciones innovadoras, posibilitar un ecosistema europeo de agentes públicos y privados que creen sistemas de IA en consonancia con los valores de la Unión y liberar el potencial de la transformación digital en todas las regiones de la Unión. Al establecer tales normas, así como medidas en apoyo de la innovación que prestan especial atención a las pequeñas y medianas empresas (pymes), incluidas las empresas emergentes, el presente Reglamento respalda el objetivo de promover el enfoque europeo de la IA centrado en el ser humano y de ser un líder mundial en el desarrollo de IA segura, digna de confianza y ética, como indicó el Consejo Europeo (5), y garantiza la protección de los principios éticos, como solicitó específicamente el Parlamento Europeo (6).
(9)
Usklađena pravila koja se primjenjuju na stavljanje na tržište, stavljanje u upotrebu i korištenje visokorizičnih UI sustava trebala bi biti utvrđena u skladu s Uredbom (EZ) br. 765/2008 Europskog parlamenta i Vijeća (7), Odlukom br. 768/2008/EZ Europskog parlamenta i Vijeća (8) i Uredbom (EU) 2019/1020 Europskog parlamenta i Vijeća (9) (novi zakonodavni okvir). Usklađena pravila utvrđena u ovoj Uredbi trebala bi se primjenjivati u svim sektorima i, u skladu s novim zakonodavnim okvirom, ne bi trebala dovoditi u pitanje postojeće pravo Unije, osobito ono u području zaštite podataka, zaštite potrošača, temeljnih prava, zapošljavanja, zaštite radnika i sigurnosti proizvoda, koje ova Uredba dopunjuje. Kao posljedica toga sva prava i pravna sredstva predviđena tim pravom Unije za potrošače i druge osobe na koje UI sustavi mogu imati negativan učinak, među ostalim i u pogledu naknade potencijalne štete na temelju Direktive Vijeća 85/374/EEZ (10), i dalje su nepromijenjeni i u potpunosti se primjenjuju. Nadalje, u kontekstu zapošljavanja i zaštite radnika, ova Uredba stoga ne bi trebala utjecati na pravo Unije o socijalnoj politici i nacionalno radno pravo, u skladu s pravom Unije, koje se odnosi na zapošljavanje i radne uvjete, uključujući zdravlje i sigurnost na radu te odnos između poslodavaca i radnika. Ova Uredba ne bi trebala utjecati ni na ostvarivanje temeljnih prava priznatih u državama članicama i na razini Unije, uključujući pravo ili slobodu štrajka ili poduzimanja drugih mjera obuhvaćenih specifičnim sustavima država članica u području radnih odnosa, kao i pravo na dogovaranje, kroz pregovore, na sklapanje i provedbu kolektivnih ugovora ili na poduzimanje kolektivnih mjera u skladu s nacionalnim pravom. Ova Uredba ne bi trebala utjecati na odredbe čiji je cilj poboljšanje radnih uvjeta u radu putem platformi utvrđene u direktivi Europskog parlamenta i Vijeća o poboljšanju radnih uvjeta u radu putem platformi. Usto, cilj je ove Uredbe ojačati djelotvornost tih postojećih prava i pravnih sredstava utvrđivanjem posebnih zahtjeva i obveza, među ostalim i u pogledu transparentnosti, tehničke dokumentacije i vođenja evidencije o UI sustavima. Nadalje, obveze koje su na temelju ove Uredbe nametnute različitim operaterima uključenima u lanac vrijednosti umjetne inteligencije trebale bi se primjenjivati ne dovodeći u pitanje nacionalno pravo, u skladu s pravom Unije, koje ima učinak ograničavanja korištenja određenih UI sustava ako takvo pravo nije obuhvaćeno područjem primjene ove Uredbe ili ako se njime žele ostvariti drugi legitimni ciljevi od javnog interesa koji nisu ciljevi koji se nastoje ostvariti ovom Uredbom. Na primjer, ova Uredba ne bi trebala utjecati na nacionalno radno pravo ni na pravo o zaštiti maloljetnika, odnosno osoba mlađih od 18 godina, uzimajući u obzir Opću napomenu Ujedinjenih naroda br. 25 (2021.) o pravima djece u pogledu digitalnog okružja, u mjeri u kojoj ono nije specifično za UI sustave i njime se žele ostvariti drugi legitimni ciljevi od javnog interesa.
(9)
Deben establecerse normas armonizadas aplicables a la introducción en el mercado, la puesta en servicio y la utilización de sistemas de IA de alto riesgo en consonancia con el Reglamento (CE) n.o 765/2008 del Parlamento Europeo y del Consejo (7), la Decisión n.o 768/2008/CE del Parlamento Europeo y del Consejo (8) y el Reglamento (UE) 2019/1020 del Parlamento Europeo y del Consejo (9) (en lo sucesivo, «nuevo marco legislativo»). Las normas armonizadas que se establecen en el presente Reglamento deben aplicarse en todos los sectores y, en consonancia con el nuevo marco legislativo, deben entenderse sin perjuicio del Derecho vigente de la Unión, en particular en materia de protección de datos, protección de los consumidores, derechos fundamentales, empleo, protección de los trabajadores y seguridad de los productos, al que complementa el presente Reglamento. En consecuencia, permanecen inalterados y siguen siendo plenamente aplicables todos los derechos y vías de recurso que el citado Derecho de la Unión otorga a los consumidores y demás personas que puedan verse afectados negativamente por los sistemas de IA, también en lo que respecta a la reparación de los posibles daños de conformidad con la Directiva 85/374/CEE del Consejo (10). Además, en el contexto del empleo y la protección de los trabajadores, el presente Reglamento no debe afectar, por tanto, al Derecho de la Unión en materia de política social ni al Derecho laboral nacional —de conformidad con el Derecho de la Unión— relativa a las condiciones de empleo y de trabajo, incluidas la salud y seguridad en el trabajo y la relación entre empleadores y trabajadores. El presente Reglamento tampoco debe afectar en modo alguno al ejercicio de los derechos fundamentales reconocidos en los Estados miembros y a escala de la Unión, incluidos el derecho o la libertad de huelga o de emprender otras acciones contempladas en los sistemas de relaciones laborales específicos de los Estados miembros y el derecho a negociar, concluir y hacer cumplir convenios colectivos o a llevar a cabo acciones colectivas conforme al Derecho nacional. El presente Reglamento no debe afectar a las disposiciones destinadas a mejorar las condiciones laborales en el trabajo en plataformas digitales establecidas en una Directiva del Parlamento Europeo y del Consejo relativa a la mejora de las condiciones laborales en el trabajo en plataformas digitales. Además, el presente Reglamento tiene por objeto reforzar la eficacia de tales derechos y vías de recurso vigentes mediante el establecimiento de requisitos y obligaciones específicos, también en lo que respecta a la transparencia, la documentación técnica y la conservación de registros de los sistemas de IA. Asimismo, las obligaciones impuestas a los distintos operadores que participan en la cadena de valor de la IA en virtud del presente Reglamento deben aplicarse sin perjuicio del Derecho nacional que, de conformidad con el Derecho de la Unión, tenga por efecto limitar el uso de determinados sistemas de IA cuando dicho Derecho quede fuera del ámbito de aplicación del presente Reglamento o persiga objetivos legítimos de interés público distintos de los perseguidos por el presente Reglamento. Así, por ejemplo, el presente Reglamento no debe afectar al Derecho laboral nacional ni al Derecho en materia de protección de menores, a saber, de personas de menos de dieciocho años, que tienen en cuenta la Observación general n.o 25 (2021) de la Convención sobre los Derechos del Niño de las Naciones Unidas relativa a los derechos de los niños en relación con el entorno digital, en la medida en que no son específicas a los sistemas de IA y persiguen otros objetivos legítimos de interés público.
(10)
Temeljno pravo na zaštitu osobnih podataka osobito je zajamčeno uredbama (EU) 2016/679 (11) i (EU) 2018/1725 (12) Europskog parlamenta i Vijeća te Direktivom (EU) 2016/680 Europskog parlamenta i Vijeća (13). Direktivom 2002/58/EZ Europskog parlamenta i Vijeća (14) dodatno se štiti privatni život i povjerljivost komunikacija, među ostalim i pružanjem uvjeta za svu pohranu osobnih i neosobnih podataka u terminalnoj opremi te pristup tim podacima s terminalne opreme. Ti su pravni akti Unije temelj za održivu i odgovornu obradu podataka, među ostalim i onda kada skupovi podataka uključuju kombinaciju osobnih i neosobnih podataka. Ovom se Uredbom ne nastoji utjecati na primjenu postojećeg prava Unije kojim se uređuje obrada osobnih podataka, uključujući zadaće i ovlasti neovisnih nadzornih tijela nadležnih za praćenje usklađenosti s tim instrumentima. Ona usto ne utječe na obveze dobavljačâ UI sustava i subjekata koji uvode te sustave u njihovoj ulozi voditelja obrade podataka ili izvršitelja obrade podataka koje proizlaze iz prava Unije o zaštiti osobnih podataka ili nacionalnog prava o zaštiti osobnih podataka u mjeri u kojoj dizajniranje, razvoj ili korištenje UI sustava uključuje obradu osobnih podataka. Također je primjereno pojasniti da ispitanici i dalje uživaju sva prava i jamstva koja su im dodijeljena tim pravom Unije, među ostalim i prava povezana s isključivo automatiziranim pojedinačnim donošenjem odluka, uključujući izradu profila. Usklađena pravila o stavljanju na tržište, stavljanju u upotrebu i korištenju UI sustava uspostavljena ovom Uredbom trebala bi olakšati djelotvornu provedbu i omogućiti ostvarivanje prava ispitanikâ i drugih pravnih sredstava zajamčenih na temelju prava Unije o zaštiti osobnih podataka i drugih temeljnih prava.
(10)
El derecho fundamental a la protección de los datos personales está garantizado, en particular, por los Reglamentos (UE) 2016/679 (11) y (UE) 2018/1725 (12) del Parlamento Europeo y del Consejo y la Directiva (UE) 2016/680 del Parlamento Europeo y del Consejo (13). Además, la Directiva 2002/58/CE del Parlamento Europeo y del Consejo (14) protege la vida privada y la confidencialidad de las comunicaciones, también estableciendo condiciones para cualquier almacenamiento de datos personales y no personales en los equipos terminales, y el acceso desde estos. Dichos actos legislativos de la Unión constituyen la base para un tratamiento de datos sostenible y responsable, también cuando los conjuntos de datos contengan una combinación de datos personales y no personales. El presente Reglamento no pretende afectar a la aplicación del Derecho de la Unión vigente que regula el tratamiento de datos personales, incluidas las funciones y competencias de las autoridades de supervisión independientes competentes para vigilar el cumplimiento de dichos instrumentos. Tampoco afecta a las obligaciones de los proveedores y los responsables del despliegue de sistemas de IA en su papel de responsables o encargados del tratamiento de datos derivadas del Derecho de la Unión o nacional en materia de protección de datos personales en la medida en que el diseño, el desarrollo o el uso de sistemas de IA impliquen el tratamiento de datos personales. También conviene aclarar que los interesados siguen disfrutando de todos los derechos y garantías que les confiere dicho Derecho de la Unión, incluidos los derechos relacionados con las decisiones individuales totalmente automatizadas, como la elaboración de perfiles. Unas normas armonizadas para la introducción en el mercado, la puesta en servicio y la utilización de sistemas de IA establecidas en virtud del presente Reglamento deben facilitar la aplicación efectiva y permitir el ejercicio de los derechos y otras vías de recurso de los interesados garantizados por el Derecho de la Unión en materia de protección de datos personales, así como de otros derechos fundamentales.
(11)
Ovom se Uredbom ne bi trebale dovoditi u pitanje odredbe o odgovornosti pružatelja usluga posredovanja kako su utvrđene u Uredbi (EU) 2022/2065 Europskog parlamenta i Vijeća (15).
(11)
El presente Reglamento debe interpretarse sin perjuicio de las disposiciones del Reglamento (UE) 2022/2065 del Parlamento Europeo y del Consejo (15) relativas a la responsabilidad de los prestadores de servicios intermediarios.
(12)
Pojam „UI sustav” u ovoj bi Uredbi trebalo jasno definirati i usko ga uskladiti s radom međunarodnih organizacija koje se bave umjetnom inteligencijom kako bi se zajamčila pravna sigurnost te olakšala međunarodna konvergencija i široka prihvaćenost i pritom omogućila fleksibilnost za prilagođavanje brzom tehnološkom napretku u tom području. Nadalje, ta bi se definicija trebala temeljiti na ključnim značajkama UI sustavâ po kojima se razlikuje od jednostavnijih tradicionalnih softverskih sustava ili pristupâ programiranju te ne bi trebao obuhvaćati sustave koji se temelje na pravilima koja su definirale isključivo fizičke osobe za automatsko izvršavanje operacija. Ključna značajka UI sustava njihova je sposobnost zaključivanja. Ta sposobnost zaključivanja odnosi se na proces dobivanja izlaznih vrijednosti, kao što su predviđanja, sadržaj, preporuke ili odluke, koje mogu utjecati na fizička i virtualna okružja, te na sposobnost UI sustava da izvode modele ili algoritme, ili i modele i algoritme, iz ulaznih vrijednosti ili podataka. Tehnike koje omogućuju zaključivanje pri izgradnji UI sustava uključuju pristupe strojnog učenja koji s pomoću podataka uče kako postići određene ciljeve te pristupe temeljene na logici i znanju koji izvode zaključke iz kodiranog znanja ili simboličkog prikaza zadatka koji treba riješiti. Sposobnost UI sustava da zaključuje nadilazi osnovnu obradu podataka omogućujući učenje, rezoniranje ili modeliranje. Pojam „strojni” odnosi se na činjenicu da je rad UI sustava pogonjen strojevima. Upućivanjem na eksplicitne ili implicitne ciljeve ističe se da UI sustavi mogu raditi u skladu s eksplicitno definiranim ciljevima ili implicitnim ciljevima. Ciljevi UI sustava mogu se u specifičnom kontekstu razlikovati od namjene UI sustava. Za potrebe ove Uredbe okružja bi trebalo razumjeti kao kontekste u kojima UI sustavi rade, a izlazne vrijednosti koje UI sustav generira odražavaju različite funkcije UI sustava i uključuju predviđanja, sadržaj, preporuke ili odluke. UI sustavi dizajnirani su tako da rade s promjenjivim razinama autonomije, što znači da imaju određeni stupanj neovisnosti djelovanja od ljudske uključenosti i sposobnosti rada bez ljudske intervencije. Prilagodljivost koju bi UI sustav mogao pokazati nakon uvođenja odnosi se na sposobnosti samostalnog učenja, koje sustavu omogućuju da se mijenja dok je u upotrebi. UI sustavi mogu se upotrebljavati samostalno ili kao komponenta nekog proizvoda, neovisno o tome je li sustav fizički integriran u proizvod (ugrađen) ili služi funkcionalnosti proizvoda, a da nije integriran u njega (neugrađen).
(12)
Debe definirse con claridad el concepto de «sistema de IA» en el presente Reglamento y armonizarlo estrechamente con los trabajos de las organizaciones internacionales que se ocupan de la IA, a fin de garantizar la seguridad jurídica y facilitar la convergencia a escala internacional y una amplia aceptación, al mismo tiempo que se prevé la flexibilidad necesaria para dar cabida a los rápidos avances tecnológicos en este ámbito. Además, la definición debe basarse en las principales características de los sistemas de IA que los distinguen de los sistemas de software o los planteamientos de programación tradicionales y más sencillos, y no debe incluir los sistemas basados en las normas definidas únicamente por personas físicas para ejecutar automáticamente operaciones. Una característica principal de los sistemas de IA es su capacidad de inferencia. Esta capacidad de inferencia se refiere al proceso de obtención de resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que puede influir en entornos físicos y virtuales, y a la capacidad de los sistemas de IA para deducir modelos o algoritmos, o ambos, a partir de información de entrada o datos. Las técnicas que permiten la inferencia al construir un sistema de IA incluyen estrategias de aprendizaje automático que aprenden de los datos cómo alcanzar determinados objetivos y estrategias basadas en la lógica y el conocimiento que infieren a partir de conocimientos codificados o de una representación simbólica de la tarea que debe resolverse. La capacidad de inferencia de un sistema de IA trasciende el tratamiento básico de datos, al permitir el aprendizaje, el razonamiento o la modelización. El término «basado en una máquina» se refiere al hecho de que los sistemas de IA se ejecutan en máquinas.La referencia a objetivos explícitos o implícitos subraya que los sistemas de IA pueden funcionar con arreglo a objetivos definidos explícitos o a objetivos implícitos. Los objetivos del sistema de IA pueden ser diferentes de la finalidad prevista del sistema de IA en un contexto específico. A los efectos del presente Reglamento, debe entenderse por entornos los contextos en los que funcionan los sistemas de IA, mientras que los resultados de salida generados por el sistema de IA reflejan las distintas funciones desempeñadas por los sistemas de IA e incluyen predicciones, contenidos, recomendaciones o decisiones. Los sistemas de IA están diseñados para funcionar con distintos niveles de autonomía, lo que significa que pueden actuar con cierto grado de independencia con respecto a la actuación humana y tienen ciertas capacidades para funcionar sin intervención humana. La capacidad de adaptación que un sistema de IA podría mostrar tras su despliegue se refiere a las capacidades de autoaprendizaje que permiten al sistema cambiar mientras está en uso. Los sistemas de IA pueden utilizarse de manera independiente o como componentes de un producto, con independencia de si el sistema forma parte físicamente del producto (integrado) o contribuye a la funcionalidad del producto sin formar parte de él (no integrado).
(13)
Pojam „subjekt koji uvodi sustav” iz ove Uredbe trebalo bi tumačiti kao svaku fizičku ili pravnu osobu, uključujući tijelo javne vlasti, javnu agenciju ili drugo javno tijelo, koja upotrebljava UI sustav u okviru svoje nadležnosti, osim ako se UI sustav upotrebljava u osobnoj neprofesionalnoj djelatnosti. Ovisno o vrsti UI sustava, njegovo korištenje može utjecati na osobe koje nisu subjekt koji ga uvodi.
(13)
El concepto de «responsable del despliegue» a que hace referencia el presente Reglamento debe interpretarse como cualquier persona física o jurídica, incluida cualquier autoridad pública, órgano u organismo, que utilice un sistema de IA bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional. Dependiendo del tipo de sistema de IA, el uso del sistema puede afectar a personas distintas del responsable del despliegue.
(14)
Pojam „biometrijski podaci” koji se upotrebljava u ovoj Uredbi trebalo bi tumačiti s obzirom na pojam biometrijskih podataka kako je definiran u članku 4. točki 14. Uredbe (EU) 2016/679, članku 3. točki 18. Uredbe (EU) 2018/1725 i članku 3. točki 13. Direktive (EU) 2016/680. Biometrijski podaci mogu omogućiti autentifikaciju, identifikaciju ili kategorizaciju fizičkih osoba i prepoznavanje njihovih emocija.
(14)
El concepto de «datos biométricos» empleado en el presente Reglamento debe interpretarse a la luz del concepto de «datos biométricos» tal como se define en el artículo 4, punto 14, del Reglamento (UE) 2016/679, en el artículo 3, punto 18, del Reglamento (UE) 2018/1725, y en el artículo 3, punto 13, de la Directiva (UE) 2016/680. Los datos biométricos pueden permitir la autenticación, la identificación o la categorización de las personas físicas y el reconocimiento de las emociones de las personas físicas.
(15)
Pojam „biometrijska identifikacija” iz ove Uredbe trebalo bi definirati kao automatizirano prepoznavanje fizičkih, fizioloških i bihevioralnih obilježja ljudi, kao što su lice, pokreti očiju, izrazi lica, oblik tijela, glas, govor, hod, držanje, srčani ritam, krvni tlak, miris i način tipkanja, u svrhu utvrđivanja identiteta pojedinca usporedbom njegovih biometrijskih podataka s biometrijskim podacima pojedinaca pohranjenima u referentnoj bazi podataka, neovisno o tome je li dotični pojedinac dao privolu. To isključuje UI sustave namijenjene za biometrijsku provjeru, uključujući autentifikaciju, čija je jedina svrha potvrditi da je određena fizička osoba doista ona kojom se predstavlja i potvrditi identitet fizičke osobe isključivo radi pristupa usluzi, otključavanja uređaja ili sigurnog pristupa prostorijama.
(15)
El concepto de «identificación biométrica» a que hace referencia el presente Reglamento debe definirse como el reconocimiento automatizado de características humanas de tipo físico, fisiológico o conductual, como la cara, el movimiento ocular, la forma del cuerpo, la voz, la entonación, el modo de andar, la postura, la frecuencia cardíaca, la presión arterial, el olor o las características de las pulsaciones de tecla, a fin de determinar la identidad de una persona comparando sus datos biométricos con los datos biométricos de personas almacenados en una base de datos de referencia, independientemente de que la persona haya dado o no su consentimiento. Quedan excluidos los sistemas de IA destinados a la verificación biométrica, que comprende la autenticación, cuyo único propósito es confirmar que una persona física concreta es la persona que dice ser, así como la identidad de una persona física con la finalidad exclusiva de que tenga acceso a un servicio, desbloquee un dispositivo o tenga acceso de seguridad a un local.
(16)
Pojam „biometrijska kategorizacija” iz ove Uredbe trebalo bi definirati kao razvrstavanje fizičkih osoba u određene kategorije na temelju njihovih biometrijskih podataka. Te specifične kategorije mogu se odnositi na aspekte kao što su spol, dob, boja kose, boja očiju, tetovaže, značajke ponašanja ili osobnosti, jezik, vjera, pripadnost nacionalnoj manjini, spolna ili politička orijentacija. To ne uključuje sustave za biometrijsku kategorizaciju koji su isključivo pomoćni element intrinzično povezan s drugom komercijalnom uslugom, što znači da se taj element iz objektivnih tehničkih razloga ne može upotrebljavati bez glavne usluge i da integracija tog elementa ili funkcionalnosti nije sredstvo za zaobilaženje primjenjivosti pravila ove Uredbe. Na primjer, filtri za kategorizaciju značajki lica ili tijela koji se upotrebljavaju na internetskim tržištima mogli bi biti takav pomoćni element jer se mogu upotrebljavati samo u vezi s glavnom uslugom koja se sastoji od prodaje proizvoda tako što se potrošaču omogućuje da pregleda prikaz proizvoda na sebi i tako što pomaže u donošenju odluke o kupnji. Filtri koji se upotrebljavaju na internetskim društvenim mrežama i kojima se kategoriziraju značajke lica ili tijela kako bi se korisnicima omogućilo dodavanje ili izmjena slika ili videozapisa također bi se mogli smatrati pomoćnim elementom jer se takvi filtri ne mogu upotrebljavati bez glavne usluge društvenih mreža koja se sastoji od dijeljenja sadržaja na internetu.
(16)
El concepto de «categorización biométrica» a que hace referencia el presente Reglamento debe definirse como la inclusión de personas físicas en categorías específicas en función de sus datos biométricos. Estas categorías específicas pueden referirse a aspectos como el sexo, la edad, el color del pelo, el color de los ojos, los tatuajes, los rasgos conductuales o de la personalidad, la lengua, la religión, la pertenencia a una minoría nacional o la orientación sexual o política. No se incluyen los sistemas de categorización biométrica que sean una característica meramente accesoria intrínsecamente vinculada a otro servicio comercial, lo que significa que la característica no puede utilizarse, por razones técnicas objetivas, sin el servicio principal y que la integración de dicha característica o funcionalidad no es un medio para eludir la aplicabilidad de las normas del presente Reglamento. Por ejemplo, los filtros que clasifican las características faciales o corporales utilizados en los mercados en línea podrían constituir una característica accesoria de este tipo, ya que solo pueden utilizarse en relación con el servicio principal, que consiste en vender un producto permitiendo al consumidor previsualizar cómo le quedaría y ayudarlo a tomar una decisión de compra. Los filtros utilizados en los servicios de redes sociales que clasifican las características faciales o corporales a fin de que los usuarios puedan añadir o modificar imágenes o vídeos también podrían considerarse una característica accesoria, ya que dichos filtros no pueden utilizarse sin el servicio principal de las redes sociales, que consiste en compartir contenidos en línea.
(17)
Pojam „sustav za daljinsku biometrijsku identifikaciju” iz ove Uredbe trebalo bi definirati funkcionalno kao UI sustav namijenjen identifikaciji fizičkih osoba bez njihova aktivnog sudjelovanja, obično na daljinu, usporedbom biometrijskih podataka dotične osobe s biometrijskim podacima iz referentne baze podataka, bez obzira na specifičnu tehnologiju, specifične postupke ili specifične vrste biometrijskih podataka koji se upotrebljavaju. Takvi sustavi za daljinsku biometrijsku identifikaciju obično se upotrebljavaju za istodobno percipiranje više osoba ili njihova ponašanja kako bi se znatno olakšala identifikacija fizičkih osoba bez njihova aktivnog sudjelovanja. To isključuje UI sustave namijenjene za biometrijsku provjeru, uključujući autentifikaciju, čija je jedina svrha potvrditi da je određena fizička osoba doista ona kojom se predstavlja i potvrditi identitet fizičke osobe isključivo radi pristupa usluzi, otključavanja uređaja ili sigurnog pristupa prostorijama. To je isključenje opravdano činjenicom da će takvi sustavi vjerojatno manje utjecati na temeljna prava fizičkih osoba nego sustavi za daljinsku biometrijsku identifikaciju koji se mogu upotrebljavati za obradu biometrijskih podataka velikog broja osoba bez njihova aktivnog sudjelovanja. U slučaju sustava u stvarnom vremenu prikupljanje biometrijskih podataka, usporedba i identifikacija odvijaju se trenutačno, gotovo trenutačno ili u svakom slučaju bez znatnog vremenskog odmaka. U tom pogledu ne bi trebao postojati prostor za zaobilaženje pravila iz ove Uredbe o korištenju dotičnih UI sustava u stvarnom vremenu predviđanjem kratkih vremenskih odmaka. Sustavi u stvarnom vremenu uključuju korištenje materijala snimljenog „uživo” ili „gotovo uživo”, kao što je videozapis, zabilježenog kamerom ili drugim uređajem sa sličnom funkcijom. S druge strane, u slučaju sustava za naknadnu identifikaciju biometrijski su podaci već prethodno prikupljeni te se usporedba i identifikacija provode tek nakon znatnog vremenskog odmaka. To uključuje materijal, kao što su fotografije ili videozapisi zabilježeni nadzornim kamerama ili privatnim uređajima, snimljen prije nego što je sustav upotrijebljen za identifikaciju dotičnih fizičkih osoba.
(17)
El concepto de «sistema de identificación biométrica remota» a que hace referencia el presente Reglamento debe definirse de manera funcional como un sistema de IA destinado a identificar a personas físicas sin su participación activa, generalmente a distancia, comparando sus datos biométricos con los que figuren en una base de datos de referencia, con independencia de la tecnología, los procesos o los tipos de datos biométricos concretos que se usen. Estos sistemas de identificación biométrica remota suelen utilizarse para detectar a varias personas o su comportamiento de forma simultánea, a fin de simplificar considerablemente la identificación de personas sin su participación activa. Quedan excluidos los sistemas de IA destinados a la verificación biométrica, que comprende la autenticación, cuyo único propósito es confirmar que una persona física concreta es la persona que dice ser, así como la identidad de una persona física con la finalidad exclusiva de que tenga acceso a un servicio, desbloquee un dispositivo o tenga acceso de seguridad a un local. Esa exclusión se justifica por el hecho de que tales sistemas probablemente tengan una repercusión menor en los derechos fundamentales de las personas físicas que los sistemas de identificación biométrica remota que puedan utilizarse para el tratamiento de los datos biométricos de un gran número de personas sin su participación activa. En el caso de los sistemas «en tiempo real», la recogida de los datos biométricos, la comparación y la identificación se producen de manera instantánea, casi instantánea o, en cualquier caso, sin una importante demora. En este sentido, no debe existir la posibilidad de eludir las normas contempladas en el presente Reglamento en relación con el uso «en tiempo real» de los sistemas de IA de que se trate generando demoras mínimas. Los sistemas «en tiempo real» implican el uso de materiales «en directo» o «casi en directo», como grabaciones de vídeo, generados por una cámara u otro dispositivo con funciones similares. En cambio, en los sistemas «en diferido» ya se han recabado los datos biométricos y la comparación e identificación se producen con una importante demora. A tal fin se utilizan materiales, como imágenes o grabaciones de vídeo captadas por cámaras de televisión en circuito cerrado o dispositivos privados, generados con anterioridad a la utilización del sistema en relación con las personas físicas afectadas.
(18)
Pojam „sustav za prepoznavanje emocija” iz ove Uredbe trebalo bi definirati kao UI sustav namijenjen prepoznavanju emocija ili namjera fizičkih osoba ili izvođenju zaključaka o njihovim emocijama ili namjerama na temelju njihovih biometrijskih podataka. Taj se pojam odnosi na emocije ili namjere kao što su sreća, tuga, ljutnja, iznenađenje, gađenje, osramoćenost, uzbuđenje, sram, prijezir, zadovoljstvo i zabavljenost. Ne uključuje fizička stanja, kao što su bol ili umor, među ostalim, primjerice, sustave koji se upotrebljavaju za otkrivanje stanja umora kod profesionalnih pilota ili vozača u svrhu sprečavanja nesreća. To također ne uključuje samo otkrivanje lako vidljivih izraza, gesta ili pokreta, osim ako se upotrebljavaju za identifikaciju ili izvođenje zaključaka o emocijama. Ti izrazi mogu biti osnovni izrazi lica, kao što su namrštenost ili osmjeh, ili geste kao što su pokreti ruku ili glave, ili značajke glasa osobe, kao što su podignut glas ili šaptanje.
(18)
El concepto de «sistema de reconocimiento de emociones» a que hace referencia el presente Reglamento debe definirse como un sistema de IA destinado a distinguir o deducir las emociones o las intenciones de las personas físicas a partir de sus datos biométricos. El concepto se refiere a emociones o intenciones como la felicidad, la tristeza, la indignación, la sorpresa, el asco, el apuro, el entusiasmo, la vergüenza, el desprecio, la satisfacción y la diversión. No incluye los estados físicos, como el dolor o el cansancio, como, por ejemplo, los sistemas utilizados para detectar el cansancio de los pilotos o conductores profesionales con el fin de evitar accidentes. Tampoco incluye la mera detección de expresiones, gestos o movimientos que resulten obvios, salvo que se utilicen para distinguir o deducir emociones. Esas expresiones pueden ser expresiones faciales básicas, como un ceño fruncido o una sonrisa; gestos como el movimiento de las manos, los brazos o la cabeza, o características de la voz de una persona, como una voz alzada o un susurro.
(19)
Za potrebe ove Uredbe pojam „javno mjesto” trebalo bi razumjeti kao svako fizičko mjesto koje je dostupno neodređenom broju fizičkih osoba, bez obzira na to je li dotično mjesto u privatnom ili javnom vlasništvu i na aktivnost za koju se to mjesto može upotrebljavati, kao što su trgovina npr. trgovine, restorani, kafići, usluge npr. banke, profesionalne aktivnosti, ugostiteljstvo, sport npr. bazeni, teretane, stadioni, prijevoz npr. autobusne i željezničke postaje, postaje podzemne željeznice, zračne luke, prijevozna sredstva, zabava npr. kina, kazališta, muzeji, koncertne i konferencijske dvorane odnosno aktivnosti u slobodno vrijeme ili druge svrhe npr. javne ceste i trgovi, parkovi, šume, igrališta. Mjesto bi trebalo klasificirati kao javno i ako, bez obzira na potencijalni kapacitet ili sigurnosna ograničenja, pristup tom mjestu podliježe određenim unaprijed utvrđenim uvjetima koje može ispuniti neodređen broj osoba, kao što su kupnja ulaznice ili prijevozne karte, prethodna registracija ili određena dob. S druge strane, mjesto se ne bi trebalo smatrati javnim ako je pristup ograničen na specifične i definirane fizičke osobe putem prava Unije ili nacionalnog prava koje je izravno povezano s javnom sigurnošću ili zaštitom odnosno putem jasnog iskaza volje osobe koja ima odgovarajuće ovlasti na tom mjestu. Sama činjenična mogućnost pristupa kao što su otključana vrata ili otvoreni ulaz u ogradi ne znači da je mjesto javno ako postoje naznake ili okolnosti koje upućuju na suprotno kao što su znakovi kojima se zabranjuje ili ograničava pristup. Poslovni prostori poduzećâ i tvornica te uredi i mjesta rada kojima mogu pristupiti samo relevantni zaposlenici i pružatelji usluga nisu javna mjesta. Javna mjesta ne bi trebala uključivati zatvore ili graničnu kontrolu. Neka druga mjesta mogu se sastojati i od mjesta koja su javna mjesta i od mjesta koja to nisu, kao što je hodnik privatne stambene zgrade potreban za pristup liječničkoj ordinaciji ili zračna luka. Nisu obuhvaćeni internetski prostori jer oni nisu fizički prostori. Ipak, činjenicu je li određeno mjesto javno trebalo bi utvrditi na pojedinačnoj osnovi i pritom uzeti u obzir specifične okolnosti konkretne situacije.
(19)
A los efectos del presente Reglamento, debe entenderse que el concepto de «espacio de acceso público» se refiere a cualquier espacio físico al que pueda acceder un número indeterminado de personas físicas y con independencia de si es de propiedad privada o pública y de la actividad para la que pueda utilizarse el espacio, ya sean actividades comerciales, por ejemplo, tiendas, restaurantes, cafeterías; de prestación de servicios, por ejemplo, bancos, actividades profesionales, hostelería; deportivas, por ejemplo, piscinas, gimnasios, estadios; de transporte, por ejemplo, estaciones de autobús, metro y ferrocarril, aeropuertos, medios de transporte; de entretenimiento, por ejemplo, cines, teatros, museos, salas de conciertos, salas de conferencias; de ocio o de otro tipo, por ejemplo, vías y plazas públicas, parques, bosques, parques infantiles. Asimismo, debe considerarse que un espacio es de acceso público si, con independencia de posibles restricciones de capacidad o de seguridad, el acceso está sujeto a determinadas condiciones previamente definidas que puede satisfacer un número indeterminado de personas, como la adquisición de una entrada o un título de transporte, el registro previo o tener una determinada edad. Por el contrario, un espacio no debe considerarse de acceso público si únicamente pueden acceder a él determinadas personas físicas definidas, ya sea en virtud del Derecho de la Unión o del Derecho nacional directamente relacionado con la seguridad pública o en virtud de una clara manifestación de voluntad de la persona que ejerza la autoridad pertinente sobre dicho espacio. La posibilidad real de acceso, como una puerta no cerrada con llave o una verja abierta, no implica por sí sola que el espacio sea de acceso público si hay indicios o circunstancias que sugieran lo contrario, como señales que prohíban o restrinjan el acceso. Los locales de empresas y fábricas, así como las oficinas y lugares de trabajo a los que solo se pretende que accedan los empleados y proveedores de servicios pertinentes, no son espacios de acceso público. No deben incluirse en los espacios de acceso público las prisiones ni las zonas en que se realizan inspecciones fronterizas. Algunos espacios pueden incluir tanto zonas de acceso público como zonas que no son de acceso público, como los aeropuertos o el vestíbulo de un edificio residencial privado por el que se accede a una consulta médica. Los espacios en línea no son lugares de acceso público, ya que no son espacios físicos. No obstante, se debe determinar caso por caso si un espacio es de acceso público o no teniendo en cuenta las particularidades de la situación concreta.
(20)
Kako bi se ostvarile najveće koristi od UI sustava i istodobno zaštitila temeljna prava, zdravlje i sigurnost te omogućila demokratska kontrola, pismenost u području umjetne inteligencije trebala bi dobavljačima, subjektima koji uvode sustav i osobama na koje utječe umjetna inteligencija osigurati vladanje potrebnim pojmovima kako bi mogli donositi informirane odluke o UI sustavima. Ti se pojmovi mogu razlikovati s obzirom na relevantni kontekst i mogu uključivati razumijevanje pravilne primjene tehničkih elemenata tijekom faze razvoja UI sustava, mjera koje treba primijeniti tijekom njegova korištenja, prikladnih načina tumačenja izlaznih vrijednosti UI sustava i, u slučaju osoba na koje utječe umjetna inteligencija, znanje potrebno za razumijevanje načina na koji će odluke donesene uz pomoć umjetne inteligencije utjecati na njih. U kontekstu primjene ove Uredbe pismenost u području umjetne inteligencije trebala bi svim relevantnim akterima u vrijednosnom lancu umjetne inteligencije pružiti uvide potrebne za osiguravanje odgovarajuće usklađenosti i njezina pravilnog izvršavanja. Nadalje, široka provedba mjera pismenosti u području umjetne inteligencije i uvođenje odgovarajućih daljnjih mjera mogli bi doprinijeti poboljšanju radnih uvjeta i u konačnici podržati konsolidaciju i inovacijski put pouzdane umjetne inteligencije u Uniji. Europsko vijeće za umjetnu inteligenciju („Vijeće za umjetnu inteligenciju”) trebalo bi podupirati Komisiju u promicanju alata za pismenost u području umjetne inteligencije, javne svijesti te razumijevanja koristi, rizika, zaštitnih mjera, prava i obveza povezanih s korištenjem UI sustava. U suradnji s relevantnim dionicima Komisija i države članice trebale bi olakšati izradu dobrovoljnih kodeksa ponašanja kako bi se unaprijedila pismenost u području umjetne inteligencije među osobama koje se bave razvojem, radom i korištenjem umjetne inteligencije.
(20)
Con el fin de obtener los mayores beneficios de los sistemas de IA, protegiendo al mismo tiempo los derechos fundamentales, la salud y la seguridad, y de posibilitar el control democrático, la alfabetización en materia de IA debe dotar a los proveedores, responsables del despliegue y personas afectadas de los conceptos necesarios para tomar decisiones con conocimiento de causa en relación con los sistemas de IA. Esos conceptos pueden variar en función del contexto pertinente e incluir el entendimiento de la correcta aplicación de los elementos técnicos durante la fase de desarrollo del sistema de IA, las medidas que deben aplicarse durante su uso, las formas adecuadas de interpretar los resultados de salida del sistema de IA y, en el caso de las personas afectadas, los conocimientos necesarios para comprender el modo en que las decisiones adoptadas con la ayuda de la IA tendrán repercusiones para ellas. En el contexto de la aplicación del presente Reglamento, la alfabetización en materia de IA debe proporcionar a todos los agentes pertinentes de la cadena de valor de la IA los conocimientos necesarios para garantizar el cumplimiento adecuado y la correcta ejecución. Además, la puesta en práctica general de medidas de alfabetización en materia de IA y la introducción de acciones de seguimiento adecuadas podrían contribuir a mejorar las condiciones de trabajo y, en última instancia, sostener la consolidación y la senda de innovación de una IA fiable en la Unión. El Consejo Europeo de Inteligencia Artificial (en lo sucesivo, «Consejo de IA») debe apoyar a la Comisión para promover las herramientas de alfabetización en materia de IA, la sensibilización pública y la comprensión de los beneficios, los riesgos, las salvaguardias, los derechos y las obligaciones en relación con el uso de sistemas de IA. En cooperación con las partes interesadas pertinentes, la Comisión y los Estados miembros deben facilitar la elaboración de códigos de conducta voluntarios para promover la alfabetización en materia de IA entre las personas que se ocupan del desarrollo, el manejo y el uso de la IA.
(21)
Kako bi se osigurali jednaki uvjeti i djelotvorna zaštita prava i sloboda pojedinaca u cijeloj Uniji, pravila utvrđena ovom Uredbom trebala bi se primjenjivati na dobavljače UI sustava na nediskriminirajući način, bez obzira na to imaju li poslovni nastan u Uniji ili trećoj zemlji, i na subjekte koji uvode UI sustave s poslovnim nastanom u Uniji.
(21)
Con el objetivo de garantizar la igualdad de condiciones y la protección efectiva de los derechos y libertades de las personas en toda la Unión, las normas establecidas en el presente Reglamento deben aplicarse a los proveedores de sistemas de IA sin discriminación, con independencia de si están establecidos en la Unión o en un tercer país, y a los responsables del despliegue de sistemas de IA establecidos en la Unión.
(22)
Određeni bi UI sustavi s obzirom na njihov digitalni karakter trebali biti obuhvaćeni područjem primjene ove Uredbe čak i ako nisu stavljeni na tržište ni u upotrebu niti se upotrebljavaju u Uniji. To se, primjerice, odnosi na operatera s poslovnim nastanom u Uniji koji od operatera s poslovnim nastanom u trećoj zemlji naruči određene usluge povezane s aktivnošću koju obavlja UI sustav koji bi se smatrao visokorizičnim. U tim bi okolnostima UI sustav kojim se služi operater u trećoj zemlji mogao obrađivati podatke koji su zakonito prikupljeni u Uniji i preneseni iz nje te operateru ugovaratelju u Uniji dostaviti izlazne podatke UI sustava koje su rezultat te obrade, a da taj UI sustav nije stavljen ni na tržište ni u upotrebu niti se upotrebljava u Uniji. Kako bi se spriječilo zaobilaženje ove Uredbe i osigurala djelotvorna zaštita fizičkih osoba koje se nalaze u Uniji, ova bi se Uredba trebala primjenjivati i na dobavljače UI sustava i subjekte koji ih uvode koji imaju poslovni nastan u trećoj zemlji, u mjeri u kojoj se u Uniji namjeravaju upotrebljavati izlazni podaci tih sustava. Međutim, kako bi se uzeli u obzir postojeći aranžmani i posebne potrebe za budućom suradnjom sa stranim partnerima s kojima se razmjenjuju informacije i dokazi, ova se Uredba ne bi trebala primjenjivati na tijela javne vlasti treće zemlje ni na međunarodne organizacije kada djeluju u okviru suradnje ili međunarodnih sporazuma koji su na razini Unije ili na nacionalnoj razini sklopljeni s Unijom ili državama članicama radi suradnje u područjima kaznenog progona i pravosuđa, pod uvjetom da relevantna treća zemlja ili međunarodna organizacija osigura odgovarajuće zaštitne mjere u pogledu zaštite temeljnih prava i sloboda pojedinaca. To prema potrebi može obuhvaćati aktivnosti subjekata kojima su treće zemlje povjerile izvršavanje posebnih zadaća za potporu takvoj suradnji u područjima kaznenog progona i pravosuđa. Takvi okviri za suradnju ili sporazumi uspostavljeni su bilateralno između država članica i trećih zemalja ili između Europske unije, Europola i drugih agencija Unije te trećih zemalja i međunarodnih organizacija. Tijela nadležna za nadzor tijela kaznenog progona i pravosudnih tijela na temelju ove Uredbe trebala bi procijeniti uključuju li ti okviri za suradnju ili međunarodni sporazumi odgovarajuće zaštitne mjere u pogledu zaštite temeljnih prava i sloboda pojedinaca. Nacionalna tijela primatelji i institucije, tijela, uredi i agencije Unije koji se služe takvim izlaznim podacima u Uniji i dalje snose odgovornost za osiguravanje usklađenosti njihova korištenja s pravom Unije. Pri reviziji tih međunarodnih sporazuma ili sklapanju novih sporazuma u budućnosti ugovorne stranke trebale bi uložiti najveće moguće napore u usklađivanje tih sporazuma sa zahtjevima ove Uredbe.
(22)
Debido a su carácter digital, algunos sistemas de IA deben entrar en el ámbito de aplicación del presente Reglamento aunque no se introduzcan en el mercado, se pongan en servicio ni se utilicen en la Unión. Esto sucede, por ejemplo, cuando un operador establecido en la Unión firma con un operador establecido en un tercer país un contrato para la prestación de determinados servicios en relación con una actividad que llevará a cabo un sistema de IA que se consideraría de alto riesgo. En dichas circunstancias, el sistema de IA usado en un tercer país por el operador podría tratar datos recabados lícitamente en la Unión y transferidos desde su territorio, y proporcionar al operador contratante ubicado en la Unión los resultados de salida generados por dicho sistema de IA a raíz de este tratamiento sin que el sistema de IA de que se trate se introduzca en el mercado, se ponga en servicio o se utilice en la Unión. Para evitar la elusión de este Reglamento y garantizar la protección efectiva de las personas físicas ubicadas en la Unión, el presente Reglamento también debe aplicarse a los proveedores y responsables del despliegue de sistemas de IA establecidos en un tercer país, en la medida en que los resultados de salida generados por dichos sistemas estén destinados a utilizarse en la Unión. No obstante, con el objetivo de tener en cuenta los acuerdos existentes y las necesidades especiales de cooperación futura con socios extranjeros con los que se intercambian información y pruebas, el presente Reglamento no debe aplicarse a las autoridades públicas de un tercer país ni a organizaciones internacionales cuando actúen en el marco de acuerdos internacionales o de cooperación celebrados a escala nacional o de la Unión con fines de cooperación policial y judicial con la Unión o sus Estados miembros si el tercer país o la organización internacional correspondiente ofrece garantías suficientes con respecto a la protección de los derechos y libertades fundamentales de las personas. Cuando proceda, ello podrá incluir las actividades de entidades a las que los terceros países hayan encomendado tareas específicas en apoyo de dicha cooperación policial y judicial. Dichos marcos de cooperación o acuerdos se han establecido bilateralmente entre los Estados miembros y terceros países o entre la Unión Europea, Europol y otros órganos de la Unión y terceros países y organizaciones internacionales. Las autoridades competentes para la supervisión de las autoridades policiales y judiciales en virtud del presente Reglamento deben evaluar si dichos marcos de cooperación o acuerdos internacionales incluyen garantías suficientes con respecto a la protección de los derechos y libertades fundamentales de las personas. Las autoridades nacionales y las instituciones, órganos y organismos de la Unión que sean destinatarios de dichos resultados de salida y que la utilicen en la Unión siguen siendo responsables de garantizar que su utilización de la información está en consonancia con el Derecho de la Unión. Cuando, en el futuro, dichos acuerdos internacionales se revisen o se celebren otros nuevos, las partes contratantes deben hacer todo lo posible por que dichos acuerdos se ajusten a los requisitos del presente Reglamento.
(23)
Ova bi se Uredba trebala primjenjivati i na institucije, tijela, urede i agencije Unije kada djeluju kao dobavljač UI sustava ili subjekt koji ga uvodi.
(23)
El presente Reglamento también debe aplicarse a las instituciones, órganos y organismos de la Unión cuando actúen como proveedores o responsables del despliegue de un sistema de IA.
(24)
Ako se i u mjeri u kojoj se UI sustavi stavljaju na tržište, stavljaju u upotrebu ili se upotrebljavaju, s izmjenama ili bez njih, u vojne svrhe, obrambene svrhe ili u svrhe povezane s nacionalnom sigurnošću, te bi sustave trebalo isključiti iz područja primjene ove Uredbe neovisno o tome koja vrsta subjekta obavlja te aktivnosti, primjerice bez obzira na to radi li se o javnom ili privatnom subjektu. Kad je riječ o vojnim i obrambenim svrhama, takvo je isključenje opravdano i člankom 4. stavkom 2. UEU-a i posebnostima obrambene politike država članica i zajedničke obrambene politike Unije obuhvaćene glavom V. poglavljem 2. UEU-a koje podliježu međunarodnom javnom pravu, koje je stoga primjereniji pravni okvir za reguliranje UI sustavâ u kontekstu korištenja smrtonosne sile i drugih UI sustava u kontekstu vojnih i obrambenih aktivnosti. Kad je riječ o nacionalnoj sigurnosti, isključenje je opravdano kako činjenicom da nacionalna sigurnost ostaje isključiva odgovornost država članica, u skladu s člankom 4. stavkom 2. UEU-a, tako i posebnom prirodom i operativnim potrebama aktivnosti povezanih s nacionalnom sigurnošću i posebnim nacionalnim pravilima koja se primjenjuju na te aktivnosti. Međutim, ako se UI sustav koji je razvijen, stavljen na tržište, stavljen u upotrebu ili se njime služi u vojne svrhe, obrambene svrhe ili u svrhe povezane s nacionalnom sigurnošću privremeno ili trajno upotrebljava u druge svrhe, na primjer civilne ili humanitarne, u svrhu kaznenog progona ili za potrebe javne sigurnosti, takav bi sustav bio obuhvaćen područjem primjene ove Uredbe. U tom bi slučaju subjekt koji UI sustav upotrebljava u svrhe koje nisu vojne svrhe, obrambene svrhe ili svrhe povezane s nacionalnom sigurnošću trebao osigurati usklađenost UI sustava s ovom Uredbom, osim ako je sustav s njome već usklađen. UI sustavi koji se stavljaju na tržište ili u upotrebu u isključene svrhe, odnosno vojne svrhe, obrambene svrhe ili svrhe povezane s nacionalnom sigurnošću, i u jednu ili više svrha koje nisu isključene, kao što su civilne svrhe ili kazneni progon, obuhvaćeni su područjem primjene ove Uredbe i dobavljači tih sustava trebali bi osigurati usklađenost s ovom Uredbom. U tim slučajevima činjenica da UI sustav može biti obuhvaćen područjem primjene ove Uredbe ne bi trebala utjecati na mogućnost da subjekti koji provode aktivnosti povezane s nacionalnom sigurnošću te obrambene i vojne aktivnosti, bez obzira na vrstu subjekta koji te aktivnosti obavlja, upotrebljavaju UI sustave čija je upotreba isključena iz područja primjene ove Uredbe u svrhe povezane s nacionalnom sigurnošću te vojne i obrambene svrhe. UI sustav koji se stavlja na tržište u civilne svrhe ili u svrhu kaznenog progona i koji se, s izmjenama ili bez njih, upotrebljava u vojne svrhe, obrambene svrhe ili u svrhe povezane s nacionalnom sigurnošću ne bi trebao biti obuhvaćen područjem primjene ove Uredbe, bez obzira na vrstu subjekta koji obavlja te aktivnosti.
(24)
En caso de que, y en la medida en que, los sistemas de IA se introduzcan en el mercado, se pongan en servicio o se utilicen, con o sin modificación, con fines militares, de defensa o de seguridad nacional, deben excluirse del ámbito de aplicación del presente Reglamento, independientemente del tipo de entidad que lleve a cabo esas actividades, por ejemplo, con independencia de que se trate de una entidad pública o de una entidad privada. Por lo que respecta a los fines militares y de defensa, dicha exclusión está justificada tanto por el artículo 4, apartado 2, del TUE como por las especificidades de la política de defensa de los Estados miembros y de la política común de defensa de la Unión a que se refiere el título V, capítulo 2, del TUE, que están sujetas al Derecho internacional público que, por lo tanto, es el marco jurídico más adecuado para la regulación de los sistemas de IA en el contexto del uso de la fuerza letal y de otros sistemas de IA en el contexto de las actividades militares y de defensa. Por lo que respecta a los fines de seguridad nacional, la exclusión está justificada tanto por el hecho de que la seguridad nacional sigue siendo responsabilidad exclusiva de los Estados miembros de conformidad con el artículo 4, apartado 2, del TUE, como por la naturaleza específica y las necesidades operativas de las actividades de seguridad nacional y por las normas nacionales específicas aplicables a dichas actividades. No obstante, si un sistema de IA desarrollado, introducido en el mercado, puesto en servicio o utilizado con fines militares, de defensa o de seguridad nacional se utilizara temporal o permanentemente fuera de estos ámbitos con otros fines (por ejemplo, con fines civiles o humanitarios, de garantía del cumplimiento del Derecho o de seguridad pública), dicho sistema entraría en el ámbito de aplicación del presente Reglamento. En tal caso, la entidad que utilice el sistema de IA con fines que no sean militares, de defensa o de seguridad nacional debe garantizar que el sistema de IA cumple lo dispuesto en el presente Reglamento, a menos que el sistema ya lo haga. Los sistemas de IA introducidos en el mercado o puestos en servicio para un fin excluido, a saber, militar, de defensa o de seguridad nacional, y uno o varios fines no excluidos, como fines civiles o de garantía del cumplimiento del Derecho, entran en el ámbito de aplicación del presente Reglamento y los proveedores de dichos sistemas deben garantizar el cumplimiento del presente Reglamento. En esos casos, el hecho de que un sistema de IA pueda entrar en el ámbito de aplicación del presente Reglamento no debe afectar a la posibilidad de que las entidades que llevan a cabo actividades militares, de defensa y de seguridad nacional, independientemente del tipo de entidad que lleve a cabo estas actividades, utilicen sistemas de IA con fines de seguridad nacional, militares y de defensa, cuyo uso está excluido del ámbito de aplicación del presente Reglamento. Un sistema de IA introducido en el mercado con fines civiles o de garantía del cumplimiento del Derecho que se utilice, con o sin modificaciones, con fines militares, de defensa o de seguridad nacional no debe entrar en el ámbito de aplicación del presente Reglamento, independientemente del tipo de entidad que lleve a cabo esas actividades.
(25)
Ovom bi se Uredbom trebale podupirati inovacije, trebala bi se poštovati sloboda znanosti te se njome ne bi smjele ugrožavati aktivnosti istraživanja i razvoja. Stoga je iz njezina područja primjene potrebno isključiti UI sustave i modele koji su posebno razvijeni i stavljeni u upotrebu isključivo u svrhu znanstvenog istraživanja i razvoja. Nadalje, potrebno je osigurati da ova Uredba na drugi način ne utječe na aktivnosti znanstvenog istraživanja i razvoja UI sustava ili modela prije njihova stavljanja na tržište ili u upotrebu. Kad je riječ o aktivnostima istraživanja, testiranja i razvoja u vezi s UI sustavima ili modelima usmjerenima na proizvode, odredbe ove Uredbe ne bi se trebale primjenjivati ni prije nego što se ti sustavi i modeli stave u upotrebu ili na tržište. Tim isključenjem ne dovodi se u pitanje obveza usklađivanja s ovom Uredbom ako se UI sustav obuhvaćen područjem primjene ove Uredbe stavlja na tržište ili u upotrebu kao rezultat takve aktivnosti istraživanja i razvoja niti se dovodi u pitanje primjena odredaba o regulatornim izoliranim okruženjima za umjetnu inteligenciju i testiranju u stvarnim uvjetima. Nadalje, ne dovodeći u pitanje isključenje UI sustava koji su posebno razvijeni i stavljeni u upotrebu isključivo u svrhu znanstvenog istraživanja i razvoja, svi ostali UI sustavi koji se mogu upotrebljavati za obavljanje bilo kakvih aktivnosti istraživanja i razvoja trebali bi i dalje podlijegati odredbama ove Uredbe. U svakom slučaju, aktivnosti istraživanja i razvoja trebale bi se provoditi u skladu s priznatim etičkim i profesionalnim standardima za znanstvena istraživanja i u skladu s primjenjivim pravom Unije.
(25)
El presente Reglamento debe apoyar la innovación, respetar la libertad de ciencia y no socavar la actividad de investigación y desarrollo. Por consiguiente, es necesario excluir de su ámbito de aplicación los sistemas y modelos de IA desarrollados específicamente y puestos en servicio únicamente con fines de investigación y desarrollo científicos. Además, es necesario garantizar que el presente Reglamento no afecte de otro modo a la actividad de investigación y desarrollo científicos sobre sistemas o modelos de IA antes de su introducción en el mercado o su puesta en servicio. Por lo que se refiere a la actividad de investigación, prueba y desarrollo orientada a productos en relación con sistemas o modelos de IA, las disposiciones del presente Reglamento tampoco deben aplicarse antes de que dichos sistemas y modelos se pongan en servicio o se introduzcan en el mercado. Esa exclusión se entiende sin perjuicio de la obligación de cumplir el presente Reglamento cuando se introduzca en el mercado o se ponga en servicio como resultado de dicha actividad de investigación y desarrollo un sistema de IA que entre en el ámbito de aplicación del presente Reglamento, así como de la aplicación de disposiciones sobre espacios controlados de pruebas para la IA y pruebas en condiciones reales. Además, sin perjuicio de la exclusión de los sistemas de IA desarrollados específicamente y puestos en servicio únicamente con fines de investigación y desarrollo científicos, cualquier otro sistema de IA que pueda utilizarse para llevar a cabo cualquier actividad de investigación y desarrollo debe seguir estando sujeto a las disposiciones del presente Reglamento. En cualquier caso, toda actividad de investigación y desarrollo debe llevarse a cabo de conformidad con normas éticas y profesionales reconocidas para la investigación científica y con el Derecho aplicable de la Unión.
(26)
Kako bi se uveo proporcionalan i djelotvoran skup obvezujućih pravila za UI sustave, trebalo bi slijediti jasno definiran pristup temeljen na riziku. Vrsta i sadržaj tih pravila u tom bi pristupu trebali biti primjereni intenzitetu i opsegu rizika koje mogu stvoriti UI sustavi. Stoga je potrebno zabraniti određene neprihvatljive prakse u području umjetne inteligencije te utvrditi zahtjeve za visokorizične UI sustave i obveze za relevantne operatere te obveze u pogledu transparentnosti za određene UI sustave.
(26)
Con el fin de establecer un conjunto proporcionado y eficaz de normas vinculantes para los sistemas de IA, es preciso aplicar un enfoque basado en los riesgos claramente definido, que adapte el tipo y contenido de las normas a la intensidad y el alcance de los riesgos que puedan generar los sistemas de IA de que se trate. Por consiguiente, es necesario prohibir determinadas prácticas de IA que no son aceptables, definir los requisitos que deben cumplir los sistemas de IA de alto riesgo y las obligaciones aplicables a los operadores pertinentes, así como imponer obligaciones de transparencia a determinados sistemas de IA.
(27)
Iako je pristup temeljen na riziku osnova za razmjeran i djelotvoran skup obvezujućih pravila, važno je podsjetiti na Etičke smjernice za pouzdanu umjetnu inteligenciju iz 2019. koje je izradila neovisna Stručna skupina za umjetnu inteligenciju koju je imenovala Komisija. U tim je smjernicama Stručna skupina za umjetnu inteligenciju razvila sedam neobvezujućih etičkih načela za umjetnu inteligenciju kojima se nastoji osigurati pouzdanost i etička prihvatljivost umjetne inteligencije. Tih sedam načela uključuju ljudsko djelovanje i nadzor; tehničku otpornost i sigurnost; privatnost i upravljanje podacima; transparentnost; raznolikost, nediskriminaciju i pravednost; dobrobit društva i okoliša te odgovornost. Ne dovodeći u pitanje pravno obvezujuće zahtjeve iz ove Uredbe i bilo koje drugo primjenjivo pravo Unije, te smjernice doprinose dizajniranju koherentne, pouzdane i antropocentrične umjetne inteligencije, u skladu s Poveljom i vrijednostima na kojima se Unija temelji. Prema smjernicama Stručne skupine za umjetnu inteligenciju, „ljudsko djelovanje i nadzor” znači da se UI sustavi razvijaju i upotrebljavaju kao alat koji služi ljudima, poštuje ljudsko dostojanstvo i osobnu autonomiju te funkcionira na način koji ljudi mogu na odgovarajući način kontrolirati i nadzirati. Tehnička otpornost i sigurnost znači da se UI sustavi razvijaju i upotrebljavaju na način kojim se omogućuje otpornost u slučaju problema i odupiranje pokušajima promjene korištenja ili učinkovitosti UI sustava s ciljem da se trećim stranama omogući nezakonita upotreba, te kojim se nenamjerna šteta svodi na najmanju moguću mjeru. Privatnost i upravljanje podacima znači da se UI sustavi razvijaju i upotrebljavaju u skladu s pravilima o privatnosti i zaštiti podataka, pri čemu se obrađuju podaci koji ispunjavaju visoke standarde u pogledu kvalitete i cjelovitosti. Transparentnost znači da se UI sustavi razvijaju i upotrebljavaju na način kojim se omogućuje odgovarajuća sljedivost i objašnjivost, uz istodobno informiranje ljudi o tome da komuniciraju ili su u interakciji s UI sustavom te propisno obavješćivanje subjekata koji uvode sustav o sposobnostima i ograničenjima tog UI sustava, a osoba na koje utječe UI sustav o njihovim pravima. Raznolikost, nediskriminacija i pravednost znači da se UI sustavi razvijaju i upotrebljavaju na način koji uključuje različite aktere i kojim se promiču jednak pristup, rodna ravnopravnost i kulturna raznolikost, pri čemu se izbjegavaju diskriminirajući učinci i nepravedne pristranosti koji su zabranjeni pravom Unije ili nacionalnim pravom. Dobrobit društva i okoliša znači da se UI sustavi razvijaju i upotrebljavaju na održiv i okolišno prihvatljiv način i u korist svih ljudi, uz istodobno praćenje i procjenu dugoročnih učinaka na pojedinca, društvo i demokraciju. Ta bi se načela trebala primjenjivati i pri dizajniranju i korištenju UI modela, kada je to moguće. Ona bi u svakom slučaju trebala služiti kao osnova za izradu kodeksa ponašanja na temelju ove Uredbe. Sve dionike, uključujući industriju, akademsku zajednicu, civilno društvo i organizacije za normizaciju, potiče se da prema potrebi uzmu u obzir etička načela za razvoj dobrovoljnih najboljih praksi i normi.
(27)
Si bien el enfoque basado en el riesgo es la base de un conjunto proporcionado y eficaz de normas vinculantes, es importante recordar las Directrices éticas para una IA fiable, de 2019, elaboradas por el Grupo independiente de expertos de alto nivel sobre IA creado por la Comisión. En dichas directrices, el Grupo independiente de expertos de alto nivel sobre IA desarrolló siete principios éticos no vinculantes para la IA que tienen por objeto contribuir a garantizar la fiabilidad y el fundamento ético de la IA. Los siete principios son: acción y supervisión humanas; solidez técnica y seguridad; gestión de la privacidad y de los datos; transparencia; diversidad, no discriminación y equidad; bienestar social y ambiental, y rendición de cuentas. Sin perjuicio de los requisitos jurídicamente vinculantes del presente Reglamento y de cualquier otro acto aplicable del Derecho de la Unión, esas directrices contribuyen al diseño de una IA coherente, fiable y centrada en el ser humano, en consonancia con la Carta y con los valores en los que se fundamenta la Unión. De acuerdo con las directrices del Grupo independiente de expertos de alto nivel sobre IA, por «acción y supervisión humanas» se entiende que los sistemas de IA se desarrollan y utilizan como herramienta al servicio de las personas, que respeta la dignidad humana y la autonomía personal, y que funciona de manera que pueda ser controlada y vigilada adecuadamente por seres humanos. Por «solidez técnica y seguridad» se entiende que los sistemas de IA se desarrollan y utilizan de manera que sean sólidos en caso de problemas y resilientes frente a los intentos de alterar el uso o el funcionamiento del sistema de IA para permitir su uso ilícito por terceros y reducir al mínimo los daños no deseados. Por «gestión de la privacidad y de los datos» se entiende que los sistemas de IA se desarrollan y utilizan de conformidad con normas en materia de protección de la intimidad y de los datos, al tiempo que tratan datos que cumplen normas estrictas en términos de calidad e integridad. Por «transparencia» se entiende que los sistemas de IA se desarrollan y utilizan de un modo que permita una trazabilidad y explicabilidad adecuadas, y que, al mismo tiempo, haga que las personas sean conscientes de que se comunican o interactúan con un sistema de IA e informe debidamente a los responsables del despliegue acerca de las capacidades y limitaciones de dicho sistema de IA y a las personas afectadas acerca de sus derechos. Por «diversidad, no discriminación y equidad» se entiende que los sistemas de IA se desarrollan y utilizan de un modo que incluya a diversos agentes y promueve la igualdad de acceso, la igualdad de género y la diversidad cultural, al tiempo que se evitan los efectos discriminatorios y los sesgos injustos prohibidos por el Derecho nacional o de la Unión. Por «bienestar social y ambiental» se entiende que los sistemas de IA se desarrollan y utilizan de manera sostenible y respetuosa con el medio ambiente, así como en beneficio de todos los seres humanos, al tiempo que se supervisan y evalúan los efectos a largo plazo en las personas, la sociedad y la democracia. La aplicación de esos principios debe traducirse, cuando sea posible, en el diseño y el uso de modelos de IA. En cualquier caso, deben servir de base para la elaboración de códigos de conducta en virtud del presente Reglamento. Se anima a todas las partes interesadas, incluidos la industria, el mundo académico, la sociedad civil y las organizaciones de normalización, a que tengan en cuenta, según proceda, los principios éticos para el desarrollo de normas y mejores prácticas voluntarias.
(28)
Osim brojnih korisnih primjena umjetne inteligencije, ona se može i zloupotrijebiti te omogućiti nove i moćne alate za manipulativne i izrabljivačke prakse te prakse društvene kontrole. Takve su prakse osobito štetne i predstavljaju zlouporabu te bi ih trebalo zabraniti jer su protivne Unijinim vrijednostima poštovanja ljudskog dostojanstva, slobode, ravnopravnosti, demokracije i vladavine prava te temeljnih prava sadržanih u Povelji, uključujući pravo na nediskriminaciju, zaštitu podataka i privatnost te prava djeteta.
(28)
Al margen de los múltiples usos beneficiosos de la IA, esta también puede utilizarse indebidamente y proporcionar nuevas y poderosas herramientas para llevar a cabo prácticas de manipulación, explotación y control social. Dichas prácticas son sumamente perjudiciales e incorrectas y deben estar prohibidas, pues van en contra de los valores de la Unión de respeto de la dignidad humana, la libertad, la igualdad, la democracia y el Estado de Derecho y de los derechos fundamentales consagrados en la Carta, como el derecho a la no discriminación, a la protección de datos y a la intimidad y los derechos del niño.
(29)
Manipulativne tehnike omogućene umjetnom inteligencijom mogu se upotrebljavati kako bi se osobe navelo na neželjeno ponašanje ili kako bi ih se obmanulo tako da ih se potiče na odluke na način kojim se podriva i narušava njihova autonomija, donošenje odluka i slobodan izbor. Stavljanje na tržište, stavljanje u upotrebu ili korištenje određenih UI sustava s ciljem ili učinkom bitnog iskrivljavanja ljudskog ponašanja, pri čemu je vjerojatno da će nastati znatna šteta, osobito ona koja ima dovoljno velike štetne učinke na fizičko ili psihološko zdravlje odnosno financijske interese, osobito su opasni te bi ih stoga trebalo zabraniti. U takvim se UI sustavima upotrebljavaju subliminalne komponente kao što su zvučni i slikovni podražaji te videopodražaji koje osobe ne mogu percipirati jer nadilaze ljudsku percepciju ili se upotrebljavaju druge manipulativne ili prijevarne tehnike kojima se podriva ili narušava autonomija, donošenje odluka ili slobodan izbor osobe na način da ljudi svjesno ne percipiraju te tehnike ili zbog kojih su, ako ih i jesu svjesni, svejedno prevareni ili ih ne mogu kontrolirati niti im se oduprijeti. To bi se, na primjer, moglo olakšati sučeljima mozak-računalo ili virtualnom stvarnošću jer se njima omogućuje viši stupanj kontrole toga koji se podražaji prikazuju osobama, u mjeri u kojoj bi oni mogli bitno iskriviti njihovo ponašanje na znatno štetan način. Osim toga, UI sustavi mogu na drugi način iskorištavati ranjivosti osobe ili određene skupine osoba zbog njihove dobi, invaliditeta u smislu Direktive (EU) 2019/882 Europskog parlamenta i Vijeća (16) ili određene socijalne ili gospodarske situacije zbog kojih bi te osobe mogle biti izloženije iskorištavanju, kao što su osobe koje žive u ekstremnom siromaštvu i etničke ili vjerske manjine. Takvi UI sustavi mogu se staviti na tržište, staviti u upotrebu ili se upotrebljavati s ciljem ili učinkom bitnog iskrivljavanja ponašanja osobe i to na način kojim se toj osobi ili drugoj osobi ili skupinama osoba uzrokuje znatan šteta ili je se može razumno očekivati da će se prouzročiti takva šteta, što uključuje štetu koja se može akumulirati s vremenom, te bi ih stoga trebalo zabraniti. Možda nije moguće pretpostaviti postojanje namjere da se iskrivi ponašanje ako je to iskrivljavanje ponašanja posljedica čimbenika izvan UI sustava koji su izvan kontrole dobavljača ili subjekta koji uvodi sustav, odnosno čimbenika koje dobavljač UI sustava ili subjekt koji ga uvodi ne mogu u razumnoj mjeri predvidjeti i stoga ublažiti. U svakom slučaju, nije potrebno da dobavljač UI sustava ili subjekt koji ga uvodi ima namjeru prouzročiti znatnu štetu pod uvjetom da ta šteta proizlazi iz manipulativne ili izrabljivačke prakse omogućene umjetnom inteligencijom. Zabrane takvih praksi u području umjetne inteligencije komplementarne su odredbama sadržanima u Direktivi 2005/29/EZ Europskog parlamenta i Vijeća (17), osobito u pogledu toga da su nepoštene poslovne prakse koje dovode do gospodarske ili financijske štete potrošačima zabranjene u svim okolnostima, bez obzira na to provode li se putem UI sustavâ ili na drugi način. Zabrane manipulativnih i izrabljivačkih praksi iz ove Uredbe ne bi trebale utjecati na zakonite prakse u kontekstu liječenja, kao što je psihološko liječenje mentalnih bolesti ili fizička rehabilitacija, ako se te prakse provode u skladu s primjenjivim pravom i medicinskim standardima, kao što su izričita privola pojedinaca ili njihovih zakonskih zastupnika. Osim toga, uobičajene i zakonite poslovne prakse, primjerice u području oglašavanja, koje su u skladu s primjenjivim pravom ne bi same po sebi trebalo smatrati štetnom manipulativnom praksom omogućenom umjetnom inteligencijom.
(29)
Las técnicas de manipulación que posibilita la IA pueden utilizarse para persuadir a las personas de que adopten comportamientos no deseados o para engañarlas empujándolas a tomar decisiones de una manera que socava y perjudica su autonomía, su toma de decisiones y su capacidad de elegir libremente. Son especialmente peligrosos y, por tanto, deben prohibirse la introducción en el mercado, la puesta en servicio o la utilización de determinados sistemas de IA con el objetivo o al efecto de alterar de manera sustancial el comportamiento humano, con la consiguiente probabilidad de que se produzcan perjuicios considerables, en particular perjuicios con efectos adversos suficientemente importantes en la salud física o mental o en los intereses financieros. Esos sistemas de IA utilizan componentes subliminales, como estímulos de audio, imagen o vídeo que las personas no pueden percibir —ya que dichos estímulos trascienden la percepción humana—, u otras técnicas manipulativas o engañosas que socavan o perjudican la autonomía, la toma de decisiones o la capacidad de elegir libremente de las personas de maneras de las que estas no son realmente conscientes de dichas técnicas o, cuando lo son, pueden seguir siendo engañadas o no pueden controlarlas u oponerles resistencia. Esto podría facilitarse, por ejemplo, mediante interfaces cerebro-máquina o realidad virtual, dado que permiten un mayor grado de control acerca de qué estímulos se presentan a las personas, en la medida en que pueden alterar sustancialmente su comportamiento de un modo que suponga un perjuicio considerable. Además, los sistemas de IA también pueden explotar de otras maneras las vulnerabilidades de una persona o un colectivo específico de personas derivadas de su edad, su discapacidad en el sentido de lo dispuesto en la Directiva (UE) 2019/882 del Parlamento Europeo y del Consejo (16) o de una situación social o económica concreta que probablemente aumente su vulnerabilidad a la explotación, como vivir en condiciones de pobreza extrema o pertenecer a minorías étnicas o religiosas. Estos sistemas de IA pueden introducirse en el mercado, ponerse en servicio o utilizarse con el objetivo de alterar de manera sustancial el comportamiento de una persona, o tener ese efecto, y de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona o a otra persona o colectivo de personas, incluidos perjuicios que pueden acumularse a lo largo del tiempo y que, por tanto, deben prohibirse. No puede presuponerse que existe la intención de alterar el comportamiento si la alteración es el resultado de factores externos al sistema de IA que escapan al control del proveedor o del responsable del despliegue, a saber, factores que no es lógico prever y que, por tanto, el proveedor o el responsable del despliegue del sistema de IA no pueden mitigar. En cualquier caso, no es necesario que el proveedor o el responsable del despliegue tengan la intención de causar un perjuicio considerable, siempre que dicho perjuicio se derive de las prácticas de manipulación o explotación que posibilita la IA. La prohibición de tales prácticas de IA complementa lo dispuesto en la Directiva 2005/29/CE del Parlamento Europeo y del Consejo (17), en particular la prohibición, en cualquier circunstancia, de las prácticas comerciales desleales que causan perjuicios económicos o financieros a los consumidores, hayan sido establecidas mediante de sistemas de IA o de otra manera. La prohibición de las prácticas de manipulación y explotación establecida en el presente Reglamento no debe afectar a prácticas lícitas en el contexto de un tratamiento médico, como el tratamiento psicológico de una enfermedad mental o la rehabilitación física, cuando dichas prácticas se lleven a cabo de conformidad con el Derecho y las normas médicas aplicables, por ejemplo, con el consentimiento expreso de las personas o de sus representantes legales. Asimismo, no debe considerarse que las prácticas comerciales comunes y legítimas (por ejemplo, en el campo de la publicidad) que cumplan el Derecho aplicable son, en sí mismas, prácticas de manipulación perjudiciales que posibilita la IA.
(30)
Trebalo bi zabraniti sustave biometrijske kategorizacije koji se temelje na biometrijskim podacima fizičkih osoba, kao što su lice ili otisak prstiju pojedinca, kako bi se deduciralo ili izvelo zaključke o njegovim političkim mišljenjima, članstvu u sindikatima, vjerskim ili filozofskim uvjerenjima, rasi, spolnom životu ili seksualnoj orijentaciji. Ta zabrana ne bi trebala obuhvaćati zakonito označivanje, filtriranje ili kategorizaciju skupova biometrijskih podataka prikupljenih u skladu s pravom Unije ili nacionalnim pravom na temelju biometrijskih podataka, kao što je razvrstavanje slika prema boji kose ili boji očiju, koji se, primjerice, mogu upotrebljavati u području kaznenog progona.
(30)
Deben prohibirse los sistemas de categorización biométrica basados en datos biométricos de las personas físicas, como la cara o las impresiones dactilares de una persona física, para deducir o inferir las opiniones políticas, la afiliación sindical, las convicciones religiosas o filosóficas, la raza, la vida sexual o la orientación sexual de una persona física. Dicha prohibición no debe aplicarse al etiquetado, al filtrado ni a la categorización lícitos de conjuntos de datos biométricos adquiridos de conformidad con el Derecho nacional o de la Unión en función de datos biométricos, como la clasificación de imágenes en función del color del pelo o del color de ojos, que pueden utilizarse, por ejemplo, en el ámbito de la garantía del cumplimiento del Derecho.
(31)
UI sustavi koji omogućuju društveno vrednovanje fizičkih osoba koje upotrebljavaju javni ili privatni akteri mogu rezultirati diskriminatornim ishodima i isključivanjem određenih skupina. Njima se može prekršiti pravo na dostojanstvo i nediskriminaciju te vrijednosti kao što su ravnopravnost i pravda. Takvi UI sustavi evaluiraju ili klasificiraju fizičke osobe ili skupine fizičkih osoba na temelju višestrukih podataka povezanih s njihovim društvenim ponašanjem u višestrukim kontekstima ili poznatih, izvedenih ili predviđenih osobnih značajki ili značajki osobnosti tijekom određenih razdoblja. Društveni rejting dobiven takvim UI sustavima može rezultirati štetnim ili nepovoljnim tretmanom fizičkih osoba ili cijelih skupina fizičkih osoba u društvenim kontekstima koji nisu povezani s kontekstom u kojima su podaci izvorno generirani ili prikupljeni odnosno štetnim tretmanom koji je nerazmjeran ili neopravdan u odnosu na težinu posljedica njihova društvenog ponašanja. Stoga bi UI sustave koji uključuju takve neprihvatljive prakse vrednovanja i koji rezultiraju takvim štetnim ili nepovoljnim ishodima trebalo zabraniti. Ta zabrana ne bi trebala utjecati na zakonite prakse evaluacije fizičkih osoba koje se provode u specifičnu svrhu u skladu s pravom Unije i nacionalnim pravom.
(31)
Los sistemas de IA que permiten a agentes públicos o privados llevar a cabo una puntuación ciudadana de las personas físicas pueden tener resultados discriminatorios y abocar a la exclusión a determinados colectivos. Pueden menoscabar el derecho a la dignidad y a la no discriminación y los valores de igualdad y justicia. Dichos sistemas de IA evalúan o clasifican a las personas físicas o a grupos de estas sobre la base de varios puntos de datos relacionados con su comportamiento social en múltiples contextos o de características personales o de su personalidad conocidas, inferidas o predichas durante determinados períodos de tiempo. La puntuación ciudadana resultante de dichos sistemas de IA puede dar lugar a un trato perjudicial o desfavorable de determinadas personas físicas o colectivos enteros en contextos sociales que no guardan relación con el contexto donde se generaron o recabaron los datos originalmente, o a un trato perjudicial desproporcionado o injustificado en relación con la gravedad de su comportamiento social. Por lo tanto, deben prohibirse los sistemas de IA que impliquen esas prácticas inaceptables de puntuación y den lugar a esos resultados perjudiciales o desfavorables. Esa prohibición no debe afectar a prácticas lícitas de evaluación de las personas físicas que se efectúen para un fin específico de conformidad con el Derecho de la Unión y nacional.
(32)
Korištenje UI sustava za daljinsku biometrijsku identifikaciju fizičkih osoba u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona osobito je intruzivno za prava i slobode dotičnih osoba, u onoj mjeri u kojoj može utjecati na privatni život velikog dijela stanovništva, pobuditi doživljaj stalnog nadzora i neizravno odvratiti od ostvarivanja slobode okupljanja i drugih temeljnih prava. Tehničke netočnosti UI sustava namijenjenih daljinskoj biometrijskoj identifikaciji fizičkih osoba mogu rezultirati pristranim rezultatima i imati diskriminacijske učinke. Takvi potencijalni pristrani rezultati i diskriminacijski učinci osobito su relevantni s obzirom na dob, etničku pripadnost, rasu, spol ili invaliditet. Osim toga, neposrednost učinka i ograničene mogućnosti za dodatne provjere ili ispravke u pogledu korištenja takvih sustava koji funkcioniraju u stvarnom vremenu nose povećane rizike za prava i slobode dotičnih osoba u kontekstu aktivnosti kaznenog progona ili na koje aktivnosti kaznenog progona utječu.
(32)
El uso de sistemas de IA para la identificación biométrica remota «en tiempo real» de personas físicas en espacios de acceso público con fines de garantía del cumplimiento del Derecho invade de forma especialmente grave los derechos y las libertades de las personas afectadas, en la medida en que puede afectar a la vida privada de una gran parte de la población, provocar la sensación de estar bajo una vigilancia constante y disuadir indirectamente a los ciudadanos de ejercer su libertad de reunión y otros derechos fundamentales. Las imprecisiones técnicas de los sistemas de IA destinados a la identificación biométrica remota de las personas físicas pueden dar lugar a resultados sesgados y tener efectos discriminatorios. Tales posibles resultados sesgados y efectos discriminatorios son especialmente pertinentes por lo que respecta a la edad, la etnia, la raza, el sexo o la discapacidad. Además, la inmediatez de las consecuencias y las escasas oportunidades para realizar comprobaciones o correcciones adicionales en relación con el uso de sistemas que operan «en tiempo real» acrecientan el riesgo que estos conllevan para los derechos y las libertades de las personas afectadas en el contexto de actividades de garantía del cumplimiento del Derecho, o afectadas por estas.
(33)
Stoga bi trebalo zabraniti korištenje tih sustava u svrhu kaznenog progona, osim u taksativno popisanim i usko definiranim situacijama u kojima je ono nužno za ostvarenje znatnog javnog interesa, čija važnost premašuje rizike. Te situacije uključuju potragu za određenim žrtvama kaznenih djela, uključujući nestale osobe, određene prijetnje životu ili tjelesnoj sigurnosti fizičkih osoba ili prijetnje od terorističkih napada i lociranje ili identifikaciju počiniteljâ kaznenih djela ili osumnjičenikâ za kaznena djela iz priloga ovoj Uredbi, ako je za ta kaznena djela u dotičnoj državi članici zapriječena kazna zatvora ili oduzimanja slobode u maksimalnom trajanju od najmanje četiri godine i kako su definirana u pravu te države članice. Takvim pragom za kaznu zatvora ili oduzimanje slobode u skladu s nacionalnim pravom doprinosi se osiguravanju toga da kazneno djelo bude dovoljno teško da bi se moglo opravdati korištenje sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu. Nadalje, popis kaznenih djela naveden u prilogu ovoj Uredbi temelji se na 32 kaznena djela navedena u Okvirnoj odluci Vijeća 2002/584/PUP (18), uzimajući u obzir da su neka od tih kaznenih djela u praksi vjerojatno relevantnija od drugih, u smislu da bi primjena daljinske biometrijske identifikacije u stvarnom vremenu mogla biti predvidljivo potrebna i proporcionalna u vrlo promjenjivim opsezima za praktičnu provedbu lokalizacije ili identifikacije počinitelja različitih navedenih kaznenih djela ili osumnjičenika za ta kaznena djela i s obzirom na vjerojatne razlike u težini, vjerojatnosti i razmjeru štete ili mogućih negativnih posljedica. Izravna prijetnja životu ili tjelesnoj sigurnosti fizičkih osoba mogla bi također rezultirati iz ozbiljnog poremećaja kritične infrastrukture, kako je definirana u članku 2. točki 4. Direktive (EU) 2022/2557 Europskog parlamenta i Vijeća (19), ako bi poremećaj u radu ili uništenje takve kritične infrastrukture prouzročili izravnu prijetnju životu ili tjelesnoj sigurnosti osobe, među ostalim i putem teške štete pružanju osnovne opskrbe stanovništva ili izvršavanju temeljne funkcije države. Osim toga, ovom bi se Uredbom trebala očuvati sposobnost tijela kaznenog progona, tijela nadležnih za nadzor granica, tijela nadležnih za imigraciju ili tijela nadležnih za azil da provode provjere identiteta u prisutnosti dotične osobe, u skladu s uvjetima utvrđenima za takve provjere u pravu Unije i nacionalnom pravu. Tijela kaznenog progona, tijela nadležna za nadzor granica, tijela nadležna za imigraciju ili tijela nadležna za azil osobito bi se trebala moći koristiti informacijskim sustavima, u skladu s pravom Unije ili nacionalnim pravom, za identifikaciju osoba koje se tijekom provjere identiteta odbijaju identificirati ili nisu u stanju navesti ili dokazati svoj identitet, a da pritom ne moraju pribaviti prethodno odobrenje na temelju ove Uredbe. To bi, na primjer, mogla biti osoba uključena u kazneno djelo, koja nije voljna ili koja zbog nesreće ili zdravstvenog stanja nije u stanju otkriti svoj identitet tijelima kaznenog progona.
(33)
En consecuencia, debe prohibirse el uso de dichos sistemas con fines de garantía del cumplimiento del Derecho, salvo en situaciones enumeradas de manera limitativa y definidas con precisión en las que su utilización sea estrictamente necesaria para lograr un interés público esencial cuya importancia compense los riesgos. Esas situaciones son la búsqueda de determinadas víctimas de un delito, incluidas personas desaparecidas; determinadas amenazas para la vida o para la seguridad física de las personas físicas o amenazas de atentado terrorista; y la localización o identificación de los autores o sospechosos de los delitos enumerados en un anexo del presente Reglamento, cuando dichas infracciones se castiguen en el Estado miembro de que se trate con una pena o una medida de seguridad privativas de libertad cuya duración máxima sea de al menos cuatro años, y como se definan en el Derecho de dicho Estado miembro. Fijar ese umbral para la pena o la medida de seguridad privativas de libertad con arreglo al Derecho nacional contribuye a garantizar que la infracción sea lo suficientemente grave como para llegar a justificar el uso de sistemas de identificación biométrica remota «en tiempo real». Por otro lado, la lista de delitos proporcionada en un anexo del presente Reglamento se basa en los treinta y dos delitos enumerados en la Decisión Marco 2002/584/JAI del Consejo (18), si bien es preciso tener en cuenta que, en la práctica, es probable que algunas sean más relevantes que otras en el sentido de que es previsible que recurrir a la identificación biométrica remota «en tiempo real» podría ser necesario y proporcionado en grados muy distintos para llevar a cabo la localización o la identificación de los autores o sospechosos de las distintas infracciones enumeradas, y que es probable que haya diferencias en la gravedad, la probabilidad y la magnitud de los perjuicios o las posibles consecuencias negativas. Una amenaza inminente para la vida o la seguridad física de las personas físicas también podría derivarse de una perturbación grave de infraestructuras críticas, tal como se definen en el artículo 2, punto 4, de la Directiva (UE) 2022/2557 del Parlamento Europeo y del Consejo (19), cuando la perturbación o destrucción de dichas infraestructuras críticas suponga una amenaza inminente para la vida o la seguridad física de una persona, también al perjudicar gravemente el suministro de productos básicos a la población o el ejercicio de la función esencial del Estado. Además, el presente Reglamento debe preservar la capacidad de las autoridades garantes del cumplimiento del Derecho, de control fronterizo, de la inmigración o del asilo para llevar a cabo controles de identidad en presencia de la persona afectada, de conformidad con las condiciones establecidas en el Derecho de la Unión y en el Derecho nacional para estos controles. En particular, las autoridades garantes del cumplimiento del Derecho, del control fronterizo, de la inmigración o del asilo deben poder utilizar sistemas de información, de conformidad con el Derecho de la Unión o el Derecho nacional, para identificar a las personas que, durante un control de identidad, se nieguen a ser identificadas o no puedan declarar o demostrar su identidad, sin que el presente Reglamento exija que se obtenga una autorización previa. Puede tratarse, por ejemplo, de una persona implicada en un delito que no quiera revelar su identidad a las autoridades garantes del cumplimiento del Derecho, o que no pueda hacerlo debido a un accidente o a una afección médica.
(34)
Kako bi se osiguralo odgovorno i proporcionalno korištenje tih sustava, važno je i utvrditi da bi u svakoj od tih taksativno popisanih i usko definiranih situacija trebalo uzeti u obzir određene elemente, osobito u pogledu prirode situacije zbog koje se zahtijeva njihova upotreba i posljedica te upotrebe za prava i slobode svih dotičnih osoba te u pogledu zaštitnih mjera i uvjeta propisanih za tu upotrebu. Osim toga, sustavi za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona trebali bi se upotrebljavati samo za potvrđivanje identiteta konkretno ciljanog pojedinca i ta bi upotreba trebala biti ograničena na ono što je nužno kad je riječ o razdoblju te zemljopisnom i personalnom području primjene, uzimajući osobito u obzir dokaze ili naznake u vezi s prijetnjama, žrtvama ili počiniteljem. Upotrebu sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima trebalo bi odobriti samo ako je relevantno tijelo kaznenog progona dovršilo procjenu učinka na temeljna prava i, osim ako je drukčije predviđeno u ovoj Uredbi, registriralo sustav u bazi podataka kako je utvrđeno u ovoj Uredbi. Referentna baza podataka osoba trebala bi biti primjerena za svaki slučaj korištenja u svakoj od gore navedenih situacija.
(34)
Para velar por que dichos sistemas se utilicen de manera responsable y proporcionada, también es importante establecer que, en esas situaciones enumeradas de manera limitativa y definidas con precisión, se tengan en cuenta determinados elementos, en particular en lo que se refiere a la naturaleza de la situación que dé lugar a la solicitud, a las consecuencias que su uso puede tener sobre los derechos y las libertades de todas las personas implicadas, y a las garantías y condiciones que acompañen a su uso. Además, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho debe llevarse a cabo únicamente para confirmar la identidad de la persona que constituya el objetivo específico y limitarse a lo estrictamente necesario en lo que se refiere al período de tiempo, así como al ámbito geográfico y personal, teniendo en cuenta, en particular, las pruebas o indicios relativos a las amenazas, las víctimas o los autores. El uso del sistema de identificación biométrica remota en tiempo real en espacios de acceso público solo debe autorizarse si la correspondiente autoridad garante del cumplimiento del Derecho ha llevado a cabo una evaluación de impacto relativa a los derechos fundamentales y, salvo que se disponga otra cosa en el presente Reglamento, si ha registrado el sistema en la base de datos establecida en el presente Reglamento. La base de datos de personas de referencia debe ser adecuada para cada supuesto de uso en cada una de las situaciones antes mencionadas.
(35)
Uvjet za svaku upotrebu sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona trebalo bi biti izričito i specifično odobrenje pravosudnog tijela ili neovisnog upravnog tijela države članice čija je odluka obvezujuća. Takvo bi odobrenje u načelu trebalo pribaviti prije upotrebe UI sustava radi identifikacije jedne ili više osoba. Iznimke od tog pravila trebalo bi dopustiti u propisno opravdanim situacijama na temelju hitnosti, odnosno u situacijama u kojima je potreba za upotrebom dotičnih sustava takva da je praktično i objektivno nemoguće pribaviti odobrenje prije početka upotrebe UI sustava. U takvim hitnim situacijama upotreba UI sustava trebala bi biti ograničena na apsolutno nužni minimum te podlijegati odgovarajućim zaštitnim mjerama i uvjetima, kako je utvrđeno u nacionalnom pravu i kako je odredilo sâmo tijelo kaznenog progona u kontekstu svakog pojedinačnog hitnog slučaja upotrebe. Osim toga, tijelo kaznenog progona trebalo bi u takvim situacijama zatražiti takvo odobrenje uz navođenje razloga zbog kojih ga nije moglo zatražiti ranije, bez nepotrebne odgode, a najkasnije u roku od 24 sata. Ako je takvo odobrenje odbijeno, upotrebu sustavâ za biometrijsku identifikaciju u stvarnom vremenu povezanu s tim odobrenjem trebalo bi smjesta zaustaviti te bi sve podatke povezane s takvom upotrebom trebalo odbaciti i izbrisati. Takvi podaci uključuju ulazne podatke koje je UI sustav izravno prikupio tijekom upotrebe takvog sustava te rezultate i izlazne podatke upotrebe povezane s tim odobrenjem. Ne bi trebali uključivati ulazne podatke koji su zakonito pribavljeni u skladu s drugim pravom Unije ili nacionalnim pravom. U svakom slučaju, odluku koja proizvodi negativan pravni učinak na osobu ne bi trebalo donijeti isključivo na temelju izlaznih podataka sustava za daljinsku biometrijsku identifikaciju.
(35)
Todo uso de un sistema de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho debe haber sido autorizado de manera expresa y específica por una autoridad judicial o por una autoridad administrativa independiente de un Estado miembro y cuya decisión sea vinculante. En principio, dicha autorización debe obtenerse antes de utilizar el sistema de IA con el fin de identificar a una o varias personas. Deben permitirse excepciones a esa norma en situaciones debidamente justificadas por motivos de urgencia, a saber, en aquellas en las que la necesidad de utilizar los sistemas de que se trate sea tan imperiosa que resulte efectiva y objetivamente imposible obtener una autorización antes de iniciar el uso del sistema de IA. En tales situaciones de urgencia, el uso debe limitarse al mínimo imprescindible y satisfacer las garantías y condiciones oportunas, conforme a lo dispuesto en el Derecho nacional y según corresponda en cada supuesto concreto de uso urgente por parte de la propia autoridad garante del cumplimiento del Derecho. Además, en esas situaciones las autoridades garantes del cumplimiento del Derecho deben solicitar dicha autorización e indicar los motivos por los que no han podido hacerlo antes, sin demora indebida y, como máximo, en un plazo de veinticuatro horas. Si se rechaza dicha autorización, el uso de sistemas de identificación biométrica en tiempo real vinculados a la autorización debe interrumpirse con efecto inmediato y todos los datos relacionados con dicho uso deben desecharse y suprimirse. Entre esos datos se incluyen los datos de entrada directamente adquiridos por un sistema de IA durante el uso de dicho sistema, así como los resultados y la información de salida del uso vinculados a dicha autorización. No debe incluir la información de entrada adquirida legalmente de conformidad con otro acto del Derecho nacional o de la Unión. En cualquier caso, no debe adoptarse ninguna decisión que produzca efectos jurídicos adversos para una persona exclusivamente sobre la base de los resultados de salida del sistema de identificación biométrica remota.
(36)
Kako bi obavljali svoje zadaće u skladu sa zahtjevima utvrđenima u ovoj Uredbi i nacionalnim pravilima, relevantno tijelo za nadzor tržišta i nacionalno tijelo za zaštitu podataka trebali bi biti obaviješteni o svakom korištenju sustava za biometrijsku identifikaciju u stvarnom vremenu. Tijela za nadzor tržišta i prijavljena nacionalna tijela za zaštitu podataka trebala bi Komisiji podnositi godišnje izvješće o korištenju sustava za biometrijsku identifikaciju u stvarnom vremenu.
(36)
A fin de desempeñar sus funciones de conformidad con los requisitos establecidos en el presente Reglamento, así como en las normas nacionales, debe notificarse a la autoridad de vigilancia del mercado pertinente y a la autoridad nacional de protección de datos cada uso del sistema de identificación biométrica en tiempo real. Las autoridades de vigilancia del mercado y las autoridades nacionales de protección de datos que hayan recibido una notificación deben presentar a la Comisión un informe anual sobre el uso de sistemas de identificación biométrica en tiempo real.
(37)
Nadalje, primjereno je u kontekstu iscrpnog okvira utvrđenog ovom Uredbom predvidjeti da bi takvo korištenje na državnom području države članice u skladu s ovom Uredbom trebalo biti moguće samo ako i u mjeri u kojoj je dotična država članica odlučila izričito predvidjeti mogućnost odobravanja takvog korištenja u svojim podrobnim pravilima nacionalnog prava. Stoga države članice na temelju ove Uredbe i dalje mogu slobodno odlučiti da neće uopće predvidjeti takvu mogućnost ili mogu predvidjeti takvu mogućnost samo u odnosu na neke od ciljeva kojima se može opravdati odobreno korištenje utvrđeno u ovoj Uredbi. O takvim nacionalnim pravilima trebalo bi obavijestiti Komisiju u roku od 30 dana od njihova donošenja.
(37)
Por otro lado, conviene disponer, en el marco exhaustivo que establece este Reglamento, que dicho uso en el territorio de un Estado miembro conforme a lo dispuesto en el presente Reglamento solo debe ser posible cuando el Estado miembro de que se trate haya decidido contemplar expresamente la posibilidad de autorizarlo en las normas detalladas de su Derecho nacional, y en la medida en que lo haya contemplado. En consecuencia, con arreglo al presente Reglamento los Estados miembros siguen teniendo la libertad de no ofrecer esta posibilidad en absoluto o de ofrecerla únicamente en relación con algunos de los objetivos que pueden justificar un uso autorizado conforme al presente Reglamento. Dichas normas nacionales deben notificarse a la Comisión en un plazo de treinta días a partir de su adopción.
(38)
Korištenje UI sustavâ za daljinsku biometrijsku identifikaciju pojedinaca u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona nužno uključuje obradu biometrijskih podataka. Pravila iz ove Uredbe kojima se, podložno određenim iznimkama, zabranjuje takvo korištenje, koja se temelje na članku 16. UFEU-a, trebala bi se primjenjivati kao lex specialis u odnosu na pravila o obradi biometrijskih podataka iz članka 10. Direktive (EU) 2016/680, čime se na iscrpan način uređuje takvo korištenje i obrada biometrijskih podataka. Stoga bi takvo korištenje i obrada trebali biti mogući samo u onoj mjeri u kojoj su u skladu s okvirom utvrđenim ovom Uredbom, pri čemu ne bi trebao postojati prostor, izvan tog okvira, da nadležna tijela koja djeluju u svrhu kaznenog progona upotrebljavaju takve sustave i obrađuju takve povezane podatke na temelju razloga navedenih u članku 10. Direktive (EU) 2016/680. U tom kontekstu svrha ove Uredbe nije pružanje pravne osnove za obradu osobnih podataka na temelju članka 8. Direktive (EU) 2016/680. Međutim, korištenje sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u druge svrhe osim kaznenog progona, među ostalim kad ih upotrebljavaju nadležna tijela, ne bi trebalo biti obuhvaćeno posebnim okvirom o takvom korištenju u svrhu kaznenog progona utvrđenim ovom Uredbom. Takvo korištenje u druge svrhe osim kaznenog progona stoga ne bi trebalo podlijegati zahtjevu za odobrenje na temelju ove Uredbe te važećim podrobnim pravilima nacionalnog prava kojima se daje učinak tom odobrenju.
(38)
La utilización de sistemas de IA para la identificación biométrica remota en tiempo real de personas físicas en espacios de acceso público con fines de garantía del cumplimiento del Derecho implica, necesariamente, el tratamiento de datos biométricos. Las normas del presente Reglamento que prohíben, con algunas excepciones, ese uso, basadas en el artículo 16 del TFUE, deben aplicarse como lex specialis con respecto a las normas sobre el tratamiento de datos biométricos que figuran en el artículo 10 de la Directiva (UE) 2016/680, con lo que se regula de manera exhaustiva dicho uso y el tratamiento de los correspondientes datos biométricos. Por lo tanto, ese uso y tratamiento deben ser posibles únicamente en la medida en que sean compatibles con el marco establecido por el presente Reglamento, sin que haya margen, fuera de dicho marco, para que las autoridades competentes, cuando actúen con fines de garantía del cumplimiento del Derecho, utilicen tales sistemas y traten dichos datos en los supuestos previstos en el artículo 10 de la Directiva (UE) 2016/680. En ese sentido, el presente Reglamento no tiene por objeto proporcionar la base jurídica para el tratamiento de datos personales en virtud del artículo 8 de la Directiva (UE) 2016/680. Sin embargo, el uso de sistemas de identificación biométrica remota en tiempo real en espacios de acceso público con fines distintos de la garantía del cumplimiento del Derecho, también por parte de las autoridades competentes, no debe estar sujeto al marco específico establecido por el presente Reglamento en lo que respecta al uso de dichos sistemas con fines de garantía del cumplimiento del Derecho. Por consiguiente, su uso con fines distintos de la garantía del cumplimiento del Derecho no debe estar sujeto al requisito de obtener una autorización previsto en el presente Reglamento ni a las normas de desarrollo aplicables del Derecho nacional que puedan hacer efectiva dicha autorización.
(39)
Svaka obrada biometrijskih podataka i drugih osobnih podataka povezana s korištenjem UI sustavâ za biometrijsku identifikaciju, osim obrade povezane s korištenjem sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona kako je uređeno ovom Uredbom, i dalje bi trebala ispunjavati sve zahtjeve koji proizlaze iz članka 10. Direktive (EU) 2016/680. U svrhe koje nisu kazneni progon, člankom 9. stavkom 1. Uredbe (EU) 2016/679 i člankom 10. stavkom 1. Uredbe (EU) 2018/1725 zabranjuje se obrada biometrijskih podataka koji podliježu ograničenim iznimkama kako je predviđeno u tim člancima. Primjenom članka 9. stavka 1. Uredbe (EU) 2016/679 nacionalna tijela za zaštitu podataka već su donijela odluke o zabrani upotrebe daljinske biometrijske identifikacije u svrhe koje nisu kazneni progon.
(39)
Todo tratamiento de datos biométricos y de datos personales de otra índole asociado al uso de sistemas de IA para la identificación biométrica, salvo el asociado al uso de sistemas de identificación biométrica remota en tiempo real en espacios de acceso público con fines de garantía del cumplimiento del Derecho regulado por el presente Reglamento, debe seguir cumpliendo todos los requisitos derivados del artículo 10 de la Directiva (UE) 2016/680. El artículo 9, apartado 1, del Reglamento (UE) 2016/679 y el artículo 10, apartado 1, del Reglamento (UE) 2018/1725 prohíben el tratamiento de datos biométricos con fines distintos de la garantía del cumplimiento del Derecho, con las excepciones limitadas previstas en dichos artículos. En la aplicación del artículo 9, apartado 1, del Reglamento (UE) 2016/679, el uso de la identificación biométrica remota para fines distintos de la garantía del cumplimiento del Derecho ya ha sido objeto de decisiones de prohibición por parte de las autoridades nacionales de protección de datos.
(40)
U skladu s člankom 6.a Protokola br. 21 o stajalištu Ujedinjene Kraljevine i Irske s obzirom na područje slobode, sigurnosti i pravde, priloženog UEU-u i UFEU-u, Irsku ne obvezuju pravila utvrđena u članku 5. stavku 1. prvom podstavku točki (g), u mjeri u kojoj se primjenjuje na korištenje sustavâ biometrijske kategorizacije za aktivnosti u području policijske suradnje i pravosudne suradnje u kaznenim stvarima, u članku 5. stavku 1. prvom podstavku točki (d), u mjeri u kojoj se primjenjuje na korištenje UI sustava obuhvaćenih tom odredbom, u članku 5. stavku 1. prvom podstavku točki (h), u članku 5. stavcima od 2. do 6. i u članku 26. stavku 10. ove Uredbe, donesena na temelju članka 16. UFEU-a, koja se odnose na obradu osobnih podataka koju vrše države članice pri obavljanju aktivnosti koje su obuhvaćene dijelom trećim glavom V. poglavljem 4. ili poglavljem 5. UFEU-a ako Irsku ne obvezuju pravila koja uređuju oblike pravosudne suradnje u kaznenim stvarima ili policijske suradnje za koja se zahtijeva usklađenost s odredbama utvrđenima na temelju članka 16. UFEU-a.
(40)
De conformidad con el artículo 6 bis del Protocolo n.o 21 sobre la Posición del Reino Unido y de Irlanda respecto del Espacio de Libertad, Seguridad y Justicia, anejo al TUE y al TFUE, las normas establecidas en el artículo 5, apartado 1, párrafo primero, letra g), en la medida en que se aplica al uso de sistemas de categorización biométrica para actividades en el ámbito de la cooperación policial y la cooperación judicial en materia penal, el artículo 5, apartado 1, párrafo primero, letra d), en la medida en que se aplica al uso de sistemas de IA comprendidos en el ámbito de aplicación de dicho artículo, el artículo 5, apartado 1, párrafo primero, letra h), y apartados 2 a 6, y el artículo 26, apartado 10, del presente Reglamento, adoptadas basándose en el artículo 16 del TFUE que se refieran al tratamiento de datos de carácter personal por los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación de la tercera parte, título V, capítulos 4 o 5, de dicho Tratado solo serán vinculantes para Irlanda en la medida en que sean vinculantes para este Estado normas de la Unión que regulen formas de cooperación judicial en materia penal y de cooperación policial en cuyo marco deban respetarse las disposiciones establecidas basándose en el artículo 16 del TFUE.
(41)
U skladu s člancima 2. i 2.a Protokola br. 22 o stajalištu Danske, priloženog UEU-u i UFEU-u, Dansku ne obvezuju pravila utvrđena u članku 5. stavku 1. točki (g), u mjeri u kojoj se primjenjuje na korištenje sustavâ biometrijske kategorizacije za aktivnosti u području policijske suradnje i pravosudne suradnje u kaznenim stvarima, u članku 5. stavku 1. prvom podstavku točki (d), u mjeri u kojoj se primjenjuju na korištenje UI sustava obuhvaćenih tom odredbom, u članku 5. stavku 1. prvom podstavku točki (h), u članku 5. stavcima od 2. do 6. i u članku 26. stavku 10. ove Uredbe, donesena na temelju članka 16. UFEU-a, niti ona podliježe primjeni tih pravila koja se odnose na obradu osobnih podataka koju vrše države članice pri obavljanju aktivnosti koje su obuhvaćene dijelom trećim glavom V. poglavljem 4. ili poglavljem 5. UFEU-a.
(41)
De conformidad con lo dispuesto en los artículos 2 y 2 bis del Protocolo n.o 22 sobre la Posición de Dinamarca, anejo al TUE y al TFUE, las normas establecidas en el artículo 5, apartado 1, párrafo primero, letra g), en la medida en que se aplica al uso de sistemas de categorización biométrica para actividades en el ámbito de la cooperación policial y la cooperación judicial en materia penal, el artículo 5, apartado 1, párrafo primero, letra d), en la medida en que se aplican al uso de sistemas de IA comprendidos en el ámbito de aplicación de dicho artículo, el artículo 5, apartado 1, párrafo primero, letra h), y apartados 2 a 6, y el artículo 26, apartado 10, del presente Reglamento, adoptadas sobre la base del artículo 16 del TFUE que se refieran al tratamiento de datos de carácter personal por los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación de la tercera parte, título V, capítulos 4 o 5, de dicho Tratado, no vincularán a Dinamarca ni le serán aplicables.
(42)
U skladu s pretpostavkom nedužnosti, fizičke osobe u Uniji uvijek bi trebalo prosuđivati na temelju njihova stvarnog ponašanja. Fizičke osobe nikada ne se bi trebale prosuđivati na temelju ponašanja koje je umjetna inteligencija predvidjela isključivo na temelju njihova profiliranja, obilježja osobnosti ili značajki kao što su državljanstvo, mjesto rođenja, mjesto boravišta, broj djece, razina duga ili vrsta automobila, bez opravdane sumnje da je ta osoba uključena u kriminalnu aktivnost na temelju objektivnih provjerljivih činjenica i bez ljudske procjene tih činjenica. Stoga bi trebalo zabraniti procjene rizika u pogledu fizičkih osoba u svrhu procjene vjerojatnosti da će počiniti kaznena djela ili u svrhu predviđanja počinjenja stvarnog ili potencijalnog kaznenog djela isključivo na temelju profiliranja tih osoba ili procjene njihovih obilježja osobnosti i značajki. U svakom slučaju, ta se zabrana ne odnosi niti se dotiče analitike rizika koja se ne temelji na profiliranju pojedinaca ili na obilježjima osobnosti i značajkama pojedinaca, kao što su UI sustavi koji upotrebljavaju analitiku rizika u svrhu procjene vjerojatnosti počinjenja financijskih prijevara od strane poduzeća na temelju sumnjivih transakcija ili alate za analizu rizika kako bi predvidjeli vjerojatnost lokalizacije narkotika ili nezakonite robe od strane carinskih tijela, primjerice na temelju poznatih krijumčarskih ruta.
(42)
En consonancia con la presunción de inocencia, las personas físicas de la Unión siempre deben ser juzgadas basándose en su comportamiento real. Las personas físicas nunca deben ser juzgadas a partir de comportamientos predichos por una IA basados únicamente en la elaboración de sus perfiles, en los rasgos o características de su personalidad, como la nacionalidad, el lugar de nacimiento, el lugar de residencia, el número de hijos, el nivel de endeudamiento o el tipo de vehículo, sin una valoración humana y sin que exista una sospecha razonable, basada en hechos objetivos comprobables, de que dicha persona está implicada en una actividad delictiva. Por lo tanto, deben prohibirse las evaluaciones de riesgos realizadas con respecto a personas físicas para evaluar la probabilidad de que cometan un delito o para predecir la comisión de un delito real o potencial basándose únicamente en la elaboración de perfiles de esas personas físicas o la evaluación de los rasgos y características de su personalidad. En cualquier caso, dicha prohibición no se refiere o atañe a los análisis de riesgos que no estén basados en la elaboración de perfiles de personas o en los rasgos y características de la personalidad de las personas, como los sistemas de IA que utilizan los análisis de riesgos para evaluar la probabilidad de fraude financiero por parte de empresas sobre la base de transacciones sospechosas o las herramientas de análisis de riesgo para predecir la probabilidad de localización de estupefacientes y mercancías ilícitas por parte de las autoridades aduaneras, por ejemplo basándose en las rutas de tráfico conocidas.
(43)
Trebalo bi zabraniti stavljanje na tržište, stavljanje u upotrebu u tu specifičnu svrhu ili korištenje UI sustava koji stvaraju ili proširuju baze podataka za prepoznavanje lica neciljanim prikupljanjem prikaza lica s interneta ili iz snimaka CCTV-a jer ta praksa doprinosi osjećaju masovnog nadzora i može dovesti do teških kršenja temeljnih prava, uključujući pravo na privatnost.
(43)
La introducción en el mercado, la puesta en servicio para ese fin concreto o la utilización de sistemas de IA que creen o amplíen bases de datos de reconocimiento facial mediante la extracción no selectiva de imágenes faciales a partir de internet o de imágenes de circuito cerrado de televisión deben estar prohibidas, pues esas prácticas agravan el sentimiento de vigilancia masiva y pueden dar lugar a graves violaciones de los derechos fundamentales, incluido el derecho a la intimidad.
(44)
Postoji ozbiljna zabrinutost u pogledu znanstvene osnove UI sustavâ čiji je cilj utvrđivanje emocija ili izvođenje zaključaka o njima, osobito s obzirom na to da se izražavanje emocija znatno razlikuje među kulturama i situacijama, pa čak kod istog pojedinca. Među ključnim su nedostacima takvih sustava ograničena pouzdanost, nedostatak specifičnosti i ograničena mogućnost generalizacije. Stoga UI sustavi koji identificiraju emocije ili namjere fizičkih osoba ili izvode zaključke o njihovim emocijama ili namjerama na temelju njihovih biometrijskih podataka mogu dovesti do diskriminatornih ishoda te biti intruzivni za prava i slobode dotičnih osoba. S obzirom na neravnotežu moći u kontekstu rada ili obrazovanja, u kombinaciji s intruzivnom prirodom tih sustava, takvi bi sustavi mogli dovesti do štetnog ili nepovoljnog tretmana određenih fizičkih osoba ili cijelih skupina određenih fizičkih osoba. Stoga bi trebalo zabraniti stavljanje na tržište, stavljanje u upotrebu ili korištenje UI sustava namijenjenih za otkrivanje emocionalnog stanja pojedinaca u situacijama povezanima s radnim mjestom i obrazovanjem. Ta zabrana ne bi trebala obuhvaćati UI sustave koji se stavljaju na tržište isključivo iz medicinskih ili sigurnosnih razloga, kao što su sustavi namijenjeni terapijskoj upotrebi.
(44)
Existe una gran preocupación respecto a la base científica de los sistemas de IA que procuran detectar o deducir las emociones, especialmente porque la expresión de las emociones varía de forma considerable entre culturas y situaciones, e incluso en una misma persona. Algunas de las deficiencias principales de estos sistemas son la fiabilidad limitada, la falta de especificidad y la limitada posibilidad de generalizar. Por consiguiente, los sistemas de IA que detectan o deducen las emociones o las intenciones de las personas físicas a partir de sus datos biométricos pueden tener resultados discriminatorios y pueden invadir los derechos y las libertades de las personas afectadas. Teniendo en cuenta el desequilibrio de poder en el contexto laboral o educativo, unido al carácter intrusivo de estos sistemas, dichos sistemas podrían dar lugar a un trato perjudicial o desfavorable de determinadas personas físicas o colectivos enteros. Por tanto, debe prohibirse la introducción en el mercado, la puesta en servicio y el uso de sistemas de IA destinados a ser utilizados para detectar el estado emocional de las personas en situaciones relacionadas con el lugar de trabajo y el ámbito educativo. Dicha prohibición no debe aplicarse a los sistemas de IA introducidos en el mercado estrictamente con fines médicos o de seguridad, como los sistemas destinados a un uso terapéutico.
(45)
Ova Uredba ne bi trebala utjecati na prakse koje su zabranjene pravom Unije, među ostalim u okviru prava o zaštiti podataka, nediskriminacijskog prava, prava o zaštiti potrošača i prava tržišnog natjecanja.
(45)
El presente Reglamento no debe afectar a las prácticas prohibidas por el Derecho de la Unión, incluido el Derecho de la Unión en materia de protección de datos, de no discriminación, de protección de los consumidores y sobre competencia.
(46)
Visokorizični UI sustavi trebali bi se stavljati na tržište Unije ili u upotrebu odnosno upotrebljavati se samo ako ispunjavaju određene obvezne zahtjeve. Tim bi se zahtjevima trebalo osigurati da visokorizični UI sustavi koji su dostupni u Uniji ili čije se izlazne vrijednosti na drugi način upotrebljavaju u Uniji ne predstavljaju neprihvatljiv rizik za važne javne interese Unije koji su priznati i zaštićeni pravom Unije. Na temelju novog zakonodavnog okvira, kako je pojašnjeno u obavijesti Komisije pod nazivom „‚Plavi vodič’ o provedbi pravila EU-a o proizvodima 2022.” (20), opće je pravilo da se više od jednog pravnog akta zakonodavstva Unije o usklađivanju, kao što su uredbe (EU) 2017/745 (21) i (EU) 2017/746 (22) Europskog parlamenta i Vijeća ili Direktiva 2006/42/EZ Europskog parlamenta i Vijeća (23), može primjenjivati na jedan proizvod jer se stavljanje na raspolaganje ili u upotrebu može provesti samo ako je proizvod u skladu sa svim primjenjivim zakonodavstvom Unije o usklađivanju. Kako bi se osigurala dosljednost i izbjegla nepotrebna administrativna opterećenja ili troškovi, dobavljači proizvoda koji sadržava jedan ili više visokorizičnih UI sustava, na koje se primjenjuju zahtjevi iz ove Uredbe i zahtjevi iz zakonodavstva Unije o usklađivanju navedeni u prilogu ovoj Uredbi, trebali bi biti fleksibilni u pogledu operativnih odluka o tome kako na najbolji način osigurati usklađenost proizvoda koji sadržava jedan ili više UI sustava sa svim primjenjivim zahtjevima zakonodavstva Unije o usklađivanju. UI sustavi utvrđeni kao visokorizični trebali bi biti ograničeni samo na one koji imaju znatan štetan učinak na zdravlje, sigurnost i temeljna prava osoba u Uniji i takvim bi se ograničenjem trebalo svesti na najmanju moguću mjeru bilo kakvo potencijalno ograničenje u pogledu međunarodne trgovine.
(46)
La introducción en el mercado de la Unión, la puesta en servicio o la utilización de sistemas de IA de alto riesgo debe supeditarse al cumplimiento por su parte de determinados requisitos obligatorios, los cuales deben garantizar que los sistemas de IA de alto riesgo disponibles en la Unión o cuyos resultados de salida se utilicen en la Unión no planteen riesgos inaceptables para intereses públicos importantes de la Unión, reconocidos y protegidos por el Derecho de la Unión. Sobre la base del nuevo marco legislativo, tal como se aclara en la Comunicación de la Comisión titulada «“Guía azul” sobre la aplicación de la normativa europea relativa a los productos, de 2022» (20), la norma general es que más de un acto jurídico de la legislación de armonización de la Unión, como los Reglamentos (UE) 2017/745 (21) y (UE) 2017/746 (22) del Parlamento Europeo y del Consejo o la Directiva 2006/42/CE del Parlamento Europeo y del Consejo (23) puedan aplicarse a un producto, dado que la introducción en el mercado o la puesta en servicio solo pueden tener lugar cuando el producto cumple toda la legislación de armonización de la Unión aplicable. A fin de garantizar la coherencia y evitar cargas administrativas o costes innecesarios, los proveedores de un producto que contenga uno o varios sistemas de IA de alto riesgo, a los que se apliquen los requisitos del presente Reglamento y de la legislación de armonización de la Unión incluida en una lista de un anexo del presente Reglamento, deben ser flexibles en lo que respecta a las decisiones operativas relativas a la manera de garantizar la conformidad de un producto que contenga uno o varios sistemas de IA con todos los requisitos aplicables de la legislación de armonización de la Unión de manera óptima. La clasificación de un sistema de IA como «de alto riesgo» debe limitarse a aquellos sistemas de IA que tengan un efecto perjudicial considerable en la salud, la seguridad y los derechos fundamentales de las personas de la Unión, y dicha limitación debe reducir al mínimo cualquier posible restricción del comercio internacional.
(47)
UI sustavi mogli bi nepovoljno utjecati na zdravlje i sigurnost osoba, osobito ako ti sustavi funkcioniraju kao sigurnosne komponente proizvoda. U skladu s ciljevima zakonodavstva Unije o usklađivanju, kako bi se olakšalo slobodno kretanje proizvoda na unutarnjem tržištu i kako bi se zajamčilo da na tržište dolaze samo sigurni i sukladni proizvodi, važno je da se propisno spriječe i ublaže mogući sigurnosni rizici koje proizvod u cijelosti može predstavljati zbog svojih digitalnih komponenti, uključujući UI sustave. Na primjer, sve autonomniji roboti, bilo u kontekstu proizvodnje ili osobne skrbi i njege, trebali bi moći funkcionirati na siguran način i obavljati svoje zadaće u složenim okružjima. Slično tome, u zdravstvenom sektoru u kojem su rizici za život i zdravlje osobito visoki, sve sofisticiraniji dijagnostički sustavi i sustavi koji pomažu ljudima u donošenju odluka trebali bi biti pouzdani i točni.
(47)
Los sistemas de IA pueden tener un efecto adverso para la salud y la seguridad de las personas, en particular cuando funcionan como componentes de seguridad de productos. En consonancia con los objetivos de la legislación de armonización de la Unión de facilitar la libre circulación de productos en el mercado interior y de velar por que solo lleguen al mercado aquellos productos que sean seguros y conformes, es importante prevenir y mitigar debidamente los riesgos de seguridad que pueda generar un producto en su conjunto debido a sus componentes digitales, entre los que pueden figurar los sistemas de IA. Por ejemplo, los robots cada vez más autónomos que se utilizan en las fábricas o con fines de asistencia y atención personal deben poder funcionar y desempeñar sus funciones de manera segura en entornos complejos. Del mismo modo, en el sector sanitario, donde puede haber repercusiones especialmente importantes en la vida y la salud, los sistemas de diagnóstico y de apoyo a las decisiones humanas, cuya sofisticación es cada vez mayor, deben ser fiables y precisos.
(48)
Razmjer nepovoljnih učinaka UI sustava na temeljna prava zaštićena Poveljom posebno je važan pri klasificiranju UI sustava kao visokorizičnog. Ta prava uključuju pravo na ljudsko dostojanstvo, poštovanje privatnog i obiteljskog života, zaštitu osobnih podataka, slobodu izražavanja i informiranja, slobodu okupljanja i udruživanja, pravo na nediskriminaciju, pravo na obrazovanje, zaštitu potrošača, prava radnika, prava osoba s invaliditetom, rodnu ravnopravnost, prava intelektualnog vlasništva, pravo na djelotvoran pravni lijek i na pošteno suđenje, pravo na obranu i pretpostavku nedužnosti te pravo na dobru upravu. Povrh tih prava, važno je naglasiti činjenicu da djeca imaju posebna prava sadržana u članku 24. Povelje i u Konvenciji Ujedinjenih naroda o pravima djeteta, podrobnije razrađena u Općoj napomeni br. 25 Odbora UN-a o pravima djece u pogledu digitalnog okružja, kojima se zahtijeva da se vodi računa o njihovoj ranjivosti te da se osiguraju zaštita i skrb potrebni za njihovu dobrobit. Pri procjeni težine štete koju pojedini UI sustav može prouzročiti, među ostalim i u pogledu zdravlja i sigurnosti osoba, trebalo bi uzeti u obzir i temeljno pravo na visoku razinu zaštite okoliša koje je utvrđeno u Povelji i provodi se u politikama Unije.
(48)
La magnitud de las consecuencias adversas de un sistema de IA para los derechos fundamentales protegidos por la Carta es especialmente importante a la hora de clasificar un sistema de IA como de alto riesgo. Entre dichos derechos se incluyen el derecho a la dignidad humana, el respeto de la vida privada y familiar, la protección de datos de carácter personal, la libertad de expresión y de información, la libertad de reunión y de asociación, el derecho a la no discriminación, el derecho a la educación, la protección de los consumidores, los derechos de los trabajadores, los derechos de las personas discapacitadas, la igualdad entre hombres y mujeres, los derechos de propiedad intelectual, el derecho a la tutela judicial efectiva y a un juez imparcial, los derechos de la defensa y la presunción de inocencia, y el derecho a una buena administración. Además de esos derechos, conviene poner de relieve el hecho de que los menores poseen unos derechos específicos consagrados en el artículo 24 de la Carta y en la Convención sobre los Derechos del Niño de las Naciones Unidas, que se desarrollan con más detalle en la observación general n.o 25 de la Convención sobre los Derechos del Niño de Naciones Unidas relativa a los derechos de los niños en relación con el entorno digital. Ambos instrumentos exigen que se tengan en consideración las vulnerabilidades de los menores y que se les brinde la protección y la asistencia necesarias para su bienestar. Cuando se evalúe la gravedad del perjuicio que puede ocasionar un sistema de IA, también en lo que respecta a la salud y la seguridad de las personas, también se debe tener en cuenta el derecho fundamental a un nivel elevado de protección del medio ambiente consagrado en la Carta y aplicado en las políticas de la Unión.
(49)
Kad je riječ o visokorizičnim UI sustavima koji su sigurnosne komponente proizvodâ ili sustavâ odnosno koji su sâmi proizvodi ili sustavi obuhvaćeni područjem primjene Uredbe (EZ) br. 300/2008 Europskog parlamenta i Vijeća (24), Uredbe (EU) br. 167/2013 Europskog parlamenta i Vijeća (25), Uredbe (EU) br. 168/2013 Europskog parlamenta i Vijeća (26), Direktive 2014/90/EU Europskog parlamenta i Vijeća (27), Direktive (EU) 2016/797 Europskog parlamenta i Vijeća (28), Uredbe (EU) 2018/858 Europskog parlamenta i Vijeća (29), Uredbe (EU) 2018/1139 Europskog parlamenta i Vijeća (30) i Uredbe (EU) 2019/2144 Europskog parlamenta i Vijeća (31), primjereno je te akte izmijeniti kako bi se osiguralo da Komisija, na temelju tehničkih i regulatornih posebnosti svakog sektora te bez uplitanja u postojeće mehanizme upravljanja, ocjenjivanja sukladnosti i izvršavanja te rad tijela koja su u njima utvrđena, pri donošenju svih relevantnih delegiranih akata ili provedbenih akata na temelju tih akata uzima u obzir obvezne zahtjeve za visokorizične UI sustave utvrđene u ovoj Uredbi.
(49)
En relación con los sistemas de IA de alto riesgo que son componentes de seguridad de productos o sistemas, o que son en sí mismos productos o sistemas que entran en el ámbito de aplicación del Reglamento (CE) n.o 300/2008 del Parlamento Europeo y del Consejo (24), el Reglamento (UE) n.o 167/2013 del Parlamento Europeo y del Consejo (25), el Reglamento (UE) n.o 168/2013 del Parlamento Europeo y del Consejo (26), la Directiva 2014/90/UE del Parlamento Europeo y del Consejo (27), la Directiva (UE) 2016/797 del Parlamento Europeo y del Consejo (28), el Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo (29), el Reglamento (UE) 2018/1139 del Parlamento Europeo y del Consejo (30), y el Reglamento (UE) 2019/2144 del Parlamento Europeo y del Consejo (31), procede modificar dichos actos para garantizar que, cuando la Comisión adopte actos delegados o de ejecución pertinentes basados en ellos, tenga en cuenta los requisitos obligatorios para los sistemas de IA de alto riesgo previstos en el presente Reglamento, atendiendo a las particularidades técnicas y reglamentarias de los distintos sectores y sin interferir con los mecanismos y las autoridades de gobernanza, evaluación de la conformidad y control del cumplimiento vigentes establecidos en dichos actos.
(50)
Kad je riječ o UI sustavima koji su sigurnosne komponente proizvodâ ili koji su sâmi proizvodi, a obuhvaćeni su područjem primjene određenog zakonodavstva Unije o usklađivanju navedenog u prilogu ovoj Uredbi, primjereno ih je klasificirati kao visokorizične na temelju ove Uredbe ako je dotični proizvod predmet postupka ocjenjivanja sukladnosti koji provodi tijelo za ocjenjivanje sukladnosti kao treća strana na temelju relevantnog zakonodavstva Unije o usklađivanju. Takvi su proizvodi osobito strojevi, igračke, dizala, oprema i zaštitni sustavi namijenjeni za korištenje u potencijalno eksplozivnim atmosferama, radijska oprema, tlačna oprema, oprema za rekreacijska plovila, žičare, aparati na plinovita goriva, medicinski proizvodi i in vitro dijagnostički medicinski proizvodi, automobili i zrakoplovi.
(50)
En cuanto a los sistemas de IA que son componentes de seguridad de productos, o que son productos en sí mismos, y entran dentro del ámbito de aplicación de determinados actos legislativos de armonización de la Unión enumerados en un anexo del presente Reglamento, procede clasificarlos como de alto riesgo en virtud del presente Reglamento si el producto de que se trate es sometido a un procedimiento de evaluación de la conformidad con un organismo de evaluación de la conformidad de terceros de acuerdo con dichos actos legislativos de armonización de la Unión. Esos productos son, en concreto, máquinas, juguetes, ascensores, equipo y sistemas de protección para uso en atmósferas potencialmente explosivas, equipos radioeléctricos, equipos a presión, equipos de embarcaciones de recreo, instalaciones de transporte por cable, aparatos que queman combustibles gaseosos, productos sanitarios, productos sanitarios para diagnóstico in vitro, automoción y aviación.
(51)
Klasifikacija UI sustava kao visokorizičnog na temelju ove Uredbe ne bi nužno trebala značiti da se proizvod čija je sigurnosna komponenta UI sustav ili da se sâm UI sustav kao proizvod smatra „visokorizičnim” na temelju kriterija utvrđenih u relevantnom zakonodavstvu Unije o usklađivanju koje se primjenjuje na taj proizvod. To se osobito odnosi na uredbe (EU) 2017/745 i (EU) 2017/746 ako je predviđeno da treća strana provodi ocjenjivanje sukladnosti za srednjorizične i visokorizične proizvode.
(51)
Que un sistema de IA se clasifique como de alto riesgo en virtud del presente Reglamento no significa necesariamente que el producto del que sea componente de seguridad, o el propio sistema de IA como producto, se considere de «alto riesgo» conforme a los criterios establecidos en la correspondiente legislación de armonización de la Unión que se aplique al producto. Tal es el caso, en particular, de los Reglamentos (UE) 2017/745 y (UE) 2017/746, que prevén una evaluación de la conformidad de terceros de los productos de riesgo medio y alto.
(52)
Kad je riječ o samostalnim UI sustavima, odnosno visokorizičnim UI sustavima koji nisu sigurnosne komponente proizvoda ili koji su sâmi proizvodi, primjereno ih je klasificirati kao visokorizične ako, s obzirom na njihovu namjenu, kod njih postoji visok rizik od štete za zdravlje i sigurnost ili temeljna prava osoba, uzimajući u obzir i težinu moguće štete i njezinu vjerojatnost nastanka, te ako se upotrebljavaju u nekoliko posebnih unaprijed definiranih područja navedenih u ovoj Uredbi. Utvrđivanje tih sustava temelji se na istoj metodologiji i kriterijima predviđenima i za sve buduće izmjene popisa visokorizičnih UI sustava koje bi Komisija trebala biti ovlaštena donijeti delegiranim aktima kako bi se uzeo u obzir brz tempo tehnološkog razvoja i moguće promjene u korištenju UI sustavâ.
(52)
En cuanto a los sistemas de IA independientes, a saber, aquellos sistemas de IA de alto riesgo que no son componentes de seguridad de productos, o que son productos en sí mismos, deben clasificarse como de alto riesgo si, a la luz de su finalidad prevista, presentan un alto riesgo de ser perjudiciales para la salud y la seguridad o los derechos fundamentales de las personas, teniendo en cuenta tanto la gravedad del posible perjuicio como la probabilidad de que se produzca, y se utilizan en varios ámbitos predefinidos especificados en el presente Reglamento. Para identificar dichos sistemas, se emplean la misma metodología y los mismos criterios previstos para la posible modificación futura de la lista de sistemas de IA de alto riesgo, que la Comisión debe estar facultada para adoptar, mediante actos delegados, a fin de tener en cuenta el rápido ritmo del desarrollo tecnológico, así como los posibles cambios en el uso de los sistemas de IA.
(53)
Važno je pojasniti i da mogu postojati posebni slučajevi u kojima UI sustavi na koje se upućuje u unaprijed definiranim područjima navedenima u ovoj Uredbi ne dovode do znatnog rizika od štete za pravne interese zaštićene na temelju tih područja jer bitno ne utječu na donošenje odluka ili ne štete znatno tim interesima. Za potrebe ove Uredbe UI sustav koji bitno ne utječe na ishod donošenja odluka trebalo bi razumjeti kao UI sustav koji ne utječe na sadržaj, a time ni na ishod donošenja odluka, bilo da je odluke donose ljudi ili da je donošenje odluka automatizirano. UI sustav koji bitno ne utječe na ishod donošenja odluka mogao bi uključivati situacije u kojima je ispunjen jedan od sljedećih uvjeta ili više njih. Prvi takav uvjet trebao bi biti da je UI sustav namijenjen obavljanju uske postupovne zadaće, kao što je UI sustav koji pretvara nestrukturirane podatke u strukturirane podatke, UI sustav koji dolazne dokumente klasificira u kategorije ili UI sustav koji se upotrebljava za otkrivanje duplikata među velikim brojem primjena. Te su zadaće toliko uske i ograničene da predstavljaju samo ograničene rizike koji se ne povećavaju korištenjem UI sustava u kontekstu koji je naveden kao visokorizična upotreba u prilogu ovoj Uredbi. Drugi uvjet trebao bi biti da je zadaća koju obavlja UI sustav namijenjena poboljšanju rezultata prethodno završene ljudske aktivnosti koja može biti relevantna za potrebe visokorizičnih upotreba navedenih u prilogu ovog Uredbi. S obzirom na te značajke UI sustav samo je dodatak ljudskoj aktivnosti uz posljedično smanjeni rizik. Na primjer, taj bi se uvjet primjenjivao na UI sustave namijenjene poboljšanju jezika koji se upotrebljava u prethodno izrađenim dokumentima, primjerice u vezi s profesionalnim tonom, akademskim stilom jezika ili usklađivanjem teksta s određenim porukama robne marke. Treći uvjet trebao bi biti da je namjena UI sustava otkrivanje obrazaca donošenja odluka ili odstupanja od prethodnih obrazaca donošenja odluka. Rizik bi se smanjio jer korištenje UI sustava slijedi nakon prethodno dovršene ljudske procjene, koju ono ne namjerava zamijeniti niti utjecati na nju bez odgovarajućeg preispitivanja koje provodi čovjek. Takvi UI sustavi obuhvaćaju, na primjer, sustave koji se na temelju određenog obrasca nastavnikova ocjenjivanja mogu upotrebljavati za ex post provjeru toga je li nastavnik možda odstupio od svojeg obrasca ocjenjivanja kako bi se upozorilo na moguće nedosljednosti ili nepravilnosti. Četvrti uvjet trebao bi biti da je UI sustav namijenjen obavljanju zadaće koja je samo pripremna za procjenu relevantnu za svrhe UI sustava navedenih u prilogu ovoj Uredbi, čime se mogući učinak izlaznih vrijednosti sustava čini vrlo niskim u smislu predstavljanja rizika za procjenu koja treba uslijediti. Taj uvjet obuhvaća, među ostalim, pametna rješenja za postupanje s datotekama, koja uključuju različite funkcije poput indeksiranja, pretraživanja, obrade teksta i govora ili povezivanja podataka s drugim izvorima podataka, ili UI sustave koji se upotrebljavaju za prevođenje početnih dokumenata. U svakom slučaju, za UI sustave koji se upotrebljavaju u slučajevima visokih rizika koji su navedeni u prilogu ovoj Uredbi trebalo bi smatrati da predstavljaju znatne rizike od štete za zdravlje, sigurnost ili temeljna prava fizičkih osoba ako UI sustav podrazumijeva izradu profila u smislu članka 4. točke 4. Uredbe (EU) 2016/679 ili članka 3. točke 4. Direktive (EU) 2016/680 ili članka 3. točke 5. Uredbe (EU) 2018/1725. Kako bi se osigurale sljedivost i transparentnost, dobavljač koji na temelju prethodno navedenih uvjeta smatra da UI sustav nije visokorizičan trebao bi sastaviti dokumentaciju o ocjenjivanju prije nego što taj sustav bude stavljen na tržište ili u upotrebu i trebao bi tu dokumentaciju na zahtjev dostaviti nacionalnim nadležnim tijelima. Taj dobavljač trebao bi biti obvezan registrirati UI sustav u bazi podataka EU-a uspostavljenoj na temelju ove Uredbe. Kako bi se pružilo dodatno usmjeravanje za praktičnu provedbu uvjeta na temelju kojih UI sustavi navedeni u prilogu ovoj Uredbi iznimno nisu visokorizični, Komisija bi nakon savjetovanja s Vijećem za umjetnu inteligenciju trebala pružiti smjernice u kojima se precizira ta praktična provedba, dopunjene sveobuhvatnim popisom praktičnih primjera slučajeva upotrebe UI sustava koji su visokorizični i primjera upotrebe UI sustava koji nisu visokorizični.
(53)
También es importante aclarar que pueden existir casos específicos en los que los sistemas de IA referidos en ámbitos predefinidos especificados en el presente Reglamento no entrañen un riesgo considerable de causar un perjuicio a los intereses jurídicos amparados por dichos ámbitos, dado que no influyen sustancialmente en la toma de decisiones o no perjudican dichos intereses sustancialmente. A efectos del presente Reglamento, por sistema de IA que no influye sustancialmente en el resultado de la toma de decisiones debe entenderse un sistema de IA que no afecta al fondo, ni por consiguiente al resultado, de la toma de decisiones, ya sea humana o automatizada. Un sistema de IA que no influye sustancialmente en el resultado de la toma de decisiones podría incluir situaciones en las que se cumplen una o varias de las siguientes condiciones. La primera de dichas condiciones debe ser que el sistema de IA esté destinado a realizar una tarea de procedimiento delimitada, como un sistema de IA que transforme datos no estructurados en datos estructurados, un sistema de IA que clasifique en categorías los documentos recibidos o un sistema de IA que se utilice para detectar duplicados entre un gran número de aplicaciones. La naturaleza de esas tareas es tan restringida y limitada que solo presentan riesgos limitados que no aumentan por la utilización de un sistema de IA en un contexto que un anexo al presente Reglamento recoja como uso de alto riesgo. La segunda condición debe ser que la tarea realizada por el sistema de IA esté destinada a mejorar el resultado de una actividad previa llevada a cabo por un ser humano, que pudiera ser pertinente a efectos de las utilizaciones de alto riesgo enumeradas en un anexo del presente Reglamento. Teniendo en cuenta esas características, el sistema de IA solo añade un nivel adicional a la actividad humana, entrañando por consiguiente un riesgo menor. Esa condición se aplicaría, por ejemplo, a los sistemas de IA destinados a mejorar el lenguaje utilizado en documentos ya redactados, por ejemplo, en lo referente al empleo de un tono profesional o de un registro lingüístico académico o a la adaptación del texto a una determinada comunicación de marca. La tercera condición debe ser que el sistema de IA esté destinado a detectar patrones de toma de decisiones o desviaciones respecto de patrones de toma de decisiones anteriores. El riesgo sería menor debido a que el sistema de IA se utiliza tras una valoración humana previamente realizada y no pretende sustituirla o influir en ella sin una revisión adecuada por parte de un ser humano. Por ejemplo, entre los sistemas de IA de este tipo, se incluyen aquellos que pueden utilizarse para comprobar a posteriori si un profesor puede haberse desviado de su patrón de calificación determinado, a fin de llamar la atención sobre posibles incoherencias o anomalías. La cuarta condición debe ser que el sistema de IA esté destinado a realizar una tarea que solo sea preparatoria de cara a una evaluación pertinente a efectos de los sistemas de IA enumerados en el anexo del presente Reglamento, con lo que la posible repercusión de los resultados de salida del sistema sería muy escasa en términos de representar un riesgo para la subsiguiente evaluación. Esa condición comprende, entre otras cosas, soluciones inteligentes para la gestión de archivos, lo que incluye funciones diversas tales como la indexación, la búsqueda, el tratamiento de texto y del habla o la vinculación de datos a otras fuentes de datos, o bien los sistemas de IA utilizados para la traducción de los documentos iniciales. En cualquier caso, debe considerarse que los sistemas de IA utilizados en casos de alto riesgo enumerados en un anexo del presente Reglamento presentan un riesgo significativo de menoscabar la salud y la seguridad o los derechos fundamentales si el sistema de IA conlleva la elaboración de perfiles en el sentido del artículo 4, punto 4, del Reglamento (UE) 2016/679, del artículo 3, punto 4, de la Directiva (UE) 2016/680 o del artículo 3, punto 5, del Reglamento (UE) 2018/1725. Para garantizar la trazabilidad y la transparencia, los proveedores que, basándose en las condiciones antes citadas, consideren que un sistema de IA no es de alto riesgo, deben elaborar la documentación de la evaluación previamente a la introducción en el mercado o la entrada en servicio de dicho sistema de IA y facilitarla a las autoridades nacionales competentes cuando estas lo soliciten. Dichos proveedores deben tener la obligación de registrar el sistema en la base de datos de la UE creada en virtud del presente Reglamento. Con el fin de proporcionar orientaciones adicionales sobre la aplicación práctica de las condiciones con arreglo a las cuales los sistemas de IA enumerados en un anexo del presente Reglamento no se consideran, con carácter excepcional, de alto riesgo, la Comisión debe, previa consulta al Consejo de IA, proporcionar directrices que especifiquen dicha aplicación práctica, completadas por una lista exhaustiva de ejemplos prácticos de casos de uso de sistemas de IA que sean de alto riesgo y de casos de uso que no lo sean.
(54)
Budući da biometrijski podaci čine posebnu kategoriju osobnih podataka, nekoliko kritičnih slučajeva korištenja biometrijskih sustava primjereno je klasificirati visokorizičnima, u mjeri u kojoj je njihovo korištenje dopušteno na temelju relevantnog prava Unije i nacionalnog prava. Tehničke netočnosti UI sustava namijenjenih daljinskoj biometrijskoj identifikaciji fizičkih osoba mogu rezultirati pristranim rezultatima i imati diskriminacijske učinke. Rizik od takvih pristranih rezultata i diskriminacijskih učinaka osobito je relevantna s obzirom na dob, etničku pripadnost, rasu, spol ili invaliditet. Stoga bi sustave za daljinsku biometrijsku identifikaciju trebalo klasificirati kao visokorizične s obzirom na rizike koje predstavljaju. Takva klasifikacija isključuje UI sustave namijenjene za biometrijsku provjeru, uključujući autentifikaciju, čija je jedina svrha potvrditi da je određena fizička osoba doista osoba kojom se predstavlja i potvrditi identitet fizičke osobe isključivo u svrhu pristupa usluzi, otključavanja uređaja ili sigurnog pristupa prostorijama. Osim toga, UI sustave namijenjene za biometrijsku kategorizaciju u skladu s osjetljivim atributima ili značajkama zaštićenima na temelju članka 9. stavka 1. Uredbe (EU) 2016/679 na osnovi biometrijskih podataka, u mjeri u kojoj nisu zabranjeni na temelju ove Uredbe, i sustave za prepoznavanje emocija koji nisu zabranjeni na temelju ove Uredbe trebalo bi klasificirati kao visokorizične. Biometrijski sustavi namijenjeni isključivo za omogućavanje kibernetičke sigurnosti i mjera zaštite osobnih podataka ne bi se trebali smatrati visokorizičnim UI sustavima.
(54)
Dado que los datos biométricos constituyen una categoría de datos personales sensibles, procede clasificar como de alto riesgo varios casos de uso críticos de sistemas biométricos, en la medida que su utilización esté permitida con arreglo al Derecho de la Unión y nacional pertinente. Las imprecisiones técnicas de los sistemas de IA destinados a la identificación biométrica remota de las personas físicas pueden dar lugar a resultados sesgados y tener efectos discriminatorios. El riesgo de dichos resultados sesgados y efectos discriminatorios es especialmente pertinente por lo que respecta a la edad, la etnia, la raza, el sexo o la discapacidad. Por lo tanto, los sistemas de identificación biométrica remota deben clasificarse como de alto riesgo debido a los riesgos que entrañan. Quedan excluidos de dicha clasificación los sistemas de IA destinados a la verificación biométrica, que incluye la autenticación, cuyo único propósito es confirmar que una persona física concreta es quien dicha persona dice ser, así como confirmar la identidad de una persona física con la finalidad exclusiva de que tenga acceso a un servicio, desbloquee un dispositivo o tenga un acceso seguro a un local. Además, deben clasificarse como de alto riesgo los sistemas de IA destinados a ser utilizados para la categorización biométrica conforme a atributos o características sensibles protegidos en virtud del artículo 9, apartado 1, del Reglamento (UE) 2016/679 sobre la base de datos biométricos, en la medida en que no estén prohibidos en virtud del presente Reglamento, así como los sistemas de reconocimiento de emociones que no estén prohibidos con arreglo al presente Reglamento. Los sistemas biométricos destinados a ser utilizados exclusivamente a efectos de posibilitar la ciberseguridad y las medidas de protección de los datos personales no deben considerarse sistemas de IA de alto riesgo.
(55)
Kad je riječ o upravljanju kritičnom infrastrukturom i njezinu radu, primjereno je kao visokorizične klasificirati one UI sustave koji su namijenjeni upotrebi kao sigurnosne komponente u upravljanju kritičnom digitalnom infrastrukturom navedenom u točki 8. Priloga Direktivi (EU) 2022/2557 i radu takve infrastrukture, u cestovnom prometu te u opskrbi vodom, plinom, grijanjem i električnom energijom jer bi njihov kvar ili neispravnost mogli ugroziti život i zdravlje osoba u velikim razmjerima te znatno poremetiti uobičajeno odvijanje društvenih i gospodarskih aktivnosti. Sigurnosne komponente kritične infrastrukture, uključujući kritičnu digitalnu infrastrukturu, sustavi su koji se upotrebljavaju za izravnu zaštitu fizičkog integriteta kritične infrastrukture ili zdravlja i sigurnosti osoba i imovine, ali koji nisu potrebni za funkcioniranje sustava. Kvar ili neispravnost takvih komponenti može izravno dovesti do rizika za fizički integritet kritične infrastrukture, a time i do rizika za zdravlje i sigurnost osoba i imovine. Komponente namijenjene korištenju isključivo u svrhe kibernetičke sigurnosti ne bi trebalo smatrati sigurnosnim komponentama. Primjeri sigurnosnih komponenti takve kritične infrastrukture mogu uključivati sustave za praćenje tlaka vode ili sustave za kontrolu protupožarnog alarma u centrima za računalstvo u oblaku.
(55)
Por lo que respecta a la gestión y el funcionamiento de infraestructuras críticas, procede clasificar como de alto riesgo los sistemas de IA destinados a ser utilizados como componentes de seguridad en la gestión y el funcionamiento de las infraestructuras digitales críticas que se enumeran en el anexo, punto 8, de la Directiva (UE) 2022/2557; del tráfico rodado y del suministro de agua, gas, calefacción y electricidad, pues un fallo o un defecto de funcionamiento de estos componentes puede poner en peligro la vida y la salud de las personas a gran escala y alterar de manera considerable el desarrollo habitual de las actividades sociales y económicas. Los componentes de seguridad de las infraestructuras críticas, como las infraestructuras digitales críticas, son sistemas utilizados para proteger directamente la integridad física de las infraestructuras críticas o la salud y la seguridad de las personas y los bienes, pero que no son necesarios para el funcionamiento del sistema. El fallo o el defecto de funcionamiento de estos componentes podría dar lugar directamente a riesgos para la integridad física de las infraestructuras críticas y, por tanto, a riesgos para la salud y la seguridad de las personas y los bienes. Los componentes destinados a ser utilizados exclusivamente con fines de ciberseguridad no deben considerarse componentes de seguridad. Entre los componentes de seguridad de esas infraestructuras críticas cabe citar los sistemas de control de la presión del agua o los sistemas de control de las alarmas contra incendios en los centros de computación en la nube.
(56)
Uvođenje UI sustavâ u obrazovanje važno je kako bi se promicalo visokokvalitetno digitalno obrazovanje i osposobljavanje te kako bi se svim učenicima i nastavnicima omogućilo da steknu i dijele potrebne digitalne vještine i kompetencije, uključujući medijsku pismenost i kritičko razmišljanje, kako bi aktivno sudjelovali u gospodarstvu, društvu i demokratskim procesima. Međutim, UI sustave koji se upotrebljavaju u obrazovanju ili strukovnom osposobljavanju, osobito za odlučivanje o pristupu ili upisu, za razvrstavanje osoba u ustanove ili programe za obrazovanje i strukovno osposobljavanje na svim razinama, za evaluaciju ishoda učenja osoba, za procjenu odgovarajuće razine obrazovanja pojedinca i bitan utjecaj na razinu obrazovanja i osposobljavanja koju će pojedinci steći ili kojoj će moći pristupiti odnosno za praćenje i otkrivanje zabranjenog ponašanja učenika tijekom testiranja trebalo bi klasificirati kao visokorizične UI sustavi jer mogu odrediti obrazovni i profesionalni tijek života osobe i stoga mogu utjecati na njezinu mogućnost da osigura sredstva za život. Ako se dizajniraju i upotrebljavaju na nepravilan način, takvi sustavi mogu biti osobito intruzivni i kršiti pravo na obrazovanje i osposobljavanje i pravo na nediskriminaciju te perpetuirati povijesne obrasce diskriminacije, primjerice protiv žena, određenih dobnih skupina, osoba s invaliditetom odnosno osoba određenog rasnog ili etničkog podrijetla ili seksualne orijentacije.
(56)
El despliegue de sistemas de IA en el ámbito educativo es importante para fomentar una educación y formación digitales de alta calidad y para que todos los estudiantes y profesores puedan adquirir y compartir las capacidades y competencias digitales necesarias, incluidos la alfabetización mediática, y el pensamiento crítico, para participar activamente en la economía, la sociedad y los procesos democráticos. No obstante, deben clasificarse como de alto riesgo los sistemas de IA que se utilizan en la educación o la formación profesional, y en particular aquellos que determinan el acceso o la admisión, distribuyen a las personas entre distintas instituciones educativas y de formación profesional o programas de todos los niveles, evalúan los resultados del aprendizaje de las personas, evalúan el nivel apropiado de educación de una persona e influyen sustancialmente en el nivel de educación y formación que las personas recibirán o al que podrán acceder, o supervisan y detectan comportamientos prohibidos de los estudiantes durante las pruebas, ya que pueden decidir la trayectoria formativa y profesional de una persona y, en consecuencia, puede afectar a su capacidad para asegurar su subsistencia. Cuando no se diseñan y utilizan correctamente, estos sistemas pueden invadir especialmente y violar el derecho a la educación y la formación, y el derecho a no sufrir discriminación, además de perpetuar patrones históricos de discriminación, por ejemplo contra las mujeres, determinados grupos de edad, las personas con discapacidad o las personas de cierto origen racial o étnico o con una determinada orientación sexual.
(57)
UI sustavi koji se upotrebljavaju za zapošljavanje, kadrovsko upravljanje i pristup samozapošljavanju, osobito za zapošljavanje i odabir osoba, za donošenje odluka koje utječu na uvjete radnog odnosa, promaknuće ili otkazivanje radnih ugovornih odnosa, za dodjelu zadataka na osnovi individualnog ponašanja, osobnih obilježja ili značajki i za praćenje ili evaluaciju osoba u radnim ugovornim odnosima također bi trebali biti klasificirani kao visokorizični jer bi ti sustavi mogli znatno utjecati na buduće izglede za razvoj karijere, sredstva za život tih osoba i radnička prava. Relevantni radni ugovorni odnosi trebali bi na smislen način uključivati zaposlenike i osobe koji pružaju usluge putem platformi kako je navedeno u programu rada Komisije za 2021. U cijelom procesu zapošljavanja i pri evaluaciji, promaknuću ili zadržavanju osoba u radnim ugovornim odnosima takvi sustavi mogu perpetuirati povijesne obrasce diskriminacije, primjerice protiv žena, određenih dobnih skupina, osoba s invaliditetom odnosno osoba određenog rasnog ili etničkog podrijetla ili seksualne orijentacije. UI sustavi koji se upotrebljavaju za praćenje učinkovitosti i ponašanja takvih osoba mogu ujedno narušavati njihova temeljna prava na zaštitu osobnih podataka i privatnost.
(57)
También deben clasificarse como de alto riesgo los sistemas de IA que se utilizan en los ámbitos del empleo, la gestión de los trabajadores y el acceso al autoempleo, en particular para la contratación y la selección de personal, para la toma de decisiones que afecten a las condiciones de las relaciones de índole laboral, la promoción y la rescisión de relaciones contractuales de índole laboral, para la asignación de tareas a partir de comportamientos individuales o rasgos o características personales y para la supervisión o evaluación de las personas en el marco de las relaciones contractuales de índole laboral, dado que pueden afectar de un modo considerable a las futuras perspectivas laborales, a los medios de subsistencia de dichas personas y a los derechos de los trabajadores. Las relaciones contractuales de índole laboral deben incluir, de manera significativa, a los empleados y las personas que prestan servicios a través de plataformas, como indica el programa de trabajo de la Comisión para 2021. Dichos sistemas pueden perpetuar patrones históricos de discriminación, por ejemplo contra las mujeres, determinados grupos de edad, las personas con discapacidad o las personas de orígenes raciales o étnicos concretos o con una orientación sexual determinada, durante todo el proceso de contratación y en la evaluación, promoción o retención de personas en las relaciones contractuales de índole laboral. Los sistemas de IA empleados para controlar el rendimiento y el comportamiento de estas personas también pueden socavar sus derechos fundamentales a la protección de los datos personales y a la intimidad.
(58)
Još jedno područje u kojem UI sustavima treba posvetiti posebnu pozornost jest dostupnost i uživanje određenih osnovnih privatnih i javnih usluga i naknada potrebnih za potpuno sudjelovanje u društvu ili poboljšanje životnog standarda osoba. Osobito, fizičke osobe koje podnose zahtjev za osnovne naknade i usluge javne pomoći od tijela javne vlasti ili ih od njih primaju, odnosno zdravstvene usluge, naknade socijalne sigurnosti, socijalne usluge kojima se pruža zaštita u slučajevima kao što su majčinstvo, bolest, nesreće na radu, uzdržavanost ili starost i gubitak zaposlenja te socijalna i stambena pomoć, obično ovise o tim naknadama i uslugama te su u ranjivom položaju u odnosu na nadležna tijela. Ako se UI sustavi upotrebljavaju za određivanje toga trebaju li tijela takve naknade i usluge dodijeliti, uskratiti, smanjiti, ukinuti ili tražiti njihov povrat, uključujući određivanje toga imaju li korisnici legitimno pravo na takve naknade ili usluge, ti sustavi mogu znatno utjecati na sredstva za život tih osoba i kršiti njihova temeljna prava, kao što je pravo na socijalnu zaštitu, nediskriminaciju, ljudsko dostojanstvo ili djelotvorno pravno sredstvo, te bi ih stoga trebalo klasificirati kao visokorizične. Međutim, ova Uredba ne bi trebala otežavati razvoj i primjenu inovativnih pristupa u javnoj upravi, koja bi imala koristi od šire upotrebe usklađenih i sigurnih UI sustava, pod uvjetom da ti sustavi ne podrazumijevaju velik rizik za pravne i fizičke osobe. Usto, UI sustave koji se upotrebljavaju za evaluaciju kreditnog rejtinga ili kreditne sposobnosti fizičkih osoba trebalo bi klasificirati kao visokorizične jer određuju pristup tih osoba financijskim resursima ili osnovnim uslugama kao što su stanovanje, električna energija i telekomunikacijske usluge. UI sustavi koji se upotrebljavaju u tu svrhu mogu dovesti do diskriminacije osoba ili skupina te perpetuirati povijesne obrasce diskriminacije, primjerice na temelju rasnog ili etničkog podrijetla, roda, invaliditeta, dobi ili seksualne orijentacije, ili mogu stvoriti nove vrste diskriminacijskih učinaka. Međutim, UI sustavi predviđeni pravom Unije u svrhu otkrivanja prijevara u ponudi financijskih usluga i u bonitetne svrhe za izračun kapitalnih zahtjeva kreditnih institucija i društava za osiguranje ne bi se trebali smatrati visokorizičnima na temelju ove Uredbe. Nadalje, UI sustavi namijenjeni procjeni rizika i određivanju cijena u odnosu na fizičke osobe za zdravstveno i životno osiguranje mogu znatno utjecati i na sredstva za život tih osoba, a ako nisu propisno dizajnirani, razvijeni i korišteni, mogu kršiti njihova temeljna prava i dovesti do ozbiljnih posljedica za život i zdravlje ljudi, uključujući financijsku isključenost i diskriminaciju. Na kraju, UI sustavi koji se upotrebljavaju za evaluaciju i klasifikaciju hitnih poziva fizičkih osoba ili za dispečiranje ili određivanje prioriteta pri dispečiranju hitnih službi, uključujući policiju, vatrogasce i medicinsku pomoć, kao i sustavi za trijažu pacijenata pri pružanju hitne skrbi, isto bi se trebali smatrati visokorizičnima jer donose odluke u situacijama koje su kritične za život i zdravlje osoba te za njihovu imovinu.
(58)
El acceso a determinados servicios y prestaciones esenciales, de carácter público y privado, necesarios para que las personas puedan participar plenamente en la sociedad o mejorar su nivel de vida, y el disfrute de dichos servicios y prestaciones, es otro ámbito en el que conviene prestar especial atención a la utilización de sistemas de IA. En particular, las personas físicas que solicitan a las autoridades públicas o reciben de estas prestaciones y servicios esenciales de asistencia pública, a saber, servicios de asistencia sanitaria, prestaciones de seguridad social, servicios sociales que garantizan una protección en casos como la maternidad, la enfermedad, los accidentes laborales, la dependencia o la vejez y la pérdida de empleo, asistencia social y ayudas a la vivienda, suelen depender de dichas prestaciones y servicios y, por lo general, se encuentran en una posición de vulnerabilidad respecto de las autoridades responsables. La utilización de sistemas de IA para decidir si las autoridades deben conceder, denegar, reducir o revocar dichas prestaciones y servicios o reclamar su devolución, lo que incluye decidir, por ejemplo, si los beneficiarios tienen legítimamente derecho a dichas prestaciones y servicios, podría tener un efecto considerable en los medios de subsistencia de las personas y vulnerar sus derechos fundamentales, como el derecho a la protección social, a la no discriminación, a la dignidad humana o a la tutela judicial efectiva y, por lo tanto, deben clasificarse como de alto riesgo. No obstante, el presente Reglamento no debe obstaculizar el desarrollo y el uso de enfoques innovadores en la Administración, que podrían beneficiarse de una mayor utilización de sistemas de IA conformes y seguros, siempre y cuando dichos sistemas no supongan un alto riesgo para las personas jurídicas y físicas. Además, deben clasificarse como de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o solvencia de las personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones. Los sistemas de IA usados con esos fines pueden discriminar a determinadas personas o colectivos y perpetuar patrones históricos de discriminación, como por motivos de origen racial o étnico, género, discapacidad, edad u orientación sexual, o generar nuevas formas de discriminación. No obstante, los sistemas de IA previstos por el Derecho de la Unión con vistas a detectar fraudes en la oferta de servicios financieros y, a efectos prudenciales, para calcular los requisitos de capital de las entidades de crédito y las empresas de seguros no deben considerarse de alto riesgo en virtud del presente Reglamento. Además, los sistemas de IA destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud también pueden afectar de un modo considerable a los medios de subsistencia de las personas y, si no se diseñan, desarrollan y utilizan debidamente, pueden vulnerar sus derechos fundamentales y pueden tener graves consecuencias para la vida y la salud de las personas, como la exclusión financiera y la discriminación. Por último, los sistemas de IA empleados para evaluar y clasificar llamadas de emergencia de personas físicas o el envío o el establecimiento de prioridades en el envío de servicios de primera intervención en situaciones de emergencia, incluidos policía, bomberos y servicios de asistencia médica, así como sistemas de triaje de pacientes para la asistencia sanitaria de emergencia, también deben considerarse de alto riesgo, dado que adoptan decisiones en situaciones sumamente críticas para la vida y la salud de las personas y de sus bienes.
(59)
S obzirom na njihovu ulogu i odgovornost, postupcima tijelâ kaznenog progona koji uključuju određene oblike korištenja UI sustavâ svojstvena je znatna neravnoteža moći i mogu dovesti do nadzora, uhićenja ili oduzimanja slobode fizičkih osoba, kao i do drugih nepovoljnih učinaka na temeljna prava zajamčena Poveljom. Posebice, ako UI sustav nije treniran s pomoću visokokvalitetnih podataka, ne ispunjava odgovarajuće zahtjeve u pogledu svoje učinkovitosti, točnosti ili otpornosti ili nije pravilno dizajniran i testiran prije stavljanja na tržište ili u upotrebu, može izdvajati ljude na diskriminatoran ili na drugačije netočan ili nepravedan način. Nadalje, ostvarivanje važnih postupovnih temeljnih prava, kao što su pravo na djelotvorno pravno sredstvo i na pošteno suđenje te pravo na obranu i pretpostavku nedužnosti, moglo bi biti otežano, osobito ako takvi UI sustavi nisu dovoljno transparentni, objašnjivi i dokumentirani. Stoga je primjereno, u mjeri u kojoj je njihovo korištenje dopušteno na temelju relevantnog prava Unije i nacionalnog prava, klasificirati kao visokorizične one UI sustave koji su namijenjeni korištenju u kontekstu kaznenog progona ako su točnost, pouzdanost i transparentnost osobito važne kako bi se izbjegli nepovoljni utjecaji, zadržalo povjerenje javnosti te osigurala odgovornost i djelotvorna pravna zaštita. S obzirom na prirodu tih aktivnosti i s njima povezane rizike, ti visokorizični UI sustavi trebali bi osobito uključivati UI sustave namijenjene za korištenje od strane tijela kaznenog progona ili u njihovo ime ili za korištenje od strane institucija, tijela, ureda ili agencija Unije radi potpore tijelima kaznenog progona za procjenu rizika fizičke osobe da postane žrtva kaznenih djela, kao poligrafi i slični alati, za evaluaciju pouzdanosti dokaza tijekom istrage ili progona kaznenih djela i, u mjeri u kojoj to nije zabranjeno na temelju ove Uredbe, za procjenu rizika da fizička osoba počini ili ponovno počini kazneno djelo ne isključivo na osnovi izrade profila fizičkih osoba ili procjene osobina i značajki ili prethodnog kriminalnog ponašanja fizičkih osoba ili skupina, za izradu profila tijekom otkrivanja, istrage ili progona kaznenih djela. UI sustave posebno namijenjene za upravne postupke poreznih i carinskih tijela i financijsko-obavještajnih jedinica koje provode administrativne zadaće analize informacija na temelju prava Unije o sprečavanju pranja novca ne bi trebalo klasificirati kao visokorizične UI sustave koje tijela kaznenog progona upotrebljavaju u svrhu sprečavanja, otkrivanja, istrage i progona kaznenih djela. Tijela kaznenog progona ni druga relevantna tijela ne bi smjela koristiti UI alate tako da postanu čimbenik nejednakosti ili isključenosti. Ne bi se trebao zanemariti utjecaj korištenja UI alata na prava osumnjičenika na obranu, osobito s obzirom na poteškoću u dobivanju smislenih informacija o funkcioniranju tih sustava i posljedičnu poteškoću u osporavanju njihovih rezultata na sudu, osobito za fizičke osobe pod istragom.
(59)
Dado su papel y su responsabilidad, las actuaciones de las autoridades garantes del cumplimiento del Derecho que implican determinados usos de los sistemas de IA se caracterizan por un importante desequilibrio de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de una persona física, así como tener otros efectos negativos sobre los derechos fundamentales consagrados en la Carta. En particular, si el sistema de IA no está entrenado con datos de buena calidad, no cumple los requisitos adecuados en términos de rendimiento, de precisión o de solidez, o no se diseña y prueba debidamente antes de introducirlo en el mercado o ponerlo en servicio, es posible que señale a personas de manera discriminatoria, incorrecta o injusta. Además, podría impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como el derecho a la defensa y a la presunción de inocencia, sobre todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y explicables ni estén suficientemente bien documentados. Por consiguiente, en la medida en que su uso esté permitido conforme al Derecho de la Unión y nacional pertinente, procede clasificar como de alto riesgo varios sistemas de IA destinados a ser utilizados con fines de garantía del cumplimiento del Derecho cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar la rendición de cuentas y unas vías de recurso efectivas. En vista de la naturaleza de las actividades y de los riesgos conexos, entre dichos sistemas de IA de alto riesgo deben incluirse, en particular, los sistemas de IA destinados a ser utilizados por las autoridades garantes del cumplimiento del Derecho, o en nombre de estas, o por las instituciones, órganos u organismos de la Unión en apoyo de las primeras, para evaluar el riesgo de que una persona física sea víctima de delitos, como los polígrafos y otras herramientas similares, para evaluar la fiabilidad de las pruebas durante la investigación o el enjuiciamiento de delitos y, en la medida en que no esté prohibido conforme al presente Reglamento, para evaluar el riesgo de que una persona física cometa un delito o reincida, no solo sobre la base de la elaboración de perfiles de personas físicas o la evaluación de rasgos y características de la personalidad o comportamientos delictivos pasados de personas físicas o grupos de personas, o para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de delitos. Los sistemas de IA destinados específicamente a ser utilizados en procesos administrativos por las autoridades fiscales y aduaneras y las unidades de inteligencia financiera que desempeñan tareas administrativas de análisis de información de conformidad con el Derecho de la Unión en materia de lucha contra el blanqueo de capitales no deben clasificarse como sistemas de IA de alto riesgo usados por las autoridades garantes del cumplimiento del Derecho con el fin de prevenir, detectar, investigar y enjuiciar delitos. El uso de herramientas de IA por parte de las autoridades garantes del cumplimiento del Derecho y otras autoridades pertinentes no debe convertirse en un factor de desigualdad o exclusión. No debe ignorarse el impacto del uso de herramientas de IA en los derechos de defensa de los sospechosos, en particular la dificultad para obtener información significativa sobre el funcionamiento de dichos sistemas y la consiguiente dificultad para impugnar sus resultados ante los tribunales, en particular por parte de las personas físicas investigadas.
(60)
UI sustavi koji se upotrebljavaju u području migracija, azila i upravljanja nadzorom državne granice utječu na osobe koje su često u osobito ranjivu položaju i koje ovise o ishodu postupaka nadležnih tijela javne vlasti. Točnost, nediskriminacija i transparentnost UI sustava koji se upotrebljavaju u tim kontekstima stoga su posebno važne kako bi se zajamčilo poštovanje temeljnih prava zahvaćenih osoba, osobito njihovih prava na slobodno kretanje, nediskriminaciju, zaštitu privatnog života i osobnih podataka, međunarodnu zaštitu i dobru upravu. Stoga je primjereno klasificirati kao visokorizične, u mjeri u kojoj je njihovo korištenje dopušteno na temelju relevantnog prava Unije i nacionalnog prava, UI sustave namijenjene za korištenje od strane nadležnih tijela javne vlasti ili institucija, tijela, ureda ili agencija Unije ili u njihovo ime, a koji su zaduženi za zadaće u području migracija, azila i upravljanja nadzorom državne granice, kao poligrafe i slične alate, za procjenu određenih rizika koje predstavljaju fizičke osobe koje ulaze na državno područje države članice ili podnose zahtjev za vizu ili azil, za pomoć nadležnim tijelima javne vlasti u razmatranju, uključujući povezanu procjenu pouzdanosti dokaza, zahtjevâ za azil, viza i boravišnih dozvola te povezanih pritužbi u pogledu cilja utvrđivanja prihvatljivosti fizičkih osoba koje podnose zahtjev za određeni status, u svrhu otkrivanja, priznavanja ili identifikacije fizičkih osoba u kontekstu migracija, azila i upravljanja nadzorom državne granice, uz iznimku provjere putnih isprava. UI sustavi koji se upotrebljavaju u području migracija, azila i upravljanja nadzorom državne granice obuhvaćeni ovom Uredbom trebali bi biti u skladu s relevantnim postupovnim zahtjevima utvrđenima Uredbom (EZ) 810/2009 Europskog parlamenta i Vijeća (32), Direktivom 2013/32/EU Europskog parlamenta i Vijeća (33) i drugim relevantnim pravom Unije. Države članice odnosno institucije, tijela, uredi ili agencije Unije ni u kojem slučaju ne bi smjeli koristiti UI sustave u području migracija, azila i upravljanja nadzorom državne granice kao sredstvo za zaobilaženje svojih međunarodnih obveza na temelju Konvencije UN-a o statusu izbjeglica potpisane u Ženevi 28. srpnja 1951., kako je izmijenjena Protokolom od 31. siječnja 1967. Njima se ne bi trebalo ni na koji način kršiti načelo zabrane prisilnog udaljenja ili vraćanja niti uskraćivati sigurne i djelotvorne zakonite načine za dolazak na područje Unije, uključujući pravo na međunarodnu zaštitu.
(60)
Los sistemas de IA empleados en la migración, el asilo y la gestión del control fronterizo afectan a personas que con frecuencia se encuentran en una situación especialmente vulnerable y que dependen del resultado de las actuaciones de las autoridades públicas competentes. Por este motivo, es sumamente importante que los sistemas de IA que se utilicen en estos contextos sean precisos, no discriminatorios y transparentes, a fin de garantizar que se respeten los derechos fundamentales de las personas afectadas y, en particular, su derecho a la libre circulación, a la no discriminación, a la intimidad personal y la protección de los datos personales, a la protección internacional y a una buena administración. Por lo tanto, procede clasificar como de alto riesgo, en la medida en que su utilización esté permitida en virtud del Derecho de la Unión y nacional, aquellos sistemas de IA destinados a ser utilizados por las autoridades públicas competentes, o en su nombre, o por las instituciones, órganos u organismos de la Unión que realizan tareas en el ámbito de la migración, el asilo y la gestión del control fronterizo como polígrafos y herramientas similares, para evaluar determinados riesgos que presenten las personas físicas que entren en el territorio de un Estado miembro o que soliciten un visado o asilo, para ayudar a las autoridades públicas competentes a examinar, con inclusión de la evaluación conexa de la fiabilidad de las pruebas, las solicitudes de asilo, visado y permiso de residencia, así como las reclamaciones conexas en relación con el objetivo de determinar si las personas físicas solicitantes reúnen los requisitos necesarios para que se conceda su solicitud, a efectos de detectar, reconocer o identificar a las personas físicas en el contexto de la migración, el asilo y la gestión del control fronterizo, con excepción de la verificación de los documentos de viaje. Los sistemas de IA en el ámbito de la migración, el asilo y la gestión del control fronterizo sujetos al presente Reglamento deben cumplir los requisitos procedimentales pertinentes establecidos por el Reglamento (CE) n.o 810/2009 del Parlamento Europeo y del Consejo (32), la Directiva 2013/32/UE del Parlamento Europeo y del Consejo (33) y otro Derecho de la Unión pertinente. El empleo de los sistemas de IA en la migración, el asilo y la gestión del control fronterizo no debe, en ningún caso, ser utilizado por los Estados miembros o las instituciones, órganos u organismos de la Unión como medio para eludir sus obligaciones internacionales en virtud de la Convención de las Naciones Unidas sobre el Estatuto de los Refugiados, hecha en Ginebra el 28 de julio de 1951, modificada por el Protocolo de 31 de enero de 1967. Tampoco debe ser utilizado para infringir en modo alguno el principio de no devolución, ni para negar unas vías jurídicas seguras y efectivas de acceso al territorio de la Unión, incluido el derecho a la protección internacional.
(61)
Određene UI sustave namijenjene sudovanju i demokratskim procesima trebalo bi klasificirati kao visokorizične s obzirom na njihov potencijalno velik utjecaj na demokraciju, vladavinu prava, osobne slobode te pravo na djelotvoran pravno sredstvo i na pošteno suđenje. Točnije, radi odgovora na rizike od mogućih pristranosti, pogrešaka i netransparentnosti, primjereno je klasificirati kao visokorizične one UI sustave koji su namijenjeni korištenju od strane pravosudnog tijela ili u njegovo ime za pomoć pravosudnim tijelima u istraživanju i tumačenju činjenica i prava te primjeni prava na konkretan skup činjenica. UI sustavi namijenjeni korištenju od strane tijela za alternativno rješavanje sporova u te svrhe također bi se trebali smatrati visokorizičnima ako ishodi postupka alternativnog rješavanja sporova proizvode pravne učinke za stranke. Alati umjetne inteligencije mogu biti potpora ovlasti sudaca za donošenje odluka ili neovisnosti sudstva, ali ih ne bi smjeli zamijeniti: konačno donošenje odluka mora i dalje biti aktivnost koju obavljaju ljudi. Klasifikacija UI sustava kao visokorizičnih ne bi se trebala odnositi na UI sustave namijenjene isključivo pomoćnim administrativnim aktivnostima koje ne utječu na stvarno sudovanje u pojedinačnim slučajevima, kao što su anonimizacija ili pseudonimizacija sudskih odluka, dokumenata ili podataka, komunikacija među osobljem ili administrativne zadaće.
(61)
Deben clasificarse como de alto riesgo determinados sistemas de IA destinados a la administración de justicia y los procesos democráticos, dado que pueden tener efectos potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales y el derecho a la tutela judicial efectiva y a un juez imparcial. En particular, a fin de hacer frente al riesgo de posibles sesgos, errores y opacidades, procede clasificar como de alto riesgo aquellos sistemas de IA destinados a ser utilizados por una autoridad judicial o en su nombre para ayudar a las autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos. También deben considerarse de alto riesgo los sistemas de IA destinados a ser utilizados por los organismos de resolución alternativa de litigios con esos fines, cuando los resultados de los procedimientos de resolución alternativa de litigios surtan efectos jurídicos para las partes. La utilización de herramientas de IA puede apoyar el poder de decisión de los jueces o la independencia judicial, pero no debe substituirlas: la toma de decisiones finales debe seguir siendo una actividad humana. No obstante, la clasificación de los sistemas de IA como de alto riesgo no debe hacerse extensiva a los sistemas de IA destinados a actividades administrativas meramente accesorias que no afectan a la administración de justicia propiamente dicha en casos concretos, como la anonimización o seudonimización de resoluciones judiciales, documentos o datos, la comunicación entre los miembros del personal o las tareas administrativas.
(62)
Ne dovodeći u pitanja pravila predviđena u Uredbi (EU) 2024/900. Europskog parlamenta i Vijeća (34), te kako bi se uklonili rizici od neopravdanog vanjskog uplitanja u pravo glasa utvrđeno u članku 39. Povelje i od nerazmjernih učinaka na demokraciju i vladavinu prava, UI sustave namijenjene za korištenje kako bi se utjecalo na ishod izbora ili referenduma ili na ponašanje fizičkih osoba tijekom glasovanja na izborima ili referendumima trebalo bi klasificirati kao visokorizične UI sustave, uz iznimku UI sustava čijim izlaznim vrijednostima fizičke osobe nisu izravno izložene, kao što su alati koji se upotrebljavaju za organizaciju, optimizaciju i strukturiranje političkih kampanja s administrativnog i logističkog stajališta.
(62)
Sin perjuicio de las normas previstas en el Reglamento (UE) 2024/900 del Parlamento Europeo y del Consejo (34), y a fin de hacer frente a los riesgos de injerencia externa indebida en el derecho de voto consagrado en el artículo 39 de la Carta, y de efectos adversos sobre la democracia y el Estado de Derecho, deben clasificarse como sistemas de IA de alto riesgo los sistemas de IA destinados a ser utilizados para influir en el resultado de una elección o un referéndum, o en el comportamiento electoral de las personas físicas en el ejercicio de su voto en elecciones o referendos, con excepción de los sistemas de IA a cuyos resultados de salida las personas físicas no están directamente expuestas, como las herramientas utilizadas para organizar, optimizar y estructurar campañas políticas desde un punto de vista administrativo y logístico.
(63)
Činjenicu da je pojedini UI sustav klasificiran kao visokorizičan na temelju ove Uredbe ne bi trebalo tumačiti kao da je korištenje tog sustava zakonito na temelju drugih pravnih akata Unije ili nacionalnog prava usklađenog s pravom Unije, primjerice prava o zaštiti osobnih podataka, o korištenju poligrafa i sličnih alata ili drugih sustava kojima se utvrđuje emocionalno stanje fizičkih osoba. Svako takvo korištenje trebalo bi se i dalje ostvarivati samo u skladu s primjenjivim zahtjevima koji proizlaze iz Povelje te primjenjivih akata sekundarnog prava Unije i nacionalnog prava. Ovu Uredbu ne bi trebalo tumačiti kao pružanje pravne osnove za obradu osobnih podataka, uključujući, ako je to relevantno, posebne kategorije osobnih podataka, osim ako je u ovoj Uredbi izričito predviđeno drugačije.
(63)
El hecho de que un sistema de IA sea clasificado como un sistema de IA de alto riesgo en virtud del presente Reglamento no debe interpretarse como indicador de que su uso sea lícito con arreglo a otros actos del Derecho de la Unión o del Derecho nacional compatible con el Derecho de la Unión, por ejemplo, en materia de protección de los datos personales o la utilización de polígrafos y herramientas similares u otros sistemas para detectar el estado emocional de las personas físicas. Todo uso de ese tipo debe seguir realizándose exclusivamente en consonancia con los requisitos oportunos derivados de la Carta y de los actos aplicables del Derecho derivado de la Unión y del Derecho nacional. No debe entenderse que el presente Reglamento constituye un fundamento jurídico para el tratamiento de datos personales, incluidas las categorías especiales de datos personales, en su caso, salvo que el presente Reglamento disponga específicamente otra cosa.
(64)
Kako bi se smanjili rizici visokorizičnih UI sustava koji su stavljeni na tržište ili u upotrebu i kako bi se osigurala visoka razina pouzdanosti, na visokorizične UI sustave trebali bi se primjenjivati određeni obvezni zahtjevi, uzimajući u obzir namjenu i kontekst korištenja UI sustava i u skladu sa sustavom upravljanja rizikom koji treba uspostaviti dobavljač. Mjerama koje dobavljači donose radi usklađivanja s obveznim zahtjevima ove Uredbe trebalo bi uzeti u obzir općepriznata najnovija dostignuća u području umjetne inteligencije i te bi mjere trebale biti razmjerne i djelotvorne za postizanje ciljeva ove Uredbe. Na temelju novog zakonodavnog okvira, kako je pojašnjeno u obavijesti Komisije pod nazivom „‚Plavi vodič’ o provedbi pravila EU-a o proizvodima 2022.”, opće je pravilo da se više od jednog pravnog akta zakonodavstva Unije o usklađivanju može primjenjivati na jedan proizvod jer se stavljanje na raspolaganje ili u upotrebu može provesti samo ako je proizvod u skladu sa svim primjenjivim zakonodavstvom Unije o usklađivanju. Opasnosti UI sustavâ obuhvaćene zahtjevima ove Uredbe odnose se na različite aspekte od onih u postojećem zakonodavstvu Unije o usklađivanju te bi se stoga zahtjevima ove Uredbe dopunio postojeći skup zakonodavstva Unije o usklađivanju. Na primjer, strojevi ili medicinski proizvodi u koje je ugrađen UI sustav mogli bi predstavljati rizike koji nisu obuhvaćeni osnovnim zdravstvenim i sigurnosnim zahtjevima utvrđenima u relevantnom zakonodavstvu Unije o usklađivanju jer se to sektorsko pravo ne bavi rizicima specifičnima za UI sustave. Zbog toga je potrebna istovremena i komplementarna primjena raznih zakonodavnih akata. Kako bi se osigurala dosljednost i izbjeglo nepotrebno administrativno opterećenje i nepotrebni troškovi, dobavljači proizvoda koji sadržava jedan ili više visokorizičnih UI sustava, na koje se primjenjuju zahtjevi iz ove Uredbe i zahtjevi iz zakonodavstva Unije o usklađivanju na temelju novog zakonodavnog okvira i navedeni u prilogu ovoj Uredbi, trebali bi biti fleksibilni u pogledu operativnih odluka o tome kako na najbolji način osigurati usklađenost proizvoda koji sadržava jedan ili više UI sustava sa svim primjenjivim zahtjevima zakonodavstva Unije o usklađivanju. Ta bi fleksibilnost mogla značiti, na primjer, odluku dobavljača da dio potrebnih postupaka testiranja i izvješćivanja, informacija i dokumentacije koji se zahtijevaju na temelju ove Uredbe integrira u već postojeću dokumentaciju i postupke koji se zahtijevaju na temelju postojećeg zakonodavstva Unije o usklađivanju koje se temelji na novom zakonodavnom okviru i koje je navedeno u prilogu ovoj Uredbi. To ni na koji način ne bi trebalo umanjiti obvezu dobavljača da poštuje sve primjenjive zahtjeve.
(64)
Con el objetivo de mitigar los riesgos que presentan los sistemas de IA de alto riesgo que se introducen en el mercado o se ponen en servicio, y para garantizar un alto nivel de fiabilidad, deben aplicarse a los sistemas de IA de alto riesgo ciertos requisitos obligatorios que tengan en cuenta la finalidad prevista y el contexto del uso del sistema de IA y estén en consonancia con el sistema de gestión de riesgos que debe establecer el proveedor. Las medidas adoptadas por los proveedores para cumplir los requisitos obligatorios del presente Reglamento deben tener en cuenta el estado actual de la técnica generalmente reconocido en materia de IA, ser proporcionadas y eficaces para alcanzar los objetivos del presente Reglamento. Sobre la base del nuevo marco legislativo, como se aclara en la Comunicación de la Comisión titulada «“Guía azul” sobre la aplicación de la normativa europea relativa a los productos, de 2022», la norma general es que más de un acto jurídico de la legislación de armonización de la Unión puede ser aplicable a un producto, ya que la comercialización o la puesta en servicio solamente puede producirse cuando el producto cumple toda la legislación de armonización de la Unión aplicable. Los peligros de los sistemas de IA cubiertos por los requisitos del presente Reglamento se refieren a aspectos diferentes de los contemplados en la legislación de armonización de la Unión existente y, por consiguiente, los requisitos del presente Reglamento completarían el conjunto existente de legislación de armonización de la Unión. Por ejemplo, las máquinas o los productos sanitarios que incorporan un sistema de IA pueden presentar riesgos de los que no se ocupan los requisitos esenciales de salud y seguridad establecidos en la legislación armonizada de la Unión pertinente, ya que esa legislación sectorial no aborda los riesgos específicos de los sistemas de IA. Esto exige una aplicación simultánea y complementaria de diversos actos legislativos. A fin de garantizar la coherencia y evitar una carga administrativa innecesaria y costes innecesarios, los proveedores de un producto que contenga uno o varios sistemas de IA de alto riesgo, a los que se apliquen los requisitos del presente Reglamento y de los actos legislativos de armonización de la Unión basados en el nuevo marco legislativo y enumerados en un anexo del presente Reglamento, deben ser flexibles en lo que respecta a las decisiones operativas relativas a la manera de garantizar la conformidad de un producto que contenga uno o varios sistemas de IA con todos los requisitos aplicables de la legislación armonizada de la Unión de manera óptima. Esa flexibilidad podría significar, por ejemplo, la decisión del proveedor de integrar una parte de los procesos de prueba y notificación necesarios, así como la información y la documentación exigidas en virtud del presente Reglamento, en la documentación y los procedimientos ya existentes exigidos en virtud de los actos legislativos de armonización de la Unión vigentes basados en el nuevo marco legislativo y enumerados en un anexo del presente Reglamento. Esto no debe socavar en modo alguno la obligación del proveedor de cumplir todos los requisitos aplicables.
(65)
Sustav upravljanja rizikom trebao bi se sastojati od kontinuiranog iterativnog procesa koji se planira i izvodi tijekom cijelog životnog ciklusa visokorizičnog UI sustava. Taj bi proces trebao biti usmjeren na utvrđivanje i ublažavanje relevantnih rizika UI sustavâ za zdravlje, sigurnost i temeljna prava. Sustav upravljanja rizikom trebalo bi redovito preispitivati i ažurirati kako bi se osigurala njegova kontinuirana djelotvornost, kao i obrazlaganje i dokumentiranje svih važnih donesenih odluka i poduzetih mjera koje podliježu ovoj Uredbi. Tim bi procesom trebalo osigurati da dobavljač utvrdi rizike ili nepovoljne učinke i provede mjere za ublažavanje poznatih i razumno predvidljivih rizika UI sustavâ za zdravlje, sigurnost i temeljna prava s obzirom na njihovu namjenu i razumno predvidljivu pogrešnu upotrebu, uključujući moguće rizike koji proizlaze iz interakcije između UI sustava i okružja u kojem djeluje. Sustav upravljanja rizikom trebao bi primjenjivati najprikladnije mjere upravljanja rizikom s obzirom na najnovija dostignuća u području umjetne inteligencije. Pri utvrđivanju najprikladnijih mjera upravljanja rizikom dobavljač bi trebao dokumentirati i objasniti donesene odluke te, prema potrebi, uključiti stručnjake i vanjske dionike. Pri utvrđivanju razumno predvidljive pogrešne upotrebe visokorizičnih UI sustava dobavljač bi trebao obuhvatiti korištenja UI sustavâ za koja se, iako nisu izravno obuhvaćena namjenom i navedena u uputama za korištenje, ipak može razumno pretpostaviti da će proizaći iz lako predvidljivog ljudskog ponašanja u kontekstu specifičnih značajki i korištenja određenog UI sustava. Sve poznate i predvidljive okolnosti povezane s korištenjem visokorizičnog UI sustava u skladu s njegovom namjenom ili u uvjetima razumno predvidljive pogrešne upotrebe, koja može prouzročiti rizike za zdravlje i sigurnost ili temeljna prava, trebale bi biti navedene u uputama za korištenje koje pruža dobavljač. Time treba osigurati da ih je subjekt koji uvodi sustav svjestan i da ih uzme u obzir pri korištenju visokorizičnog UI sustava. Utvrđivanje i provedba mjera za ublažavanje rizika od predvidljive pogrešne upotrebe na temelju ove Uredbe ne bi trebali iziskivati posebno dodatno osposobljavanje za visokorizični UI sustav od strane dobavljača kako bi ih se riješila razumno predvidljiva pogrešna upotreba. Međutim, dobavljače se potiče da razmotre takve dodatne mjere osposobljavanja kako bi se ublažile razumno predvidljive pogrešne upotrebe ako je to potrebno i primjereno.
(65)
El sistema de gestión de riesgos debe consistir en un proceso iterativo continuo que sea planificado y ejecutado durante todo el ciclo de vida del sistema de IA de alto riesgo. Dicho proceso debe tener por objeto detectar y mitigar los riesgos pertinentes de los sistemas de IA para la salud, la seguridad y los derechos fundamentales. El sistema de gestión de riesgos debe revisarse y actualizarse periódicamente para garantizar su eficacia continua, así como la justificación y documentación de cualesquiera decisiones y acciones significativas adoptadas con arreglo al presente Reglamento. Este proceso debe garantizar que el proveedor determine los riesgos o efectos negativos y aplique medidas de mitigación de los riesgos conocidos y razonablemente previsibles de los sistemas de IA para la salud, la seguridad y los derechos fundamentales, habida cuenta de su finalidad prevista y de su uso indebido razonablemente previsible, incluidos los posibles riesgos derivados de la interacción entre el sistema de IA y el entorno en el que opera. El sistema de gestión de riesgos debe adoptar las medidas de gestión de riesgos más adecuadas a la luz del estado actual de la técnica en materia de IA. Al determinar las medidas de gestión de riesgos más adecuadas, el proveedor debe documentar y explicar las elecciones realizadas y, cuando proceda, contar con la participación de expertos y partes interesadas externas. Al determinar el uso indebido razonablemente previsible de los sistemas de IA de alto riesgo, el proveedor debe tener en cuenta los usos de los sistemas de IA que, aunque no estén directamente cubiertos por la finalidad prevista ni establecidos en las instrucciones de uso, cabe esperar razonablemente que se deriven de un comportamiento humano fácilmente previsible en el contexto de las características específicas y del uso de un sistema de IA concreto. Debe incluirse en las instrucciones de uso que sean facilitadas por el proveedor cualquier circunstancia conocida o previsible, asociada a la utilización del sistema de IA de alto riesgo conforme a su finalidad prevista o a un uso indebido razonablemente previsible, que pueda dar lugar a riesgos para la salud y la seguridad o los derechos fundamentales. Con ello se pretende garantizar que el responsable del despliegue sea consciente de estos riesgos y los tenga en cuenta al utilizar el sistema de IA de alto riesgo. La identificación y la aplicación de medidas de reducción del riesgo en caso de uso indebido previsible con arreglo al presente Reglamento no deben suponer la exigencia, para su acometida, de entrenamiento adicional específico para el sistema de IA de alto riesgo por parte del proveedor para hacer frente a usos indebidos previsibles. No obstante, se anima a los proveedores a considerar dichas medidas de entrenamiento adicionales para mitigar los usos indebidos razonablemente previsibles, cuando resulte necesario y oportuno.
(66)
Zahtjevi bi se trebali primjenjivati na visokorizične UI sustave u pogledu upravljanja rizikom, kvalitete i relevantnosti korištenih skupova podataka, tehničke dokumentacije i vođenja evidencije, transparentnosti i pružanja informacija subjektima koji uvode sustav, ljudskog nadzora te otpornosti, točnosti i kibernetičke sigurnosti. Ti su zahtjevi potrebni kako bi se djelotvorno ublažili rizici za zdravlje, sigurnost i temeljna prava. S obzirom na to da druge mjere kojima se manje ograničava trgovina nisu u razumnoj mjeri dostupne ti zahtjevi nisu neopravdana ograničenja u području trgovine.
(66)
Deben aplicarse a los sistemas de IA de alto riesgo requisitos referentes a la gestión de riesgos, la calidad y la pertinencia de los conjuntos de datos utilizados, la documentación técnica y la conservación de registros, la transparencia y la comunicación de información a los responsables del despliegue, la supervisión humana, la solidez, la precisión y la ciberseguridad. Dichos requisitos son necesarios para mitigar de forma efectiva los riesgos para la salud, la seguridad y los derechos fundamentales. Al no disponerse razonablemente de otras medidas menos restrictivas del comercio, dichos requisitos no son restricciones injustificadas al comercio.
(67)
Visokokvalitetni podaci i pristup njima imaju ključnu ulogu u pružanju strukture i osiguravanju učinkovitosti mnogih UI sustava, posebno kad se upotrebljavaju tehnike s treniranjem modelâ, s ciljem da visokorizični UI sustav funkcionira kako je predviđeno i sigurno te da ne postane izvor diskriminacije koja je zabranjena pravom Unije. Visokokvalitetni skupovi podataka za treniranje, validaciju i testiranje zahtijevaju provedbu odgovarajućih praksi upravljanja i rukovanja podacima. Skupovi podataka za treniranje, validaciju i testiranje, uključujući oznake, trebali bi biti relevantni, dovoljno reprezentativni i u najvećoj mogućoj mjeri biti bez pogrešaka te potpuni s obzirom na namjenu sustava. Kako bi se olakšala usklađenost s pravom Unije o zaštiti podataka, kao što je Uredba (EU) 2016/679, prakse upravljanja i rukovanja podacima trebale bi u slučaju osobnih podataka uključivati transparentnost u vezi s izvornom svrhom prikupljanja podataka. Skupovi podataka trebali bi imati i odgovarajuća statistička obilježja, među ostalim i u pogledu osoba ili skupina osoba u vezi s kojima se visokorizični UI sustav namjerava koristiti, pri čemu se posebna pažnja posvećuje ublažavanju mogućih pristranosti u skupovima podataka, koje bi mogle utjecati na zdravlje i sigurnost osoba, negativno utjecati na temeljna prava ili dovesti do diskriminacije zabranjene pravom Unije, osobito ako izlazne vrijednosti utječu na ulazne vrijednosti za buduće operacije (povratne veze). Pristranosti mogu primjerice biti inherentne temeljnim skupovima podataka, osobito kad se upotrebljavaju povijesni podaci, ili se mogu generirati kad se sustavi implementiraju u stvarnom svijetu. Na rezultate koje pružaju UI sustavi mogle bi utjecati takve inherentne pristranosti koje imaju tendenciju postupnog povećanja, čime se perpetuira i pojačava postojeća diskriminacija, posebno za osobe koje pripadaju određenim skupinama ranjivih osoba, uključujući rasne ili etničke skupine. Zahtjev da skupovi podataka u najvećoj mogućoj mjeri budu potpuni i bez pogrešaka ne bi trebao utjecati na primjenu tehnika za zaštitu privatnosti u kontekstu razvoja i testiranja UI sustavâ. U skupovima podataka osobito se u obzir uzimaju, u mjeri u kojoj to iziskuje njihova namjena, obilježja, značajke ili elementi specifični za zemljopisno, kontekstualno, bihevioralno ili funkcionalno okružje u kojem se UI sustav namjerava upotrebljavati. Zahtjevi povezani s upravljanjem podacima mogu se ispuniti angažiranjem trećih strana koje nude certificirane usluge usklađivanja, uključujući provjeru upravljanja podacima, cjelovitosti skupa podataka te prakse treniranja, validacije i testiranja podataka, u mjeri u kojoj je osigurana usklađenost sa zahtjevima u pogledu podataka iz ove Uredbe.
(67)
Los datos de alta calidad y el acceso a datos de alta calidad desempeñan un papel esencial a la hora de proporcionar una estructura y garantizar el funcionamiento de muchos sistemas de IA, en especial cuando se emplean técnicas que implican el entrenamiento de modelos, con vistas a garantizar que el sistema de IA de alto riesgo funcione del modo previsto y en condiciones de seguridad y no se convierta en una fuente de algún tipo de discriminación prohibida por el Derecho de la Unión. Es preciso instaurar prácticas adecuadas de gestión y gobernanza de datos para lograr que los conjuntos de datos para el entrenamiento, la validación y la prueba sean de alta calidad. Los conjuntos de datos para el entrenamiento, la validación y la prueba, incluidas las etiquetas, deben ser pertinentes, lo suficientemente representativos y, en la mayor medida posible, estar libres de errores y ser completos en vista de la finalidad prevista del sistema. A fin de facilitar el cumplimiento del Derecho de la Unión en materia de protección de datos, como el Reglamento (UE) 2016/679, las prácticas de gestión y gobernanza de datos deben incluir, en el caso de los datos personales, la transparencia sobre el fin original de la recopilación de datos. Los conjuntos de datos deben tener las propiedades estadísticas adecuadas, también en lo que respecta a las personas o los colectivos de personas en relación con los que esté previsto utilizar el sistema de IA de alto riesgo, prestando una atención especial a la mitigación de los posibles sesgos en los conjuntos de datos que puedan afectar a la salud y la seguridad de las personas físicas, tener repercusiones negativas en los derechos fundamentales o dar lugar a algún tipo de discriminación prohibida por el Derecho de la Unión, especialmente cuando los datos de salida influyan en la información de entrada de futuras operaciones (bucles de retroalimentación). Los sesgos, por ejemplo, pueden ser inherentes a los conjuntos de datos subyacentes, especialmente cuando se utilizan datos históricos, o generados cuando los sistemas se despliegan en entornos del mundo real. Los resultados de los sistemas de IA dependen de dichos sesgos inherentes, que tienden a aumentar gradualmente y, por tanto, perpetúan y amplifican la discriminación existente, en particular con respecto a las personas pertenecientes a determinados colectivos vulnerables, incluidos colectivos raciales o étnicos. El requisito de que los conjuntos de datos, en la mayor medida posible, sean completos y estén libres de errores no debe afectar al uso de técnicas de protección de la intimidad en el contexto del desarrollo y la prueba de sistemas de IA. En particular, los conjuntos de datos deben tener en cuenta, en la medida en que lo exija su finalidad prevista, los rasgos, características o elementos particulares del entorno geográfico, contextual, conductual o funcional específico en el que esté previsto que se utilice el sistema de IA. Los requisitos relacionados con la gobernanza de datos pueden cumplirse recurriendo a terceros que ofrezcan servicios certificados de cumplimiento, incluida la verificación de la gobernanza de datos, la integridad del conjunto de datos y las prácticas de entrenamiento, validación y prueba de datos, en la medida en que se garantice el cumplimiento de los requisitos en materia de datos del presente Reglamento.
(68)
Kad je riječ o razvoju i procjeni visokorizičnih UI sustava, određeni akteri, kao što su dobavljači, prijavljena tijela i drugi relevantni subjekti, na primjer europski centri za digitalne inovacije, centri za testiranje i eksperimentiranje te istraživači, trebali bi imati pristup visokokvalitetnim skupovima podataka unutar područjâ aktivnosti tih aktera povezanih s ovom Uredbom. Zajednički europski podatkovni prostori koje je uspostavila Komisija te olakšavanje razmjene podataka među poduzećima i s državnim upravama u javnom interesu bit će ključni za osiguravanje pouzdanog, odgovornog i nediskriminirajućeg pristupa visokokvalitetnim podacima za treniranje, validaciju i testiranje UI sustavâ. Na primjer, u području zdravstva zajednički europski prostor za zdravstvene podatke olakšat će nediskriminirajući pristup zdravstvenim podacima i treniranje algoritama umjetne inteligencije s pomoću tih skupova podataka tako da se očuvaju privatnost, sigurnost, pravovremenost, transparentnost i pouzdanost uz odgovarajuće institucijsko upravljanje. Relevantna nadležna tijela, uključujući sektorska tijela, koja pružaju ili olakšavaju pristup podacima, mogu olakšati i pružanje visokokvalitetnih podataka za treniranje, validaciju i testiranje UI sustavâ.
(68)
Para poder desarrollar y evaluar sistemas de IA de alto riesgo, determinados agentes, tales como proveedores, organismos notificados y otras entidades pertinentes, como centros europeos de innovación digital, instalaciones de ensayo y experimentación e investigadores, deben tener acceso a conjuntos de datos de alta calidad en sus campos de actividad relacionados con el presente Reglamento y deben poder utilizarlos. Los espacios comunes europeos de datos establecidos por la Comisión y la facilitación del intercambio de datos entre empresas y con los Gobiernos en favor del interés público serán esenciales para brindar un acceso fiable, responsable y no discriminatorio a datos de alta calidad con los que entrenar, validar y probar los sistemas de IA. Por ejemplo, en el ámbito de la salud, el espacio europeo de datos sanitarios facilitará el acceso no discriminatorio a datos sanitarios y el entrenamiento, a partir de esos conjuntos de datos, de algoritmos de IA de una manera segura, oportuna, transparente, fiable y que respete la intimidad, y contando con la debida gobernanza institucional. Las autoridades competentes pertinentes, incluidas las sectoriales, que proporcionan acceso a datos o lo facilitan también pueden brindar apoyo al suministro de datos de alta calidad con los que entrenar, validar y probar los sistemas de IA.
(69)
Pravo na privatnost i zaštitu osobnih podataka mora biti zajamčeno tijekom cijelog životnog ciklusa UI sustava. U tom su pogledu načela smanjenja količine podataka te tehničke i integrirane zaštite podataka, kako su utvrđena u pravu Unije o zaštiti podataka, primjenjiva tijekom obrade osobnih podataka. Mjere koje dobavljači poduzimaju kako bi osigurali usklađenost s tim načelima mogu uključivati ne samo anonimizaciju i kriptiranje, nego i upotrebu tehnologije kojom se omogućuje dovođenje algoritama u podatke i treniranje UI sustavâ bez prijenosa između strana ili kopiranja samih neobrađenih ili strukturiranih podataka, ne dovodeći u pitanje zahtjeve u pogledu upravljanja podacima predviđene u ovoj Uredbi.
(69)
El derecho a la intimidad y a la protección de datos personales debe garantizarse a lo largo de todo el ciclo de vida del sistema de IA. A este respecto, los principios de minimización de datos y de protección de datos desde el diseño y por defecto, establecidos en el Derecho de la Unión en materia de protección de datos, son aplicables cuando se tratan datos personales. Las medidas adoptadas por los proveedores para garantizar el cumplimiento de estos principios podrán incluir no solo la anonimización y el cifrado, sino también el uso de una tecnología que permita llevar los algoritmos a los datos y el entrenamiento de los sistemas de IA sin que sea necesaria la transmisión entre las partes ni la copia de los datos brutos o estructurados, sin perjuicio de los requisitos en materia de gobernanza de datos establecidos en el presente Reglamento.
(70)
Kako bi se prava drugih osoba zaštitila od diskriminacije koja bi mogla proizaći iz pristranosti UI sustavâ, dobavljači bi iznimno trebali, u mjeri u kojoj je to nužno u svrhu otkrivanja i ispravljanja pristranosti u vezi s visokorizičnim UI sustavima, podložno odgovarajućim zaštitnim mjerama za temeljna prava i slobode fizičkih osoba i nakon primjene svih primjenjivih uvjeta utvrđenih na temelju ove Uredbe, dodatno uz uvjete utvrđene u uredbama (EU) 2016/679 i (EU) 2018/1725 te Direktivi (EU) 2016/680, moći obrađivati i posebne kategorije osobnih podataka kao pitanje od znatnog javnog interesa u smislu članka 9. stavka 2. točke (g) Uredbe (EU) 2016/679 i članka 10. stavka 2. točke (g) Uredbe (EU) 2018/1725.
(70)
A fin de proteger los derechos de terceros frente a la discriminación que podría provocar el sesgo de los sistemas de IA, los proveedores deben —con carácter excepcional, en la medida en que sea estrictamente necesario para garantizar la detección y corrección de los sesgos asociados a los sistemas de IA de alto riesgo, con sujeción a las garantías adecuadas para los derechos y libertades fundamentales de las personas físicas y tras la aplicación de todas las condiciones aplicables establecidas en el presente Reglamento, además de las condiciones establecidas en los Reglamentos (UE) 2016/679 y (UE) 2018/1725 y la Directiva (UE) 2016/680— ser capaces de tratar también categorías especiales de datos personales, como cuestión de interés público esencial en el sentido del artículo 9, apartado 2, letra g), del Reglamento (UE) 2016/679 y del artículo 10, apartado 2, letra g), del Reglamento (UE) 2018/1725.
(71)
Postojanje razumljivih informacija o načinu na koji su visokorizični UI sustavi razvijeni i načinu njihova rada tijekom cijelog njihova životnog ciklusa ključno je za omogućivanje sljedivosti tih sustava, provjeru usklađenosti sa zahtjevima ove Uredbe te praćenje njihova rada i praćenje nakon stavljanja na tržište. Za to je potrebno vođenje evidencije i dostupnost tehničke dokumentacije koja sadržava informacije potrebne za procjenu usklađenosti UI sustava s relevantnim zahtjevima i olakšavanje praćenja nakon stavljanja na tržište. Takve informacije trebale bi uključivati opće značajke, sposobnosti i ograničenja sustava, algoritme, podatke, postupke treniranja, testiranja i validacije koji su primijenjeni, kao i dokumentaciju o relevantnom sustavu upravljanja rizikom te bi trebale biti sastavljene u obliku koji je jasan i razumljiv. Tehnička dokumentacija trebala bi se ažurirati na odgovarajući način tijekom cijelog životnog ciklusa UI sustava. Nadalje, kod visokorizičnih UI sustava trebalo bi biti tehnički omogućeno automatsko bilježenje događaja putem vođenja evidencije tijekom cijelog životnog ciklusa sustava.
(71)
Para permitir la trazabilidad de los sistemas de IA de alto riesgo, verificar si cumplen los requisitos previstos en el presente Reglamento, así como vigilar su funcionamiento y llevar a cabo la vigilancia poscomercialización, resulta esencial disponer de información comprensible sobre el modo en que se han desarrollado y sobre su funcionamiento durante toda su vida útil. A tal fin, es preciso llevar registros y disponer de documentación técnica que contenga la información necesaria para evaluar si el sistema de IA de que se trate cumple los requisitos pertinentes y facilitar la vigilancia poscomercialización. Dicha información debe incluir las características generales, las capacidades y las limitaciones del sistema y los algoritmos, datos y procesos de entrenamiento, prueba y validación empleados, así como documentación sobre el sistema de gestión de riesgos pertinente, elaborada de manera clara y completa. La documentación técnica debe mantenerse adecuadamente actualizada durante toda la vida útil del sistema de IA. Además, los sistemas de IA de alto riesgo deben permitir técnicamente el registro automático de acontecimientos, mediante archivos de registro, durante toda la vida útil del sistema.
(72)
Kako bi se pristupilo rješavanju problema povezanih s netransparentnošću i složenošću određenih UI sustava i pomoglo subjektima koji uvode UI sustav da ispune svoje obveze na temelju ove Uredbe, za visokorizične UI sustave trebalo bi zahtijevati transparentnost prije njihova stavljanja na tržište ili u upotrebu. Visokorizični UI sustavi trebali bi biti dizajnirani tako da subjekti koji ih uvode mogu razumjeti kako UI sustav funkcionira, evaluirati njegovu funkcionalnost te razumjeti njegove prednosti i ograničenja. Visokorizični UI sustavi trebali bi biti popraćeni odgovarajućim informacijama u obliku uputa za korištenje. Takve informacije trebale bi uključivati značajke, sposobnosti i ograničenja rada UI sustava. Oni bi obuhvaćali informacije o mogućim poznatim i predvidljivim okolnostima povezanima s korištenjem visokorizičnog UI sustava, uključujući djelovanje subjekta koji uvodi sustav koje može utjecati na ponašanje i učinkovitost sustava, u okviru kojeg UI sustav može prouzročiti rizike za zdravlje, sigurnost i temeljna prava, o promjenama koje je dobavljač unaprijed odredio i ocijenio u pogledu sukladnosti te o relevantnim mjerama ljudskog nadzora, uključujući mjere kojima se subjektima koji uvode sustav olakšava tumačenje izlaznih vrijednosti UI sustava. Transparentnost, uključujući popratne upute za korištenje, trebala bi pomoći subjektima koji uvode sustav pri njegovu korištenju i poduprijeti njihovo informirano donošenje odluka. Subjekti koji uvode sustav trebali bi, među ostalim, biti u boljoj poziciji da pravilno odaberu sustav koji namjeravaju upotrebljavati s obzirom na obveze koje se na njih primjenjuju, biti informirani o namjeravanim i isključenim upotrebama te pravilno i primjereno upotrebljavati UI sustav. Kako bi se poboljšale čitljivost i pristupačnost informacija sadržanih u uputama za korištenje, trebalo bi, prema potrebi, u njih uključiti ilustrativne primjere, na primjer o ograničenjima te o namjeravanim i isključenim upotrebama UI sustava. Dobavljači bi trebali osigurati da sva dokumentacija, uključujući upute za korištenje, sadržava smislene, sveobuhvatne, pristupačne i razumljive informacije, uzimajući u obzir potrebe i predvidljivo znanje ciljanih subjekata koji uvode sustav. Upute za korištenje trebale bi biti dostupne na jeziku koji bez poteškoća razumiju ciljani subjekti koji uvode sustav, a određuje ga dotična država članica.
(72)
A fin de abordar las preocupaciones relacionadas con la opacidad y complejidad de determinados sistemas de IA y ayudar a los responsables del despliegue a cumplir sus obligaciones en virtud del presente Reglamento, debe exigirse transparencia respecto de los sistemas de IA de alto riesgo antes de su introducción en el mercado o su puesta en servicio. Los sistemas de IA de alto riesgo deben diseñarse de modo que permitan a los responsables del despliegue comprender la manera en que el sistema de IA funciona, evaluar su funcionalidad y comprender sus fortalezas y limitaciones. Los sistemas de IA de alto riesgo deben ir acompañados de la información adecuada en forma de instrucciones de uso. Dicha información debe incluir las características, las capacidades y las limitaciones del funcionamiento del sistema de IA. Estas comprenderían la información sobre las posibles circunstancias conocidas y previsibles relacionadas con el uso del sistema de IA de alto riesgo, incluida la actuación del responsable del despliegue capaz de influir en el comportamiento y el funcionamiento del sistema, en cuyo marco el sistema de IA puede dar lugar a riesgos para la salud, la seguridad y los derechos fundamentales, sobre los cambios que el proveedor haya predeterminado y evaluado para comprobar su conformidad y sobre las medidas pertinentes de supervisión humana, incluidas las medidas para facilitar la interpretación de los resultados de salida del sistema de IA por parte de los responsables del despliegue. La transparencia, incluidas las instrucciones de uso que acompañan a los sistemas de IA, debe ayudar a los responsables del despliegue a utilizar el sistema y tomar decisiones con conocimiento de causa. Los responsables del despliegue deben, entre otras cosas, estar en mejores condiciones para elegir correctamente el sistema que pretenden utilizar a la luz de las obligaciones que les son aplicables, estar informados sobre los usos previstos y excluidos y utilizar el sistema de IA correctamente y según proceda. A fin de mejorar la legibilidad y la accesibilidad de la información incluida en las instrucciones de uso, cuando proceda, deben incluirse ejemplos ilustrativos, por ejemplo sobre las limitaciones y sobre los usos previstos y excluidos del sistema de IA. Los proveedores deben garantizar que toda la documentación, incluidas las instrucciones de uso, contenga información significativa, exhaustiva, accesible y comprensible, que tenga en cuenta las necesidades y los conocimientos previsibles de los responsables del despliegue destinatarios. Las instrucciones de uso deben estar disponibles en una lengua fácilmente comprensible para los responsables del despliegue destinatarios, según lo que decida el Estado miembro de que se trate.
(73)
Visokorizične UI sustave trebalo bi dizajnirati i razvijati tako da fizičke osobe mogu nadzirati njihovo funkcioniranje, osigurati da se upotrebljavaju kako je predviđeno i da se njihovi učinci rješavaju tijekom životnog ciklusa sustava. U tom bi cilju dobavljač sustava prije njegova stavljanja na tržište ili u upotrebu trebao utvrditi odgovarajuće mjere ljudskog nadzora. Prema potrebi takvim bi mjerama osobito trebalo osigurati da su u sustav ugrađena operativna ograničenja koja sam sustav ne može promijeniti i da on reagira na ljudske operatere te da fizičke osobe zadužene za ljudski nadzor imaju potrebne kompetencije, osposobljavanje i ovlasti za obavljanje te zadaće. Također je neophodno, prema potrebi, osigurati da visokorizični UI sustavi uključuju mehanizme za usmjeravanje i informiranje fizičke osobe zadužene za ljudski nadzor kako bi donijela informirane odluke o tome treba li, kada i kako intervenirati da bi se izbjegle negativne posljedice ili rizici odnosno sustav zaustavio ako ne funkcionira kako je predviđeno. S obzirom na znatne posljedice za osobe ako u određenim sustavima za biometrijsku identifikaciju dođe do netočnih rezultata, primjereno je za te sustave predvidjeti zahtjev u pogledu pojačanog ljudskog nadzora tako da subjekt koji uvodi sustav ne može poduzeti nikakve radnje ili odluke na temelju identifikacije proizišle iz sustava ako identifikaciju nisu zasebno provjerile i potvrdile najmanje dvije fizičke osobe. Te osobe mogle bi biti iz jednog ili više subjekata i mogle bi uključivati osobu koja upravlja sustavom ili ga upotrebljava. Taj zahtjev ne bi trebao predstavljati nepotrebno opterećenje ili uzrokovati kašnjenja i moglo bi biti dovoljno da se zasebne provjere koje provode različite osobe automatski bilježe u evidenciji koju generira sustav. S obzirom na posebnosti područjâ kaznenog progona, migracija, nadzora državne granice i azila, taj se zahtjev ne bi trebao primjenjivati ako se u skladu s pravom Unije ili nacionalnim pravom smatra da je primjena tog zahtjeva nerazmjerna.
(73)
Los sistemas de IA de alto riesgo deben diseñarse y desarrollarse de tal modo que las personas físicas puedan supervisar su funcionamiento, así como asegurarse de que se usan según lo previsto y de que sus repercusiones se abordan a lo largo del ciclo de vida del sistema. A tal fin, el proveedor del sistema debe definir las medidas adecuadas de supervisión humana antes de su introducción en el mercado o puesta en servicio. Cuando proceda, dichas medidas deben garantizar, en concreto, que el sistema esté sujeto a limitaciones operativas incorporadas en el propio sistema que este no pueda desactivar, que responda al operador humano y que las personas físicas a quienes se haya encomendado la supervisión humana posean las competencias, la formación y la autoridad necesarias para desempeñar esa función. También es esencial, según proceda, garantizar que los sistemas de IA de alto riesgo incluyan mecanismos destinados a orientar e informar a las personas físicas a las que se haya asignado la supervisión humana para que tomen decisiones con conocimiento de causa acerca de si intervenir, cuándo hacerlo y de qué manera, a fin de evitar consecuencias negativas o riesgos, o de detener el sistema si no funciona según lo previsto. Teniendo en cuenta las enormes consecuencias para las personas en caso de una correspondencia incorrecta efectuada por determinados sistemas de identificación biométrica, conviene establecer un requisito de supervisión humana reforzada para dichos sistemas, de modo que el responsable del despliegue no pueda actuar ni tomar ninguna decisión basándose en la identificación generada por el sistema, salvo si al menos dos personas físicas la han verificado y confirmado por separado. Dichas personas podrían proceder de una o varias entidades e incluir a la persona que maneja o utiliza el sistema. Este requisito no debe suponer una carga ni retrasos innecesarios y podría bastar con que las verificaciones que las distintas personas efectúen por separado se registren automáticamente en los registros generados por el sistema. Dadas las especificidades de los ámbitos de la garantía del cumplimiento del Derecho, la migración, el control fronterizo y el asilo, ese requisito no debe aplicarse cuando el Derecho nacional o de la Unión considere que su aplicación es desproporcionada.
(74)
Visokorizični UI sustavi trebali bi imati ujednačen učinak tijekom cijelog životnog ciklusa te posjedovati odgovarajuću razinu točnosti, otpornosti i kibernetičke sigurnosti s obzirom na njihovu namjenu i u skladu s općepriznatim najnovijim dostignućima. Komisija i relevantne organizacije i dionici potiču se da uzmu u obzir ublažavanje rizika i negativnih učinaka UI sustava. Očekivana razina parametara učinkovitosti trebala bi se navesti u popratnim uputama za korištenje. Dobavljači se pozivaju da te informacije dostave subjektima koji uvode sustav na jasan i lako razumljiv način, bez nesporazuma ili obmanjujućih izjava. Pravom Unije o zakonskom mjeriteljstvu, uključujući direktive 2014/31/EU (35) i 2014/32/EU (36) Europskog parlamenta i Vijeća, nastoji se osigurati točnost mjerenja te doprinijeti transparentnosti i pravednosti poslovnih transakcija. U tom kontekstu, u suradnji s relevantnim dionicima i organizacijama, kao što su tijela za mjeriteljstvo i utvrđivanje referentnih vrijednosti, Komisija bi prema potrebi trebala poticati razvoj referentnih vrijednosti i metodologija mjerenja za UI sustave. Komisija bi pritom trebala uzeti u obzir međunarodne partnere koji rade na mjeriteljstvu i relevantnim mjernim pokazateljima povezanima s umjetnom inteligencijom te surađivati s njima.
(74)
Los sistemas de IA de alto riesgo deben funcionar de manera uniforme durante todo su ciclo de vida y presentar un nivel adecuado de precisión, solidez y ciberseguridad, a la luz de su finalidad prevista y con arreglo al estado actual de la técnica generalmente reconocido. Se anima a la Comisión y las organizaciones y partes interesadas pertinentes a que tengan debidamente en cuenta la mitigación de los riesgos y las repercusiones negativas del sistema de IA. El nivel previsto de los parámetros de funcionamiento debe declararse en las instrucciones de uso que acompañen a los sistemas de IA. Se insta a los proveedores a que comuniquen dicha información a los responsables del despliegue de manera clara y fácilmente comprensible, sin malentendidos ni afirmaciones engañosas. El Derecho de la Unión en materia de metrología legal, incluidas las Directivas 2014/31/UE (35) y 2014/32/UE (36) del Parlamento Europeo y del Consejo, tiene por objeto garantizar la precisión de las mediciones y contribuir a la transparencia y la equidad de las transacciones comerciales. En ese contexto, en cooperación con las partes interesadas y las organizaciones pertinentes, como las autoridades de metrología y de evaluación comparativa, la Comisión debe fomentar, según proceda, el desarrollo de parámetros de referencia y metodologías de medición para los sistemas de IA. Al hacerlo, la Comisión debe tomar nota de los socios internacionales que trabajan en la metrología y los indicadores de medición pertinentes relacionados con la IA y colaborar con ellos.
(75)
Tehnička otpornost ključan je zahtjev za visokorizične UI sustave. Trebali bi biti otporni na štetno ili na drugi način nepoželjno ponašanje koje bi moglo proizaći iz ograničenjâ unutar sustava ili okružja u kojem sustavi rade (npr. pogreške, kvarovi, nedosljednosti, neočekivane situacije). Stoga bi trebalo poduzeti tehničke i organizacijske mjere kako bi se osigurala otpornost visokorizičnih UI sustava, na primjer dizajniranjem i razvojem odgovarajućih tehničkih rješenja za sprečavanje ili što veće smanjenje štetnog ili na drugi način nepoželjnog ponašanja. Ta tehnička rješenja mogu obuhvaćati, na primjer, mehanizme koji omogućuju sustavu da sigurno prekine svoj rad (sigurnosni planovi) u slučaju određenih anomalija ili ako se rad odvija izvan određenih unaprijed utvrđenih granica. Nepostojanje zaštite od tih rizika moglo bi imati posljedice za sigurnost ili negativno utjecati na temeljna prava, primjerice zbog pogrešnih odluka ili krivih ili pristranih izlaznih vrijednosti koje generira UI sustav.
(75)
La solidez técnica es un requisito clave para los sistemas de IA de alto riesgo, que deben ser resilientes en relación con los comportamientos perjudiciales o indeseables por otros motivos que puedan derivarse de limitaciones en los sistemas o del entorno en el que estos funcionan (p. ej., errores, fallos, incoherencias o situaciones inesperadas). Por consiguiente, deben adoptarse medidas técnicas y organizativas para garantizar la solidez de los sistemas de IA de alto riesgo, por ejemplo mediante el diseño y desarrollo de soluciones técnicas adecuadas para prevenir o reducir al mínimo ese comportamiento perjudicial o indeseable. Estas soluciones técnicas pueden incluir, por ejemplo, mecanismos que permitan al sistema interrumpir de forma segura su funcionamiento (planes de prevención contra fallos) en presencia de determinadas anomalías o cuando el funcionamiento tenga lugar fuera de determinados límites predeterminados. El hecho de no adoptar medidas de protección frente a estos riesgos podría tener consecuencias para la seguridad o afectar de manera negativa a los derechos fundamentales, por ejemplo, debido a decisiones equivocadas o resultados de salida erróneos o sesgados generados por el sistema de IA.
(76)
Kibernetička sigurnost ključna je za otpornost UI sustavâ na pokušaje zlonamjernih trećih strana da iskoriste slabe točke tih sustava kako bi im izmijenili način korištenja, ponašanje, učinkovitost ili ugrozili njihova sigurnosna svojstva. U kibernetičkim napadima na UI sustave moguće je iskoristiti resurse specifične za umjetnu inteligenciju, kao što su skupovi podataka za treniranje (npr. trovanje podataka) ili istrenirani modeli (npr. neprijateljski napadi ili utvrđivanje pripadnosti) ili iskoristiti slabe točke digitalnih resursa UI sustava odnosno osnovne IKT infrastrukture. Kako bi se osigurala razina kibernetičke sigurnosti primjerena rizicima, dobavljači visokorizičnih UI sustava trebali bi stoga poduzeti odgovarajuće mjere, kao što su sigurnosne kontrole, prema potrebi uzimajući u obzir i osnovnu IKT infrastrukturu.
(76)
La ciberseguridad es fundamental para garantizar que los sistemas de IA resistan a las actuaciones de terceros maliciosos que, aprovechando las vulnerabilidades del sistema, traten de alterar su uso, comportamiento o funcionamiento o de poner en peligro sus propiedades de seguridad. Los ciberataques contra sistemas de IA pueden dirigirse contra activos específicos de la IA, como los conjuntos de datos de entrenamiento (p. ej., envenenamiento de datos) o los modelos entrenados (p. ej., ataques adversarios o inferencia de pertenencia), o aprovechar las vulnerabilidades de los activos digitales del sistema de IA o la infraestructura de TIC subyacente. Por lo tanto, para garantizar un nivel de ciberseguridad adecuado a los riesgos, los proveedores de sistemas de IA de alto riesgo deben adoptar medidas adecuadas, como los controles de seguridad, teniendo también en cuenta, cuando proceda, la infraestructura de TIC subyacente.
(77)
Ne dovodeći u pitanje zahtjeve koji se odnose na otpornost i točnost utvrđene u ovoj Uredbi, visokorizični UI sustavi obuhvaćeni područjem primjene uredbe Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima u skladu s tom uredbom mogu dokazati sukladnost s kibernetičkosigurnosnim zahtjevima ove Uredbe ispunjavanjem osnovnih kibernetičkosigurnosnih zahtjeva iz te uredbe. Ako visokorizični UI sustavi ispunjavaju osnovne zahtjeve iz uredbe Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima trebalo bi ih smatrati usklađenima s kibernetičkosigurnosnim zahtjevima utvrđenima u ovoj Uredbi u mjeri u kojoj je ispunjavanje tih zahtjeva dokazano u EU izjavi o sukladnosti izdanoj na temelju te uredbe ili u dijelovima te izjave. U tom cilju, tijekom procjene kibernetičkosigurnosnih rizika povezanih s proizvodima s digitalnim elementima koji su klasificirani kao visokorizični UI sustav u skladu s ovom Uredbom, koja se provodi na temelju uredbe Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima, trebalo bi uzeti u obzir rizike za kibernetičku otpornost UI sustava kad se radi o pokušajima neovlaštenih trećih strana da promijene njegovo korištenje, ponašanje ili učinkovitost, uključujući ranjivosti specifične za umjetnu inteligenciju kao što su trovanje podacima ili neprijateljski napadi, kao i, kada je to relevantno, rizike za temeljna prava kako je propisano ovom Uredbom.
(77)
Sin perjuicio de los requisitos relacionados con la solidez y la precisión establecidos en el presente Reglamento, los sistemas de IA de alto riesgo que entren en el ámbito de aplicación de un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales, de conformidad con dicho reglamento, pueden demostrar el cumplimiento con los requisitos de ciberseguridad del presente Reglamento mediante el cumplimiento de los requisitos esenciales de ciberseguridad establecidos en dicho reglamento. Cuando los sistemas de IA de alto riesgo cumplan los requisitos esenciales de ciberseguridad de un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales, debe presumirse que cumplen los requisitos de ciberseguridad del presente Reglamento en la medida en que la satisfacción de esos requisitos se demuestre en la declaración UE de conformidad de emitida con arreglo a dicho reglamento, o partes de esta. A tal fin, la evaluación de los riesgos de ciberseguridad asociados a un producto con elementos digitales clasificado como un sistema de IA de alto riesgo con arreglo al presente Reglamento, realizada en virtud de un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales, debe tener en cuenta los riesgos para la ciberresiliencia de un sistema de IA por lo que respecta a los intentos de terceros no autorizados de alterar su uso, comportamiento o funcionamiento, incluidas las vulnerabilidades específicas de la IA, como el envenenamiento de datos o los ataques adversarios, así como, en su caso, los riesgos para los derechos fundamentales, tal como exige el presente Reglamento.
(78)
Postupak ocjenjivanja sukladnosti predviđen ovom Uredbom trebao bi se primjenjivati u odnosu na osnovne kibernetičkosigurnosne zahtjeve za proizvod s digitalnim elementima obuhvaćen uredbom Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima koji je klasificiran kao visokorizični UI sustav na temelju ove Uredbe. Međutim, to pravilo ne bi trebalo rezultirati smanjenjem potrebne razine jamstva za kritične proizvode s digitalnim elementima obuhvaćene uredbom Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima. Stoga, odstupajući od tog pravila, visokorizični UI sustavi koji su obuhvaćeni područjem primjene ove Uredbe i ujedno su klasificirani kao važni i kritični proizvodi s digitalnim elementima na temelju uredbe Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima te na koje se primjenjuje postupak ocjenjivanja sukladnosti na temelju unutarnje kontrole utvrđen u prilogu ovoj Uredbi podliježu odredbama o ocjenjivanju sukladnosti iz uredbe Europskog parlamenta i Vijeća o horizontalnim kibernetičkosigurnosnim zahtjevima za proizvode s digitalnim elementima u mjeri u kojoj se to odnosi na osnovne kibernetičkosigurnosne zahtjeve iz te uredbe. U tom bi se slučaju na sve ostale aspekte obuhvaćene ovom Uredbom trebale primjenjivati odgovarajuće odredbe o ocjenjivanju sukladnosti na temelju unutarnje kontrole utvrđene u prilogu ovoj Uredbi. Na osnovi znanja i stručnosti ENISA-e u području kibernetičkosigurnosne politike i zadaća dodijeljenih ENISA-i na temelju Uredbe (EU) 2019/881 Europskog parlamenta i Vijeća (37), Komisija bi trebala surađivati s ENISA-om u pitanjima povezanima s kibernetičkom sigurnošću UI sustavâ.
(78)
El procedimiento de evaluación de la conformidad establecido en el presente Reglamento debe aplicarse en relación con los requisitos esenciales de ciberseguridad de un producto con elementos digitales regulado por un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales y clasificado como sistema de IA de alto riesgo con arreglo al presente Reglamento. Sin embargo, esta norma no debe dar lugar a una reducción del nivel de garantía necesario para los productos críticos con elementos digitales sujetos a un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales. Por consiguiente, no obstante lo dispuesto en esta norma, los sistemas de IA de alto riesgo que entran dentro del ámbito de aplicación del presente Reglamento y que también se consideran productos críticos importantes con elementos digitales en virtud de un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales, y a los que se aplica el procedimiento de evaluación de la conformidad fundamentado en un control interno que se establece en un anexo del presente Reglamento, están sujetos a lo dispuesto en un reglamento del Parlamento Europeo y del Consejo relativo a los requisitos horizontales de ciberseguridad para los productos con elementos digitales en materia de evaluación de la conformidad por lo que se refiere a los requisitos esenciales de ciberseguridad de dicho reglamento. En tal caso, en relación con todos los demás aspectos que entren en el ámbito de aplicación del presente Reglamento, debe aplicarse lo dispuesto en el anexo VI del presente Reglamento en materia de evaluación de la conformidad fundamentada en un control interno. Habida cuenta de los conocimientos y la experiencia de la Agencia de la Unión Europea para la Ciberseguridad (ENISA) en materia de política de ciberseguridad y de las tareas que se le encomiendan en virtud del Reglamento (UE) 2019/881 del Parlamento Europeo y del Consejo (37), la Comisión debe cooperar con ENISA en las cuestiones relacionadas con la ciberseguridad de los sistemas de IA.
(79)
Primjereno je da određena fizička ili pravna osoba, koja je definirana kao dobavljač, preuzme odgovornost za stavljanje visokorizičnog UI sustava na tržište ili u upotrebu, bez obzira na to je li ta fizička ili pravna osoba ista osoba koja je dizajnirala ili razvila sustav.
(79)
Conviene que una persona física o jurídica concreta, definida como el proveedor, asuma la responsabilidad asociada a la introducción en el mercado o la puesta en servicio de un sistema de IA de alto riesgo, con independencia de si dicha persona física o jurídica es o no quien diseñó o desarrolló el sistema.
(80)
Kao potpisnice Konvencije Ujedinjenih naroda o pravima osoba s invaliditetom, Unija i države članice imaju pravnu obvezu štititi osobe s invaliditetom od diskriminacije i promicati njihovu ravnopravnost, osigurati da osobe s invaliditetom imaju pristup informacijskim i komunikacijskim tehnologijama i sustavima na ravnopravnoj osnovi te zajamčiti poštovanje privatnosti osoba s invaliditetom. S obzirom na sve veću važnost i upotrebu UI sustavâ, primjenom univerzalnih načela dizajna na sve nove tehnologije i usluge trebao bi se osigurati potpun i ravnopravan pristup za sve osobe na koje bi tehnologije umjetne inteligencije mogle utjecati ili koje te tehnologije upotrebljavaju, uključujući osobe s invaliditetom, na način kojim se u cijelosti poštuju njihovo inherentno dostojanstvo i raznolikost. Stoga je ključno da dobavljači osiguraju potpunu usklađenost sa zahtjevima u pogledu pristupačnosti, uključujući Direktivu (EU) 2016/2102 Europskog parlamenta i Vijeća (38) i Direktivu (EU) 2019/882. Dobavljači bi trebali osigurati integriranu usklađenost s tim zahtjevima. Stoga bi potrebne mjere trebalo što je više moguće uključiti u dizajn visokorizičnog UI sustava.
(80)
Como signatarios de la Convención sobre los Derechos de las Personas con Discapacidad, la Unión y todos los Estados miembros están legalmente obligados a proteger a las personas con discapacidad contra la discriminación y a promover su igualdad, a garantizar que las personas con discapacidad tengan acceso, en igualdad de condiciones con las demás, a las tecnologías y sistemas de la información y las comunicaciones, y a garantizar el respeto a la intimidad de las personas con discapacidad. Habida cuenta de la importancia y el uso crecientes de los sistemas de IA, la aplicación de los principios de diseño universal a todas las nuevas tecnologías y servicios debe garantizar el acceso pleno e igualitario de todas las personas a las que puedan afectar las tecnologías de IA o que puedan utilizar dichas tecnologías, incluidas las personas con discapacidad, de forma que se tenga plenamente en cuenta su dignidad y diversidad inherentes. Por ello es esencial que los proveedores garanticen el pleno cumplimiento de los requisitos de accesibilidad, incluidas la Directiva (UE) 2016/2102 del Parlamento Europeo y del Consejo (38) y la Directiva (UE) 2019/882. Los proveedores deben garantizar el cumplimiento de estos requisitos desde el diseño. Por consiguiente, las medidas necesarias deben integrarse en la medida de lo posible en el diseño de los sistemas de IA de alto riesgo.
(81)
Dobavljač bi trebao uspostaviti pouzdan sustav upravljanja kvalitetom, osigurati realizaciju postupka ocjenjivanja sukladnosti koji se zahtijeva, sastaviti relevantnu dokumentaciju i uspostaviti pouzdan sustav praćenja nakon stavljanja na tržište. Dobavljači visokorizičnih UI sustava koji podliježu obvezama u pogledu sustavâ upravljanja kvalitetom u skladu s relevantnim sektorskim pravom Unije trebali bi imati mogućnost uključiti elemente sustava upravljanja kvalitetom predviđenog u ovoj Uredbi u postojeći sustav upravljanja kvalitetom predviđen u tom drugom sektorskom pravu Unije. Komplementarnost ove Uredbe i postojećeg sektorskog prava Unije trebala bi se uzeti u obzir i u budućim aktivnostima normizacije ili smjernicama koje donosi Komisija. Tijela javne vlasti koja stavljaju visokorizične UI sustave u upotrebu za vlastite potrebe mogu donijeti i provoditi pravila za sustav upravljanja kvalitetom u okviru sustava upravljanja kvalitetom donesenog na nacionalnoj ili regionalnoj razini, prema potrebi, uzimajući u obzir posebnosti sektora te nadležnosti i organizaciju dotičnog tijela javne vlasti.
(81)
El proveedor debe instaurar un sistema de gestión de la calidad sólido, velar por que se siga el procedimiento de evaluación de la conformidad necesario, elaborar la documentación pertinente y establecer un sistema de vigilancia poscomercialización sólido. Los proveedores de sistemas de IA de alto riesgo que estén sujetos a obligaciones relativas a los sistemas de gestión de la calidad con arreglo al Derecho sectorial pertinente de la Unión deben tener la posibilidad de integrar los elementos del sistema de gestión de la calidad establecido en el presente Reglamento en el sistema de gestión de la calidad establecido en dicho Derecho sectorial de la Unión. La complementariedad entre el presente Reglamento y el Derecho sectorial vigente de la Unión también debe tenerse en cuenta en las futuras actividades de normalización o en las orientaciones adoptadas por la Comisión al respecto. Las autoridades públicas que pongan en servicio sistemas de IA de alto riesgo para su propio uso pueden aprobar y aplicar las normas que regulen el sistema de gestión de la calidad en el marco del sistema de gestión de la calidad adoptado a escala nacional o regional, según proceda, teniendo en cuenta las particularidades del sector y las competencias y la organización de la autoridad pública de que se trate.
(82)
Kako bi se omogućilo izvršavanje ove Uredbe i osigurali jednaki uvjeti za operatere te uzimajući u obzir različite oblike stavljanja digitalnih proizvoda na raspolaganje, važno je osigurati da osoba s poslovnim nastanom u Uniji u svim okolnostima može nadležnim tijelima pružiti sve potrebne informacije o usklađenosti pojedinog UI sustava. Stoga bi dobavljači s poslovnim nastanom u trećim zemljama trebali pisanim ovlaštenjem imenovati ovlaštenog zastupnika s poslovnim nastanom u Uniji prije stavljanja svojih UI sustava na raspolaganje u Uniji. Taj ovlašteni zastupnik ima ključnu ulogu u osiguravanju usklađenosti visokorizičnih UI sustava koje ti dobavljači koji nemaju poslovni nastan u Uniji stavljaju na tržište ili u upotrebu u Uniji i služi kao njihova osoba za kontakt s poslovnim nastanom u Uniji.
(82)
Para permitir la ejecución del presente Reglamento y ofrecer igualdad de condiciones a los operadores, es importante velar por que una persona establecida en la Unión pueda, en cualquier circunstancia, facilitar a las autoridades toda la información necesaria sobre la conformidad de un sistema de IA, teniendo en cuenta las distintas formas en que se pueden ofrecer productos digitales. Por lo tanto, antes de comercializar sus sistemas de IA en la Unión, los proveedores establecidos fuera de su territorio deben designar, mediante un mandato escrito, a un representante autorizado que se encuentre en la Unión. El representante autorizado desempeña un papel fundamental a la hora de velar por la conformidad de los sistemas de IA de alto riesgo introducidos en el mercado o puestos en servicio en la Unión por esos proveedores no establecidos en la Unión y servir de persona de contacto establecida en la Unión.
(83)
S obzirom na prirodu i složenost lanca vrijednosti za UI sustave te u skladu s načelima novog zakonodavnog okvira, ključno je osigurati pravnu sigurnost i olakšati usklađenost s ovom Uredbom. Stoga je potrebno pojasniti ulogu i posebne obveze relevantnih operatera duž tog lanca vrijednosti, kao što su uvoznici i distributeri koji mogu doprinijeti razvoju UI sustava. U određenim situacijama ti bi operateri mogli istodobno djelovati u više uloga i stoga bi trebali kumulativno ispunjavati sve relevantne obveze povezane s tim ulogama. Na primjer, operater bi mogao istodobno djelovati kao distributer i uvoznik.
(83)
Teniendo en cuenta la naturaleza y la complejidad de la cadena de valor de los sistemas de IA y de conformidad con el nuevo marco legislativo, es esencial garantizar la seguridad jurídica y facilitar el cumplimiento del presente Reglamento. Por ello es necesario aclarar la función y las obligaciones específicas de los operadores pertinentes de toda dicha cadena de valor, como los importadores y los distribuidores, que pueden contribuir al desarrollo de sistemas de IA. En determinadas situaciones, esos operadores pueden desempeñar más de una función al mismo tiempo y, por lo tanto, deben cumplir de forma acumulativa todas las obligaciones pertinentes asociadas a dichas funciones. Por ejemplo, un operador puede actuar como distribuidor e importador al mismo tiempo.
(84)
Kako bi se zajamčila pravna sigurnost, potrebno je pojasniti da bi se pod određenim posebnim uvjetima svaki dobavljač, uvoznik, subjekt koji uvodi sustav ili treća strana trebali smatrati dobavljačem visokorizičnog UI sustava i stoga preuzeti sve relevantne obveze. To bi bio slučaj ako ta strana stavi svoje ime ili žig na visokorizični UI sustav koji je već stavljen na tržište ili u upotrebu, ne dovodeći u pitanje ugovorne aranžmane u kojima je utvrđena drukčija raspodjela obveza. To bi bio slučaj i ako ta strana bitno izmijeni visokorizični UI sustav koji je već stavljen na tržište ili u upotrebu na način da on i dalje bude visokorizičan u skladu s ovom Uredbom, ili ako izmijeni namjenu UI sustava, uključujući UI sustav opće namjene, koji nije bio klasificiran kao visokorizičan i već je stavljen na tržište ili u upotrebu, na način da UI sustav postane visokorizičan u skladu s ovom Uredbom. Te bi se odredbe trebale primjenjivati ne dovodeći u pitanje detaljnije odredbe utvrđene u određenom zakonodavstvu Unije o usklađivanju na temelju novog zakonodavnog okvira, zajedno s kojima bi se ova Uredba trebala primjenjivati. Na primjer, članak 16. stavak 2. Uredbe (EU) 2017/745, u kojem se navodi da određene promjene ne bi trebalo smatrati izmjenama proizvoda koje mogu utjecati na njegovu usklađenost s primjenjivim zahtjevima, trebao bi se i dalje primjenjivati na visokorizične UI sustave koji su medicinski proizvodi u smislu te uredbe.
(84)
Para garantizar la seguridad jurídica, es necesario aclarar que, en determinadas condiciones específicas, debe considerarse proveedor de un sistema de IA de alto riesgo a cualquier distribuidor, importador, responsable del despliegue u otro tercero que, por tanto, debe asumir todas las obligaciones pertinentes. Este sería el caso si, por ejemplo, esa persona pone su nombre o marca en un sistema de IA de alto riesgo ya introducido en el mercado o puesto en servicio, sin perjuicio de los acuerdos contractuales que estipulen otra distribución de las obligaciones. Este también sería el caso si dicha parte modifica sustancialmente un sistema de IA de alto riesgo que ya se haya introducido en el mercado o puesto en servicio de tal manera que el sistema modificado siga siendo un sistema de IA de alto riesgo de conformidad con el presente Reglamento, o si modifica la finalidad prevista de un sistema de IA, como un sistema de IA de uso general, que ya se haya introducido en el mercado o puesto en servicio y que no esté clasificado como sistema de alto riesgo, de tal manera que el sistema modificado pase a ser un sistema de IA de alto riesgo de conformidad con el presente Reglamento. Esas disposiciones deben aplicarse sin perjuicio de las disposiciones más específicas establecidas en determinados actos legislativos de armonización de la Unión basados en el nuevo marco legislativo que se deben aplicar en conjunción con el presente Reglamento. Por ejemplo, el artículo 16, apartado 2, del Reglamento (UE) 2017/745, que establece que determinados cambios no deben considerarse modificaciones de un producto que puedan afectar al cumplimiento de los requisitos aplicables, debe seguir aplicándose a los sistemas de IA de alto riesgo que sean productos sanitarios en el sentido de dicho Reglamento.
(85)
UI sustavi opće namjene mogu se upotrebljavati samostalno kao visokorizični UI sustavi ili mogu biti komponente drugih visokorizičnih UI sustava. Stoga, zbog njihove specifične prirode i radi jamčenja pravedne podjele odgovornosti diljem lanca vrijednosti umjetne inteligencije, neovisno o tome mogu li ih drugi dobavljači upotrebljavati samostalno kao visokorizične UI sustave ili kao komponente visokorizičnih UI sustava i ako na temelju ove Uredbe nije drugačije predviđeno, dobavljači takvih sustava trebali bi blisko surađivati s dobavljačima relevantnih visokorizičnih UI sustava kako bi im se omogućilo ispunjavanje relevantnih obveza na temelju ove Uredbe i s nadležnim tijelima osnovanima na temelju ove Uredbe.
(85)
Los sistemas de IA de uso general pueden utilizarse como sistemas de IA de alto riesgo por sí solos o ser componentes de sistemas de IA de alto riesgo. Así pues, debido a su particular naturaleza y a fin de garantizar un reparto equitativo de responsabilidades a lo largo de toda la cadena de valor, los proveedores de tales sistemas, con independencia de que estos sistemas puedan ser utilizados como sistemas de IA de alto riesgo por sí solos por otros proveedores o como componentes de sistemas de IA de alto riesgo, y salvo que se disponga otra cosa en el presente Reglamento, deben cooperar estrechamente con los proveedores de los sistemas de IA de alto riesgo correspondientes para que estos puedan cumplir las obligaciones pertinentes en virtud del presente Reglamento, así como con las autoridades competentes establecidas en virtud del presente Reglamento.
(86)
Ako se u skladu s uvjetima utvrđenima u ovoj Uredbi dobavljač koji je prvotno stavio UI sustav na tržište ili u upotrebu više ne smatra dobavljačem za potrebe ove Uredbe i ako taj dobavljač nije izričito isključio pretvaranje UI sustava u visokorizični UI sustav, bivši dobavljač ipak bi trebao blisko surađivati i staviti na raspolaganje potrebne informacije te pružiti razumno očekivani tehnički pristup i drugu pomoć koji su potrebni za ispunjavanje obveza utvrđenih u ovoj Uredbi, posebno u pogledu usklađenosti s ocjenjivanjem sukladnosti visokorizičnih UI sustava.
(86)
Cuando, con arreglo a las condiciones establecidas en el presente Reglamento, el proveedor que introdujo inicialmente el sistema de IA en el mercado o lo puso en servicio ya no deba considerarse el proveedor a los efectos del presente Reglamento, y cuando dicho proveedor no haya excluido expresamente la transformación del sistema de IA en un sistema de IA de alto riesgo, el primer proveedor debe, no obstante, cooperar estrechamente, facilitar la información necesaria y proporcionar el acceso técnico u otra asistencia que quepa esperar razonablemente y que sean necesarios para el cumplimiento de las obligaciones establecidas en el presente Reglamento, en particular en lo que respecta al cumplimiento de la evaluación de la conformidad de los sistemas de IA de alto riesgo.
(87)
Usto, ako se visokorizični UI sustav koji je sigurnosna komponenta proizvoda obuhvaćenog zakonodavstvom Unije o usklađivanju na temelju novog zakonodavnog okvira ne stavlja na tržište ili u upotrebu neovisno o proizvodu, proizvođač proizvoda definiran u tom zakonodavstvu trebao bi ispunjavati obveze dobavljača utvrđene u ovoj Uredbi, a osobito osigurati da UI sustav ugrađen u konačni proizvod ispunjava zahtjeve iz ove Uredbe.
(87)
Además, cuando un sistema de IA de alto riesgo que sea un componente de seguridad de un producto que entre dentro del ámbito de aplicación de un acto legislativo de armonización de la Unión basado en el nuevo marco legislativo no se introduzca en el mercado ni se ponga en servicio de forma independiente del producto, el fabricante del producto, tal como se define en el acto legislativo pertinente, debe cumplir las obligaciones que el presente Reglamento impone al proveedor y, en particular, debe garantizar que el sistema de IA integrado en el producto final cumpla los requisitos del presente Reglamento.
(88)
U vrijednosnom lancu umjetne inteligencije često više strana dobavlja UI sustave, alate i usluge, ali i komponente ili procese koje dobavljač potom ugrađuje u UI sustav s različitim ciljevima, među ostalim radi treniranja modela, ponovnog treniranja modela, testiranja i evaluacije modela, integracije u softver ili drugih aspekata razvoja modela. Te strane imaju važnu ulogu u lancu vrijednosti prema dobavljaču visokorizičnog UI sustava u koji su integrirani njihovi UI sustavi, alati, usluge, komponente ili procesi te bi tom dobavljaču u pisanom obliku trebale pružiti potrebne informacije, mogućnosti, tehnički pristup i drugu pomoć na temelju općepriznatih najnovijih dostignuća kako bi dobavljač mogao u potpunosti ispuniti obveze utvrđene u ovoj Uredbi, a da se pritom ne dovedu u pitanje njihova prava intelektualnog vlasništva ili poslovne tajne.
(88)
A lo largo de la cadena de valor de la IA, numerosas partes suministran a menudo no solo sistemas, herramientas y servicios de IA, sino también componentes o procesos que el proveedor incorpora al sistema de IA con diversos objetivos, como el entrenamiento de modelos, el reentrenamiento de modelos, la prueba y evaluación de modelos, la integración en el software u otros aspectos del desarrollo de modelos. Dichas partes desempeñan un papel importante en la cadena de valor en relación con el proveedor del sistema de IA de alto riesgo en el que se integran sus sistemas, herramientas, servicios, componentes o procesos de IA, y deben proporcionar a dicho proveedor, mediante acuerdo escrito, la información, las capacidades, el acceso técnico y demás asistencia que sean necesarios habida cuenta del estado actual de la técnica generalmente reconocido, a fin de que el proveedor pueda cumplir íntegramente las obligaciones establecidas en el presente Reglamento, sin comprometer sus propios derechos de propiedad intelectual e industrial o secretos comerciales.
(89)
Treće strane koje javnosti na raspolaganje stavljaju UI alate, usluge, procese ili komponente koji nisu UI modeli opće namjene ne bi trebale biti obvezne ispunjavati zahtjeve u vezi s odgovornošću duž lanca vrijednosti umjetne inteligencije, posebno prema dobavljaču koji ih je koristio ili integrirao, ako su ti UI alati, usluge, procesi ili komponente dostupni na temelju besplatne licencije za softver otvorenog koda. Razvojne programere besplatnih UI alata, usluga, procesa otvorenog koda ili komponenti koji nisu UI modeli opće namjene trebalo bi poticati da primjenjuju široko prihvaćene prakse dokumentiranja, kao što su kartice modela i podatkovne kartice kako bi se ubrzala razmjena informacija duž vrijednosnog lanca umjetne inteligencije i omogućilo promicanje pouzdanih UI sustava u Uniji.
(89)
A los terceros que ponen a disposición del público herramientas, servicios, procesos o componentes de IA que no sean modelos de IA de uso general no se les debe imponer la obligación de cumplir los requisitos relativos a las responsabilidades a lo largo de la cadena de valor de la IA, en particular por lo que respecta al proveedor que haya utilizado o integrado dichas herramientas, servicios, procesos o componentes de IA, cuando el acceso a dichas herramientas, servicios, procesos o componentes de IA esté sujeto a una licencia libre y de código abierto. No obstante, se debe animar a los desarrolladores de herramientas, servicios, procesos o componentes de IA libres y de código abierto que no sean modelos de IA de uso general a que apliquen prácticas de documentación ampliamente adoptadas, como tarjetas de modelo y hojas de datos, como una forma de acelerar el intercambio de información a lo largo de la cadena de valor de la IA, permitiendo la promoción en la Unión de sistemas de IA fiables.
(90)
Komisija bi mogla razviti i preporučiti dobrovoljne modele ugovornih uvjeta između dobavljača visokorizičnih UI sustava i trećih strana koji isporučuju alate, usluge, komponente ili procese koji se upotrebljavaju u visokorizičnim UI sustavima ili su u njih integrirani kako bi se olakšala suradnja duž lanca vrijednosti. Pri izradi dobrovoljnih modela ugovornih uvjeta Komisija bi trebala uzeti u obzir i moguće ugovorne zahtjeve primjenjive u određenim sektorima ili poslovnim modelima.
(90)
La Comisión podría elaborar y recomendar cláusulas contractuales tipo, de carácter voluntario, entre los proveedores de sistemas de IA de alto riesgo y los terceros que suministren herramientas, servicios, componentes o procesos que se utilicen o integren en los sistemas de IA de alto riesgo, a fin de facilitar la cooperación a lo largo de la cadena de valor. Cuando elabore estas cláusulas contractuales tipo de carácter voluntario, la Comisión también debe tener en cuenta los posibles requisitos contractuales aplicables en determinados sectores o modelos de negocio.
(91)
S obzirom na prirodu UI sustavâ i rizike za sigurnost i temeljna prava koji se potencijalno mogu povezati s njihovim korištenjem, među ostalim u pogledu potrebe da se osigura propisno praćenje učinkovitosti UI sustava u stvarnim uvjetima, primjereno je utvrditi posebne odgovornosti za subjekte koji ih uvode. Subjekti koji uvode UI sustave osobito bi trebali poduzeti primjerene tehničke i organizacijske mjere kako bi osigurali da upotrebljavaju visokorizične UI sustave u skladu s uputama za korištenje te bi, prema potrebi, trebalo predvidjeti određene druge obveze u pogledu praćenja funkcioniranja UI sustavâ i vođenja evidencije. Nadalje, subjekti koji uvode sustav trebali bi osigurati da osobe kojima je povjerena provedba uputa za korištenje i ljudskog nadzora kako je utvrđeno u ovoj Uredbi imaju potrebne kompetencije, osobito odgovarajuću razinu pismenosti, osposobljavanja i ovlasti u području umjetne inteligencije, za pravilno obavljanje tih zadaća. Tim se obvezama ne bi trebale dovoditi u pitanje druge obveze subjekata koji uvode UI sustave u pogledu visokorizičnih UI sustava na temelju prava Unije ili nacionalnog prava.
(91)
Habida cuenta de las características de los sistemas de IA y de los riesgos que su uso lleva aparejado para la seguridad y los derechos fundamentales, también en lo que respecta a la necesidad de garantizar la correcta vigilancia del funcionamiento de un sistema de IA en un entorno real, conviene establecer las responsabilidades específicas de los responsables del despliegue. En particular, los responsables del despliegue deben adoptar las medidas técnicas y organizativas adecuadas para garantizar que utilizan los sistemas de IA de alto riesgo conforme a las instrucciones de uso. Además, es preciso definir otras obligaciones en relación con la vigilancia del funcionamiento de los sistemas de IA y la conservación de registros, según proceda. Asimismo, los responsables del despliegue deben garantizar que las personas encargadas de poner en práctica las instrucciones de uso y la supervisión humana establecidas en el presente Reglamento tengan las competencias necesarias, en particular un nivel adecuado de alfabetización, formación y autoridad en materia de IA para desempeñar adecuadamente dichas tareas. Dichas obligaciones deben entenderse sin perjuicio de otras obligaciones que tenga el responsable del despliegue en relación con los sistemas de IA de alto riesgo con arreglo al Derecho nacional o de la Unión.
(92)
Ovom se Uredbom ne dovode u pitanje obveze poslodavaca da obavijeste radnike ili njihove predstavnike ili da se savjetuju s njima na temelju prava i prakse Unije ili nacionalnog prava i prakse, uključujući Direktivu 2002/14/EZ Europskog parlamenta i Vijeća (39), o odlukama o stavljanju u upotrebu ili korištenju UI sustavâ. I dalje je potrebno osigurati obavješćivanje radnika i njihovih predstavnika o planiranom uvođenju visokorizičnih UI sustava na radnom mjestu ako nisu ispunjeni uvjeti za te obveze obavješćivanja ili obavješćivanja i savjetovanja iz drugih pravnih instrumenata. Nadalje, takvo pravo na obavješćivanje sporedno je i potrebno u odnosu na cilj zaštite temeljnih prava na kojem se temelji ova Uredba. Stoga bi u ovoj Uredbi trebalo utvrditi obvezu obavješćivanja u tu svrhu, a da se pritom ne utječe na postojeća prava radnika.
(92)
El presente Reglamento se entiende sin perjuicio de la obligación de los empleadores de informar o de informar y consultar a los trabajadores o a sus representantes, en virtud del Derecho o las prácticas nacionales o de la Unión, incluida la Directiva 2002/14/CE del Parlamento Europeo y del Consejo (39), sobre la decisión de poner en servicio o utilizar sistemas de IA. Se debe velar por que se informe a los trabajadores y a sus representantes sobre el despliegue previsto de sistemas de IA de alto riesgo en el lugar de trabajo incluso aunque no se cumplan las condiciones de las citadas obligaciones de información o de información y consulta previstas en otros instrumentos jurídicos. Además, este derecho de información es accesorio y necesario para el objetivo de protección de los derechos fundamentales que subyace al presente Reglamento. Por consiguiente, debe establecerse en el presente Reglamento un requisito de información a tal efecto, sin que dicho requisito afecte a ningún derecho vigente de los trabajadores.
(93)
Iako rizici povezani s UI sustavima mogu proizlaziti iz načina na koji su ti sustavi dizajnirani, mogu biti uzrokovani i načinom na koji se oni koriste. Subjekti koji uvode visokorizične UI sustave stoga imaju ključnu ulogu u osiguravanju zaštite temeljnih prava, čime se dopunjuju obveze dobavljača pri razvoju UI sustava. Subjekti koji uvode UI sustave u najboljem su položaju da razumiju kako će se visokorizični UI sustav konkretno koristiti te stoga mogu utvrditi potencijalne znatne rizike koji nisu predviđeni u fazi razvoja, zahvaljujući preciznijem poznavanju konteksta korištenja te osoba ili skupina osoba koje bi vjerojatno bile zahvaćene, uključujući skupine ranjivih osoba. Subjekti koji uvode visokorizične UI sustave navedene u prilogu ovoj Uredbi također imaju ključnu ulogu u informiranju fizičkih osoba i trebali bi, kada donose odluke ili pomažu u donošenju odluka povezanih s fizičkim osobama, ako je primjenjivo, obavijestiti fizičke osobe da podliježu korištenju visokorizičnog UI sustava. Te informacije trebale bi obuhvaćati namjenu sustava i vrstu odluka koje donosi. Subjekt koji uvodi sustav trebao bi obavijestiti fizičke osobe i o njihovu pravu na objašnjenje predviđenom na temelju ove Uredbe. Kad je riječ o visokorizičnim UI sustavima koji se upotrebljavaju u svrhu kaznenog progona, tu bi obvezu trebalo provesti u skladu s člankom 13. Direktive (EU) 2016/680.
(93)
Aunque los riesgos relacionados con los sistemas de IA pueden derivarse de su diseño, también pueden derivarse riesgos del uso que se hace de ellos. Por ello, los responsables del despliegue de un sistema de IA de alto riesgo desempeñan un papel fundamental a la hora de garantizar la protección de los derechos fundamentales, como complemento de las obligaciones del proveedor al desarrollar el sistema de IA. Los responsables del despliegue se encuentran en una posición óptima para comprender el uso concreto que se le dará al sistema de IA de alto riesgo y pueden, por lo tanto, detectar potenciales riesgos significativos que no se previeron en la fase de desarrollo, al tener un conocimiento más preciso del contexto de uso y de las personas o los colectivos de personas que probablemente se vean afectados, entre los que se incluyen colectivos vulnerables. Los responsables del despliegue de los sistemas de IA de alto riesgo que se enumeran en un anexo del presente Reglamento también desempeñan un papel fundamental a la hora de informar a las personas físicas y, cuando tomen decisiones o ayuden a tomar decisiones relacionadas con personas físicas, deben, en su caso, informar a las personas físicas de que son objeto de la utilización de un sistema de IA de alto riesgo. Esta información debe incluir la finalidad prevista y el tipo de decisiones que se toman. El responsable del despliegue también debe informar a las personas físicas de su derecho a una explicación con arreglo al presente Reglamento. Por lo que respecta a los sistemas de IA de alto riesgo que se utilizan a efectos de la garantía del cumplimiento del Derecho, esa obligación debe ejecutarse de conformidad con el artículo 13 de la Directiva (UE) 2016/680.
(94)
Svaka obrada biometrijskih podataka povezana s korištenjem UI sustava za biometrijsku identifikaciju u svrhu kaznenog progona mora biti u skladu s člankom 10. Direktive (EU) 2016/680, kojim se takva obrada dopušta samo ako je to nužno, podložno odgovarajućim zaštitnim mjerama u pogledu prava i sloboda ispitanika i ako je to dopušteno pravom Unije ili pravom države članice. Pri takvom korištenju, ako je odobreno, moraju se poštovati i načela utvrđena u članku 4. stavku 1. Direktive (EU) 2016/680, uključujući zakonitost, pravednost i transparentnost, ograničenje svrhe, točnost i ograničenje pohrane.
(94)
Todo tratamiento de datos biométricos que se produzca en el marco de la utilización de un sistema de IA para la identificación biométrica con fines de garantía del cumplimiento del Derecho debe cumplir lo dispuesto en el artículo 10 de la Directiva (UE) 2016/680, que permite dicho tratamiento solo cuando sea estrictamente necesario, con sujeción a las salvaguardias adecuadas para los derechos y libertades del interesado y cuando así lo autorice el Derecho de la Unión o de los Estados miembros. Dicho uso, cuando esté autorizado, también debe respetar los principios establecidos en el artículo 4, apartado 1, de la Directiva (UE) 2016/680, como, entre otros, que el tratamiento sea lícito y leal, la transparencia, la limitación de la finalidad, la exactitud y la limitación del plazo de conservación.
(95)
Ne dovodeći u pitanje primjenjivo pravo Unije, osobito Uredbu (EU) 2016/679 i Direktivu (EU) 2016/680, uzimajući u obzir intruzivnu prirodu sustava za naknadnu daljinsku biometrijsku identifikaciju, korištenje sustava za naknadnu daljinsku biometrijsku identifikaciju trebalo bi podlijegati zaštitnim mjerama. Sustavi za naknadnu daljinsku biometrijsku identifikaciju uvijek bi se trebali upotrebljavati na način koji je proporcionalan, legitiman i nužan te stoga ciljan u smislu pojedinaca koje treba identificirati, lokacije i vremenskog opsega te se temeljiti na zatvorenom skupu podataka sa zakonito pribavljenog videozapisa. U svakom slučaju, sustavi za naknadnu daljinsku biometrijsku identifikaciju ne bi se trebali upotrebljavati u okviru kaznenog progona kako bi doveli do neselektivnog nadzora. Uvjeti za naknadnu daljinsku biometrijsku identifikaciju ni u kojem slučaju ne bi trebali biti osnova za zaobilaženje uvjeta zabrane i strogih iznimaka za daljinsku biometrijsku identifikaciju u stvarnom vremenu.
(95)
Sin perjuicio del Derecho de la Unión aplicable, en particular el Reglamento (UE) 2016/679 y la Directiva (UE) 2016/680, teniendo en cuenta el carácter intrusivo de los sistemas de identificación biométrica remota en diferido, el uso de este tipo de sistemas debe estar sujeto a garantías. Los sistemas de identificación biométrica remota en diferido deben utilizarse siempre de manera proporcionada y legítima, en la medida de lo estrictamente necesario y, por ende, de forma selectiva por lo que respecta a las personas que deben identificarse, la ubicación y el alcance temporal y a partir de un conjunto limitado de datos de grabaciones de vídeo obtenidas legalmente. En cualquier caso, los sistemas de identificación biométrica remota en diferido no deben utilizarse en el marco de la garantía del cumplimiento del Derecho de tal forma que se produzca una vigilancia indiscriminada. Las condiciones para la identificación biométrica remota en diferido en ningún caso deben servir para eludir las condiciones de la prohibición y las estrictas excepciones aplicables a la identificación biométrica remota en tiempo real.
(96)
Kako bi se učinkovito osigurala zaštita temeljnih prava, subjekti koji uvode visokorizične UI sustave koji su javnopravna tijela ili privatni subjekti koji pružaju javne usluge i subjekti koji uvode određene visokorizične UI sustave navedene u prilogu ovoj Uredbi, kao što su bankarski ili osiguravateljski subjekti, trebali bi prije stavljanja tih sustava u upotrebu provesti procjenu učinka na temeljna prava. Usluge važne za pojedince koje su javne prirode mogu pružati i privatni subjekti. Privatni subjekti koji pružaju takve javne usluge povezani su sa zadaćama od javnog interesa, primjerice u područjima obrazovanja, zdravstvene skrbi, socijalnih usluga, stanovanja i sudovanja. Cilj je procjene učinka na temeljna prava da subjekt koji uvodi sustav utvrdi specifične rizike za prava pojedinaca ili skupina pojedinaca na koje bi mogao utjecati te utvrdi mjere koje se moraju poduzeti u slučaju materijalizacije tih rizika. Procjenu učinka trebala bi provesti prije uvođenja visokorizičnog UI sustava te bi je trebalo ažurirati ako subjekt koji uvodi sustav smatra da se promijenio bilo koji od relevantnih čimbenika. U procjeni učinka trebalo bi utvrditi relevantne procese subjekta koji uvodi sustav u kojima će se visokorizični UI sustav upotrebljavati u skladu sa svojom namjenom te bi ona trebala uključivati opis razdoblja i učestalosti upotrebe sustava, kao i posebnih kategorija fizičkih osoba i skupina na koje će vjerojatno utjecati u specifičnom kontekstu upotrebe. Procjena bi trebala uključivati i utvrđivanje specifičnih rizika od štete koja bi mogla utjecati na temeljna prava tih osoba ili skupina. Pri provedbi te procjene subjekt koji uvodi UI sustav trebao bi uzeti u obzir informacije relevantne za pravilnu procjenu učinka, uključujući, ali ne ograničavajući se na informacije koje je dobavljač visokorizičnog UI sustava naveo u uputama za korištenje. S obzirom na utvrđene rizike, subjekti koji uvode sustav trebali bi utvrditi mjere koje treba poduzeti u slučaju materijalizacije tih rizika, uključujući na primjer aranžmane upravljanja u tom specifičnom kontekstu upotrebe, kao što su aranžmani za ljudski nadzor u skladu s uputama za korištenje ili postupci rješavanja pritužbi i pravne zaštite, jer bi oni mogli biti ključni za ublažavanje rizika za temeljna prava u konkretnim slučajevima korištenja. Nakon provedbe te procjene učinka subjekt koji uvodi sustav trebao bi obavijestiti relevantno tijelo za nadzor tržišta. Prema potrebi, za prikupljanje relevantnih informacija potrebnih za procjenu učinka subjekti koji uvode visokorizični UI sustav, posebno kada se UI sustavi upotrebljavaju u javnom sektoru, mogli bi u provedbu takvih procjena učinka i osmišljavanje mjera koje se moraju poduzeti u slučaju materijalizacije rizika uključiti relevantne dionike, među kojima su predstavnici skupina osoba na koje će UI sustav vjerojatno utjecati, neovisni stručnjaci i organizacije civilnog društva. Europski ured za umjetnu inteligenciju (Ured za umjetnu inteligenciju) trebao bi izraditi predložak upitnika kako bi se olakšala usklađenost i smanjilo administrativno opterećenje za subjekte koji uvode UI sustav.
(96)
A fin de garantizar eficazmente la protección de los derechos fundamentales, los responsables del despliegue de sistemas de IA de alto riesgo que sean organismos de Derecho público, o las entidades privadas que presten servicios públicos y los responsables del despliegue de determinados sistemas de IA de alto riesgo enumerados en un anexo del presente Reglamento, como las entidades bancarias o de seguros, deben llevar a cabo una evaluación de impacto relativa a los derechos fundamentales antes de su puesta en funcionamiento. Algunos servicios importantes para las personas que son de carácter público también pueden ser prestados por entidades privadas. Las entidades privadas que prestan estos servicios públicos se vinculan a funciones de interés público, por ejemplo, en el ámbito de la educación, la asistencia sanitaria, los servicios sociales, la vivienda y la administración de justicia. El objetivo de la evaluación de impacto relativa a los derechos fundamentales es que el responsable del despliegue determine los riesgos específicos para los derechos de las personas o colectivos de personas que probablemente se vean afectados y defina las medidas que deben adoptarse en caso de que se materialicen dichos riesgos. La evaluación de impacto debe llevarse a cabo antes del despliegue del sistema de IA de alto riesgo y debe actualizarse cuando el responsable del despliegue considere que alguno de los factores pertinentes ha cambiado. La evaluación de impacto debe determinar los procesos pertinentes del responsable del despliegue en los que se utilizará el sistema de IA de alto riesgo en consonancia con su finalidad prevista y debe incluir una descripción del plazo de tiempo y la frecuencia en que se pretende utilizar el sistema, así como de las categorías concretas de personas físicas y de colectivos de personas que probablemente se vean afectados por el uso del sistema de IA de alto riesgo en ese contexto de uso específico. La evaluación también debe determinar los riesgos de perjuicio específicos que probablemente afecten a los derechos fundamentales de dichas personas o colectivos. Al llevar a cabo esta evaluación, el responsable del despliegue debe tener en cuenta la información pertinente para una evaluación adecuada del impacto, lo que incluye, por ejemplo, la información facilitada por el proveedor del sistema de IA de alto riesgo en las instrucciones de uso. A la luz de los riesgos detectados, los responsables del despliegue deben determinar las medidas que han de adoptarse en caso de que se materialicen dichos riesgos, entre las que se incluyen, por ejemplo, sistemas de gobernanza para ese contexto de uso específico, como los mecanismos de supervisión humana con arreglo a las instrucciones de uso, los procedimientos de tramitación de reclamaciones y de recurso, ya que podrían ser fundamentales para mitigar los riesgos para los derechos fundamentales en casos de uso concretos. Tras llevar a cabo dicha evaluación de impacto, el responsable del despliegue debe notificarlo a la autoridad de vigilancia del mercado pertinente. Cuando proceda, para recopilar la información pertinente necesaria para llevar a cabo la evaluación de impacto, los responsables del despliegue de un sistema de IA de alto riesgo, en particular cuando el sistema de IA se utilice en el sector público, pueden contar con la participación de las partes interesadas pertinentes, como, por ejemplo, los representantes de colectivos de personas que probablemente se vean afectados por el sistema de IA, expertos independientes u organizaciones de la sociedad civil, en la realización de dichas evaluaciones de impacto y en el diseño de las medidas que deben adoptarse en caso de materialización de los riesgos. La Oficina Europea de Inteligencia Artificial (en lo sucesivo, «Oficina de IA») debe elaborar un modelo de cuestionario con el fin de facilitar el cumplimiento y reducir la carga administrativa para los responsables del despliegue.
(97)
Pojam UI modela opće namjene trebao bi biti jasno definiran i odvojen od pojma UI sustava kako bi se omogućila pravna sigurnost. Definicija bi se trebala temeljiti na ključnim funkcionalnim značajkama UI modela opće namjene, posebno općenitosti i sposobnosti kompetentnog obavljanja širokog raspona različitih zadaća. Ti se modeli obično treniraju s pomoću velikih količina podataka putem različitih metoda, kao što su samostalno nadzirano, nenadzirano ili podržano učenje. UI modeli opće namjene mogu se staviti na tržište na različite načine, među ostalim putem programskih knjižnica, aplikacijskih programskih sučelja, izravnim preuzimanjem ili kao fizička kopija. Ti se modeli mogu dodatno izmijeniti ili prilagoditi novim modelima. Iako su UI modeli ključne komponente UI sustava, oni sami po sebi nisu UI sustavi. UI modeli zahtijevaju dodavanje dodatnih komponenti kao što je korisničko sučelje, kako bi postali UI sustavi. UI modeli obično su integrirani u UI sustave i čine njihov sastavni dio. Ovom se Uredbom utvrđuju posebna pravila za UI modele opće namjene i UI modele opće namjene koji predstavljaju sistemske rizike, koja bi se trebala primjenjivati i kada su ti modeli integrirani u UI sustav ili su njegov dio. Trebalo bi podrazumijevati da bi se obveze dobavljača UI modela opće namjene trebale primjenjivati nakon što se ti modeli stave na tržište. Ako dobavljač UI modela opće namjene integrira vlastiti model u vlastiti UI sustav koji je stavljen na raspolaganje na tržištu ili u upotrebu, trebalo bi smatrati da je taj model stavljen na tržište te bi se stoga obveze iz ove Uredbe koje se odnose na modele trebale nastaviti primjenjivati uz one za UI sustave. Obveze utvrđene za modele ni u kojem slučaju ne bi se trebale primjenjivati kada se vlastiti model upotrebljava za isključivo unutarnje procese koji nisu ključni za pružanje proizvoda ili usluge trećim stranama i kada to ne utječe na prava fizičkih osoba. S obzirom na njihove potencijalne znatno negativne učinke, UI modeli opće namjene sa sistemskim rizikom uvijek bi trebali podlijegati relevantnim obvezama na temelju ove Uredbe. Definicija ne bi trebala obuhvaćati UI modele koji se upotrebljavaju prije njihova stavljanja na tržište isključivo u svrhu istraživanja, razvoja i izrade prototipa. Time se ne dovodi u pitanje obveza usklađivanja s ovom Uredbom kada se, nakon takvih aktivnosti, model stavi na tržište.
(97)
El concepto de modelos de IA de uso general debe definirse claramente y diferenciarse del concepto de sistemas de IA con el fin de garantizar la seguridad jurídica. La definición debe basarse en las características funcionales esenciales de un modelo de IA de uso general, en particular la generalidad y la capacidad de realizar de manera competente una amplia variedad de tareas diferenciadas. Estos modelos suelen entrenarse usando grandes volúmenes de datos y a través de diversos métodos, como el aprendizaje autosupervisado, no supervisado o por refuerzo. Los modelos de IA de uso general pueden introducirse en el mercado de diversas maneras, por ejemplo, a través de bibliotecas, interfaces de programación de aplicaciones (API), como descarga directa o como copia física. Estos modelos pueden modificarse o perfeccionarse y transformarse en nuevos modelos. Aunque los modelos de IA son componentes esenciales de los sistemas de IA, no constituyen por sí mismos sistemas de IA. Los modelos de IA requieren que se les añadan otros componentes, como, por ejemplo, una interfaz de usuario, para convertirse en sistemas de IA. Los modelos de IA suelen estar integrados en los sistemas de IA y formar parte de dichos sistemas. El presente Reglamento establece normas específicas para los modelos de IA de uso general y para los modelos de IA de uso general que entrañan riesgos sistémicos, que deben aplicarse también cuando estos modelos estén integrados en un sistema de IA o formen parte de un sistema de IA. Debe entenderse que las obligaciones de los proveedores de modelos de IA de uso general deben aplicarse una vez que los modelos de IA de uso general se introduzcan en el mercado. Cuando el proveedor de un modelo de IA de uso general integre un modelo propio en un sistema de IA propio que se comercialice o ponga en servicio, se debe considerar que dicho modelo se ha introducido en el mercado y, por tanto, se deben seguir aplicando las obligaciones establecidas en el presente Reglamento en relación con los modelos, además de las establecidas en relación con los sistemas de IA. En cualquier caso, las obligaciones establecidas en relación con los modelos no deben aplicarse cuando un modelo propio se utilice en procesos puramente internos que no sean esenciales para suministrar un producto o un servicio a un tercero y los derechos de las personas físicas no se vean afectados. Teniendo en cuenta su potencial para causar efectos negativos importantes, los modelos de IA de uso general con riesgo sistémico deben estar siempre sujetos a las obligaciones pertinentes establecidas en el presente Reglamento. La definición no debe incluir los modelos de IA utilizados antes de su introducción en el mercado únicamente para actividades de investigación, desarrollo y creación de prototipos. Lo anterior se entiende sin perjuicio de la obligación de cumplir lo dispuesto en el presente Reglamento cuando, tras haber realizado dichas actividades, el modelo se introduzca en el mercado.
(98)
Budući da bi se općenitost modela, među ostalim, mogla utvrditi i s pomoću niza parametara, trebalo bi smatrati da modeli s najmanje milijardu parametara i trenirani s pomoću velike količine podataka uz primjenu samostalnog nadzora u širokim razmjerima pokazuju znatnu razinu općenitosti i kompetentno obavljaju širok raspon različitih zadaća.
(98)
Aunque la generalidad de un modelo también podría determinarse, entre otras cosas, mediante una serie de parámetros, debe considerarse que los modelos que tengan al menos mil millones de parámetros y se hayan entrenado con un gran volumen de datos utilizando la autosupervisión a escala presentan un grado significativo de generalidad y realizan de manera competente una amplia variedad de tareas diferenciadas.
(99)
Veliki generativni UI modeli tipičan su primjer UI modela opće namjene s obzirom na to da omogućuju fleksibilnu proizvodnju sadržaja, primjerice u obliku teksta, audiozapisa, slika ili videozapisa, koji mogu lako obavljati širok raspon različitih zadaća.
(99)
Los grandes modelos de IA generativa son un ejemplo típico de un modelo de IA de uso general, ya que permiten la generación flexible de contenidos, por ejemplo, en formato de texto, audio, imágenes o vídeo, que pueden adaptarse fácilmente a una amplia gama de tareas diferenciadas.
(100)
Ako je UI model opće namjene integriran u UI sustav ili je njegov sastavni dio, taj bi se sustav trebao smatrati UI sustavom opće namjene ako zbog te integracije taj sustav može služiti različitim namjenama. UI sustav opće namjene može se upotrebljavati izravno ili može biti integriran u druge UI sustave.
(100)
Cuando un modelo de IA de uso general esté integrado en un sistema de IA o forme parte de él, este sistema debe considerarse un sistema de IA de uso general cuando, debido a esta integración, el sistema tenga la capacidad de servir a diversos fines. Un sistema de IA de uso general puede utilizarse directamente e integrarse en otros sistemas de IA.
(101)
Dobavljači UI modela opće namjene imaju posebnu ulogu i odgovornost duž vrijednosnog lanca umjetne inteligencije jer modeli koje pružaju mogu biti osnova za niz sustava niže u lancu, koje često pružaju dobavljači niže u lancu koji zahtijevaju dobro razumijevanje modela i njihovih sposobnosti kako bi omogućili integraciju takvih modela u svoje proizvode i ispunili svoje obveze na temelju ove Uredbe ili drugih uredaba. Stoga bi trebalo utvrditi razmjerne mjere transparentnosti, uključujući sastavljanje i ažuriranje dokumentacije te pružanje informacija o UI modelu opće namjene za dobavljače niže u lancu. Dobavljač UI modela opće namjene trebao bi pripremiti i ažurirati tehničku dokumentaciju kako bi je na zahtjev stavio na raspolaganje Uredu za umjetnu inteligenciju i nacionalnim nadležnim tijelima. Minimalni skup elemenata koje treba uključiti u takvu dokumentaciju trebalo bi utvrditi u specifičnim prilozima ovoj Uredbi. Komisiju bi trebalo ovlastiti da izmijeni te priloge delegiranim aktima s obzirom na tehnološki razvoj.
(101)
Los proveedores de modelos de IA de uso general tienen una función y una responsabilidad particulares a lo largo de la cadena de valor de la IA, ya que los modelos que suministran pueden constituir la base de diversos sistemas de etapas posteriores, que a menudo son suministrados por proveedores posteriores que necesitan entender bien los modelos y sus capacidades, tanto para permitir la integración de dichos modelos en sus productos como para cumplir sus obligaciones en virtud del presente Reglamento o de otros reglamentos. Por consiguiente, deben establecerse medidas de transparencia proporcionadas, lo que incluye elaborar documentación y mantenerla actualizada y facilitar información sobre el modelo de IA de uso general para su uso por parte de los proveedores posteriores. El proveedor del modelo de IA de uso general debe elaborar y mantener actualizada la documentación técnica con el fin de ponerla a disposición, previa solicitud, de la Oficina de IA y de las autoridades nacionales competentes. Los elementos mínimos que debe contener dicha documentación deben establecerse en anexos específicos del presente Reglamento. La Comisión debe estar facultada para modificar dichos anexos mediante actos delegados en función de los avances tecnológicos.
(102)
Softver i podaci, uključujući modele, koji se objavljuju na temelju besplatne licencije za softver otvorenog koda koja omogućuje njihovo otvoreno dijeljenje i zbog koje im korisnici mogu slobodno pristupiti, upotrebljavati ih, mijenjati i redistribuirati njih ili njihove izmijenjene verzije, mogu doprinijeti istraživanju i inovacijama na tržištu i pružiti znatne prilike za rast gospodarstva Unije. Trebalo bi razmotriti UI modele opće namjene objavljene na temelju besplatnih licencija za softver otvorenog koda kako bi se osigurala visoka razina transparentnosti i otvorenosti ako su njihovi parametri, uključujući težinske faktore, informacije o arhitekturi modela i informacije o upotrebi modela javno dostupni. Licenciju bi trebalo smatrati besplatnom licencijom za softver otvorenog koda i kada omogućuje korisnicima da pokrenu, kopiraju, distribuiraju, proučavaju, mijenjaju i poboljšavaju softver i podatke, uključujući modele, pod uvjetom da je priznat izvorni pružatelj modela i da se poštuju identični ili usporedivi uvjeti distribucije.
(102)
El software y los datos, incluidos los modelos, divulgados con arreglo a una licencia libre y de código abierto que permita compartirlos abiertamente y que los usuarios puedan acceder a ellos, o a versiones modificadas de dicho software y dichos datos, o utilizarlos, modificarlos y redistribuirlos libremente, pueden contribuir a la investigación y la innovación en el mercado y pueden ofrecer importantes oportunidades de crecimiento para la economía de la Unión. Debe considerarse que los modelos de IA de uso general divulgados con arreglo a una licencia libre y de código abierto garantizan altos niveles de transparencia y apertura si sus parámetros, incluidos los pesos, la información sobre la arquitectura del modelo y la información sobre el uso del modelo, se ponen a disposición del público. La licencia debe considerarse libre y de código abierto cuando permita a los usuarios ejecutar, copiar, distribuir, estudiar, modificar y mejorar el software y los datos, incluidos los modelos a condición de que se cite al proveedor original del modelo, si se respetan unas condiciones de distribución idénticas o comparables.
(103)
Besplatne UI komponente otvorenog koda obuhvaćaju softver i podatke, uključujući modele i UI modele opće namjene, alate, usluge ili procese UI sustava. Besplatne UI komponente otvorenog koda mogu se pružati različitim kanalima, uključujući njihov razvoj u otvorenim repozitorijima. Za potrebe ove Uredbe na UI komponente koje se pružaju uz naplatu ili se na drugi način monetiziraju, među ostalim i pružanjem tehničke podrške ili drugih usluga povezanih s UI komponentom, među ostalim i putem softverske platforme, ili upotrebom osobnih podataka u svrhe koje nisu isključivo povećanje sigurnosti, kompatibilnosti ili interoperabilnosti softvera, uz iznimku transakcija među mikropoduzećima, ne bi se trebale primjenjivati iznimke za besplatne UI komponente otvorenog koda. Činjenica da se UI komponente stavljaju na raspolaganje putem otvorenih repozitorija ne bi sama po sebi trebala predstavljati monetizaciju.
(103)
Los componentes de IA libres y de código abierto comprenden el software y los datos, incluidos los modelos y los modelos de IA de uso general, las herramientas, los servicios y los procesos de un sistema de IA. Los componentes de IA libres y de código abierto pueden suministrarse a través de diferentes canales, lo que incluye la posibilidad de desarrollarlos en repositorios abiertos. A los efectos del presente Reglamento, los componentes de IA que se suministren a cambio de una contraprestación o que se moneticen de cualquier otro modo, como, por ejemplo, mediante la prestación de apoyo técnico u otros servicios en relación con el componente de IA, ya sea a través de una plataforma de software o por otros medios, o mediante el uso de datos personales con fines que no se refieran exclusivamente a la mejora de la seguridad, la compatibilidad o la interoperabilidad del software, salvo si se trata de operaciones entre microempresas, no deben poder acogerse a las excepciones previstas para los componentes de IA libres y de código abierto. La disponibilidad de un componente de IA a través de repositorios abiertos no debe constituir, de por sí, una monetización.
(104)
Dobavljači UI modela opće namjene koji se objavljuju na temelju besplatne licencije otvorenog koda i čiji su parametri, uključujući težinske faktore, informacije o arhitekturi modela i informacije o upotrebi modela, javno dostupni trebali bi podlijegati iznimkama u pogledu zahtjeva povezanih s transparentnošću nametnutih za UI modele opće namjene, osim ako se može smatrati da predstavljaju sistemski rizik, pri čemu se okolnost da je model transparentan i popraćen licencijom otvorenog koda ne bi trebala smatrati dovoljnim razlogom za isključenje ispunjavanja obveza iz ove Uredbe. U svakom slučaju, s obzirom na to da se objavom UI modelâ opće namjene na temelju besplatne licencije otvorenog koda nužno ne otkrivaju bitne informacije o skupu podataka koji se upotrebljava za treniranje ili doradu modela i o tome kako je time osigurana usklađenost s pravom o autorskom pravu, iznimka od ispunjavanja zahtjeva povezanih s transparentnošću predviđena za UI modele opće namjene ne bi se trebala odnositi na obvezu izrade sažetka o sadržaju koji se upotrebljava za treniranje modela i na obvezu uspostave politike usklađivanja s pravom Unije o autorskom pravu, posebno radi utvrđivanja i poštovanja pridržaja prava u skladu s člankom 4. stavkom 3. Direktive (EU) 2019/790 Europskog parlamenta i Vijeća (40).
(104)
Los proveedores de modelos de IA de uso general divulgados con arreglo a una licencia libre y de código abierto cuyos parámetros, incluidos los pesos, la información sobre la arquitectura del modelo y la información sobre el uso del modelo, se ponen a disposición del público deben estar sujetos a excepciones por lo que respecta a los requisitos de transparencia que se imponen a los modelos de IA de uso general, a menos que pueda considerarse que presentan un riesgo sistémico, en cuyo caso la circunstancia de que el modelo sea transparente y vaya acompañado de una licencia de código abierto no debe considerarse una razón suficiente para que quede exento del cumplimiento de las obligaciones establecidas en el presente Reglamento. En cualquier caso, dado que la divulgación de modelos de IA de uso general con arreglo a una licencia libre y de código abierto no necesariamente revela información sustancial sobre el conjunto de datos utilizado para entrenar el modelo o realizar ajustes en relación con este ni sobre la manera en que se garantizó el cumplimiento del Derecho en materia de derechos de autor, la excepción prevista para los modelos de IA de uso general en relación con el cumplimiento de los requisitos de transparencia no debe eximir de la obligación de presentar un resumen del contenido utilizado para el entrenamiento del modelo ni de la obligación de adoptar directrices para el cumplimiento del Derecho de la Unión en materia de derechos de autor, en particular para identificar y respetar la reserva de derechos prevista en el artículo 4, apartado 3, de la Directiva (UE) 2019/790 del Parlamento Europeo y del Consejo (40).
(105)
UI modeli opće namjene, osobito veliki generativni UI modeli koji mogu generirati tekst, slike i druge sadržaje, pružaju jedinstvene mogućnosti za inovacije, ali i izazove za umjetnike, autore i druge kreatore te za način na koji se njihov kreativni sadržaj stvara, distribuira, upotrebljava i konzumira. Za razvoj i treniranje takvih modela potreban je pristup velikim količinama teksta, slika, videozapisa i drugih podataka. Tehnike rudarenja teksta i podataka mogu se u tom kontekstu u velikoj mjeri upotrebljavati za pronalaženje i analizu takvog sadržaja, koji može biti zaštićen autorskim pravom i povezanih pravima. Za svako korištenje sadržaja zaštićenog autorskim pravom potrebno je odobrenje nositelja prava nad tim sadržajem, osim ako se primjenjuju relevantne iznimke i ograničenja autorskog prava. Direktivom (EU) 2019/790 uvedene su iznimke i ograničenja kojima se omogućuje reproduciranje i izvlačenje djela ili drugih sadržaja u svrhu rudarenja teksta i podataka, pod određenim uvjetima. Na temelju tih pravila nositelji prava mogu odlučiti pridržati svoja prava nad svojim djelima ili drugim sadržajima kako bi spriječili rudarenje teksta i podataka, osim ako se rudarenje teksta i podataka provodi za potrebe znanstvenog istraživanja. Ako je nositelj prava izričito pridržao prava na izuzeće na primjeren način, dobavljači UI modelâ opće namjene moraju od njega dobiti odobrenje ako žele provoditi rudarenje teksta i podataka nad takvim djelima.
(105)
Los modelos de IA de uso general, en particular los grandes modelos de IA generativos, capaces de generar texto, imágenes y otros contenidos, presentan unas oportunidades de innovación únicas, pero también representan un desafío para los artistas, autores y demás creadores y para la manera en que se crea, distribuye, utiliza y consume su contenido creativo. El desarrollo y el entrenamiento de estos modelos requiere acceder a grandes cantidades de texto, imágenes, vídeos y otros datos. Las técnicas de prospección de textos y datos pueden utilizarse ampliamente en este contexto para la recuperación y el análisis de tales contenidos, que pueden estar protegidos por derechos de autor y derechos afines. Todo uso de contenidos protegidos por derechos de autor requiere la autorización del titular de los derechos de que se trate, salvo que se apliquen las excepciones y limitaciones pertinentes en materia de derechos de autor. La Directiva (UE) 2019/790 introdujo excepciones y limitaciones que permiten reproducciones y extracciones de obras y otras prestaciones con fines de prospección de textos y datos en determinadas circunstancias. Con arreglo a estas normas, los titulares de derechos pueden optar por reservarse sus derechos en relación con sus obras u otras prestaciones para evitar la prospección de textos y datos, salvo que su finalidad sea la investigación científica. Cuando el titular del derecho se haya reservado de manera adecuada el derecho de exclusión, los proveedores de modelos de IA de uso general deben obtener su autorización para llevar a cabo una prospección de textos y datos con dichas obras.
(106)
Dobavljači koji stavljaju UI modele opće namjene na tržište Unije trebali bi osigurati usklađenost s relevantnim obvezama iz ove Uredbe. U tu bi svrhu dobavljači UI modela opće namjene trebali uspostaviti politiku usklađivanja s pravom Unije o autorskom pravu i povezanim pravima, posebno radi utvrđivanja i poštovanja pridržaja prava koji su izrazili nositelji prava u skladu s člankom 4. stavkom 3. Direktive (EU) 2019/790. Svaki dobavljač koji na tržište Unije stavlja UI model opće namjene trebao bi ispunjavati tu obvezu, bez obzira na jurisdikciju u kojoj se odvijaju radnje povezane s autorskim pravima na kojima se temelji treniranje tih UI modela opće namjene. To je potrebno kako bi se osigurali jednaki uvjeti među dobavljačima UI modela opće namjene prema kojima nijedan dobavljač ne bi trebao moći steći konkurentsku prednost na tržištu Unije primjenom nižih standarda autorskih prava od onih koji su predviđeni u Uniji.
(106)
Los proveedores que introduzcan modelos de IA de uso general en el mercado de la Unión deben garantizar el cumplimiento de las obligaciones pertinentes establecidas en el presente Reglamento. A tal fin, los proveedores de modelos de IA de uso general deben adoptar directrices para el cumplimiento del Derecho de la Unión en materia de derechos de autor y derechos afines, en particular para detectar y cumplir la reserva de derechos expresada por los titulares de derechos con arreglo al artículo 4, apartado 3, de la Directiva (UE) 2019/790. Todo proveedor que introduzca un modelo de IA de uso general en el mercado de la Unión debe cumplir esta obligación, independientemente de la jurisdicción en la que tengan lugar los actos pertinentes en materia de derechos de autor que sustentan el entrenamiento de dichos modelos de IA de uso general. Esta medida es necesaria para garantizar unas condiciones de competencia equitativas entre los proveedores de modelos de IA de uso general que impidan que un proveedor obtenga una ventaja competitiva en el mercado de la Unión aplicando normas en materia de derechos de autor menos estrictas que las establecidas en la Unión.
(107)
Kako bi se povećala transparentnost podataka koji se upotrebljavaju u prethodnom treniranju i treniranju UI modela opće namjene, uključujući tekst i podatke zaštićene autorskim pravom, primjereno je da dobavljači takvih modela sastave i objave dovoljno detaljan sažetak sadržaja koji se upotrebljava za treniranje UI modela opće namjene. Uzimajući u obzir potrebu za zaštitom poslovnih tajni i povjerljivih poslovnih informacija, taj bi sažetak trebao biti općenito sveobuhvatan u svojem opsegu, a ne tehnički detaljan, kako bi se strankama s legitimnim interesima, uključujući nositelje autorskih prava, olakšalo ostvarivanje i izvršavanje njihovih prava na temelju prava Unije, na primjer navođenjem glavnih zbirki ili skupova podataka koji su upotrijebljeni pri treniranju modela, kao što su velike privatne ili javne baze podataka ili arhive podataka, te pružanjem opisnog objašnjenja o drugim korištenim izvorima podataka. Primjereno je da Ured za umjetnu inteligenciju dostavi predložak sažetka, koji bi trebao biti jednostavan, djelotvoran i omogućiti dobavljaču da dostavi traženi sažetak u opisnom obliku.
(107)
Con el fin de aumentar la transparencia en relación con los datos utilizados en el entrenamiento previo y el entrenamiento de los modelos de IA de uso general, incluidos los textos y los datos protegidos por el Derecho en materia de derechos de autor, procede que los proveedores de dichos modelos elaboren y pongan a disposición del público un resumen suficientemente detallado de los contenidos utilizados para el entrenamiento del modelo de IA de uso general. Este resumen debe tener debidamente en cuenta la necesidad de proteger los secretos comerciales y la información empresarial confidencial y, al mismo tiempo, debe ser exhaustivo en general en su alcance en vez de técnicamente detallado, a fin de facilitar que las partes con intereses legítimos, incluidos los titulares de derechos de autor, ejerzan y hagan cumplir sus derechos en virtud del Derecho de la Unión, por ejemplo, enumerando los principales conjuntos o recopilaciones de datos que hayan servido para entrenar al modelo, como los grandes archivos de datos o bases de datos privados o públicos, y proporcionando una explicación descriptiva sobre otras fuentes de datos utilizadas. Conviene que la Oficina de IA proporcione un modelo para el resumen, que debe ser sencillo y eficaz y permitir que el proveedor proporcione el resumen requerido en forma descriptiva.
(108)
Kad je riječ o obvezama nametnutima dobavljačima UI modela opće namjene da uspostave politiku usklađivanja s pravom Unije o autorskom pravu i objave sažetak sadržaja koji se upotrebljava za treniranje, Ured za umjetnu inteligenciju trebao bi pratiti je li dobavljač ispunio te obveze bez provjere ili pojedinačnog ocjenjivanja podataka korištenih za treniranje u pogledu usklađenosti s autorskim pravom. Ova Uredba ne utječe na izvršavanje pravila o autorskom pravu kako su predviđena pravom Unije.
(108)
Por lo que se refiere a las obligaciones impuestas a los proveedores de modelos de IA de uso general de adoptar directrices para el cumplimiento del Derecho de la Unión en materia de derechos de autor y de poner a disposición del público un resumen de los contenidos utilizados para el entrenamiento, la Oficina de IA debe supervisar si el proveedor ha cumplido dichas obligaciones sin verificar ni proceder a una evaluación obra por obra de los datos de entrenamiento en cuanto al respeto de los derechos de autor. El presente Reglamento no afecta al cumplimiento de las normas en materia de derechos de autor previstas en el Derecho de la Unión.
(109)
Usklađenost s obvezama koje se primjenjuju na dobavljače UI modela opće namjene trebala bi biti razmjerna i primjerena vrsti dobavljača modela, isključujući potrebu za usklađenosti za osobe koje razvijaju ili upotrebljavaju modele u neprofesionalne ili znanstveno-istraživačke svrhe, no koje bi ipak trebalo poticati da dobrovoljno ispune te zahtjeve. Ne dovodeći u pitanje pravo Unije o autorskom pravu, pri ispunjavanju tih obveza trebalo bi uzeti u obzir veličinu dobavljača i omogućiti pojednostavnjene načine usklađivanja za MSP-ove, uključujući start-up poduzeća, koji ne bi trebali predstavljati pretjerani trošak niti obeshrabrivati korištenje takvih modela. U slučaju izmjene ili dorade modela, obveze dobavljača UI modela opće namjene trebale bi biti ograničene na tu izmjenu ili doradu, na primjer dopunjavanjem već postojeće tehničke dokumentacije informacijama o izmjenama, uključujući nove izvore podataka za treniranje, kako bi se ispunile obveze u pogledu vrijednosnog lanca predviđene u ovoj Uredbi.
(109)
El cumplimiento de las obligaciones aplicables a los proveedores de modelos de IA de uso general debe ser proporcionado y adecuado al tipo de proveedor de modelos. Debe eximirse de la obligación de cumplimiento a las personas que desarrollan o utilizan modelos con fines no profesionales o de investigación científica. No obstante, debe animarse a estas personas a cumplir voluntariamente estos requisitos. Sin perjuicio del Derecho de la Unión en materia de derechos de autor, el cumplimiento de esas obligaciones debe tener debidamente en cuenta el tamaño del proveedor y permitir formas simplificadas de cumplimiento para las pymes, incluidas las empresas emergentes, que no deben suponer un coste excesivo ni desincentivar el uso de dichos modelos. En caso de que se modifique o ajuste un modelo, las obligaciones de los proveedores de modelos de IA de uso general deben limitarse a esa modificación o esos ajustes, por ejemplo, complementando la documentación técnica ya existente con información sobre las modificaciones, incluidas las nuevas fuentes de datos de entrenamiento, para cumplir las obligaciones relacionadas con la cadena de valor establecidas en el presente Reglamento.
(110)
UI modeli opće namjene mogli bi predstavljati sistemske rizike koji uključuju, ali nisu ograničeni na, sve stvarne ili razumno predvidljive negativne učinke povezane s velikim nesrećama, poremećajima u kritičnim sektorima i ozbiljnim posljedicama za javno zdravlje i sigurnost; sve stvarne ili razumno predvidljive negativne učinke na demokratske procese, javnu i gospodarsku sigurnost; širenje nezakonitog, lažnog ili diskriminirajućeg sadržaja. Trebalo bi razumjeti da se sistemski rizici povećavaju s kapacitetom i dosegom modela, da se mogu pojaviti tijekom cijelog životnog ciklusa modela i da na njih utječu uvjeti pogrešne upotrebe, pouzdanost modela, pravednost modela i sigurnost modela, razinu autonomije modela, njegov pristup alatima, novi ili kombinirani modaliteti, strategije objave i distribucije, potencijal za uklanjanje zaštitnih mehanizama i drugi čimbenici. Konkretno, u međunarodnim pristupima dosad je utvrđeno da je potrebno posvetiti pozornost rizicima od moguće namjerne pogrešne upotrebe ili nenamjernim problemima u kontroli koji se odnose na usklađivanje s ljudskom namjerom; kemijskim, biološkim, radiološkim i nuklearnim rizicima, kao što su načini na koje se mogu smanjiti prepreke za pristup, uključujući za razvoj oružja, nabavu njihova dizajna ili njihovu upotrebu; ofenzivnim kibernetičkim sposobnostima, kao što su načini omogućavanja otkrivanja, iskorištavanja ili operativne upotrebe slabih točaka; učincima interakcije i upotrebe alata, uključujući, na primjer, sposobnost kontrole fizičkih sustava i ometanja kritične infrastrukture; rizicima povezanima s modelima koji izrađuju svoje kopije ili se „samorepliciraju” ili treniraju druge modele; načinima na koje modeli mogu dovesti do štetne pristranosti i diskriminacije uz rizike za pojedince, zajednice ili društva; olakšavanju širenja dezinformacija ili ugrožavanju privatnosti prijetnjama demokratskim vrijednostima i ljudskim pravima; riziku od toga da bi određeni događaj mogao dovesti do lančane reakcije sa znatnim negativnim učincima koji bi mogli utjecati na cijeli grad, cijelu aktivnost u nekoj domeni ili cijelu zajednicu.
(110)
Los modelos de IA de uso general pueden plantear riesgos sistémicos, por ejemplo, cualquier efecto negativo real o razonablemente previsible en relación con accidentes graves, perturbaciones de sectores críticos y consecuencias graves para la salud y la seguridad públicas, cualquier efecto negativo real o razonablemente previsible sobre los procesos democráticos y la seguridad pública y económica o la difusión de contenidos ilícitos, falsos o discriminatorios. Debe entenderse que los riesgos sistémicos aumentan con las capacidades y el alcance de los modelos, pueden surgir durante todo el ciclo de vida del modelo y se ven influidos por las condiciones de uso indebido, la fiabilidad del modelo, la equidad y la seguridad del modelo, el nivel de autonomía del modelo, su acceso a herramientas, modalidades novedosas o combinadas, las estrategias de divulgación y distribución, la posibilidad de eliminar las salvaguardias y otros factores. En particular, los enfoques internacionales han establecido hasta la fecha la necesidad de prestar atención a los riesgos derivados de posibles usos indebidos intencionados o de problemas en materia de control relacionados con la armonización con la intención humana no deseados, a los riesgos químicos, biológicos, radiológicos y nucleares, como las maneras en que las barreras a la entrada pueden reducirse, también para el desarrollo, el diseño, la adquisición o el uso de armas, a las cibercapacidades ofensivas, como las maneras en que pueden propiciarse el descubrimiento, la explotación o el uso operativo de vulnerabilidades, a los efectos de la interacción y el uso de herramientas, incluida, por ejemplo, la capacidad de controlar sistemas físicos e interferir en el funcionamiento de infraestructuras críticas, a los riesgos derivados del hecho que los modelos hagan copias de sí mismos o se «autorrepliquen» o entrenen a otros modelos, a las maneras en que los modelos pueden dar lugar a sesgos dañinos y discriminación que entrañan riesgos para las personas, las comunidades o las sociedades, a la facilitación de la desinformación o el menoscabo de la intimidad, que suponen una amenaza para los valores democráticos y los derechos humanos, al riesgo de que un acontecimiento concreto dé lugar a una reacción en cadena con efectos negativos considerables que podrían afectar incluso a una ciudad entera, un ámbito de actividad entero o una comunidad entera.
(111)
Primjereno je uspostaviti metodologiju za klasifikaciju UI modela opće namjene kao UI modela opće namjene sa sistemskim rizicima. Budući da sistemski rizici proizlaze iz posebno visokih sposobnosti, trebalo bi smatrati da UI model opće namjene predstavlja sistemske rizike ako ima sposobnosti visokog učinka, koje se ocjenjuje na temelju odgovarajućih tehničkih alata i metodologija, ili ako zbog svojeg dosega znatno utječe na unutarnje tržište. Sposobnosti visokog učinka kod UI modela opće namjene znači sposobnosti koje odgovaraju sposobnostima zabilježenima kod najnaprednijih UI modela opće namjene ili ih nadilaze. Cijeli raspon sposobnosti modela mogao bi se bolje razumjeti nakon njegova stavljanja na tržište ili pri interakciji dobavljačâ s modelom. U skladu s najnovijim dostignućima u trenutku stupanja na snagu ove Uredbe, kumulativna količina računanja korištena za treniranje UI modela opće namjene iskazana brojem matematičkih operacija nad brojevima s pomičnim zarezom jedna je od relevantnih približnih vrijednosti za sposobnosti modela. Kumulativna količina računanja korištena za treniranje uključuje računanje korišteno u svim aktivnostima i metode namijenjene poboljšanju sposobnosti modela prije uvođenja, kao što su prethodno treniranje, generiranje sintetičkih podataka i dorada. Stoga bi trebalo utvrditi početni prag za matematičke operacije nad brojevima s pomičnim zarezom, koji, ako ga UI model opće namjene dosegne, dovodi do pretpostavke da je riječ o UI modelu opće namjene sa sistemskim rizicima. Taj bi prag trebalo s vremenom prilagoditi kako bi odražavao tehnološke i industrijske promjene, kao što su algoritamska poboljšanja ili povećana učinkovitost hardvera, te bi ga trebalo dopuniti referentnim vrijednostima i pokazateljima sposobnosti modela. U tu bi svrhu Ured za umjetnu inteligenciju trebao surađivati sa znanstvenom zajednicom, strukom, civilnim društvom i drugim stručnjacima. Pragovi, kao i alati i referentne vrijednosti za procjenu sposobnosti visokog učinka, trebali bi u velikoj mjeri predvidjeti općenitost, sposobnosti i povezani sistemski rizik UI modela opće namjene te bi se njima moglo uzeti u obzir način na koji će se model staviti na tržište ili broj korisnika na koji bi mogao utjecati. Kako bi se taj sustav dopunio, Komisija bi trebala moći donijeti pojedinačne odluke kojima se UI model opće namjene određuje kao UI model opće namjene sa sistemskim rizikom ako se utvrdi da takav model ima sposobnosti ili učinak jednakovrijedan onima koji su obuhvaćeni utvrđenim pragom. Ta bi se odluka trebala donijeti na temelju opće procjene kriterijâ za određivanje UI modela opće namjene sa sistemskim rizikom navedenih u prilogu ovoj Uredbi, kao što su kvaliteta ili veličina skupa podataka za treniranje, broj poslovnih i krajnjih korisnika, njihovi ulazni i izlazni modaliteti, razina autonomije i skalabilnosti ili alati kojima ima pristup. Na obrazloženi zahtjev dobavljača čiji je model određen kao UI model opće namjene sa sistemskim rizikom Komisija bi takav zahtjev trebala uzeti u obzir i može odlučiti ponovno ocijeniti može li se i dalje smatrati da UI model opće namjene predstavlja sistemske rizike.
(111)
Conviene establecer una metodología para la clasificación de los modelos de IA de uso general como modelos de IA de uso general con riesgos sistémicos. Dado que los riesgos sistémicos se derivan de capacidades especialmente elevadas, debe considerarse que un modelo de IA de uso general presenta riesgos sistémicos si tiene capacidades de gran impacto —evaluadas mediante herramientas y metodologías técnicas adecuadas— o unas repercusiones considerables en el mercado interior debido a su alcance. Las capacidades de gran impacto en modelos de IA de uso general son capacidades que igualan o superan las capacidades mostradas por los modelos de IA de uso general más avanzados. La introducción en el mercado de un modelo o las interacciones de los responsables del despliegue con él permiten comprender mejor el conjunto de sus capacidades. Según el estado de la técnica en el momento de la entrada en vigor del presente Reglamento, la cantidad acumulada de cálculo utilizado para el entrenamiento del modelo de IA de uso general, medida en operaciones de coma flotante, es una de las aproximaciones pertinentes para las capacidades del modelo. La cantidad acumulada de cálculo utilizado para el entrenamiento incluye los cálculos utilizados en las distintas actividades y métodos destinados a mejorar las capacidades del modelo antes del despliegue, como el entrenamiento previo, la generación de datos sintéticos y la realización de ajustes. Por lo tanto, debe establecerse un umbral inicial de operaciones de coma flotante que, de ser alcanzado por un modelo de IA de uso general, dé lugar a la presunción de que el modelo es un modelo de IA de uso general con riesgos sistémicos. Este umbral deberá irse ajustando para reflejar los cambios tecnológicos e industriales, como las mejoras algorítmicas o el aumento de la eficiencia del hardware, y debe complementarse con parámetros de referencia e indicadores de la capacidad de los modelos. Para fundamentar esto, la Oficina de IA debe colaborar con la comunidad científica, la industria, la sociedad civil y otros expertos. Los umbrales, así como las herramientas y los parámetros de referencia para la evaluación de las capacidades de gran impacto, deben servir para predecir con fiabilidad la generalidad, las capacidades y el riesgo sistémico asociado de los modelos de IA de uso general, y podrían tener en cuenta la manera en que el modelo se introducirá en el mercado o el número de usuarios a los que podría afectar. Para complementar este sistema, la Comisión debe poder adoptar decisiones individuales por las que se designe un modelo de IA de uso general como modelo de IA de uso general con riesgo sistémico si se determina que dicho modelo tiene capacidades o repercusiones equivalentes a las reflejadas por el umbral establecido. Dicha decisión debe adoptarse atendiendo a una evaluación global de los criterios para la designación de modelos de IA de uso general con riesgo sistémico establecidos en un anexo del presente Reglamento, como la calidad o el tamaño del conjunto de datos de entrenamiento, el número de usuarios profesionales y finales, sus modalidades de entrada y de salida, su nivel de autonomía y escalabilidad o las herramientas a las que tiene acceso. Previa solicitud motivada de un proveedor cuyo modelo haya sido designado como modelo de IA de uso general con riesgo sistémico, la Comisión debe tener en cuenta la solicitud y podrá decidir reevaluar si puede seguir considerándose que el modelo de IA de uso general presenta riesgos sistémicos.
(112)
Također je potrebno pojasniti proceduru za klasifikaciju UI modela opće namjene kao UI modela opće namjene sa sistemskim rizicima. Za UI model opće namjene koji je dosegao primjenjivi prag za sposobnosti visokog učinka trebalo bi se pretpostaviti da je riječ o UI modelu opće namjene sa sistemskim rizikom. Dobavljač bi trebao obavijestiti Ured za umjetnu inteligenciju najkasnije dva tjedna nakon što su zahtjevi ispunjeni ili nakon što postane poznato da će UI model opće namjene ispunjavati zahtjeve koji dovode do te pretpostavke. To je posebno važno u odnosu na prag matematičkih operacija nad brojevima s pomičnim zarezom jer je za treniranje UI modela opće namjene potrebno znatno planiranje koje uključuje prethodnu dodjelu računalnih resursa te stoga dobavljači UI modela opće namjene mogu znati bi li njihov model dosegnuo prag prije završetka postupka treniranja. U kontekstu te obavijesti dobavljač bi trebao moći dokazati da, zbog posebnih značajki UI modela opće namjene, taj model iznimno ne predstavlja sistemske rizike te da ga stoga ne bi trebalo klasificirati kao UI model opće namjene sa sistemskim rizicima. Te su informacije vrijedne Uredu za umjetnu inteligenciju kako bi predvidio stavljanje na tržište UI modela opće namjene sa sistemskim rizicima, a dobavljači mogu rano početi surađivati s Uredom za umjetnu inteligenciju. Te su informacije posebno važne u pogledu UI modela opće namjene koji se planiraju objaviti kao otvoreni kod, s obzirom na to da bi nakon objave modela otvorenog koda moglo biti teže provesti potrebne mjere za osiguravanje usklađenosti s obvezama iz ove Uredbe.
(112)
También es necesario aclarar un procedimiento para la clasificación de un modelo de IA de uso general con riesgos sistémicos. Debe presumirse que un modelo de IA de uso general que alcanza el umbral aplicable para las capacidades de gran impacto es un modelo de IA de uso general con riesgo sistémico. El proveedor debe enviar una notificación a la Oficina de IA a más tardar dos semanas después de que se cumplan los requisitos o de que se sepa que un modelo de IA de uso general cumplirá los requisitos que conducen a la presunción. Esto es especialmente pertinente en relación con el umbral de operaciones de coma flotante, ya que el entrenamiento de los modelos de IA de uso general requiere una planificación considerable que incluye la asignación previa de recursos computacionales y, por tanto, los proveedores de modelos de IA de uso general pueden saber si su modelo alcanzará el umbral antes del fin del entrenamiento. En el contexto de dicha notificación, el proveedor debe poder demostrar que, debido a sus características específicas, un modelo de IA de uso general no presenta excepcionalmente riesgos sistémicos y que, por tanto, no debe clasificarse como modelo de IA de uso general con riesgos sistémicos. Esa información es valiosa para que la Oficina de IA anticipe la introducción en el mercado de modelos de IA de uso general con riesgos sistémicos y para que los proveedores pueden empezar a colaborar con la Oficina de IA en una fase temprana. Dicha información es especialmente importante cuando esté previsto divulgar un modelo de IA de uso general como modelo de código abierto, dado que, tras la divulgación de modelos de código abierto, puede resultar más difícil aplicar las medidas necesarias para garantizar el cumplimiento de las obligaciones establecidas en el presente Reglamento.
(113)
Ako Komisija sazna da UI model opće namjene ispunjava zahtjeve da ga se klasificira kao UI model opće namjene sa sistemskim rizikom, a prethodno nije bio poznat ili o njemu relevantni dobavljač nije obavijestio Komisiju, Komisija bi trebala biti ovlaštena odrediti ga kao takvoga. Sustav kvalificiranih upozorenja trebao bi osigurati da znanstveno povjerenstvo obavijesti Ured za umjetnu inteligenciju o UI modelima opće namjene koje bi potencijalno trebalo klasificirati kao UI modele opće namjene sa sistemskim rizikom, kao i o aktivnostima praćenja Ureda za umjetnu inteligenciju.
(113)
Si la Comisión descubre que un modelo de IA de uso general del que no tenía conocimiento o que el proveedor pertinente no le había notificado cumple los requisitos para ser clasificado como modelo de IA de uso general con riesgo sistémico, la Comisión debe estar facultada para designarlo. Además de las actividades de supervisión de la Oficina de IA, un sistema de alertas cualificadas debe garantizar que la Oficina de IA sea informada por el grupo de expertos científicos de la existencia de modelos de IA de uso general que podrían ser clasificados como modelos de IA de uso general con riesgo sistémico.
(114)
Dobavljači UI modela opće namjene koji predstavljaju sistemske rizike trebali bi, uz obveze predviđene za dobavljače UI modela opće namjene, podlijegati obvezama usmjerenima na utvrđivanje i ublažavanje tih rizika i osiguravanje odgovarajuće razine kibernetičkosigurnosne zaštite, bez obzira na to pružaju li se kao samostalni model ili su ugrađeni u UI sustav ili proizvod. Kako bi se postigli ti ciljevi, ovom bi se Uredbom od dobavljača trebalo zahtijevati da provedu potrebne evaluacije modela, posebno prije njihova prvog stavljanja na tržište, uključujući provođenje i dokumentiranje neprijateljskog testiranja modela, također, prema potrebi, unutarnjim testiranjem ili neovisnim vanjskim testiranjem. Osim toga, dobavljači UI modela opće namjene sa sistemskim rizicima trebali bi kontinuirano procjenjivati i ublažavati sistemske rizike, među ostalim i, primjerice, uspostavom politika upravljanja rizikom, kao što su postupci odgovornosti i upravljanja, provedbom praćenja nakon stavljanja na tržište, poduzimanjem odgovarajućih mjera tijekom cijelog životnog ciklusa modela i suradnjom s relevantnim akterima duž lanca vrijednosti umjetne inteligencije.
(114)
Los proveedores de modelos de IA de uso general que presenten riesgos sistémicos deben estar sujetos, además de a las obligaciones impuestas a los proveedores de modelos de IA de uso general, a obligaciones encaminadas a detectar y atenuar dichos riesgos y a garantizar un nivel adecuado de protección en materia de ciberseguridad, independientemente de si dichos modelos se ofrecen como modelos independientes o están integrados en sistemas de IA o en productos. Para alcanzar esos objetivos, el presente Reglamento debe exigir a los proveedores que lleven a cabo las evaluaciones de los modelos necesarias, en particular antes de la primera introducción en el mercado, y que, por ejemplo, lleven a cabo y documenten pruebas de simulación de adversarios, también, según proceda, mediante pruebas externas independientes o pruebas internas. Además, los proveedores de modelos de IA de uso general con riesgos sistémicos deben evaluar y mitigar continuamente los riesgos sistémicos, por ejemplo, mediante el establecimiento de políticas de gestión de riesgos, como procesos de rendición de cuentas y gobernanza, la puesta en práctica de la vigilancia poscomercialización, la adopción de medidas adecuadas durante todo el ciclo de vida del modelo y la cooperación con los agentes pertinentes a lo largo de la cadena de valor de la IA.
(115)
Dobavljači UI modela opće namjene sa sistemskim rizicima trebali bi procijeniti i ublažiti moguće sistemske rizike. Ako, unatoč nastojanjima da se utvrde i spriječe rizici povezani s UI modelom opće namjene koji bi mogao predstavljati sistemske rizike, razvoj ili korištenje modela uzrokuju ozbiljan incident, dobavljač UI modela opće namjene trebao bi bez nepotrebne odgode pratiti incident i izvješćivati Komisiju i nacionalna nadležna tijela o svim relevantnim informacijama i mogućim korektivnim mjerama. Nadalje, dobavljači bi trebali osigurati odgovarajuću razinu kibernetičkosigurnosne zaštite modela i njegove fizičke infrastrukture, prema potrebi, tijekom cijelog životnog ciklusa modela. Kibernetičkosigurnosnom zaštitom koja je povezana sa sistemskim rizicima povezanima sa zlonamjernom upotrebom ili napadima trebalo bi na odgovarajući način uzeti u obzir slučajno curenje iz modela, neovlaštena objavljivanja, zaobilaženje sigurnosnih mjera i obranu od kibernetičkih napada, neovlaštenog pristupa ili krađe modela. Ta bi se zaštita mogla olakšati osiguravanjem težinskih faktora modela, algoritama, poslužitelja i skupova podataka, primjerice mjerama operativne sigurnosti za informacijsku sigurnost, posebnim kibernetičkosigurnosnim politikama, odgovarajućim tehničkim i utvrđenim rješenjima te kontrolama kibernetičkog i fizičkog pristupa, koji su primjereni relevantnim okolnostima i uključenim rizicima.
(115)
Los proveedores de modelos de IA de uso general con riesgos sistémicos deben evaluar y mitigar los posibles riesgos sistémicos. Si, a pesar de los esfuerzos por detectar y prevenir los riesgos relacionados con un modelo de IA de uso general que pueda presentar riesgos sistémicos, el desarrollo o el uso del modelo provoca un incidente grave, el proveedor del modelo de IA de uso general debe, sin demora indebida, hacer un seguimiento del incidente y comunicar toda la información pertinente y las posibles medidas correctoras a la Comisión y a las autoridades nacionales competentes. Además, los proveedores deben garantizar que el modelo y su infraestructura física, si procede, tengan un nivel adecuado de protección en materia de ciberseguridad durante todo el ciclo de vida del modelo. La protección en materia de ciberseguridad relacionada con los riesgos sistémicos asociados al uso malintencionado o a los ataques debe tener debidamente en cuenta las fugas accidentales de modelos, las divulgaciones no autorizadas, la elusión de las medidas de seguridad y la defensa contra los ciberataques, el acceso no autorizado o el robo de modelos. Esa protección podría facilitarse asegurando los pesos, los algoritmos, los servidores y los conjuntos de datos del modelo, por ejemplo, mediante medidas de seguridad operativa para la seguridad de la información, medidas específicas en materia de ciberseguridad, soluciones técnicas adecuadas y establecidas y controles de acceso cibernéticos y físicos, en función de las circunstancias pertinentes y los riesgos existentes.
(116)
Ured za umjetnu inteligenciju trebao bi poticati i olakšati izradu, preispitivanje i prilagodbu kodeksâ prakse, uzimajući u obzir međunarodne pristupe. Svi dobavljači UI modela opće namjene mogli bi biti pozvani na sudjelovanje. Kako bi se osiguralo da se kodeksima prakse odražavaju najnovija dostignuća i na odgovarajući način uzimaju u obzir različite perspektive, Ured za umjetnu inteligenciju trebao bi surađivati s relevantnim nacionalnim nadležnim tijelima te bi se, prema potrebi, mogao savjetovati s organizacijama civilnog društva i drugim relevantnim dionicima i stručnjacima, uključujući znanstveno povjerenstvo, radi izrade takvih kodeksa. Kodeksi prakse trebali bi obuhvaćati obveze dobavljača UI modela opće namjene i UI modela opće namjene koji predstavljaju sistemske rizike. Osim toga, kad je riječ o sistemskim rizicima, kodeksi prakse trebali bi pomoći u uspostavi taksonomije vrste i prirode sistemskih rizika na razini Unije, uključujući njihove izvore. Kodeksi prakse trebali bi biti usmjereni i na posebne mjere procjene i ublažavanja rizika.
(116)
La Oficina de IA debe fomentar y facilitar la elaboración, revisión y adaptación de códigos de buenas prácticas, teniendo en cuenta los enfoques internacionales. Podría invitarse a participar a todos los proveedores de modelos de IA de uso general. Para garantizar que los códigos de buenas prácticas reflejen el estado actual de la técnica y tengan debidamente en cuenta perspectivas distintas, la Oficina de IA debe colaborar con las autoridades nacionales competentes pertinentes y, cuando proceda, podrá consultar a organizaciones de la sociedad civil y a otras partes interesadas y expertos pertinentes, incluido el Grupo de Expertos Científicos, por lo que respecta a la elaboración de dichos códigos. Los códigos de buenas prácticas deben comprender las obligaciones de los proveedores de modelos de IA de uso general y de modelos de IA de uso general que presenten riesgos sistémicos. Además, en lo que respecta a los riesgos sistémicos, los códigos de buenas prácticas deben ayudar a establecer una taxonomía de riesgos en la que figuren el tipo y la naturaleza de los riesgos sistémicos a escala de la Unión, incluidas sus fuentes. Asimismo, los códigos de buenas prácticas deben centrarse en medidas específicas de evaluación y reducción de riesgos.
(117)
Kodeksi prakse trebali bi biti središnji alat za pravilno ispunjavanje obveza predviđenih na temelju ove Uredbe za dobavljače UI modela opće namjene. Dobavljači bi se trebali moći osloniti na kodekse prakse kako bi dokazali ispunjavanje obveza. Komisija provedbenim aktima može odlučiti odobriti kodeks prakse i učiniti ga općenito valjanim u Uniji ili, alternativno, utvrditi zajednička pravila za provedbu relevantnih obveza ako do početka primjene ove Uredbe kodeks prakse ne može biti dovršen ili ga Ured za umjetnu inteligenciju ne smatra adekvatnim. Nakon što se usklađena norma objavi i Ured za umjetnu inteligenciju ocijeni je prikladnom za obuhvaćanje relevantnih obveza, ispunjavanje europske usklađene norme dobavljačima bi trebalo omogućiti pretpostavku sukladnosti. Nadalje, dobavljači UI modela opće namjene trebali bi moći dokazati ispunjavanje obveza s pomoću alternativnih odgovarajućih sredstava ako kodeksi prakse ili usklađene norme nisu dostupni ili ako odluče da se neće oslanjati na njih.
(117)
Los códigos de buenas prácticas deben constituir una herramienta fundamental para el cumplimiento adecuado de las obligaciones previstas en el presente Reglamento para los proveedores de modelos de IA de uso general. Los proveedores deben poder basarse en códigos de buenas prácticas para demostrar el cumplimiento de las obligaciones. Mediante actos de ejecución, la Comisión podrá decidir aprobar un código de buenas prácticas y conferirle una validez general dentro de la Unión o, alternativamente, establecer normas comunes para la puesta en práctica de las obligaciones pertinentes si, para el momento en que el presente Reglamento sea aplicable, no ha podido finalizarse un código de buenas prácticas o la Oficina de IA no lo considera adecuado. Una vez que se haya publicado una norma armonizada y que la Oficina de IA la considere adecuada para cubrir las obligaciones pertinentes, el cumplimiento de una norma armonizada europea debe dar a los proveedores la presunción de conformidad. Además, los proveedores de modelos de IA de uso general deben poder demostrar el cumplimiento utilizando medios alternativos adecuados si no se dispone de códigos de buenas prácticas o de normas armonizadas, o si deciden no basarse en ellos.
(118)
Ovom se Uredbom reguliraju UI sustavi i modeli uvođenjem određenih zahtjeva i obveza za relevantne aktere na tržištu koji ih stavljaju na tržište ili u upotrebu ili ih upotrebljavaju u Uniji, čime se dopunjuju obveze pružatelja usluga posredovanja koji takve sustave ili modele ugrađuju u svoje usluge regulirane Uredbom (EU) 2022/2065. U mjeri u kojoj su takvi sustavi ili modeli ugrađeni u određene vrlo velike internetske platforme ili vrlo velike internetske tražilice, na njih se primjenjuje okvir za upravljanje rizicima predviđen u Uredbi (EU) 2022/2065. Stoga bi trebalo pretpostaviti da su odgovarajuće obveze iz ove Uredbe ispunjene, osim ako se u takvim modelima pojave znatni sistemski rizici koji nisu obuhvaćeni Uredbom (EU) 2022/2065. Unutar tog okvira pružatelji vrlo velikih internetskih platformi i vrlo velikih internetskih tražilica obvezni su procijeniti potencijalne sistemske rizike koji proizlaze iz dizajna, funkcioniranja i korištenja njihovih usluga, uključujući način na koji dizajn algoritamskih sustava koji se upotrebljavaju u usluzi može doprinijeti takvim rizicima, kao i sistemske rizike koji proizlaze iz mogućih pogrešnih upotreba. Ti su pružatelji također obvezni poduzeti odgovarajuće mjere za ublažavanje rizika za temeljna prava.
(118)
El presente Reglamento regula los sistemas de IA y modelos de IA imponiendo determinados requisitos y obligaciones a los agentes pertinentes del mercado que los introduzcan en el mercado, los pongan en servicio o los utilicen en la Unión, complementando así las obligaciones de los prestadores de servicios intermediarios que integren dichos sistemas o modelos en sus servicios, regulados por el Reglamento (UE) 2022/2065. En la medida en que dichos sistemas o modelos estén integrados en plataformas en línea de muy gran tamaño o en motores de búsqueda en línea de muy gran tamaño que hayan sido designados, están sujetos al marco de gestión de riesgos establecido en el Reglamento (UE) 2022/2065. Por consiguiente, debe presumirse que se han cumplido las obligaciones correspondientes del presente Reglamento a menos que surjan riesgos sistémicos significativos no cubiertos por el Reglamento (UE) 2022/2065 y se detecten en dichos modelos. En este marco, los prestadores de plataformas en línea de muy gran tamaño y de motores de búsqueda en línea de muy gran tamaño están obligados a evaluar los posibles riesgos sistémicos derivados del diseño, el funcionamiento y el uso de sus servicios, incluido el modo en que el diseño de los sistemas algorítmicos utilizados en el servicio puede contribuir a dichos riesgos, así como los riesgos sistémicos derivados de posibles usos indebidos. Dichos prestadores también están obligados a adoptar las medidas de reducción de riesgos adecuadas respetando los derechos fundamentales.
(119)
S obzirom na brz tempo inovacija i tehnološki razvoj digitalnih usluga u području primjene različitih instrumenata prava Unije, posebno imajući na umu upotrebu i percepciju njihovih primatelja, UI sustavi koji podliježu ovoj Uredbi mogu se pružati kao usluge posredovanja ili njihovi dijelovi u smislu Uredbe (EU) 2022/2065, koje bi trebalo tumačiti na tehnološki neutralan način. Na primjer, UI sustavi mogu se upotrebljavati za pružanje internetskih tražilica, posebno u mjeri u kojoj UI sustav, kao što je internetski chatbot, u načelu pretražuje sve internetske stranice, zatim uključuje rezultate u svoje postojeće znanje i upotrebljava nadopunjeno znanje kako bi generirao jedan izlazni rezultat koji objedinjuje različite izvore informacija.
(119)
Tomando en consideración el rápido ritmo de innovación y la evolución tecnológica de los servicios digitales incluidos en el ámbito de aplicación de diferentes instrumentos del Derecho de la Unión, en particular teniendo en cuenta el uso y la percepción de sus destinatarios, los sistemas de IA sujetos al presente Reglamento pueden prestarse como servicios intermediarios, o partes de estos, en el sentido del Reglamento (UE) 2022/2065, que debe interpretarse de manera tecnológicamente neutra. Por ejemplo, los sistemas de IA pueden utilizarse para ofrecer motores de búsqueda en línea, en particular en la medida en que un sistema de IA, como un chatbot en línea, efectúe búsquedas, en principio, en todos los sitios web, incorpore a continuación los resultados a sus conocimientos existentes y utilice los conocimientos actualizados para generar una única información de salida que combine diferentes fuentes de información.
(120)
Nadalje, obveze propisane u ovoj Uredbi za dobavljače i za subjekte koji uvode određene UI sustave kako bi se omogućilo prepoznavanje i otkrivanje umjetno stvorenih ili manipuliranih izlaznih rezultata tih sustava posebno su relevantne za olakšavanje djelotvorne provedbe Uredbe (EU) 2022/2065. To se posebno odnosi na obveze pružatelja vrlo velikih internetskih platformi ili vrlo velikih internetskih tražilica da utvrde i ublaže sistemske rizike koji mogu proizaći iz širenja umjetno stvorenog ili manipuliranog sadržaja, posebno rizik od stvarnih ili predvidljivih negativnih učinaka na demokratske procese, građanski diskurs i izborne procese, među ostalim dezinformiranjem.
(120)
Además, las obligaciones impuestas a los proveedores y a los responsables del despliegue de determinados sistemas de IA en el presente Reglamento destinadas a permitir que se detecte y divulgue que los resultados de salida de dichos sistemas han sido generados o manipulados de manera artificial resultan especialmente pertinentes para facilitar la aplicación efectiva del Reglamento (UE) 2022/2065. Esto se aplica en particular a las obligaciones de los prestadores de plataformas en línea de muy gran tamaño o de motores de búsqueda en línea de muy gran tamaño de detectar y mitigar los riesgos sistémicos que pueden surgir de la divulgación de contenidos que hayan sido generados o manipulados de manera artificial, en particular el riesgo de los efectos negativos reales o previsibles sobre los procesos democráticos, el discurso cívico y los procesos electorales, también a través de la desinformación.
(121)
Normizacija bi trebala imati ključnu ulogu u pružanju tehničkih rješenja dobavljačima kako bi se osigurala usklađenost s ovom Uredbom, u skladu s najnovijim dostignućima, kako bi se promicale inovacije te konkurentnost i rast na jedinstvenom tržištu. Poštovanje usklađenih normi kako su definirane u članku 2. točki 1. podtočki (c) Uredbe (EU) br. 1025/2012 Europskog parlamenta i Vijeća (41), za koje se obično očekuje da odražavaju najnovija dostignuća, trebalo bi biti sredstvo kojim će dobavljači dokazivati sukladnost sa zahtjevima ove Uredbe. Stoga bi u skladu s člancima 5. i 6. Uredbe (EU) br. 1025/2012 trebalo poticati uravnoteženu zastupljenost interesa koja uključuje sve relevantne dionike u razvoju normi, posebno MSP-ove, organizacije potrošača te dionike u području okoliša i socijalne dionike. Kako bi se olakšala sukladnost, Komisija bi trebala izdati zahtjeve za normizaciju bez nepotrebne odgode. Pri izradi zahtjeva za normizaciju Komisija bi se trebala savjetovati sa savjetodavnim forumom i Vijećem za umjetnu inteligenciju kako bi obuhvatila relevantno stručno znanje. Međutim, u nedostatku relevantnih upućivanja na usklađene norme, Komisija bi trebala moći provedbenim aktima i nakon savjetovanja sa savjetodavnim forumom utvrditi zajedničke specifikacije za određene zahtjeve na temelju ove Uredbe. Zajednička specifikacija trebala bi biti iznimno zamjensko rješenje kako bi se dobavljaču olakšalo ispunjavanje zahtjeva iz ove Uredbe kada nijedna europska organizacija za normizaciju nije prihvatila zahtjev za normizaciju ili kada se relevantnim usklađenim normama u nedovoljnoj mjeri rješavaju problemi u području temeljnih prava ili kada usklađene norme nisu u skladu sa zahtjevom ili kada dođe do kašnjenja u donošenju odgovarajuće usklađene norme. Ako je takvo kašnjenje u donošenju usklađene norme posljedica tehničke složenosti te norme, Komisija bi to trebala razmotriti prije razmatranja utvrđivanja zajedničkih specifikacija. Pri izradi zajedničkih specifikacija Komisiju se potiče na suradnju s međunarodnim partnerima i međunarodnim tijelima za normizaciju.
(121)
La normalización debe desempeñar un papel fundamental para proporcionar soluciones técnicas a los proveedores para garantizar el cumplimiento del presente Reglamento, en consonancia con el estado actual de la técnica, para promover la innovación, así como la competitividad y el crecimiento en el mercado único. El cumplimiento de las normas armonizadas definidas en el artículo 2, punto 1, letra c), del Reglamento (UE) n.o 1025/2012 del Parlamento Europeo y del Consejo (41), que generalmente se espera que reflejen el estado actual de la técnica, debe ser un medio para que los proveedores demuestren la conformidad con los requisitos previstos en el presente Reglamento. Por consiguiente, debe fomentarse una representación equilibrada de los intereses de todas las partes interesadas pertinentes —en particular las pymes, las organizaciones de consumidores y las partes interesadas de los ámbitos social y medioambiental— en la elaboración de normas, de conformidad con los artículos 5 y 6 del Reglamento (UE) n.o 1025/2012. A fin de facilitar el cumplimiento, la Comisión debe emitir las peticiones de normalización sin demora indebida. Al preparar la petición de normalización, la Comisión debe consultar al foro consultivo y al Consejo de IA para recabar los conocimientos especializados pertinentes. No obstante, a falta de referencias pertinentes a las normas armonizadas, la Comisión debe poder establecer, mediante actos de ejecución y previa consulta al foro consultivo, especificaciones comunes para determinados requisitos previstos en el presente Reglamento. Las especificaciones comunes deben ser una solución alternativa excepcional para facilitar la obligación del proveedor de cumplir los requisitos del presente Reglamento cuando ninguna de las organizaciones europeas de normalización haya aceptado la petición de normalización, cuando las normas armonizadas pertinentes respondan de forma insuficiente a las preocupaciones en materia de derechos fundamentales, cuando las normas armonizadas no cumplan la petición o cuando se produzcan retrasos en la adopción de una norma armonizada adecuada. Cuando dichos retrasos en la adopción de una norma armonizada se deban a la complejidad técnica de dicha norma, la Comisión debe tenerlo en cuenta antes de considerar la posibilidad de establecer especificaciones comunes. Se anima a la Comisión a que, a la hora de elaborar especificaciones comunes, coopere con los socios internacionales y los organismos internacionales de normalización.
(122)
Ne dovodeći u pitanje upotrebu usklađenih normi i zajedničkih specifikacija, primjereno je da se za dobavljače visokorizičnog UI sustava koji je treniran i testiran na podacima koji odražavaju specifično zemljopisno, bihevioralno, kontekstualno ili funkcionalno okružje u kojem se UI sustav namjerava upotrebljavati smatra da su sukladni s relevantnom mjerom predviđenom u zahtjevu u pogledu upravljanja podacima utvrđenom u ovoj Uredbi. Ne dovodeći u pitanje zahtjeve koji se odnose na otpornost i točnost utvrđene u ovoj Uredbi, u skladu s člankom 54. stavkom 3. Uredbe (EU) 2019/881, za visokorizične UI sustave koji su certificirani ili za koje je izdana izjava o sukladnosti u okviru programa kibernetičke sigurnosti na temelju te uredbe i na koje su objavljena upućivanja u Službenom listu Europske unije trebalo bi pretpostaviti da ispunjavaju kibernetičkosigurnosne zahtjeve iz ove Uredbe u mjeri u kojoj certifikat o kibernetičkoj sigurnosti ili izjava o sukladnosti ili njihovi dijelovi obuhvaćaju kibernetičkosigurnosne zahtjeve iz ove Uredbe. Time se i dalje ne dovodi u pitanje dobrovoljna priroda tog programa kibernetičke sigurnosti.
(122)
Conviene que, sin perjuicio del uso de normas armonizadas y especificaciones comunes, se presuma que los proveedores de un sistema de IA de alto riesgo que haya sido entrenado y probado con datos que reflejan el entorno geográfico, conductual, contextual o funcional específico en el que esté previsto que se utilice el sistema de IA cumplen la medida pertinente prevista en el requisito en materia de gobernanza de datos establecido en el presente Reglamento. Sin perjuicio de los requisitos relacionados con la solidez y la precisión establecidos en el presente Reglamento, de conformidad con el artículo 54, apartado 3, del Reglamento (UE) 2019/881, debe presumirse que los sistemas de IA de alto riesgo que cuenten con una certificación o una declaración de conformidad en virtud de un esquema de certificación de la ciberseguridad con arreglo a dicho Reglamento y cuyas referencias se hayan publicado en el Diario Oficial de la Unión Europea cumplen el requisito de ciberseguridad del presente Reglamento en la medida en que el certificado de ciberseguridad o la declaración de conformidad, o partes de estos, contemplen dicho requisito. Esto se entiende sin perjuicio del carácter voluntario de dicho esquema de ciberseguridad.
(123)
Kako bi se osigurala visoka razina pouzdanosti visokorizičnih UI sustava, ti bi sustavi trebali podlijegati ocjenjivanju sukladnosti prije njihova stavljanja na tržište ili u upotrebu.
(123)
A fin de garantizar que los sistemas de IA de alto riesgo sean altamente fiables, debe someterse a dichos sistemas a una evaluación de la conformidad antes de su introducción en el mercado o puesta en servicio.
(124)
Kako bi se opterećenje za operatere svelo na najmanju moguću mjeru i izbjeglo moguće udvostručavanje, za visokorizične UI sustave povezane s proizvodima koji su obuhvaćeni postojećim zakonodavstvom Unije o usklađivanju na temelju novog zakonodavnog okvira, usklađenost tih UI sustava sa zahtjevima ove Uredbe trebala bi se ocjenjivati u okviru ocjenjivanja sukladnosti koje je već predviđeno u tom pravu. Primjenjivost zahtjevâ ove Uredbe stoga ne bi trebala utjecati na specifičnu logiku, metodologiju ili opću strukturu ocjenjivanja sukladnosti na temelju relevantnog zakonodavstva Unije o usklađivanju.
(124)
Para reducir al mínimo la carga que deben soportar los operadores y evitar posibles duplicidades, conviene, en el caso de los sistemas de IA de alto riesgo asociados a productos regulados por la legislación de armonización de la Unión vigente basada en el nuevo marco legislativo, que la conformidad de dichos sistemas de IA con los requisitos establecidos en el presente Reglamento se evalúe en el marco de la evaluación de la conformidad ya prevista en dicha legislación. Por lo tanto, la aplicabilidad de los requisitos del presente Reglamento no debe afectar a la lógica, la metodología o la estructura general específicas de la evaluación de la conformidad prevista en los actos legislativos de armonización pertinentes de la Unión.
(125)
S obzirom na složenost visokorizičnih UI sustava i s njima povezane rizike, važno je razviti odgovarajući sustav postupka ocjenjivanja sukladnosti visokorizičnih UI sustava koji uključuje prijavljena tijela, tzv. ocjenjivanje sukladnosti koje provodi treća strana. Međutim, s obzirom na trenutačno iskustvo profesionalnih certifikatora proizvoda prije stavljanja na tržište u području sigurnosti proizvoda i različitu prirodu uključenih rizika, primjereno je, barem u početnoj fazi primjene ove Uredbe, ograničiti područje primjene ocjenjivanja sukladnosti visokorizičnih UI sustava koje provodi treća strana, osim za one sustave koji su povezani s proizvodima. Stoga bi ocjenjivanje sukladnosti takvih sustava u pravilu trebao provoditi dobavljač na vlastitu odgovornost, uz jedinu iznimku UI sustava namijenjenih za biometriju.
(125)
Dada la complejidad de los sistemas de IA de alto riesgo y los riesgos asociados a ellos, es importante desarrollar un procedimiento adecuado de evaluación de la conformidad de los sistemas de IA de alto riesgo en el que participen organismos notificados, denominado «evaluación de la conformidad de terceros». No obstante, habida cuenta de la experiencia actual de los profesionales que realizan la certificación previa a la comercialización en el campo de la seguridad de los productos y de la distinta naturaleza de los riesgos implicados, procede limitar, al menos en la fase inicial de aplicación del presente Reglamento, el alcance de las evaluaciones externas de la conformidad a los sistemas de IA de alto riesgo que no están asociados a productos. En consecuencia, el proveedor es quien, por norma general, debe llevar a cabo la evaluación de la conformidad de dichos sistemas bajo su propia responsabilidad, con la única excepción de los sistemas de IA que están destinados a utilizarse para la biometría.
(126)
Za ocjenjivanje sukladnosti koje provodi treća strana kada je to potrebno, nacionalna nadležna tijela trebala bi na temelju ove Uredbe prijavljivati prijavljena tijela, pod uvjetom da ispunjavaju niz zahtjeva, ponajprije u pogledu neovisnosti, kompetentnosti, nepostojanja sukoba interesa i odgovarajućih kibernetičkosigurnosnih zahtjeva. Nacionalna nadležna tijela trebala bi Komisiji i drugim državama članicama slati obavijesti o prijavljivanju tih tijela pomoću alata za elektroničko prijavljivanje koji je razvila i kojim upravlja Komisija u skladu s člankom R23. Priloga I. Odluci br. 768/2008/EZ.
(126)
Para poder realizar las evaluaciones de la conformidad de terceros cuando así se les exija, las autoridades nacionales competentes deben notificar, en virtud del presente Reglamento, a los organismos notificados, siempre que cumplan una serie de requisitos, en particular en lo que respecta a su independencia, sus competencias y la ausencia de conflictos de intereses, así como requisitos adecuados de ciberseguridad. Las autoridades nacionales competentes deben enviar la notificación de dichos organismos a la Comisión y a los demás Estados miembros a través del sistema de notificación electrónica desarrollado y gestionado por la Comisión con arreglo a lo dispuesto en el artículo R23 del anexo I de la Decisión n.o 768/2008/CE.
(127)
U skladu s obvezama Unije na temelju Sporazuma Svjetske trgovinske organizacije o tehničkim preprekama u trgovini primjereno je olakšati uzajamno prihvaćanje rezultata ocjenjivanja sukladnosti koje su proizvela nadležna tijela za ocjenjivanje sukladnosti, bez obzira na to na kojem području imaju poslovni nastan, pod uvjetom da ta tijela za ocjenjivanje sukladnosti osnovana na temelju prava treće zemlje ispunjavaju primjenjive zahtjeve ove Uredbe i da je Unija sklopila odgovarajući sporazum. U tom kontekstu Komisija bi trebala aktivno istražiti moguće međunarodne instrumente u tu svrhu, a posebno nastojati sklopiti sporazume o uzajamnom priznavanju s trećim zemljama.
(127)
En consonancia con los compromisos contraídos por la Unión en virtud del Acuerdo sobre Obstáculos Técnicos al Comercio, de la Organización Mundial del Comercio, es adecuado facilitar el reconocimiento mutuo de los resultados de las evaluaciones de la conformidad realizadas por organismos de evaluación de la conformidad competentes, con independencia del territorio en el que estén establecidos, siempre que dichos organismos de evaluación de la conformidad establecidos con arreglo al Derecho de un tercer país cumplan los requisitos aplicables del presente Reglamento y la Unión haya celebrado un acuerdo en ese sentido. En este contexto, la Comisión debe estudiar activamente posibles instrumentos internacionales a tal efecto y, en particular, procurar celebrar acuerdos de reconocimiento mutuo con terceros países.
(128)
U skladu sa zajednički utvrđenim pojmom znatne izmjene za proizvode regulirane zakonodavstvom Unije o usklađivanju primjereno je da se svaki put kad dođe do promjene koja može utjecati na usklađenost visokorizičnog UI sustava s ovom Uredbom (npr. promjena operativnog sustava ili softverske arhitekture) ili kad se promijeni namjena sustava, taj UI sustav smatra novim UI sustavom koji bi trebao proći novo ocjenjivanje sukladnosti. Međutim, promjene algoritma i učinkovitosti UI sustava koji nakon stavljanja na tržište ili u upotrebu nastavljaju „učiti”, odnosno automatski prilagođavati način izvršavanja funkcija, ne bi trebale predstavljati znatnu izmjenu, pod uvjetom da je te promjene unaprijed odredio dobavljač i da su ocijenjene u trenutku ocjenjivanja sukladnosti.
(128)
En consonancia con el concepto comúnmente establecido de «modificación sustancial» de los productos regulados por los actos legislativos de armonización de la Unión, conviene que, cada vez que se produzca un cambio que pueda afectar al cumplimiento del presente Reglamento por parte de un sistema de IA de alto riesgo (por ejemplo, un cambio de sistema operativo o de arquitectura de software) o cuando cambie la finalidad prevista del sistema, dicho sistema de IA se considere un sistema de IA nuevo que debe someterse a una nueva evaluación de la conformidad. Sin embargo, los cambios que se produzcan en el algoritmo y en el funcionamiento de los sistemas de IA que sigan «aprendiendo» después de su introducción en el mercado o su puesta en servicio, a saber, adaptando automáticamente el modo en que desempeñan sus funciones, no deben constituir una modificación sustancial, siempre que dichos cambios hayan sido predeterminados por el proveedor y se hayan evaluado en el momento de la evaluación de la conformidad.
(129)
Visokorizični UI sustavi trebali bi nositi oznaku CE koja upućuje na njihovu sukladnost s ovom Uredbom kako bi se mogli slobodno kretati na unutarnjem tržištu. Kad je riječ o visokorizičnim UI sustavima ugrađenima u proizvod, fizička oznaka CE trebala bi biti pričvršćena na njih te se može dopuniti digitalnom oznakom CE. Za visokorizične UI sustave koji se pružaju samo digitalno trebalo bi upotrebljavati digitalnu oznaku CE. Države članice ne bi trebale stvarati neopravdane zapreke stavljanju na tržište ili u upotrebu visokorizičnih UI sustava koji ispunjavaju zahtjeve utvrđene u ovoj Uredbi i nose oznaku CE.
(129)
Los sistemas de IA de alto riesgo deben llevar el marcado CE para acreditar su conformidad con el presente Reglamento y así poder circular libremente por el mercado interior. En el caso de los sistemas de IA de alto riesgo integrados en un producto, se debe colocar un marcado CE físico, que puede complementarse con un marcado CE digital. En el caso de los sistemas de IA de alto riesgo que solo se proporcionen digitalmente, debe utilizarse un marcado CE digital. Los Estados miembros no deben crear obstáculos injustificados a la introducción en el mercado o la puesta en servicio de sistemas de IA de alto riesgo que cumplan los requisitos establecidos en el presente Reglamento y lleven el marcado CE.
(130)
Po određenim uvjetima brza dostupnost inovativnih tehnologija može biti ključna za zdravlje i sigurnost osoba, zaštitu okoliša i klimatske promjene te za društvo u cjelini. Stoga je primjereno da bi zbog iznimnih razloga povezanih s javnom sigurnošću ili zaštitom života i zdravlja fizičkih osoba, zaštitom okoliša i ključne industrijske i infrastrukturne imovine, tijela za nadzor tržišta mogla odobriti stavljanje na tržište ili u upotrebu UI sustava za koje nije proveden postupak ocjenjivanja sukladnosti. U propisno opravdanim situacijama, kako je predviđeno u ovoj Uredbi, tijela kaznenog progona ili tijela civilne zaštite mogu staviti u upotrebu određeni visokorizični UI sustav bez odobrenja tijela za nadzor tržišta, pod uvjetom da se takvo odobrenje zatraži tijekom ili nakon korištenja bez nepotrebne odgode.
(130)
En determinadas condiciones, la rápida disponibilidad de tecnologías innovadoras puede ser crucial para la salud y la seguridad de las personas, la protección del medio ambiente y la mitigación del cambio climático, y para la sociedad en su conjunto. Por consiguiente, resulta oportuno que las autoridades de vigilancia del mercado puedan autorizar, por motivos excepcionales de seguridad pública o con vistas a proteger la vida y la salud de personas físicas, el medio ambiente y activos fundamentales de la industria y de las infraestructuras, la introducción en el mercado o la puesta en servicio de sistemas de IA que no hayan sido sometidos a una evaluación de la conformidad. En situaciones debidamente justificadas previstas en el presente Reglamento, las autoridades garantes del cumplimiento del Derecho o las autoridades de protección civil podrán poner en servicio un sistema de IA de alto riesgo específico sin la autorización de la autoridad de vigilancia del mercado, siempre que se solicite la autorización durante el uso o después de este sin demora indebida.
(131)
Kako bi se olakšao rad Komisije i država članica u području umjetne inteligencije i povećala transparentnost prema javnosti, od dobavljača visokorizičnih UI sustava koji nisu povezani s proizvodima obuhvaćenima područjem primjene relevantnog postojećeg zakonodavstva Unije o usklađivanju, kao i dobavljača koji smatraju da pojedini UI sustav naveden u primjerima visokorizične upotrebe iz priloga ovoj Uredbi nije visokorizičan na temelju odstupanja, trebalo bi zahtijevati da sebe i informacije o svojem UI sustavu registriraju u bazi podataka EU-a, koju će uspostaviti i kojom će upravljati Komisija. Prije upotrebi UI sustava navedenog u primjerima visokorizične upotrebe iz priloga ovoj Uredbi subjekti koji uvode visokorizične UI sustave koji su tijela javne vlasti, javne agencije ili javna tijela trebali bi se registrirati u takvoj bazi podataka i odabrati sustav koji namjeravaju upotrebljavati. Ostali subjekti koji uvode sustav trebali bi imati pravo to učiniti dobrovoljno. Taj dio baze podataka EU-a trebao bi biti javno dostupan, besplatno, a informacije bi trebale biti lako dostupne, razumljive i strojno čitljive. Baza podataka EU-a trebala bi biti prilagođena korisnicima, na primjer pružanjem funkcija pretraživanja, među ostalim s pomoću ključnih riječi, čime bi se široj javnosti omogućio pronalazak relevantnih informacija koje treba dostaviti nakon registracije visokorizičnih UI sustava i relevantnih informacija o slučaju upotrebe visokorizičnih UI sustava navedenih u prilogu ovoj Uredbi, kojima visokorizični UI sustavi odgovaraju. Svaka bitna izmjena visokorizičnih UI sustava također bi se trebala registrirati u bazi podataka EU-a. Kad je riječ o visokorizičnim UI sustavima u područjima kaznenog progona ili migracija, azila i upravljanja nadzorom državne granice, obveze registracije trebale bi se ispuniti u sigurnom dijelu baze podataka EU-a koji nije javan. Pristup sigurnom dijelu koji nije javan trebao bi biti strogo ograničen na Komisiju i tijela za nadzor tržišta na čiju se državu odnosi taj dio baze podataka. Visokorizične UI sustave u području kritične infrastrukture trebalo bi registrirati samo na nacionalnoj razini. Komisija bi trebala biti voditelj obrade baze podataka EU-a, u skladu s Uredbom (EU) 2018/1725. Kako bi baza podataka EU-a bila posve funkcionalna od puštanja u rad, postupak njezina uspostavljanja trebao bi uključivati razvoj funkcionalnih specifikacija, što je zadaća Komisije, te neovisno revizorsko izvješće. Komisija bi pri obavljanju svojih zadaća voditelja obrade podataka u bazi podataka EU-a trebala uzeti u obzir rizike povezane s kibernetičkom sigurnosti. Kako bi se maksimalno povećale dostupnost i upotreba baze podataka EU-a u javnosti, baza podataka EU-a, uključujući podatke koji su u njoj dostupni, trebala bi ispunjavati zahtjeve iz Direktive (EU) 2019/882.
(131)
Con el objetivo de facilitar la labor de la Comisión y de los Estados miembros en el ámbito de la IA, así como de incrementar la transparencia de cara al público, debe exigirse a los proveedores de sistemas de IA de alto riesgo que no estén asociados a productos que entren dentro del ámbito de aplicación de los actos legislativos de armonización de la Unión que sean pertinentes y estén en vigor, y a los proveedores que consideren que alguno de los sistemas de IA enumerados en los casos de uso de alto riesgo en un anexo del presente Reglamento no es de alto riesgo sobre la base de una excepción que se registren y que registren información sobre sus sistemas de IA en una base de datos de la UE, de cuya creación y gestión se encargará la Comisión. Antes de utilizar tal sistema de IA enumerado en los casos de uso de alto riesgo en un anexo del presente Reglamento, los responsables del despliegue de sistemas de IA de alto riesgo que sean autoridades, órganos u organismos públicos deben registrarse en dicha base de datos y seleccionar el sistema que tengan previsto utilizar. Los demás responsables del despliegue deben poder efectuar dicho registro con carácter voluntario. Esta sección de la base de datos de la UE debe ser de acceso público y gratuito, debe ser fácil navegar por la información, y esta ha de ser comprensible y legible por máquina. La base de datos de la UE también debe ser fácil de utilizar, por ejemplo, proporcionando funcionalidades de búsqueda, también a través de palabras clave, que permitan al público en general encontrar la información que debe presentarse para el registro de los sistemas de IA de alto riesgo y relativa a los casos de uso de sistemas de IA de alto riesgo contemplados en un anexo del presente Reglamento, a la que corresponden los sistemas de IA de alto riesgo. También debe registrarse en la base de datos de la UE toda modificación sustancial de sistemas de IA de alto riesgo. En el caso de los sistemas de IA de alto riesgo en el ámbito de la garantía del cumplimiento del Derecho y de la gestión de la migración, el asilo y el control fronterizo, las obligaciones de registro deben cumplirse en una sección segura no pública de la base de datos de la UE. El acceso a esa sección debe limitarse estrictamente a la Comisión y a las autoridades de vigilancia del mercado en lo que respecta a su sección nacional de dicha base de datos. Los sistemas de IA de alto riesgo en el ámbito de las infraestructuras críticas solo deben registrarse a nivel nacional. La Comisión debe ser la responsable del tratamiento de la base de datos de la UE, de conformidad con el Reglamento (UE) 2018/1725. Con vistas a garantizar la funcionalidad plena de la base de datos de la UE una vez que esté en funcionamiento, el procedimiento para su creación debe comprender el desarrollo de especificaciones funcionales por parte de la Comisión y la redacción de un informe de auditoría independiente. Al ejercer sus funciones como responsable del tratamiento de la base de datos de la UE, la Comisión debe tener en cuenta los riesgos de ciberseguridad. Con el fin de maximizar la disponibilidad y el uso de la base de datos de la UE por parte del público, la base de datos de la UE y la información facilitada a través de ella deben cumplir los requisitos establecidos en la Directiva (UE) 2019/882.
(132)
Kod određenih UI sustava namijenjenih interakciji s fizičkim osobama ili generiranju sadržaja mogu postojati posebni rizici u pogledu lažnog predstavljanja ili obmanjivanja, bez obzira na to smatraju li se visokorizičnima. Korištenje tih sustava stoga bi u određenim okolnostima trebalo podlijegati posebnim obvezama u pogledu transparentnosti, ne dovodeći u pitanje zahtjeve i obveze za visokorizične UI sustave, i ciljanim iznimkama kako bi se uzela u obzir posebna potreba kaznenog progona. Osobito bi fizičke osobe trebalo obavijestiti o tome da su u interakciji s UI sustavom, osim ako je to očito sa stajališta razmjerno dobro informirane, pronicljive i oprezne fizičke osobe, uzimajući u obzir okolnosti i kontekst upotrebe. Pri provedbi te obveze trebalo bi uzeti u obzir karakteristike fizičkih osoba koje pripadaju skupinama ranjivih osoba zbog svoje dobi ili invaliditeta u mjeri u kojoj je UI sustav namijenjen i interakciji s tim skupinama. Nadalje, fizičke osobe trebalo bi obavijestiti kada su izložene UI sustavima koji obradom njihovih biometrijskih podataka mogu identificirati emocije, izvoditi zaključke o njihovim emocijama ili namjerama ili te osobe razvrstati u određene kategorije. Te se određene kategorije mogu odnositi na aspekte kao što su spol, dob, boja kose, boja očiju, tetovaže, osobna obilježja, etničko podrijetlo, osobne preferencije i interesi. Takve informacije i obavijesti trebale bi se davati u oblicima koji su pristupačni osobama s invaliditetom.
(132)
Determinados sistemas de IA destinados a interactuar con personas físicas o a generar contenidos pueden plantear riesgos específicos de suplantación o engaño, con independencia de si cumplen las condiciones para ser considerados como de alto riesgo o no. Por consiguiente, el uso de estos sistemas debe estar sujeto, en determinadas circunstancias, a obligaciones de transparencia específicas, sin perjuicio de los requisitos y las obligaciones aplicables a los sistemas de IA de alto riesgo y a excepciones específicas a fin de tener en cuenta las necesidades especiales de la garantía del cumplimiento del Derecho. En particular, es preciso comunicar a las personas físicas que están interactuando con un sistema de IA, excepto cuando resulte evidente desde el punto de vista de una persona física normalmente informada y razonablemente atenta y perspicaz, teniendo en cuenta las circunstancias y el contexto de utilización. Al aplicar dicha obligación, deben tenerse en cuenta las características de las personas físicas pertenecientes a colectivos vulnerables debido a su edad o discapacidad en la medida en que el sistema de IA esté destinado a interactuar también con dichos colectivos. Además, es preciso notificar a las personas físicas cuando estén expuestas a sistemas de IA que, mediante el tratamiento de sus datos biométricos, puedan determinar o inferir sus emociones o intenciones o incluirlas en categorías específicas. Estas categorías específicas pueden referirse a aspectos como el sexo, la edad, el color del pelo, el color de ojos, los tatuajes, los rasgos personales, el origen étnico o las preferencias e intereses personales. Esta información y estas notificaciones deben facilitarse en formatos accesibles a las personas con discapacidad.
(133)
Različiti UI sustavi mogu generirati velike količine sintetičkog sadržaja koji ljudima postaje sve teže razlikovati od autentičnog sadržaja koji je stvorio čovjek. Široka dostupnost i sve veće sposobnosti tih sustava znatno utječu na integritet informacijskog ekosustava i povjerenje u njega, pri čemu dovode do novih rizika od široko rasprostranjenih dezinformacija i manipulacije, prijevara, lažnog predstavljanja i obmanjivanja potrošača. S obzirom na te učinke, brz tehnološki razvoj i potrebu za novim metodama i tehnikama za praćenje podrijetla informacija, primjereno je od dobavljača tih sustava zahtijevati da ugrade tehnička rješenja koja omogućuju označivanje u strojno čitljivom formatu i prepoznavanje toga da je izlazni rezultat generirao ili je njime manipulirao UI sustav, a ne čovjek. Takve tehnike i metode trebale bi biti dovoljno pouzdane, interoperabilne, učinkovite i pouzdane u mjeri u kojoj je to tehnički izvedivo, uzimajući u obzir raspoložive tehnike ili kombinaciju takvih tehnika, kao što su vodeni žigovi, identifikacija metapodataka, kriptografske metode za dokazivanje podrijetla i autentičnosti sadržaja, metode evidentiranja, otisci prstiju ili druge tehnike, ovisno o slučaju. Pri provedbi te obveze dobavljači bi trebali uzeti u obzir i posebnosti i ograničenja različitih vrsta sadržaja te relevantna tehnološka i tržišna kretanja u tom području, kako se odražavaju u općepriznatim najnovijim dostignućima. Takve tehnike i metode mogu se primijeniti na razini UI sustava ili na razini UI modela, uključujući UI modele opće namjene koji generiraju sadržaj, čime se dobavljaču UI sustava niže u lancu olakšava ispunjavanje te obveze. Kako bi i dalje bila razmjerna, primjereno je predvidjeti da ta obveza označivanja ne bi trebala obuhvaćati UI sustave koji prvenstveno imaju pomoćnu funkciju za standardno uređivanje ili UI sustave koji bitno ne mijenjaju ulazne podatke koje pruža subjekt koji uvodi sustav ili njihovu semantiku.
(133)
Una diversidad de sistemas de IA puede generar grandes cantidades de contenidos sintéticos que para las personas cada vez es más difícil distinguir del contenido auténtico generado por seres humanos. La amplia disponibilidad y las crecientes capacidades de dichos sistemas tienen importantes repercusiones en la integridad del ecosistema de la información y en la confianza en este, haciendo surgir nuevos riesgos de desinformación y manipulación a escala, fraude, suplantación de identidad y engaño a los consumidores. En vista de estos efectos, el rápido desarrollo tecnológico y la necesidad de nuevos métodos y técnicas para asegurar la trazabilidad del origen de la información, procede exigir a los proveedores de tales sistemas que integren soluciones técnicas que permitan marcar, en un formato legible por máquina, y detectar que el resultado de salida ha sido generado o manipulado por un sistema de IA y no por un ser humano. Dichas técnicas y métodos deben ser lo suficientemente fiables, interoperables, eficaces y sólidos, en la medida en que sea técnicamente viable, teniendo en cuenta las técnicas disponibles o una combinación de dichas técnicas, como marcas de agua, identificación de metadatos, métodos criptográficos para demostrar la procedencia y la autenticidad del contenido, métodos de registro, impresiones dactilares u otras técnicas, según proceda. A la hora de aplicar esta obligación, los proveedores también deben tener en cuenta las especificidades y las limitaciones de los diferentes tipos de contenidos y los avances tecnológicos y del mercado pertinentes en ese ámbito, tal como se refleja en el estado de la técnica generalmente reconocido. Dichas técnicas y métodos pueden implantarse a nivel de sistema de IA o a nivel de modelo de IA, incluidos modelos de IA de uso general que generan contenidos, facilitando así el cumplimiento de esta obligación por parte del proveedor posterior del sistema de IA. Para garantizar la proporcionalidad, conviene prever que esta obligación de marcado no se aplique a los sistemas de IA que desempeñen una función de apoyo a la edición estándar o no alteren sustancialmente los datos de entrada facilitados por el responsable del despliegue o su semántica.
(134)
Uz tehnička rješenja koja primjenjuju dobavljači sustava, subjekti koji uvode UI sustav, koji upotrebljavaju UI sustav za generiranje slikovnog sadržaja, audiosadržaja ili videosadržaja u kojem postoji znatna sličnost s postojećim osobama, predmetima, mjestima, subjektima ili događajima i koji bi se nekome lažno činio vjerodostojnim ili istinitim (uvjerljiv krivotvoreni sadržaj, eng. deep fakes) te za manipuliranje takvim sadržajem, također bi trebali jasno istaknuti da je sadržaj umjetno stvoren ili da je njime manipulirano označivanjem izlaznih rezultata umjetne inteligencije i navođenjem njegova umjetnog podrijetla. Usklađenost s tom obvezom transparentnosti ne bi se trebala tumačiti niti kao da upućuje na to da se korištenjem UI sustava ili njegovih izlaznih rezultata ugrožava pravo na slobodu izražavanja i pravo na slobodu umjetnosti i znanosti koja su zajamčena Poveljom, posebno ako je sadržaj očito dio kreativnog, satiričkog, umjetničkog, fiktivnog ili analognog djela ili programa, podložno odgovarajućim zaštitnim mjerama za prava i slobode trećih strana. U tim je slučajevima obveza transparentnosti za uvjerljiv krivotvoreni sadržaj utvrđena u ovoj Uredbi ograničena na otkrivanje postojanja takvog generiranog ili manipuliranog sadržaja na odgovarajući način kojim se ne ometa prikazivanje djela ili uživanje u njemu, uključujući njegovo uobičajeno iskorištavanje i upotrebu, uz istodobno održavanje korisnosti i kvalitete djela. Osim toga, primjereno je predvidjeti sličnu obvezu otkrivanja u odnosu na tekst stvoren ili manipuliran umjetnom inteligencijom u mjeri u kojoj se objavljuje u svrhu informiranja javnosti o pitanjima od javnog interesa, osim ako je sadržaj stvoren umjetnom inteligencijom prošao proces preispitivanja koje provodi čovjek ili uredničku kontrolu i ako fizička ili pravna osoba snosi uredničku odgovornost za objavu sadržaja.
(134)
Además de las soluciones técnicas utilizadas por los proveedores del sistema de IA, los responsables del despliegue que utilicen un sistema de IA para generar o manipular un contenido de imagen, audio o vídeo generado o manipulado por una IA que se asemeje notablemente a personas, objetos, lugares, entidades o sucesos reales y que puede inducir a una persona a pensar erróneamente que son auténticos o verídicos (ultrasuplantaciones) deben también hacer público, de manera clara y distinguible, que este contenido ha sido creado o manipulado de manera artificial etiquetando los resultados de salida generados por la IA en consecuencia e indicando su origen artificial. El cumplimiento de esta obligación de transparencia no debe interpretarse como un indicador de que la utilización del sistema de IA o de sus resultados de salida obstaculiza el derecho a la libertad de expresión y el derecho a la libertad de las artes y de las ciencias, garantizados por la Carta, en particular cuando el contenido forme parte de una obra o programa manifiestamente creativos, satíricos, artísticos, de ficción o análogos, con sujeción a unas garantías adecuadas para los derechos y libertades de terceros. En tales casos, la obligación de transparencia en relación con las ultrasuplantaciones establecida en el presente Reglamento se limita a revelar la existencia de tales contenidos generados o manipulados de una manera adecuada que no obstaculice la presentación y el disfrute de la obra, también su explotación y uso normales, al tiempo que se conservan la utilidad y la calidad de la obra. Además, también conviene prever una obligación de divulgación similar en relación con el texto generado o manipulado por una IA en la medida en que se publique con el fin de informar al público sobre asuntos de interés público, a menos que el contenido generado por la IA haya sido sometido a un proceso de revisión humana o de control editorial y que una persona física o jurídica ejerza la responsabilidad editorial de la publicación del contenido.
(135)
Ne dovodeći u pitanje obveznu prirodu i potpunu primjenjivost obveza u pogledu transparentnosti, Komisija može poticati i olakšavati izradu kodeksâ prakse na razini Unije kako bi se olakšala djelotvorna provedba obveza u pogledu otkrivanja i označivanja umjetno stvorenog ili manipuliranog sadržaja, među ostalim i kako bi se poduprla praktična rješenja za osiguravanje dostupnosti, prema potrebi, mehanizama za otkrivanje i olakšavanje suradnje s drugim akterima duž vrijednosnog lanca, širenje sadržaja ili provjera njegove autentičnosti i podrijetla kako bi se javnosti omogućilo djelotvorno prepoznavanje sadržaja stvorenog umjetnom inteligencijom.
(135)
Sin perjuicio del carácter obligatorio y de la plena aplicabilidad de las obligaciones de transparencia, la Comisión podrá también fomentar y facilitar la elaboración de códigos de buenas prácticas a escala de la Unión, a fin de facilitar la aplicación eficaz de las obligaciones en materia de detección y etiquetado de contenidos generados o manipulados de manera artificial, también para apoyar disposiciones prácticas para que, según proceda, los mecanismos de detección sean accesibles y facilitar la cooperación con otros agentes de la cadena de valor, difundiendo los contenidos o comprobando su autenticidad y procedencia, a fin de que el público pueda distinguir efectivamente los contenidos generados por IA.
(136)
Obveze propisane u ovoj Uredbi za dobavljače i za subjekte koji uvode određene UI sustave kako bi se omogućilo prepoznavanje i otkrivanje umjetno stvorenih ili manipuliranih izlaznih rezultata tih sustava posebno su relevantne za olakšavanje djelotvorne provedbe Uredbe (EU) 2022/2065. To se osobito odnosi na obveze pružatelja vrlo velikih internetskih platformi ili vrlo velikih internetskih tražilica da utvrde i ublaže sistemske rizike koji mogu proizaći iz širenja umjetno stvorenog ili manipuliranog sadržaja, posebno rizik od stvarnih ili predvidljivih negativnih učinaka na demokratske procese, građanski diskurs i izborne procese, među ostalim dezinformiranjem. Zahtjevom u pogledu označivanja sadržaja koji generiraju UI sustavi na temelju ove Uredbe ne dovodi se u pitanje obveza iz članka 16. stavka 6. Uredbe (EU) 2022/2065 prema kojoj pružatelji usluga smještaja informacija na poslužitelju moraju obrađivati prijave nezakonitog sadržaja zaprimljene na temelju članka 16. stavka 1. te uredbe i on ne bi trebao utjecati na procjenu i odluku o nezakonitosti određenog sadržaja. Ta bi se ocjena trebala provesti isključivo s obzirom na pravila kojima se uređuje zakonitost sadržaja.
(136)
Las obligaciones impuestas a los proveedores y a los responsables del despliegue de determinados sistemas de IA en el presente Reglamento destinadas a permitir que se detecte y divulgue que los resultados de salida de dichos sistemas han sido generados o manipulados de manera artificial resultan especialmente pertinentes para facilitar la aplicación efectiva del Reglamento (UE) 2022/2065. Esto se aplica en particular en lo referente a las obligaciones de los prestadores de plataformas en línea de muy gran tamaño o de motores de búsqueda en línea de muy gran tamaño para detectar y mitigar los riesgos sistémicos que pueden surgir de la divulgación de contenidos que hayan sido generados o manipulados de manera artificial, en particular el riesgo de los efectos negativos reales o previsibles sobre los procesos democráticos, el discurso cívico y los procesos electorales, como a través de la desinformación. La exigencia de etiquetar los contenidos generados por sistemas de IA con arreglo al presente Reglamento se entiende sin perjuicio de la obligación prevista en el artículo 16, apartado 6, del Reglamento (UE) 2022/2065 para los prestadores de servicios de alojamiento de datos de tratar las notificaciones que reciban sobre contenidos ilícitos en virtud del artículo 16, apartado 1, de dicho Reglamento, y no debe influir en la evaluación y la decisión sobre el carácter ilícito del contenido de que se trate. Dicha evaluación debe realizarse únicamente con referencia a las normas que rigen la legalidad del contenido.
(137)
Sukladnost s obvezama u pogledu transparentnosti za UI sustave obuhvaćene ovom Uredbom ne bi se trebala tumačiti kao da upućuje na to da je upotreba UI sustava ili njegovih izlaznih rezultata zakonita na temelju ove Uredbe ili drugog prava Unije i prava država članica i njome se ne bi trebale dovoditi u pitanje druge obveze u pogledu transparentnosti za subjekte koji uvode UI sustave koje su utvrđene u pravu Unije ili u nacionalnom pravu.
(137)
El cumplimiento de las obligaciones de transparencia aplicables a los sistemas de IA que entran en el ámbito de aplicación del presente Reglamento no debe interpretarse como un indicador de que la utilización del sistema de IA o de sus resultados de salida es lícito en virtud del presente Reglamento o de otras disposiciones del Derecho de la Unión y de los Estados miembros, y debe entenderse sin perjuicio de otras obligaciones de transparencia aplicables a los responsables del despliegue de sistemas de IA establecidas en el Derecho de la Unión o nacional.
(138)
Umjetna inteligencija skup je tehnologija koje se vrlo brzo razvijaju, što zahtijeva regulatorni nadzor i siguran i kontroliran prostor za eksperimentiranje, pri čemu se osigurava da se inovacije razvijaju na odgovoran način te da se integriraju odgovarajuće zaštitne mjere i mjere za ublažavanje rizika. Kako bi se osigurao pravni okvir kojim se promiču inovacije te koji je spreman za buduće promjene i otporan na poremećaje, države članice trebale bi zajamčiti da njihova nacionalna nadležna tijela uspostave barem jedno regulatorno izolirano okruženje za umjetnu inteligenciju na nacionalnoj razini radi lakšeg razvoja i testiranja inovativnih UI sustava pod strogim regulatornim nadzorom prije stavljanja tih sustava na tržište ili u upotrebu. Države članice mogle bi ispuniti tu obvezu i sudjelovanjem u već postojećim regulatornim izoliranim okruženjima ili zajedničkom uspostavom izoliranog okruženja s jednim ili više nadležnih tijela država članica, u mjeri u kojoj se tim sudjelovanjem osigurava jednaka razina nacionalne pokrivenosti za države članice sudionice. Regulatorna izolirana okruženja za umjetnu inteligenciju mogla bi se uspostaviti u fizičkom, digitalnom ili hibridnom obliku te mogu uključivati fizičke i digitalne proizvode. Tijela nadležna za uspostavu regulatornih izoliranih okruženja za umjetnu inteligenciju trebala bi osigurati i da regulatorna izolirana okruženja imaju odgovarajuće resurse za njihovo funkcioniranje, uključujući financijske i ljudske resurse.
(138)
La IA es una familia de tecnologías de rápida evolución que requiere vigilancia regulatoria y un espacio seguro y controlado para la experimentación, así como que se garantice la innovación responsable y la integración de salvaguardias éticas y medidas de reducción de riesgos adecuadas. Para conseguir un marco jurídico que promueva la innovación, resista el paso del tiempo y sea resiliente a las perturbaciones, los Estados miembros deben velar por que sus autoridades nacionales competentes establezcan al menos un espacio controlado de pruebas para la IA a escala nacional que facilite el desarrollo y la prueba de sistemas de IA innovadores bajo una estricta vigilancia regulatoria antes de su introducción en el mercado o puesta en servicio. Los Estados miembros también podrían cumplir esta obligación participando en los espacios controlados de pruebas ya existentes o estableciendo un espacio de pruebas conjuntamente con las autoridades competentes de uno o varios Estados miembros, en la medida en que dicha participación proporcione un nivel de cobertura nacional equivalente para los Estados miembros participantes. Los espacios controlados de pruebas para la IA podrían establecerse de forma física, digital o híbrida y podrán albergar productos tanto físicos como digitales. Las autoridades que los creen deben también garantizar que los espacios controlados de pruebas para la IA dispongan de recursos adecuados para su funcionamiento, incluidos recursos financieros y humanos.
(139)
Ciljevi regulatornih izoliranih okruženja za umjetnu inteligenciju trebali bi biti poticanje inovacija u području umjetne inteligencije uspostavom kontroliranog okruženja za eksperimentiranje i testiranje u fazi razvoja i prije stavljanja na tržište kako bi se osigurala usklađenost inovativnih UI sustava s ovom Uredbom i drugim relevantnim pravom Unije i nacionalnim pravom. Nadalje, regulatornim izoliranim okruženjima za umjetnu inteligenciju trebalo bi nastojati povećati pravnu sigurnost za inovatore, poboljšati nadzor koji provode nadležna tijela i njihovo razumijevanje mogućnosti, novih rizika i učinaka upotrebe umjetne inteligencije, olakšati regulatorno učenje za nadležna tijela i poduzeća, među ostalim radi budućih prilagodbi pravnog okvira, poduprijeti suradnju i razmjenu primjera najbolje prakse s tijelima uključenima u regulatorno izolirano okruženje za umjetnu inteligenciju te ubrzati pristup tržištima, među ostalim uklanjanjem zapreka za MSP-ove, uključujući start-up poduzeća. Regulatorna izolirana okruženja za umjetnu inteligenciju trebala bi biti široko dostupna u cijeloj Uniji, a posebnu pozornost trebalo bi posvetiti njihovoj pristupačnosti za MSP-ove, uključujući start-up poduzeća. Sudjelovanje u regulatornom izoliranom okruženju za umjetnu inteligenciju trebalo bi biti usmjereno na pitanja koja uzrokuju pravnu nesigurnost za dobavljače i potencijalne dobavljače u pogledu inovacija, eksperimentiranja s umjetnom inteligencijom u Uniji i doprinosa regulatornom učenju utemeljenom na dokazima. Nadzor UI sustava u regulatornom izoliranom okruženju za umjetnu inteligenciju stoga bi trebao obuhvaćati njihov razvoj, treniranje, testiranje i validaciju prije stavljanja tih sustava na tržište ili u upotrebu, kao i pojam i pojavu znatne izmjene koja bi mogla zahtijevati novi postupak ocjenjivanja sukladnosti. Ako se tijekom razvoja i testiranja takvih UI sustava uoče znatni rizici, ti bi se rizici trebali smanjiti na primjeren način, a ako to nije moguće, treba se prekinuti postupak razvoja i testiranja sve dok se oni ne smanje. Nacionalna nadležna tijela koja uspostavljaju regulatorna izolirana okruženja za umjetnu inteligenciju trebala bi prema potrebi surađivati s drugim relevantnim tijelima, među ostalim s tijelima koja nadziru zaštitu temeljnih prava, i mogla bi omogućiti sudjelovanje drugih aktera iz ekosustava umjetne inteligencije, kao što su nacionalne ili europske organizacije za normizaciju, prijavljena tijela, objekti za testiranje i eksperimentiranje, laboratoriji za istraživanje i eksperimentiranje, europski centri za digitalne inovacije i relevantne organizacije dionika i organizacije civilnog društva. Radi ujednačene provedbe u cijeloj Uniji i ekonomije razmjera, primjereno je uspostaviti zajednička pravila za primjenu regulatornih izoliranih okruženja za umjetnu inteligenciju i okvir za suradnju relevantnih tijela uključenih u nadzor izoliranih okruženja. Regulatornim izoliranim okruženjima za umjetnu inteligenciju uspostavljenima na temelju ove Uredbe ne bi se trebalo dovoditi u pitanje drugo pravo kojim se omogućuje uspostava drugih izoliranih okruženja u cilju osiguravanja usklađenosti s pravom koje nije ova Uredba. Relevantna nadležna tijela zadužena za ta druga regulatorna izolirana okruženja trebala bi prema potrebi razmotriti prednosti upotrebe tih izoliranih okruženja i za potrebe osiguravanja usklađenosti UI sustavâ s ovom Uredbom. Slijedom dogovora između nacionalnih nadležnih tijela i sudionikâ u regulatornom izoliranom okruženju za umjetnu inteligenciju testiranje u stvarnim uvjetima može se također provoditi i nadzirati u okviru regulatornog izoliranog okruženja za umjetnu inteligenciju.
(139)
Los espacios controlados de pruebas para la IA deben tener los objetivos de impulsar la innovación en el ámbito de la IA estableciendo un entorno de experimentación y prueba controlado en la fase de desarrollo y previa a la comercialización, con vistas a garantizar que los sistemas de IA innovadores cumplan lo dispuesto en el presente Reglamento y en otras disposiciones pertinentes del Derecho de la Unión y nacional. Además, los espacios controlados de pruebas para la IA deben tener por objeto mejorar la seguridad jurídica de que gozan los innovadores y favorecer la vigilancia de las autoridades competentes y su entendimiento de las oportunidades, los riesgos emergentes y las consecuencias del uso de la IA, de facilitar el aprendizaje normativo de las autoridades y empresas, también con vistas a futuras adaptaciones del marco jurídico, de apoyar la cooperación y el intercambio de mejores prácticas con las autoridades que intervienen en el espacio controlado de pruebas y de acelerar el acceso a los mercados, también eliminando los obstáculos para las pequeñas y medianas empresas, incluidas las empresas emergentes. Los espacios controlados de pruebas para la IA deben estar ampliamente disponibles en toda la Unión y debe prestarse especial atención a que sean accesibles para las pymes, incluidas las empresas emergentes. La participación en el espacio controlado de pruebas para la IA debe centrarse en cuestiones que generen inseguridad jurídica y que, por lo tanto, dificulten que los proveedores y los proveedores potenciales innoven y experimenten con la IA en la Unión y contribuir a un aprendizaje normativo basado en datos contrastados. Por consiguiente, la supervisión de los sistemas de IA en el espacio controlado de pruebas para la IA debe comprender su desarrollo, entrenamiento, prueba y validación antes de su introducción en el mercado o puesta en servicio, así como el concepto de «modificación sustancial» y su materialización, que puede hacer necesario un nuevo procedimiento de evaluación de la conformidad. Cualquier riesgo significativo detectado durante el proceso de desarrollo y prueba de estos sistemas de IA debe dar lugar a la adopción de medidas de reducción adecuadas y, en su defecto, a la suspensión del proceso de desarrollo y prueba. Cuando proceda, las autoridades nacionales competentes que establezcan espacios controlados de pruebas para la IA deben cooperar con otras autoridades pertinentes, incluidas las que supervisan la protección de los derechos fundamentales, y pueden dar cabida a otros agentes del ecosistema de la IA, como organizaciones de normalización nacionales o europeas, organismos notificados, instalaciones de ensayo y experimentación, laboratorios de investigación y experimentación, centros europeos de innovación digital y organizaciones de partes interesadas y de la sociedad civil pertinentes. Para garantizar una aplicación uniforme en toda la Unión y conseguir economías de escala, resulta oportuno establecer normas comunes para la creación de espacios controlados de pruebas para la IA, así como un marco para la cooperación entre las autoridades pertinentes implicadas en la supervisión de dichos espacios. Los espacios controlados de pruebas para la IA establecidos en virtud del presente Reglamento deben entenderse sin perjuicio de otros actos legislativos que permitan el establecimiento de otros espacios controlados de pruebas encaminados a garantizar el cumplimiento de actos legislativos distintos del presente Reglamento. Cuando proceda, las autoridades competentes pertinentes encargadas de esos otros espacios controlados de pruebas deben ponderar las ventajas de utilizarlos también con el fin de garantizar el cumplimiento del presente Reglamento por parte de los sistemas de IA. Previo acuerdo entre las autoridades nacionales competentes y los participantes en el espacio controlado de pruebas para la IA, las pruebas en condiciones reales también podrán gestionarse y supervisarse en el marco del espacio controlado de pruebas para la IA.
(140)
Ovom bi se Uredbom dobavljačima i potencijalnim dobavljačima u regulatornom izoliranom okruženju za umjetnu inteligenciju trebala osigurati pravna osnova za upotrebu osobnih podataka prikupljenih u druge svrhe za razvoj određenih UI sustava u javnom interesu u regulatornom izoliranom okruženju za umjetnu inteligenciju, samo pod određenim uvjetima, u skladu s člankom 6. stavkom 4. i člankom 9. stavkom 2. točkom (g) Uredbe (EU) 2016/679 i člancima 5., 6. i 10. Uredbe (EU) 2018/1725 te ne dovodeći u pitanje članak 4. stavak 2. i članak 10. Direktive (EU) 2016/680. I dalje se primjenjuju sve ostale obveze voditeljâ obrade podataka i prava ispitanikâ na temelju uredaba (EU) 2016/679 i (EU) 2018/1725 te Direktive (EU) 2016/680. Ovom Uredbom osobito se ne bi trebala osigurati pravna osnova u smislu članka 22. stavka 2. točke (b) Uredbe (EU) 2016/679 i članka 24. stavka 2. točke (b) Uredbe (EU) 2018/1725. Dobavljači i potencijalni dobavljači u regulatornom izoliranom okruženju za umjetnu inteligenciju trebali bi osigurati odgovarajuće zaštitne mjere i surađivati s nadležnim tijelima, među ostalim tako da slijede njihove smjernice i postupaju žurno i u dobroj vjeri kako bi se na primjeren način ublažili svi utvrđeni znatni rizici za sigurnost, zdravlje i temeljna prava koji mogu nastati tijekom razvoja, testiranja i eksperimentiranja u tom izoliranom okruženju.
(140)
El presente Reglamento debe proporcionar la base jurídica para que los proveedores y los proveedores potenciales en el espacio controlado de pruebas para la IA utilicen datos personales recabados para otros fines para desarrollar determinados sistemas de IA en favor del interés público en el espacio controlado de pruebas para la IA, únicamente en determinadas condiciones, de conformidad con el artículo 6, apartado 4, y el artículo 9, apartado 2, letra g), del Reglamento (UE) 2016/679 y los artículos 5, 6 y 10 del Reglamento (UE) 2018/1725, y sin perjuicio de lo dispuesto en el artículo 4, apartado 2, y el artículo 10 de la Directiva (UE) 2016/680. Siguen siendo aplicables las demás obligaciones de los responsables del tratamiento y los derechos de los interesados en virtud del Reglamento (UE) 2016/679, el Reglamento (UE) 2018/1725 y la Directiva (UE) 2016/680. En particular, el presente Reglamento no debe ofrecer una base jurídica en el sentido del artículo 22, apartado 2, letra b), del Reglamento (UE) 2016/679 y del artículo 24, apartado 2, letra b), del Reglamento (UE) 2018/1725. Los proveedores y los proveedores potenciales en el espacio controlado de pruebas para la IA deben proporcionar las garantías adecuadas y cooperar con las autoridades competentes, también siguiendo sus indicaciones y actuando con rapidez y de buena fe para mitigar adecuadamente cualquier riesgo considerable para la seguridad, la salud y los derechos fundamentales que se detecte y pueda surgir durante el desarrollo, las pruebas y la experimentación en dicho espacio.
(141)
Kako bi se ubrzao proces razvoja i stavljanja na tržište visokorizičnih UI sustava navedenih u prilogu ovoj Uredbi, važno je da se dobavljači ili potencijalni dobavljači takvih sustava mogu služiti posebnim režimom za testiranje tih sustava u stvarnim uvjetima, bez sudjelovanja u regulatornom izoliranom okruženju za umjetnu inteligenciju. Međutim, u takvim slučajevima, uzimajući u obzir moguće posljedice takvog testiranja na pojedince, trebalo bi osigurati da se ovom Uredbom uvedu odgovarajuća i dostatna jamstva i uvjeti za dobavljače ili potencijalne dobavljače. Takva bi jamstva među ostalim trebala uključivati traženje informiranog pristanka fizičke osobe za sudjelovanje u testiranju u stvarnim uvjetima, uz iznimku tijela kaznenog progona ako bi traženje informiranog pristanka spriječilo testiranje UI sustava. Pristanak ispitanika za sudjelovanje u takvom testiranju na temelju ove Uredbe razlikuje se od privole ispitanika za obradu njihovih osobnih podataka na temelju relevantnog zakonodavstva o zaštiti podataka i njime se privola za obradu osobnih podataka ne dovodi u pitanje. Također je važno smanjiti rizike i omogućiti nadzor od strane nadležnih tijela te stoga zahtijevati od potencijalnih dobavljača da imaju plan testiranja u stvarnim uvjetima koji se podnosi nadležnom tijelu za nadzor tržišta, da registriraju testiranje u posebnim odjeljcima u bazi podataka EU-a podložno određenim ograničenim iznimkama, da utvrde ograničenja u pogledu razdoblja u kojem se testiranje može provesti i da zahtijevaju dodatne zaštitne mjere za osobe koje pripadaju određenim skupinama ranjivih osoba, kao i pisani sporazum kojim se utvrđuju uloge i odgovornosti potencijalnih dobavljača i subjekata koji uvode sustav te djelotvoran nadzor koji provodi nadležno osoblje uključeno u testiranje u stvarnim uvjetima. Nadalje, primjereno je predvidjeti dodatne zaštitne mjere kako bi se osiguralo da se predviđanja, preporuke ili odluke UI sustava mogu djelotvorno poništiti i zanemariti te da se osobni podaci zaštite i brišu ako ispitanici povuku svoj pristanak za sudjelovanje u testiranju, ne dovodeći u pitanje prava koja imaju kao ispitanici u skladu s pravom Unije o zaštiti podataka. Kad je riječ o prijenosu podataka, također je primjereno predvidjeti da bi se podaci prikupljeni i obrađeni u svrhu testiranja u stvarnim uvjetima trebali prenositi trećim zemljama samo ako se provode odgovarajuće i primjenjive zaštitne mjere na temelju prava Unije, posebno u skladu s osnovama za prijenos osobnih podataka na temelju prava Unije o zaštiti podataka, dok su za neosobne podatke uspostavljene odgovarajuće zaštitne mjere u skladu s pravom Unije, kao što su uredbe (EU) 2022/868 (42) i (EU) 2023/2854 (43) Europskog parlamenta i Vijeća.
(141)
A fin de acelerar el proceso de desarrollo e introducción en el mercado de los sistemas de IA de alto riesgo enumerados en un anexo del presente Reglamento, es importante que los proveedores o proveedores potenciales de dichos sistemas también puedan beneficiarse de un régimen específico para probar dichos sistemas en condiciones reales, sin participar en un espacio controlado de pruebas para la IA. No obstante, en tales casos, teniendo en cuenta las posibles consecuencias de dichas pruebas para las personas físicas, debe garantizarse que el Reglamento establezca garantías y condiciones adecuadas y suficientes para los proveedores o proveedores potenciales. Estas garantías deben incluir, entre otras cosas, la solicitud del consentimiento informado de las personas físicas para participar en pruebas en condiciones reales, salvo en lo que respecta a la garantía del cumplimiento del Derecho cuando intentar obtener el consentimiento informado impediría que se probara el sistema de IA. El consentimiento de los sujetos para participar en tales pruebas en virtud del presente Reglamento es distinto del consentimiento de los interesados para el tratamiento de sus datos personales con arreglo al Derecho pertinente en materia de protección de datos y se entiende sin perjuicio de este. También es importante reducir al mínimo los riesgos y permitir la supervisión por parte de las autoridades competentes y, por tanto, exigir a los proveedores potenciales que presenten a la autoridad de vigilancia del mercado competente un plan de la prueba en condiciones reales, registren la prueba en las secciones específicas de la base de datos de la UE, sin perjuicio de algunas excepciones limitadas, establezcan limitaciones sobre el período durante el que puede llevarse a cabo la prueba y exijan garantías adicionales para las personas pertenecientes a determinados colectivos vulnerables, así como un acuerdo por escrito que defina las funciones y responsabilidades de los proveedores potenciales y de los responsables del despliegue y una supervisión eficaz por parte de personal competente que intervenga en la prueba en condiciones reales. Además, conviene prever garantías adicionales para asegurarse de que sea posible revertir efectivamente y descartar las predicciones, recomendaciones o decisiones del sistema de IA y de que los datos personales se protejan y se supriman cuando los sujetos retiren su consentimiento a participar en la prueba, sin perjuicio de sus derechos como interesados en virtud del Derecho de la Unión en materia de protección de datos. Por lo que respecta a la transferencia de datos, conviene también prever que los datos recopilados y tratados a efectos de las pruebas en condiciones reales solo deben transferirse a terceros países cuando existan garantías adecuadas y aplicables con arreglo al Derecho de la Unión, en particular, de conformidad con las bases para la transferencia de datos personales previstas en el Derecho de la Unión en materia de protección de datos y, en lo referente a los datos no personales, existan garantías adecuadas con arreglo al Derecho de la Unión, como los Reglamentos (UE) 2022/868 (42) y (UE) 2023/2854 (43) del Parlamento Europeo y del Consejo.
(142)
Kako bi se osiguralo da umjetna inteligencija dovede do društveno i okolišno korisnih ishoda, države članice potiču se da podupiru i promiču istraživanje i razvoj UI rješenja kojima se podupiru ishodi korisni za društvo i okoliš, kao što su rješenja koja se temelje na umjetnoj inteligenciji za povećanje pristupačnosti za osobe s invaliditetom, uklanjanje socioekonomskih nejednakosti ili postizanje okolišnih ciljeva dodjelom dostatnih sredstava, uključujući javno financiranje i financiranje sredstvima Unije, te, prema potrebi i pod uvjetom da su ispunjeni kriteriji prihvatljivosti i odabira, posebno uzimajući u obzir projekte kojima se nastoje ostvariti takvi ciljevi. Takvi bi se projekti trebali temeljiti na načelu interdisciplinarne suradnje među razvojnim programerima umjetne inteligencije, stručnjacima za nejednakost i nediskriminaciju, pristupačnost te potrošačka, okolišna i digitalna prava te akademskom zajednicom.
(142)
A fin de garantizar que la IA conduzca a resultados positivos desde el punto de vista social y medioambiental, se anima a los Estados miembros a que respalden y promuevan la investigación y el desarrollo de soluciones de IA en apoyo a tales resultados, como soluciones basadas en la IA para aumentar la accesibilidad para las personas con discapacidad, atajar desigualdades socioeconómicas o cumplir los objetivos en materia de medio ambiente, asignando recursos suficientes, incluidos fondos públicos y de la Unión, y, cuando proceda y siempre que se cumplan los criterios de admisibilidad y selección, teniendo en consideración especialmente proyectos que persigan tales objetivos. Dichos proyectos deben basarse en el principio de cooperación interdisciplinaria entre desarrolladores de IA, expertos en desigualdad y no discriminación, en accesibilidad y en derechos del consumidor, medioambientales y digitales, así como representantes del mundo académico.
(143)
Kako bi se promicale i štitile inovacije, posebno je važno uzeti u obzir interese MSP-ova, među ostalima i start-up poduzeća, koji su dobavljači UI sustava ili subjekti koji ih uvode. U tom cilju bi države članice trebale osmisliti inicijative usmjerene na te operatere, među ostalim u pogledu podizanja svijesti i informiranja. Države članice trebale bi MSP-ovima, među ostalim i start-up poduzećima, koji imaju registrirano sjedište ili podružnicu u Uniji, osiguravati prioritetni pristup regulatornim izoliranim okruženjima za umjetnu inteligenciju, pod uvjetom da ispunjavaju uvjete prihvatljivosti i kriterije za odabir te da drugim dobavljačima i potencijalnim dobavljačima ne onemogućuju pristup izoliranim okruženjima pod uvjetom da su ispunjeni isti uvjeti i kriteriji. Države članice trebale bi se koristiti postojećim kanalima i, prema potrebi, uspostaviti nove namjenske kanale za komunikaciju s MSP-ovima, među ostalim i start-up poduzećima, subjektima koji uvode sustav, drugim inovatorima i, prema potrebi, lokalnim tijelima javne vlasti, radi podupiranja MSP-ova tijekom cijelog njihova razvoja pružanjem smjernica i odgovaranjem na upite o provedbi ove Uredbe. Prema potrebi, ti kanali trebali bi međusobno surađivati kako bi se stvorila sinergija i osigurala homogenost smjernica za MSP-ove, uključujući start-up poduzeća, i subjekte koji uvode sustav. Osim toga, države članice trebale bi olakšavati sudjelovanje MSP-ova i drugih relevantnih dionika u procesima razvoja normizacije. Usto, prijavljena tijela trebala bi uzeti u obzir posebne interese i potrebe dobavljača koji su MSP-ova, među ostalima i onih koji su start-up poduzeća,, kad određuju naknade za ocjenjivanje sukladnosti. Komisija bi s pomoću transparentnog savjetovanja trebala redovito ocjenjivati troškove certifikacije i usklađivanja za MSP-ove, među ostalima i za start-up poduzeća, te surađivati s državama članicama u cilju smanjenja takvih troškova. Na primjer, dobavljači i drugi operateri, posebno oni manji, mogu imati znatne troškove prijevoda obvezne dokumentacije i komunikacije s tijelima. Države članice trebale bi možda osigurati da jedan od jezika koji odrede i prihvaćaju za relevantnu dokumentaciju dobavljača i komunikaciju s operaterima bude jedan od jezika koji u velikoj mjeri razumije najveći mogući broj prekograničnih subjekata koji uvode sustav. Kako bi se odgovorilo na posebne potrebe MSP-ova, uključujući start-up poduzeća, Komisija bi na zahtjev Vijeća za umjetnu inteligenciju trebala osigurati standardizirane predloške za područja obuhvaćena ovom Uredbom. Osim toga, Komisija bi trebala dopuniti napore država članica osiguravanjem jedinstvene informacijske platforme koja pruža informacije o ovoj Uredbi jednostavne za upotrebu za sve dobavljače i subjekte koji uvode sustav, organiziranjem odgovarajućih komunikacijskih kampanja za podizanje svijesti o obvezama koje proizlaze iz ove Uredbe te evaluacijom i promicanjem konvergencije primjera najbolje prakse u postupcima javne nabave u vezi s UI sustavima. Srednja poduzeća koja su do nedavno ispunjavala uvjete za mala poduzeća u smislu Priloga Preporuci Komisije 2003/361/EZ (44) trebala bi imati pristup tim mjerama potpore jer tim novim srednjim poduzećima ponekad možda nedostaju pravni resursi i osposobljavanje potrebni za osiguravanje pravilnog razumijevanja i usklađenosti s ovom Uredbom.
(143)
Para promover y proteger la innovación, es importante tener en particular consideración los intereses de las pymes, incluidas las empresas emergentes, que sean proveedores o responsables del despliegue de sistemas de IA. A tal fin, los Estados miembros deben desarrollar iniciativas en materia de concienciación y comunicación de información, entre otros aspectos, dirigidas a dichos operadores. Los Estados miembros deben proporcionar a las pymes, incluidas las empresas emergentes, que tengan un domicilio social o una sucursal en la Unión, un acceso prioritario a los espacios controlados de pruebas para la IA, siempre que cumplan las condiciones de admisibilidad y los criterios de selección y sin impedir que otros proveedores y proveedores potenciales accedan a los espacios controlados de pruebas, siempre que se cumplan las mismas condiciones y criterios. Los Estados miembros deben utilizar los canales existentes y establecer, cuando proceda, nuevos canales de comunicación específicos con las pymes, incluidos las empresas emergentes, los responsables del despliegue, otros innovadores y, cuando proceda, las autoridades públicas locales, para apoyar a las pymes durante toda su trayectoria de desarrollo ofreciendo orientaciones y respondiendo a las preguntas sobre la aplicación del presente Reglamento. Cuando proceda, estos canales deben trabajar juntos para crear sinergias y garantizar la homogeneidad de sus orientaciones para las pymes, incluidas las empresas emergentes, y los responsables del despliegue. Además, los Estados miembros deben fomentar la participación de las pymes y otras partes interesadas pertinentes en los procesos de desarrollo de la normalización. Asimismo, los organismos notificados deben tener en cuenta las necesidades y los intereses específicos de los proveedores que sean pymes, incluidas las empresas emergentes, cuando establezcan las tasas aplicables a las evaluaciones de la conformidad. La Comisión debe evaluar periódicamente los costes de la certificación y el cumplimiento para las pymes, incluidas las empresas emergentes, a través de consultas transparentes, y debe trabajar con los Estados miembros para reducir dichos costes. Por ejemplo, los costes de traducción ligados a la documentación obligatoria y a la comunicación con las autoridades pueden ser considerables para los proveedores y otros operadores, en particular para los de menor tamaño. En la medida de lo posible, los Estados miembros deben velar por que una de las lenguas en las que acepten que los proveedores presenten la documentación pertinente y que pueda usarse para la comunicación con los operadores sea ampliamente conocida por el mayor número posible de responsables del despliegue transfronterizos. A fin de abordar las necesidades específicas de las pymes, incluidas las empresas emergentes, la Comisión debe proporcionar modelos normalizados para los ámbitos regulados por el presente Reglamento, previa solicitud del Consejo de IA. Además, la Comisión debe complementar los esfuerzos de los Estados miembros proporcionando una plataforma única de información con información fácil de utilizar sobre el presente Reglamento para todos los proveedores y responsables del despliegue, organizando campañas de comunicación adecuadas para sensibilizar sobre las obligaciones derivadas del presente Reglamento y evaluando y fomentando la convergencia de las mejores prácticas en los procedimientos de contratación pública en relación con los sistemas de IA. Las medianas empresas que hace poco se consideraban pequeñas empresas en el sentido del anexo de la Recomendación 2003/361/CE de la Comisión (44) deben tener acceso a esas medidas de apoyo, ya que dichas nuevas medianas empresas a veces pueden carecer de los recursos jurídicos y la formación necesarios para garantizar la comprensión y el cumplimiento adecuados del presente Reglamento.
(144)
Kako bi se promicale i zaštitile inovacije, ostvarivanju ciljeva ove Uredbe trebalo bi, prema potrebi, doprinositi putem platforme za umjetnu inteligenciju na zahtjev i svih relevantnih programa i projekata za financiranje sredstvima Unije, poput programa Digitalna Europa i Obzor Europa, koje provode Komisija i države članice na razini Unije ili nacionalnoj razini.
(144)
Con el fin de promover y proteger la innovación, la plataforma de IA a la carta y todos los programas y proyectos de financiación de la Unión pertinentes, como el programa Europa Digital u Horizonte Europa, ejecutados por la Comisión y los Estados miembros a escala nacional o de la Unión deben, cuando proceda, contribuir a la consecución de los objetivos del presente Reglamento.
(145)
Kako bi se rizici za provedbu koji proizlaze iz nedostatka znanja i iskustva na tržištu sveli na najmanju moguću mjeru i kako bi se dobavljačima, posebno MSP-ovima, uključujući start-up poduzeća, i prijavljenim tijelima olakšalo ispunjavanje obveza iz ove Uredbe, provedbi ove Uredbe trebalo bi doprinositi putem platforme za umjetnu inteligenciju na zahtjev, europskih centara za digitalne inovacije te centara za testiranje i eksperimentiranje koje uspostavljaju Komisija i države članice na razini Unije ili nacionalnoj razini. U okviru svoje misije i područja nadležnosti, platforma za umjetnu inteligenciju na zahtjev, europski centri za digitalne inovacije te centri za testiranje i eksperimentiranje mogu posebno pružati tehničku i znanstvenu potporu dobavljačima i prijavljenim tijelima.
(145)
A fin de reducir al mínimo los riesgos para la aplicación derivados de la falta de conocimientos y experiencia en el mercado, y con el objetivo de facilitar que los proveedores, en particular las pymes, incluidas las empresas emergentes, y los organismos notificados cumplan las obligaciones que les impone el presente Reglamento, la plataforma de IA a la carta, los centros europeos de innovación digital y las instalaciones de ensayo y experimentación establecidos por la Comisión y los Estados miembros a escala nacional o de la Unión deben contribuir a la aplicación de este Reglamento. En concreto, la plataforma de IA a la carta, los centros europeos de innovación digital y las instalaciones de ensayo y experimentación son capaces de proporcionar a los proveedores y organismos notificados asistencia técnica y científica dentro de sus respectivas misiones y esferas de competencia.
(146)
Nadalje, s obzirom na vrlo malenu veličinu pojedinih operatera i kako bi se osigurala proporcionalnost u pogledu troškova inovacija, primjereno je omogućiti mikropoduzećima da ispune jednu od najskupljih obveza, a to je uspostava sustava upravljanja kvalitetom, na pojednostavnjen način, čime bi se smanjili administrativno opterećenje i troškovi za ta poduzeća, a bez utjecaja na razinu zaštite i potrebu za usklađivanjem sa zahtjevima za visokorizične UI sustave. Komisija bi trebala izraditi smjernice za određivanje elemenata sustava upravljanja kvalitetom koje mikropoduzeća moraju ispuniti na taj pojednostavnjen način.
(146)
Además, a la luz del tamaño muy pequeño de algunos operadores y con el fin de garantizar la proporcionalidad en relación con los costes de innovación, conviene permitir que las microempresas cumplan una de las obligaciones más costosas, a saber, la de establecer un sistema de gestión de la calidad, de manera simplificada, lo que reduciría la carga administrativa y los costes para dichas empresas sin afectar al nivel de protección ni a la necesidad de cumplir los requisitos aplicables a los sistemas de IA de alto riesgo. La Comisión debe elaborar directrices para especificar los elementos del sistema de gestión de la calidad que las microempresas deben cumplir de esta manera simplificada.
(147)
Primjereno je da Komisija olakša, u mjeri u kojoj je to moguće, pristup centrima za testiranje i eksperimentiranje tijelima, skupinama ili laboratorijima uspostavljenima ili akreditiranima na temelju bilo kojeg dijela zakonodavstva Unije o usklađivanju, a koji obavljaju zadaće u kontekstu postupaka ocjenjivanja sukladnosti proizvoda ili uređaja obuhvaćenih tim zakonodavstvom Unije o usklađivanju. To se posebno odnosi na stručne skupine, stručne laboratorije i referentne laboratorije u području medicinskih proizvoda na temelju uredaba (EU) 2017/745 i (EU) 2017/746.
(147)
Resulta adecuado que la Comisión facilite, en la medida de lo posible, el acceso a las instalaciones de ensayo y experimentación a organismos, grupos o laboratorios establecidos o acreditados con arreglo a la legislación de armonización de la Unión pertinente y que realicen tareas en el marco de la evaluación de la conformidad de productos o dispositivos regulados por dicha legislación. Tal es el caso, en particular, en lo que respecta a los paneles de expertos, los laboratorios especializados y los laboratorios de referencia en el ámbito de los productos sanitarios, de conformidad con los Reglamentos (UE) 2017/745 y (UE) 2017/746.
(148)
Ovom bi se Uredbom trebao uspostaviti okvir upravljanja koji omogućuje i koordinaciju primjene ove Uredbe na nacionalnoj razini i potporu primjeni ove Uredbe na nacionalnoj razini, kao i izgradnju kapaciteta na razini Unije i integraciju dionika u području umjetne inteligencije. Za djelotvornu provedbu i izvršavanje ove Uredbe potreban je okvir upravljanja koji omogućuje koordinaciju i prikupljanje središnjeg stručnog znanja na razini Unije. Ured za umjetnu inteligenciju osnovan je Odlukom Komisije (45), a njegova je zadaća razvoj stručnog znanja i sposobnosti Unije u području umjetne inteligencije te doprinos provedbi prava Unije o umjetnoj inteligenciji. Države članice trebale bi olakšati zadaće Ureda za umjetnu inteligenciju kako bi se podržao razvoj stručnog znanja i sposobnosti Unije na razini Unije te ojačalo funkcioniranje jedinstvenog digitalnog tržišta. Nadalje, trebalo bi osnovati Vijeće za umjetnu inteligenciju koje se sastoji od predstavnika država članica, znanstveno povjerenstvo za integraciju znanstvene zajednice i savjetodavni forum za doprinos dionika provedbi ove Uredbe, na razini Unije i na nacionalnoj razini. Razvoj stručnog znanja i sposobnosti Unije trebao bi uključivati i iskorištavanje postojećih resursa i stručnog znanja, posebno putem sinergije sa strukturama uspostavljenima u kontekstu provedbe drugog prava i sinergije s povezanim inicijativama na razini Unije, kao što su Zajedničko poduzeće EuroHPC i objekti za testiranje i eksperimentiranje umjetne inteligencije u okviru programa Digitalna Europa.
(148)
El presente Reglamento debe establecer un marco de gobernanza que permita tanto coordinar y apoyar su aplicación a escala nacional, como desarrollar capacidades a escala de la Unión e integrar a las partes interesadas en el ámbito de la IA. La aplicación y el cumplimiento efectivos del presente Reglamento requieren un marco de gobernanza que permita coordinar y adquirir conocimientos especializados centrales a escala de la Unión. La Oficina de IA se creó mediante Decisión de la Comisión (45) y tiene como misión desarrollar conocimientos especializados y capacidades de la Unión en el ámbito de la IA y contribuir a la aplicación del Derecho de la Unión en materia de IA. Los Estados miembros deben facilitar las tareas de la Oficina de IA con vistas a apoyar el desarrollo de conocimientos especializados y capacidades a escala de la Unión y a fortalecer el funcionamiento del mercado único digital. Además, debe crearse un Consejo de IA compuesto por representantes de los Estados miembros, un grupo de expertos científicos para integrar a la comunidad científica y un foro consultivo para facilitar las aportaciones de las partes interesadas a la aplicación del presente Reglamento, a escala de la Unión y nacional. El desarrollo de conocimientos especializados y capacidades de la Unión también debe incluir la utilización de los recursos y conocimientos especializados existentes, en particular a través de sinergias con estructuras creadas en el contexto de la aplicación a escala de la Unión de otros actos legislativos y de sinergias con iniciativas conexas a escala de la Unión, como la Empresa Común EuroHPC y las instalaciones de ensayo y experimentación de IA en el marco del programa Europa Digital.
(149)
Kako bi se olakšala nesmetana, djelotvorna i usklađena provedba ove Uredbe, trebalo bi osnovati Vijeće za umjetnu inteligenciju. U Vijeću za umjetnu inteligenciju trebali bi se odražavati različiti interesi ekosustava umjetne inteligencije, a trebao bi biti sastavljen od predstavnika država članica. Vijeće za umjetnu inteligenciju trebalo bi biti odgovorno za niz savjetodavnih zadaća, uključujući davanje mišljenja, preporuka i savjeta ili doprinošenje smjernicama o pitanjima povezanima s provedbom ove Uredbe, među ostalim pitanjima izvršenja, tehničkim specifikacijama ili postojećim normama povezanima sa zahtjevima ove Uredbe, te za davanje savjeta Komisiji i državama članicama te njihovim nacionalnim nadležnim tijelima u vezi sa specifičnim pitanjima povezanima s umjetnom inteligencijom. Kako bi se državama članicama pružila određena fleksibilnost u vezi s imenovanjem njihovih predstavnika u Vijeće za umjetnu inteligenciju, ti predstavnici mogu biti sve osobe koje pripadaju javnim subjektima i koje bi trebale imati odgovarajuće nadležnosti i ovlasti za olakšavanje koordinacije na nacionalnoj razini i doprinošenje ostvarivanju zadaća Vijeća za umjetnu inteligenciju. Vijeće za umjetnu inteligenciju trebalo bi osnovati dvije stalne podskupine kako bi osigurao platformu za suradnju i razmjenu između tijelâ za nadzor tržišta i tijela koja provode prijavljivanje o pitanjima koja se odnose na nadzor tržišta odnosno na prijavljena tijela. Stalna podskupina za nadzor tržišta trebala bi djelovati kao skupina za administrativnu suradnju (ADCO) za ovu Uredbu u smislu članka 30. Uredbe (EU) 2019/1020. U skladu s člankom 33. te uredbe Komisija bi trebala podupirati aktivnosti stalne podskupine za nadzor tržišta provođenjem evaluacija ili studija tržišta, osobito u cilju utvrđivanja aspekata ove Uredbe koji zahtijevaju posebnu i hitnu koordinaciju među tijelima za nadzor tržišta. Vijeće za umjetnu inteligenciju prema potrebi može osnovati druge stalne ili privremene podskupine za razmatranje specifičnih pitanja. Vijeće za umjetnu inteligenciju također bi prema potrebi trebalo surađivati s relevantnim tijelima Unije, stručnim skupinama i mrežama koje djeluju u kontekstu relevantnog prava Unije, uključujući posebno one koje djeluju na temelju relevantnog prava Unije o podacima, digitalnim proizvodima i uslugama.
(149)
Debe establecerse un Consejo de IA que facilite la aplicación fluida, efectiva y armonizada del presente Reglamento. El Consejo de IA debe reflejar los diversos intereses del ecosistema de la IA y estar formado por representantes de los Estados miembros. El Consejo de IA debe encargarse de diversas tareas de asesoramiento. Entre otras cosas, debe emitir dictámenes, recomendaciones e informes de asesoramiento o contribuir a orientaciones sobre asuntos relacionados con la aplicación de este Reglamento, también en lo que respecta la ejecución, las especificaciones técnicas o las normas existentes en relación con los requisitos previstos en el presente Reglamento, y asesorar a la Comisión y a los Estados miembros, así como a sus autoridades nacionales competentes, en cuestiones específicas vinculadas a la IA. Con el fin de dar cierta flexibilidad a los Estados miembros en la designación de sus representantes en el Consejo de IA, cualquier persona perteneciente a una entidad pública que tenga las competencias y facultades pertinentes para facilitar la coordinación a escala nacional y contribuir al cumplimiento de las funciones del Consejo de IA podrá ser designada representante. El Consejo de IA debe establecer dos subgrupos permanentes a fin de proporcionar una plataforma de cooperación e intercambio entre las autoridades de vigilancia del mercado y las autoridades notificantes sobre cuestiones relacionadas, respectivamente, con la vigilancia del mercado y los organismos notificados. El subgrupo permanente de vigilancia del mercado debe actuar como grupo de cooperación administrativa (ADCO) para el presente Reglamento en el sentido del artículo 30 del Reglamento (UE) 2019/1020. De conformidad con el artículo 33 de dicho Reglamento, la Comisión debe apoyar las actividades del subgrupo permanente de vigilancia del mercado mediante la realización de evaluaciones o estudios de mercado, en particular con vistas a determinar los aspectos del presente Reglamento que requieran una coordinación específica y urgente entre las autoridades de vigilancia del mercado. El Consejo de IA puede establecer otros subgrupos de carácter permanente o temporal, según proceda, para examinar asuntos específicos. El Consejo de IA también debe cooperar, según proceda, con los organismos, grupos de expertos y redes pertinentes de la Unión activos en el contexto del Derecho de la Unión pertinente, incluidos, en particular, los activos en virtud del Derecho de la Unión pertinente en materia de datos y productos y servicios digitales.
(150)
Kako bi se osiguralo sudjelovanje dionika u provedbi i primjeni ove Uredbe, trebalo bi uspostaviti savjetodavni forum radi savjetovanja Vijeća za umjetnu inteligenciju i Komisije i pružanja tehničkog stručnog znanja Vijeću za umjetnu inteligenciju i Komisiji. Kako bi se osigurala raznolika i uravnotežena zastupljenost dionika s komercijalnim i nekomercijalnim interesima te, unutar kategorije komercijalnih interesa, u pogledu MSP-ova i drugih poduzeća, savjetodavni forum trebao bi obuhvaćati, među ostalim, industriju, start-up poduzeća, MSP-ove, akademsku zajednicu, civilno društvo, uključujući socijalne partnere, kao i Agenciju za temeljna prava, ENISA-u, Europski odbor za normizaciju (CEN), Europski odbor za elektrotehničku normizaciju (CENELEC) i Europski institut za telekomunikacijske norme (ETSI).
(150)
Con vistas a garantizar la participación de las partes interesadas en la ejecución y aplicación del presente Reglamento, debe crearse un foro consultivo para asesorar al Consejo de IA y a la Comisión y proporcionarles conocimientos técnicos. A fin de garantizar una representación variada y equilibrada de las partes interesadas que tenga en cuenta los intereses comerciales y no comerciales y, dentro de la categoría de los intereses comerciales, por lo que se refiere a las pymes y otras empresas, el foro consultivo debe incluir, entre otros, a la industria, las empresas emergentes, las pymes, el mundo académico, la sociedad civil, en particular los interlocutores sociales, así como a la Agencia de los Derechos Fundamentales de la Unión Europea, ENISA, el Comité Europeo de Normalización (CEN), el Comité Europeo de Normalización Electrotécnica (Cenelec) y el Instituto Europeo de Normas de Telecomunicaciones (ETSI).
(151)
Kako bi se poduprli provedba i izvršavanje ove Uredbe, osobito aktivnosti praćenja koje provodi Ured za umjetnu inteligenciju u pogledu UI modelâ opće namjene, trebalo bi osnovati znanstveno povjerenstvo neovisnih stručnjaka. Neovisni stručnjaci koji čine znanstveno povjerenstvo trebali bi se birati na temelju najnovijeg znanstvenog ili tehničkog stručnog znanja u području umjetne inteligencije te bi trebali obavljati svoje zadaće nepristrano i objektivno te osigurati povjerljivost informacija i podataka dobivenih pri obavljanju svojih zadaća i aktivnosti. Kako bi se omogućilo jačanje nacionalnih kapaciteta potrebnih za djelotvorno izvršavanje ove Uredbe, države članice trebale bi za svoje aktivnosti izvršavanja moći zatražiti potporu skupine stručnjaka koji čine znanstveno povjerenstvo.
(151)
Para apoyar la aplicación y el cumplimiento del presente Reglamento, en particular las actividades de supervisión de la Oficina de IA en lo que respecta a los modelos de IA de uso general, debe crearse un grupo de expertos científicos formado por expertos independientes. Los expertos independientes que constituyan el grupo de expertos científicos deben seleccionarse sobre la base de conocimientos científicos o técnicos actualizados en el ámbito de la IA y deben desempeñar sus funciones con imparcialidad y objetividad y garantizar la confidencialidad de la información y los datos obtenidos en el ejercicio de sus funciones y actividades. A fin de permitir el refuerzo de las capacidades nacionales necesarias para el cumplimiento efectivo del presente Reglamento, los Estados miembros deben poder solicitar el apoyo de los expertos que constituyan el grupo científico para sus actividades de garantía del cumplimiento.
(152)
Kako bi se poduprlo odgovarajuće izvršavanje u vezi s UI sustavima i ojačali kapaciteti država članica, trebalo bi uspostaviti potporne strukture Unije za testiranje umjetne inteligencije i staviti ih na raspolaganje državama članicama.
(152)
A fin de apoyar una ejecución adecuada en lo que respecta a los sistemas de IA y reforzar las capacidades de los Estados miembros, deben crearse y ponerse a disposición de los Estados miembros estructuras de apoyo a los ensayos de IA de la Unión.
(153)
Države članice imaju ključnu ulogu u primjeni i izvršavanju ove Uredbe. Svaka bi država članica stoga trebala imenovati barem jedno tijelo koje provodi prijavljivanje i barem jedno tijelo za nadzor tržišta kao nacionalna nadležna tijela za potrebe nadziranja primjene i provedbe ove Uredbe. Države članice mogu odlučiti imenovati bilo koju vrstu javnog subjekta za obavljanje zadaća nacionalnih nadležnih tijela u smislu ove Uredbe, u skladu sa svojim posebnim nacionalnim organizacijskim karakteristikama i potrebama. Kako bi se povećala učinkovitost organizacije u državama članicama i uspostavila jedinstvena kontaktna točka za javne i druge partnere na razini država članica i na razini Unije, svaka bi država članica trebala imenovati tijelo za nadzor tržišta koje će djelovati kao jedinstvena kontaktna točka.
(153)
Los Estados miembros desempeñan un papel clave en la aplicación y ejecución del presente Reglamento. En ese sentido, cada Estado miembro debe designar al menos una autoridad notificante y al menos una autoridad de vigilancia del mercado como autoridades nacionales competentes que se encarguen de supervisar su aplicación y ejecución. Los Estados miembros pueden decidir designar cualquier tipo de entidad pública para que desempeñe las tareas de las autoridades nacionales competentes en el sentido del presente Reglamento, de conformidad con sus características y necesidades organizativas nacionales específicas. Con el fin de incrementar la eficiencia organizativa en los Estados miembros y establecer un único punto de contacto oficial con el público y otros homólogos a escala de los Estados miembros y la Unión, cada Estado miembro debe designar una autoridad de vigilancia del mercado que actúe como punto de contacto único.
(154)
Ta nacionalna nadležna tijela trebala bi izvršavati svoje ovlasti neovisno, objektivno i nepristrano kako bi zaštitila načela objektivnosti svojih aktivnosti i zadaća te osigurala primjenu i provedbu ove Uredbe. Članovi tih tijela trebali bi se suzdržati od svakog djelovanja koje nije u skladu s njihovim dužnostima te bi trebali podlijegati pravilima o povjerljivosti na temelju ove Uredbe.
(154)
Las autoridades nacionales competentes deben ejercer sus poderes de manera independiente, imparcial y objetiva, a fin de preservar los principios de objetividad de sus actividades y funciones y garantizar la aplicación y ejecución del presente Reglamento. Los miembros de estas autoridades deben abstenerse de todo acto incompatible con el carácter de sus funciones y estar sujetos a las normas de confidencialidad establecidas en el presente Reglamento.
(155)
Kako bi se osiguralo da dobavljači visokorizičnih UI sustava mogu uzeti u obzir iskustvo stečeno korištenjem visokorizičnih UI sustava za poboljšanje svojih sustava te za proces dizajniranja i razvoja ili da mogu pravodobno poduzeti korektivne mjere, svi bi dobavljači trebali uspostaviti sustav praćenja nakon stavljanja na tržište. Ako je to relevantno, praćenje nakon stavljanja na tržište trebalo bi obuhvaćati analizu interakcije s drugim UI sustavima, uključujući druge uređaje i softver. Praćenje nakon stavljanja na tržište ne bi trebalo obuhvaćati osjetljive operativne podatke subjekata koji uvode sustav koji su tijela kaznenog progona. Taj je sustav ključan i za učinkovitije i pravodobnije poduzimanje mjera povezanih s mogućim rizicima od UI sustava koji „uče” i nakon što su stavljeni na tržište ili u upotrebu. U tom bi kontekstu od dobavljača trebalo također zahtijevati da uspostave sustav za prijavljivanje relevantnim tijelima svih ozbiljnih incidenata koji su posljedica korištenja njihovih UI sustava, odnosno incidenta ili neispravnosti koji dovode do smrti ili teške štete za zdravlje, ozbiljnih i nepovratnih poremećaja u upravljanju kritičnom infrastrukturom i njezinu radu, povreda obveza na temelju prava Unije namijenjenih zaštiti temeljnih prava ili teške štete za imovinu ili okoliš.
(155)
Todos los proveedores de sistemas de IA de alto riesgo deben contar con un sistema de vigilancia poscomercialización, con vistas a garantizar que puedan tener en cuenta la experiencia con el uso de esos sistemas de cara a mejorar los suyos y el proceso de diseño y desarrollo o que puedan adoptar cualquier medida correctora en el momento oportuno. Cuando proceda, la vigilancia poscomercialización debe incluir un análisis de la interacción con otros sistemas de IA, incluidos otros dispositivos y software. La vigilancia poscomercialización no debe comprender los datos operativos sensibles de los responsables del despliegue de sistemas de IA que sean autoridades garantes del cumplimiento del Derecho. Este sistema es también fundamental para garantizar que los posibles riesgos derivados de los sistemas de IA que siguen «aprendiendo» tras su introducción en el mercado o puesta en servicio se aborden de un modo más eficiente y oportuno. En este contexto, procede exigir a los proveedores que también cuenten con un sistema para comunicar a las autoridades pertinentes cualquier incidente grave asociado al uso de sus sistemas de IA, entendido como un incidente o defecto que tenga como consecuencia un fallecimiento o daños graves para la salud, una alteración grave e irreversible de la gestión o el funcionamiento de infraestructuras críticas, el incumplimiento de obligaciones derivadas del Derecho de la Unión destinadas a proteger los derechos fundamentales o daños graves a la propiedad o al medio ambiente.
(156)
Kako bi se osiguralo odgovarajuće i djelotvorno izvršavanje zahtjeva i obveza utvrđenih u ovoj Uredbi, koja je zakonodavstvo Unije o usklađivanju, u cijelosti bi se trebao primjenjivati sustav nadzora tržišta i sukladnosti proizvoda uspostavljen Uredbom (EU) 2019/1020. Tijela za nadzor tržišta imenovana na temelju ove Uredbe trebala bi imati sve ovlasti izvršavanja utvrđene u ovoj Uredbi i u Uredbi (EU) 2019/1020 i svoje bi ovlasti i dužnosti trebala izvršavati neovisno, objektivno i nepristrano. Iako većina UI sustava ne podliježe posebnim zahtjevima i obvezama na temelju ove Uredbe, tijela za nadzor tržišta mogu poduzeti mjere u vezi sa svim UI sustavima kada oni predstavljaju rizik u skladu s ovom Uredbom. Zbog specifične prirode institucija, agencija i tijela Unije obuhvaćenih područjem primjene ove Uredbe primjereno je za njih imenovati Europskog nadzornika za zaštitu podataka tijelom nadležnim za nadzor tržišta. Time se ne bi trebalo dovoditi u pitanje imenovanje nacionalnih nadležnih tijela koje provode države članice. Aktivnosti nadzora tržišta ne bi trebale utjecati na sposobnost nadziranih subjekata da neovisno obavljaju svoje zadaće kada se takva neovisnost zahtijeva pravom Unije.
(156)
Con el objetivo de garantizar el cumplimiento adecuado y efectivo de los requisitos y obligaciones previstos en el presente Reglamento, que constituye legislación de armonización de la Unión, debe aplicarse en su totalidad el sistema relativo a la vigilancia del mercado y la conformidad de los productos establecido por el Reglamento (UE) 2019/1020. Las autoridades de vigilancia del mercado designadas con arreglo al presente Reglamento deben disponer de todos los poderes de ejecución establecidos en el presente Reglamento y en el Reglamento (UE) 2019/1020, y deben ejercer sus poderes y desempeñar sus funciones de manera independiente, imparcial y objetiva. Aunque la mayoría de los sistemas de IA no están sujetos a requisitos ni obligaciones específicos en virtud del presente Reglamento, las autoridades de vigilancia del mercado pueden adoptar medidas en relación con todos los sistemas de IA cuando estos presenten un riesgo de conformidad con el presente Reglamento. Debido a la naturaleza específica de las instituciones, órganos y organismos de la Unión que entran en el ámbito de aplicación del presente Reglamento, procede designar al Supervisor Europeo de Protección de Datos como autoridad de vigilancia del mercado competente para ellos. Esto debe entenderse sin perjuicio de la designación de autoridades nacionales competentes por parte de los Estados miembros. Las actividades de vigilancia del mercado no deben afectar a la capacidad de las entidades supervisadas para llevar a cabo sus tareas de manera independiente, cuando el Derecho de la Unión exija dicha independencia.
(157)
Ovom se Uredbom ne dovode u pitanje nadležnosti, zadaće, ovlasti i neovisnost relevantnih nacionalnih tijela javne vlasti ili javnih tijela koja nadziru primjenu prava Unije o zaštiti temeljnih prava, uključujući tijela za ravnopravnost i tijela za zaštitu podataka. Ako je to potrebno za njihov mandat, ta nacionalna tijela javne vlasti ili javna tijela trebala bi također imati pristup svoj dokumentaciji izrađenoj na temelju ove Uredbe. Trebalo bi utvrditi poseban zaštitni postupak kako bi se osiguralo adekvatno i pravodobno izvršavanje u pogledu UI sustava koji predstavljaju rizik za zdravlje, sigurnost i temeljna prava. Postupak za takve UI sustave koji predstavljaju rizik trebao bi se primjenjivati na visokorizične UI sustave koji predstavljaju rizik, zabranjene sustave koji su stavljeni na tržište, stavljeni u upotrebu ili se upotrebljavaju protivno odredbama o zabranjenim praksama iz ove Uredbe i na UI sustave koji su stavljeni na raspolaganje protivno odredbama o zahtjevima u pogledu transparentnosti iz ove Uredbe i koji predstavljaju rizik.
(157)
El presente Reglamento se entiende sin perjuicio de las competencias, funciones, poderes e independencia de las autoridades u organismos públicos nacionales pertinentes que supervisan la aplicación del Derecho de la Unión que protege los derechos fundamentales, incluidos los organismos de igualdad y las autoridades de protección de datos. Cuando sea necesario para su mandato, dichas autoridades u organismos públicos nacionales también deben tener acceso a cualquier documentación creada en virtud del presente Reglamento. Debe establecerse un procedimiento de salvaguardia específico para garantizar una ejecución adecuada y oportuna frente a sistemas de IA que presenten un riesgo para la salud, la seguridad o los derechos fundamentales. El procedimiento relativo a dichos sistemas de IA que presentan un riesgo debe aplicarse a los sistemas de IA de alto riesgo que presenten un riesgo, a los sistemas prohibidos que hayan sido introducidos en el mercado, puestos en servicio o utilizados contraviniendo las prácticas prohibidas establecidas en el presente Reglamento y a los sistemas de IA que hayan sido comercializados infringiendo los requisitos de transparencia establecidos en el presente Reglamento y que presenten un riesgo.
(158)
Pravo Unije o financijskim uslugama uključuje pravila i zahtjeve o unutarnjem upravljanju i upravljanju rizikom koji se primjenjuju na regulirane financijske institucije pri pružanju tih usluga, među ostalim kad upotrebljavaju UI sustave. Kako bi se osigurala dosljedna primjena i izvršavanje obveza iz ove Uredbe te relevantnih pravila i zahtjeva iz pravnih akata Unije o financijskim uslugama, nadležna tijela odgovorna za nadzor i izvršavanje tih pravnih akata, posebno nadležna tijela kako su definirana u Uredbi (EU) br. 575/2013 Europskog parlamenta i Vijeća (46) i direktivama 2008/48/EZ (47), 2009/138/EZ (48), 2013/36/EU (49), 2014/17/EU (50) i (EU) 2016/97 (51) Europskog parlamenta i Vijeća, trebala bi biti imenovana, u okviru vlastitih nadležnosti, nadležnim tijelima za potrebe nadziranja provedbe ove Uredbe, među ostalim i za aktivnosti nadzora tržišta, kad je riječ o UI sustavima koje pružaju ili upotrebljavaju financijske institucije koje su regulirane i pod nadzorom, osim ako države članice odluče za obavljanje tih zadaća nadzora tržišta imenovati drugo tijelo. Ta bi nadležna tijela trebala imati sve ovlasti na temelju ove Uredbe i Uredbe (EU) 2019/1020 za izvršavanje zahtjeva i obveza iz ove Uredbe, uključujući ovlasti za provođenje ex post aktivnosti nadzora tržišta koje se prema potrebi mogu integrirati u njihove postojeće nadzorne mehanizme i postupke na temelju relevantnog prava Unije o financijskim uslugama. Primjereno je predvidjeti da bi, kada djeluju kao tijela za nadzor tržišta na temelju ove Uredbe, nacionalna tijela odgovorna za nadziranje kreditnih institucija reguliranih Direktivom 2013/36/EU, koja sudjeluju u jedinstvenom nadzornom mehanizmu uspostavljenom Uredbom Vijeća (EU) br. 1024/2013 (52), trebala bez odgode izvijestiti Europsku središnju banku o svim informacijama utvrđenima tijekom njihovih aktivnosti nadzora tržišta koje bi mogle biti od interesa za zadaće bonitetnog nadzora Europske središnje banke navedene u toj uredbi. Kako bi se dodatno poboljšala usklađenost između ove Uredbe i pravila koja se primjenjuju na kreditne institucije regulirane Direktivom 2013/36/EU, također je primjereno integrirati neke od postupovnih obveza dobavljača povezanih s upravljanjem rizikom, praćenjem nakon stavljanja na tržište i vođenjem dokumentacije u postojeće obveze i postupke na temelju Direktive 2013/36/EU. Kako bi se izbjegla preklapanja, trebalo bi predvidjeti i ograničena odstupanja u pogledu sustava dobavljača za upravljanje kvalitetom i obveze praćenja za subjekte koji uvode visokorizične UI sustave u mjeri u kojoj se primjenjuju na kreditne institucije regulirane Direktivom 2013/36/EU. Isti bi se režim trebao primjenjivati na društva za osiguranje i reosiguranje i osigurateljne holdinge na temelju Direktive 2009/138/EZ i posrednike u osiguranju na temelju Direktive (EU) 2016/97 te na druge vrste financijskih institucija koje podliježu zahtjevima u pogledu unutarnjeg upravljanja, aranžmana ili postupaka uspostavljenih na temelju relevantnog prava Unije o financijskim uslugama kako bi se osigurala dosljednost i jednako postupanje u financijskom sektoru.
(158)
El Derecho de la Unión en materia de servicios financieros contiene normas y requisitos en materia de gobernanza interna y gestión de riesgos que las entidades financieras reguladas deben cumplir durante la prestación de dichos servicios, y también cuando utilicen sistemas de IA. Para garantizar la aplicación y ejecución coherentes de las obligaciones previstas en el presente Reglamento, así como de las normas y los requisitos oportunos de los actos jurídicos de la Unión relativos a los servicios financieros, se ha de designar a las autoridades competentes de supervisar y ejecutar dichos actos jurídicos, en particular las autoridades competentes definidas en el Reglamento (UE) n.o 575/2013 del Parlamento Europeo y del Consejo (46) y las Directivas 2008/48/CE (47), 2009/138/CE (48), 2013/36/UE (49), 2014/17/UE (50) y (UE) 2016/97 (51) del Parlamento Europeo y del Consejo, dentro de sus respectivas competencias, como las autoridades competentes encargadas de supervisar la aplicación del presente Reglamento, también por lo que respecta a las actividades de vigilancia del mercado, en relación con los sistemas de IA proporcionados o utilizados por las entidades financieras reguladas y supervisadas, a menos que los Estados miembros decidan designar a otra autoridad para que desempeñe estas tareas de vigilancia del mercado. Dichas autoridades competentes deben disponer de todos los poderes previstos en el presente Reglamento y en el Reglamento (UE) 2019/1020 para hacer cumplir los requisitos y obligaciones del presente Reglamento, incluidos los poderes para llevar a cabo actividades de vigilancia del mercado ex post que pueden integrarse, en su caso, en sus mecanismos y procedimientos de supervisión existentes en virtud del Derecho pertinente de la Unión en materia de servicios financieros. Conviene prever que, cuando actúen como autoridades de vigilancia del mercado en virtud del presente Reglamento, las autoridades nacionales responsables de la supervisión de las entidades de crédito reguladas por la Directiva 2013/36/UE que participen en el Mecanismo Único de Supervisión establecido por el Reglamento (UE) n.o 1024/2013 del Consejo (52) comuniquen sin demora al Banco Central Europeo toda información obtenida en el transcurso de sus actividades de vigilancia del mercado que pueda ser de interés para las funciones de supervisión prudencial del Banco Central Europeo especificadas en dicho Reglamento. Con vistas a aumentar la coherencia entre el presente Reglamento y las normas aplicables a las entidades de crédito reguladas por la Directiva 2013/36/UE, conviene igualmente integrar algunas de las obligaciones procedimentales de los proveedores relativas a la gestión de riesgos, la vigilancia poscomercialización y la documentación en las obligaciones y los procedimientos vigentes con arreglo a la Directiva 2013/36/UE. Para evitar solapamientos, también se deben contemplar excepciones limitadas en relación con el sistema de gestión de la calidad de los proveedores y la obligación de vigilancia impuesta a los responsables del despliegue de sistemas de IA de alto riesgo, en la medida en que estos se apliquen a las entidades de crédito reguladas por la Directiva 2013/36/UE. El mismo régimen debe aplicarse a las empresas de seguros y reaseguros y a las sociedades de cartera de seguros reguladas por la Directiva 2009/138/CE, a los intermediarios de seguros regulados por la Directiva (UE) 2016/97 y a otros tipos de entidades financieras sujetas a requisitos sobre gobernanza, sistemas o procesos internos establecidos con arreglo al Derecho pertinente de la Unión en materia de servicios financieros a fin de garantizar la coherencia y la igualdad de trato en el sector financiero.
(159)
Svako tijelo za nadzor tržišta za visokorizične UI sustave u području biometrije, kako je navedeno u prilogu ovoj Uredbi, u mjeri u kojoj se ti sustavi upotrebljavaju u svrhu kaznenog progona, migracija, azila i upravljanja nadzorom državne granice ili za sudovanje i demokratske procese, trebalo bi imati djelotvorne istražne i korektivne ovlasti, uključujući barem ovlast za dobivanje pristupa svim osobnim podacima koji se obrađuju i svim informacijama potrebnima za obavljanje svojih zadaća. Tijela za nadzor tržišta trebala bi moći izvršavati svoje ovlasti potpuno neovisno. Bilo kakvim ograničenjima njihova pristupa osjetljivim operativnim podacima na temelju ove Uredbe ne bi se trebale dovoditi u pitanje ovlasti koje su im dodijeljene Direktivom (EU) 2016/680. Nijedno isključenje otkrivanja podataka nacionalnim tijelima za zaštitu podataka na temelju ove Uredbe ne bi trebalo utjecati na aktualne ili buduće ovlasti tih tijela izvan područja primjene ove Uredbe.
(159)
Cada autoridad de vigilancia del mercado para los sistemas de IA de alto riesgo en el ámbito de la biometría enumerados en un anexo del presente Reglamento, en la medida en que dichos sistemas se utilicen con fines de garantía del cumplimiento del Derecho, de migración, asilo y gestión del control fronterizo, o de la administración de justicia y los procesos democráticos, debe disponer de facultades de investigación y correctoras efectivas, incluida al menos la facultad de obtener acceso a todos los datos personales que se estén tratando y a toda la información necesaria para el desempeño de sus funciones. Las autoridades de vigilancia del mercado deben poder ejercer sus poderes actuando con total independencia. Cualquier limitación de su acceso a datos operativos sensibles en virtud del presente Reglamento debe entenderse sin perjuicio de los poderes que les confiere la Directiva (UE) 2016/680. Ninguna exclusión de la divulgación de datos a las autoridades nacionales de protección de datos en virtud del presente Reglamento debe afectar a los poderes actuales o futuros de dichas autoridades que trasciendan el ámbito de aplicación del presente Reglamento.
(160)
Tijela za nadzor tržišta i Komisija trebali bi moći predložiti zajedničke aktivnosti, uključujući zajedničke istrage, koje trebaju provoditi tijela za nadzor tržišta ili tijela za nadzor tržišta zajedno s Komisijom, a čiji je cilj promicanje sukladnosti, utvrđivanje nesukladnosti, podizanje svijesti i pružanje smjernica u vezi s ovom Uredbom u pogledu specifičnih kategorija visokorizičnih UI sustava za koje je utvrđeno da predstavljaju ozbiljan rizik u dvjema ili više država članica. Zajedničke aktivnosti u cilju promicanja sukladnosti trebale bi se provoditi u skladu s člankom 9. Uredbe (EU) 2019/1020. Ured za umjetnu inteligenciju trebao bi pružati koordinacijsku potporu za zajedničke istrage.
(160)
Las autoridades de vigilancia del mercado y la Comisión deben poder proponer actividades conjuntas, incluidas investigaciones conjuntas, que deben llevar a cabo las autoridades de vigilancia del mercado o las autoridades de vigilancia del mercado junto con la Comisión, con el objetivo de fomentar el cumplimiento, detectar incumplimientos, sensibilizar y ofrecer orientaciones en relación con el presente Reglamento con respecto a las categorías específicas de sistemas de IA de alto riesgo que presentan un riesgo grave en dos o más Estados miembros. Tales actividades conjuntas para fomentar el cumplimiento deben llevarse a cabo de conformidad con el artículo 9 del Reglamento (UE) 2019/1020. La Oficina de IA debe prestar apoyo de coordinación a las investigaciones conjuntas.
(161)
Potrebno je pojasniti odgovornosti i nadležnosti na razini Unije i na nacionalnoj razini u pogledu UI sustava koji se temelje na UI modelima opće namjene. Kako bi se izbjeglo preklapanje nadležnosti, ako se UI sustav temelji na UI modelu opće namjene, a model i sustav osigurava isti dobavljač, nadzor bi se trebao provoditi na razini Unije putem Ureda za umjetnu inteligenciju, koji bi u tu svrhu trebao imati ovlasti tijela za nadzor tržišta u smislu Uredbe (EU) 2019/1020. U svim ostalim slučajevima nacionalna tijela za nadzor tržišta i dalje su odgovorna za nadzor UI sustavâ. Međutim, kad je riječ o UI sustavima opće namjene koje subjekti koji uvode UI sustav mogu izravno upotrebljavati u barem jednu svrhu koja je klasificirana kao visokorizična, tijela za nadzor tržišta trebala bi surađivati s Uredom za umjetnu inteligenciju na provedbi evaluacija usklađenosti te o tome obavijestiti Vijeće za umjetnu inteligenciju i druga tijela za nadzor tržišta. Nadalje, tijela za nadzor tržišta trebala bi moći zatražiti pomoć od Ureda za umjetnu inteligenciju ako tijelo za nadzor tržišta ne može zaključiti istragu visokorizičnog UI sustava zbog toga što ne može pristupiti određenim informacijama povezanima s UI modelom opće namjene na kojem je izgrađen visokorizični UI sustav. U takvim bi se slučajevima postupak u pogledu uzajamne pomoći u prekograničnim slučajevima iz poglavlja VI. Uredbe (EU) 2019/1020 trebao primjenjivati mutatis mutandis.
(161)
Es necesario aclarar las responsabilidades y competencias a escala de la Unión y nacional en lo que respecta a los sistemas de IA que se basan en modelos de IA de uso general. Para evitar el solapamiento de competencias, cuando un sistema de IA se base en un modelo de IA de uso general y el modelo y el sistema sean suministrados por el mismo proveedor, la supervisión debe llevarse a cabo a escala de la Unión a través de la Oficina de IA, que debe tener a estos efectos las facultades de una autoridad de vigilancia del mercado en el sentido de lo dispuesto en el Reglamento (UE) 2019/1020. En todos los demás casos, serán responsables de la supervisión de los sistemas de IA las autoridades nacionales de vigilancia del mercado. No obstante, en el caso de los sistemas de IA de uso general que puedan ser utilizados directamente por los responsables del despliegue con al menos un fin clasificado como de alto riesgo, las autoridades de vigilancia del mercado deben cooperar con la Oficina de IA para llevar a cabo evaluaciones de la conformidad e informar de ello al Consejo de IA y a otras autoridades de vigilancia del mercado. Además, las autoridades de vigilancia del mercado deben poder solicitar la asistencia de la Oficina de IA cuando la autoridad de vigilancia del mercado no pueda concluir una investigación sobre un sistema de IA de alto riesgo debido a su incapacidad para acceder a determinada información relacionada con el modelo de IA de uso general en el que se basa el sistema de IA de alto riesgo. En tales casos, debe aplicarse mutatis mutandis el procedimiento de asistencia mutua transfronteriza previsto en el capítulo VI del Reglamento (UE) 2019/1020.
(162)
Kako bi se na razini Unije na najbolji način iskoristilo centralizirano stručno znanje i sinergija Unije, ovlasti nadzora i izvršavanja obveza dobavljača UI modela opće namjene trebale bi biti u nadležnosti Komisije.. Ured za umjetnu inteligenciju trebao bi moći provoditi sve potrebne mjere za praćenje djelotvorne provedbe ove Uredbe u pogledu UI modela opće namjene. Trebao bi moći istražiti moguće povrede pravila o dobavljačima UI modela opće namjene na vlastitu inicijativu, na temelju rezultata svojih aktivnosti praćenja ili na zahtjev tijelâ za nadzor tržišta u skladu s uvjetima utvrđenima u ovoj Uredbi. Kako bi se poduprlo djelotvorno praćenje koje provodi Ured za umjetnu inteligenciju, trebalo bi predvidjeti mogućnost da dobavljači niže u lancu podnose pritužbe o mogućim povredama pravila o dobavljačima UI modelâ i sustavâ opće namjene.
(162)
Para aprovechar al máximo la centralización de conocimientos especializados y las sinergias que se generan a escala de la Unión, deben atribuirse a la Comisión las competencias de supervisión y de control del cumplimiento de las obligaciones de los proveedores de modelos de IA de uso general. La Oficina de IA debe poder llevar a cabo todas las acciones necesarias para supervisar la aplicación efectiva del presente Reglamento en lo que respecta a los modelos de IA de uso general. Debe poder investigar posibles infracciones de las normas relativas a los proveedores de modelos de IA de uso general, tanto por iniciativa propia, a raíz de los resultados de sus actividades de supervisión, como a petición de las autoridades de vigilancia del mercado, de conformidad con las condiciones establecidas en el presente Reglamento. Para promover la eficacia de la supervisión, la Oficina de IA debe prever la posibilidad de que los proveedores posteriores presenten reclamaciones sobre posibles infracciones de las normas relativas a los proveedores de sistemas y modelos de IA de uso general.
(163)
Kako bi se dopunili sustavi upravljanja za UI modele opće namjene, znanstveno povjerenstvo trebalo bi podupirati aktivnosti praćenja koje provodi Ured za umjetnu inteligenciju i može, u određenim slučajevima, Uredu za umjetnu inteligenciju dostaviti kvalificirana upozorenja kojima se pokreću daljnje mjere, kao što su istrage. To bi trebao biti slučaj kada znanstveno povjerenstvo ima razloga sumnjati da UI model opće namjene predstavlja konkretan i utvrdiv rizik na razini Unije. Nadalje, to bi trebao biti slučaj kada znanstveno povjerenstvo ima razloga sumnjati da UI model opće namjene ispunjava kriterije koji bi doveli do toga da ga se klasificira kao UI model opće namjene sa sistemskim rizikom. Kako bi znanstveno povjerenstvo dobilo informacije potrebne za obavljanje tih zadaća, trebao bi postojati mehanizam kojim ono može zatražiti od Komisije da od dobavljača zatraži dokumentaciju ili informacije.
(163)
Con el fin de complementar los sistemas de gobernanza de los modelos de IA de uso general, el grupo de expertos científicos debe contribuir a las actividades de supervisión de la Oficina de IA y, en determinados casos, puede proporcionar alertas cualificadas a la Oficina de IA que activen actuaciones consecutivas, como investigaciones. Así debe ocurrir cuando el grupo de expertos científicos tenga motivos para sospechar que un modelo de IA de uso general presenta un riesgo concreto e identificable a escala de la Unión. También debe ser este el caso cuando el grupo de expertos científicos tenga motivos para sospechar que un modelo de IA de uso general cumple los criterios que llevarían a clasificarlo como modelo de IA de uso general con riesgo sistémico. A fin de facilitar al grupo de expertos científicos la información necesaria para el desempeño de esas funciones, debe existir un mecanismo que permita al grupo de expertos científicos pedir a la Comisión que solicite documentación o información a un proveedor.
(164)
Ured za umjetnu inteligenciju trebao bi moći poduzeti potrebne mjere za praćenje djelotvorne provedbe i ispunjavanja obveza dobavljača UI modelâ opće namjene koje su utvrđene u ovoj Uredbi. Ured za umjetnu inteligenciju trebao bi moći istražiti moguće povrede u skladu s ovlastima predviđenima u ovoj Uredbi, među ostalim traženjem dokumentacije i informacija, provođenjem evaluacija i zahtijevanjem od dobavljača UI modela opće namjene da provede mjere. Kako bi se iskoristilo neovisno stručno znanje, pri provedbi evaluacija Ured za umjetnu inteligenciju trebao bi moći uključiti neovisne stručnjake da provedu evaluacije u njegovo ime. Usklađenost s obvezama trebala bi biti izvršiva, među ostalim, s pomoću zahtjevâ za poduzimanje odgovarajućih mjera, među ostalim i mjera za ublažavanje rizika u slučaju utvrđenih sistemskih rizika, kao i ograničavanja stavljanja na raspolaganje na tržištu, povlačenja ili opoziva modela. Kao zaštitna mjera, ako je to potrebno izvan okvira postupovnih prava predviđenih u ovoj Uredbi, dobavljači UI modela opće namjene trebali bi imati postupovna prava predviđena u članku 18. Uredbe (EU) 2019/1020, koji bi se trebao primjenjivati mutatis mutandis, ne dovodeći u pitanje specifičnija postupovna prava predviđena ovom Uredbom.
(164)
La Oficina de IA debe poder adoptar las medidas necesarias para supervisar la aplicación efectiva y el cumplimiento de las obligaciones de los proveedores de modelos de IA de uso general establecidas en el presente Reglamento. La Oficina de IA debe poder investigar posibles infracciones de conformidad con las competencias previstas en el presente Reglamento, por ejemplo, solicitando documentación e información, realizando evaluaciones y solicitando la adopción de medidas a los proveedores de modelos de IA de uso general. En la realización de las evaluaciones, para poder contar con conocimientos especializados independientes, la Oficina de IA debe poder recurrir a expertos independientes para que lleven a cabo las evaluaciones en su nombre. Se debe poder exigir el cumplimiento de las obligaciones mediante, entre otras cosas, solicitudes de adopción de medidas adecuadas, entre las que se incluyen medidas de reducción del riesgo en caso de que se detecten riesgos sistémicos, así como la restricción de la comercialización, la retirada o la recuperación del modelo. Como salvaguardia, cuando sea necesario, además de los derechos procedimentales previstos en el presente Reglamento, los proveedores de modelos de IA de uso general deben tener los derechos procedimentales previstos en el artículo 18 del Reglamento (UE) 2019/1020, que deben aplicarse mutatis mutandis, sin perjuicio de los derechos procesales más específicos previstos en el presente Reglamento.
(165)
Razvoj UI sustava koji nisu visokorizični u skladu sa zahtjevima ove Uredbe može dovesti do šire primjene etične i pouzdane umjetne inteligencije u Uniji. Dobavljače UI sustava koji nisu visokorizični trebalo bi poticati na izradu kodeksâ ponašanja, uključujući povezane mehanizme upravljanja, namijenjenih poticanju dobrovoljne primjene nekih ili svih obveznih zahtjeva koji se primjenjuju na visokorizične UI sustave, prilagođenih namjeni sustava i manjem riziku te uzimajući u obzir dostupna tehnička rješenja i najbolje industrijske prakse kao što su kartice modela i podatkovne kartice. Dobavljače i, prema potrebi, subjekte koji uvode sve UI sustave, bez obzira na to jesu li visokorizični, i UI modele trebalo bi također poticati da dobrovoljno primjenjuju dodatne zahtjeve koji se odnose, na primjer, na elemente Etičkih smjernica Unije za pouzdanu umjetnu inteligenciju, okolišnu održivost, mjere pismenosti u području umjetne inteligencije, uključiv i raznolik dizajn i razvoj UI sustava, uključujući usmjeravanje pozornosti na ranjive osobe i pristupačnost za osobe s invaliditetom, sudjelovanje dionika uz uključenost, prema potrebi, relevantnih dionika kao što su poduzeća i organizacije civilnog društva, akademska zajednica, istraživačke organizacije, sindikati i organizacije za zaštitu potrošača u dizajnu i razvoju UI sustava te raznolikost razvojnih timova, uključujući ravnotežu spolova. Kako bi se osigurala djelotvornost dobrovoljnih kodeksa ponašanja, oni bi se trebali temeljiti na jasnim ciljevima i ključnim pokazateljima uspješnosti za mjerenje ostvarenja tih ciljeva. Trebalo bi ih također razvijati na uključiv način, prema potrebi, uz sudjelovanje relevantnih dionika kao što su poduzeća i organizacije civilnog društva, akademska zajednica, istraživačke organizacije, sindikati i organizacije za zaštitu potrošača. Komisija može osmisliti inicijative, među ostalim na sektorskoj razini, za olakšavanje smanjivanja tehničkih zapreka prekograničnoj razmjeni podataka u svrhu razvoja umjetne inteligencije, među ostalim i u području infrastrukture za pristup podacima te semantičke i tehničke interoperabilnosti različitih vrsta podataka.
(165)
El desarrollo de sistemas de IA que no sean sistemas de IA de alto riesgo conforme a los requisitos establecidos en el presente Reglamento puede dar lugar a la adopción más amplia de una IA ética y fiable en la Unión. Se debe alentar a los proveedores de sistemas de IA que no son de alto riesgo a crear códigos de conducta, entre los que se incluyen los correspondientes mecanismos de gobernanza, destinados a impulsar la aplicación voluntaria de la totalidad o parte de los requisitos aplicables a los sistemas de IA de alto riesgo, adaptados teniendo en cuenta la finalidad prevista de los sistemas y el menor riesgo planteado y teniendo en cuenta las soluciones técnicas disponibles y las mejores prácticas del sector, como las tarjetas de modelo y de datos Asimismo, se debe animar a los proveedores y, en su caso, a los responsables del despliegue de todos los sistemas de IA, ya sean o no de alto riesgo, y de los modelos de IA, a aplicar, con carácter voluntario, requisitos adicionales relativos, por ejemplo, a los elementos de las Directrices éticas de la Unión para una IA fiable, la sostenibilidad medioambiental, medidas de alfabetización en materia de IA, la inclusividad y la diversidad en el diseño y el desarrollo de los sistemas de IA, lo que incluye tener en cuenta a las personas vulnerables y la accesibilidad de las personas con discapacidad, la participación de las partes interesadas, con la participación, según proceda, de las partes interesadas pertinentes, como las organizaciones empresariales y de la sociedad civil, el mundo académico, los organismos de investigación, los sindicatos y las organizaciones de protección de los consumidores, en el diseño y el desarrollo de los sistemas de IA, y la diversidad de los equipos de desarrollo, también por lo que respecta a la paridad de género. Para garantizar la efectividad de los códigos de conducta voluntarios, estos deben basarse en objetivos claros e indicadores clave del rendimiento que permitan medir la consecución de dichos objetivos. También deben desarrollarse de manera inclusiva, según proceda, con la participación de las partes interesadas pertinentes, como las organizaciones empresariales y de la sociedad civil, el mundo académico, los organismos de investigación, los sindicatos y las organizaciones de protección de los consumidores. La Comisión podría formular iniciativas, también de carácter sectorial, encaminadas a facilitar la disminución de los obstáculos técnicos que dificultan el intercambio transfronterizo de datos para el desarrollo de la IA, también en relación con la infraestructura de acceso a los datos y la interoperabilidad semántica y técnica de distintos tipos de datos.
(166)
Važno je da UI sustavi povezani s proizvodima koji nisu visokorizični u skladu s ovom Uredbom te stoga ne moraju ispunjavati zahtjeve utvrđene za visokorizične UI sustave ipak budu sigurni kad se stavljaju na tržište ili u upotrebu. Kako bi se doprinijelo tom cilju, Uredba (EU) 2023/988 Europskog parlamenta i Vijeća (53) primjenjivala bi se kao sigurnosni mehanizam.
(166)
Es importante que los sistemas de IA asociados a productos que el presente Reglamento no considera de alto riesgo y que, por lo tanto, no están obligados a cumplir los requisitos establecidos para los sistemas de IA de alto riesgo sean, no obstante, seguros una vez introducidos en el mercado o puestos en servicio. Para contribuir a este objetivo, se aplicaría, como red de seguridad, el Reglamento (UE) 2023/988 del Parlamento Europeo y del Consejo (53).
(167)
Kako bi se osigurala pouzdana i konstruktivna suradnja nadležnih tijela na razini Unije i na nacionalnoj razini, sve strane uključene u primjenu ove Uredbe trebale bi poštovati povjerljivost informacija i podataka prikupljenih pri obavljanju svojih zadaća, u skladu s pravom Unije ili nacionalnim pravom. Svoje zadaće i aktivnosti trebale bi obavljati tako da osobito štite prava intelektualnog vlasništva, povjerljive poslovne informacije i poslovne tajne, djelotvornu provedbu ove Uredbe, javne i nacionalne sigurnosne interese, integritet kaznenih i upravnih postupaka te integritet klasificiranih podataka.
(167)
Todas las partes implicadas en la aplicación del presente Reglamento deben respetar la confidencialidad de la información y los datos que obtengan en el ejercicio de sus funciones, de conformidad con el Derecho de la Unión o nacional, con vistas a garantizar una cooperación fiable y constructiva entre las autoridades competentes a escala de la Unión y nacional. Deben desempeñar sus funciones y actividades de manera que se protejan, en particular, los derechos de propiedad intelectual e industrial, la información empresarial confidencial y los secretos comerciales, la aplicación eficaz del presente Reglamento, los intereses de seguridad pública y nacional, la integridad de los procedimientos penales y administrativos y la integridad de la información clasificada.
(168)
Usklađenost s ovom Uredbom trebala bi biti izvršiva izricanjem sankcija i drugih mjera izvršavanja. Države članice trebale bi poduzeti sve mjere potrebne za osiguravanje provedbe odredaba ove Uredbe, među ostalim utvrđivanjem učinkovitih, proporcionalnih i odvraćajućih sankcija za povrede tih odredaba, i za poštovanje načela ne bis in idem. Kako bi se postrožile i uskladile upravne sankcije za povrede ove Uredbe, trebalo bi utvrditi gornje granice za određivanje upravnih novčanih kazni za određene specifične povrede. Pri procjeni iznosa novčanih kazni države članice trebale bi u svakom pojedinačnom slučaju uzeti u obzir sve relevantne okolnosti specifične situacije, posebno uzimajući u obzir prirodu, težinu i trajanje povrede i njezine posljedice te veličinu dobavljača, posebno ako je dobavljač MSP, uključujući start-up poduzeće. Europski nadzornik za zaštitu podataka trebao bi imati ovlast izreći novčane kazne institucijama, agencijama i tijelima Unije obuhvaćenima područjem primjene ove Uredbe.
(168)
Se debe poder exigir el cumplimiento del presente Reglamento mediante la imposición de sanciones y otras medidas de ejecución. Los Estados miembros deben tomar todas las medidas necesarias para garantizar que se apliquen las disposiciones del presente Reglamento, también estableciendo sanciones efectivas, proporcionadas y disuasorias para las infracciones, y para respetar el principio de non bis in idem. A fin de reforzar y armonizar las sanciones administrativas por infracción del presente Reglamento, deben establecerse los límites máximos para la imposición de las multas administrativas en el caso de ciertas infracciones concretas. A la hora de determinar la cuantía de las multas, los Estados miembros deben tener en cuenta, en cada caso concreto, todas las circunstancias pertinentes de la situación de que se trate, considerando especialmente la naturaleza, gravedad y duración de la infracción y de sus consecuencias, así como el tamaño del proveedor, en particular si este es una pyme o una empresa emergente. El Supervisor Europeo de Protección de Datos debe estar facultado para imponer multas a las instituciones, los órganos y los organismos de la Unión incluidos en el ámbito de aplicación del presente Reglamento.
(169)
Usklađenost s obvezama dobavljačâ UI modelâ opće namjene koje su propisane na temelju ove Uredbe trebala bi biti izvršiva, među ostalim, novčanim kaznama. U tu bi svrhu također trebalo utvrditi odgovarajuće razine novčanih kazni za povrede tih obveza, uključujući nepoštovanje mjera koje je Komisija zatražila u skladu s ovom Uredbom, podložno odgovarajućim rokovima zastare u skladu s načelom proporcionalnosti. Sve odluke koje Komisija donosi na temelju ove Uredbe podliježu postupku preispitivanja pred Sudom Europske unije u skladu s UFEU-om, među ostalim i neograničenoj nadležnosti Suda u pogledu sankcija u skladu s člankom 261. UFEU-a.
(169)
Se debe poder exigir el cumplimiento de las obligaciones impuestas en virtud del presente Reglamento a los proveedores de modelos de IA de uso general mediante, entre otras cosas, la imposición de multas. A tal fin, también deben establecerse multas de una cuantía apropiada en caso de incumplimiento de dichas obligaciones, lo que incluye el incumplimiento de las medidas solicitadas por la Comisión de conformidad con el presente Reglamento, con sujeción a los plazos de prescripción pertinentes de conformidad con el principio de proporcionalidad. Todas las decisiones adoptadas por la Comisión en virtud del presente Reglamento están sujetas al control del Tribunal de Justicia de la Unión Europea, de conformidad con lo dispuesto en el TFUE, incluida la competencia jurisdiccional plena del Tribunal de Justicia en materia de sanciones con arreglo al artículo 261 del TFUE.
(170)
Pravom Unije i nacionalnim pravom već su predviđena djelotvorna pravna sredstva za fizičke i pravne osobe na čija prava i slobode negativno utječe upotreba UI sustavâ. Ne dovodeći u pitanje ta pravna sredstva, svaka fizička ili pravna osoba koja ima razloga smatrati da je došlo do povrede ove Uredbe trebala bi imati pravo podnijeti pritužbu relevantnom tijelu za nadzor tržišta.
(170)
El Derecho de la Unión y nacional ya prevén vías de recurso efectivas para las personas físicas y jurídicas cuyos derechos y libertades se vean perjudicados por el uso de sistemas de IA. Sin perjuicio de dichas vías de recurso, toda persona física o jurídica que tenga motivos para considerar que se ha producido una infracción del presente Reglamento debe tener derecho a presentar una reclamación ante la autoridad de vigilancia del mercado pertinente.
(171)
Zahvaćene osobe trebale bi imati pravo dobiti objašnjenje ako se odluka subjekta koji uvodi sustav uglavnom temelji na izlaznim rezultatima iz određenih visokorizičnih UI sustava obuhvaćenih područjem primjene ove Uredbe i ako ta odluka proizvodi pravne učinke ili na sličan način znatno utječe na te osobe na način za koji smatraju da ima negativan učinak na njihovo zdravlje, sigurnost ili temeljna prava. To bi objašnjenje trebalo biti jasno i smisleno te bi trebalo biti osnova koja omogućuje zahvaćenim osobama da ostvare svoja prava. Pravo na dobivanje objašnjenja ne bi se trebalo primjenjivati na upotrebu UI sustava za koje iznimke ili ograničenja proizlaze iz prava Unije ili nacionalnog prava i trebalo bi se primjenjivati samo u mjeri u kojoj to pravo već nije predviđeno pravom Unije.
(171)
Las personas afectadas deben tener derecho a obtener una explicación cuando la decisión de un responsable del despliegue se base principalmente en los resultados de salida de determinados sistemas de IA de alto riesgo que entran dentro del ámbito de aplicación del presente Reglamento y cuando dicha decisión produzca efectos jurídicos o afecte significativamente de modo similar a dichas personas, de manera que consideren que tiene un efecto negativo en su salud, su seguridad o sus derechos fundamentales. Dicha explicación debe ser clara y significativa y servir de base para que las personas afectadas puedan ejercer sus derechos. El derecho a obtener una explicación no debe aplicarse a la utilización de sistemas de IA para los que se deriven excepciones o restricciones con arreglo al Derecho nacional o de la Unión, y solo debe aplicarse en la medida en que este derecho no esté ya previsto en el Derecho de la Unión.
(172)
Osobe koje djeluju kao zviždači u vezi s povredama ove Uredbe trebale bi biti zaštićene pravom Unije. Direktiva (EU) 2019/1937 Europskog parlamenta i Vijeća (54) stoga bi se trebala primjenjivati na prijavljivanje povreda ove Uredbe i na zaštitu osoba koje prijavljuju te povrede.
(172)
Las personas que informen sobre infracciones del presente Reglamento deben quedar protegidas por el Derecho de la Unión. Así pues, cuando se informe sobre infracciones del presente Reglamento y en lo que respecta a la protección de las personas que informen sobre dichas infracciones debe aplicarse la Directiva (UE) 2019/1937 del Parlamento Europeo y del Consejo (54).
(173)
Kako bi se osiguralo da se regulatorni okvir može prilagođavati ako je to potrebno, Komisiji bi trebalo delegirati ovlast za donošenje akata u skladu s člankom 290. UFEU-a radi izmjene uvjeta na temelju kojih se UI sustav ne treba smatrati visokorizičnim, popisa visokorizičnih UI sustava, odredaba o tehničkoj dokumentaciji, sadržaja EU izjave o sukladnosti, odredaba o postupcima ocjenjivanja sukladnosti, odredaba kojima se utvrđuju visokorizični UI sustavi na koje bi se trebao primjenjivati postupak ocjenjivanja sukladnosti na temelju ocjene sustava upravljanja kvalitetom i ocjene tehničke dokumentacije, praga, referentnih vrijednosti i pokazatelja, među ostalim dopunjavanjem tih referentnih vrijednosti i pokazatelja, u pravilima za klasifikaciju UI modela opće namjene sa sistemskim rizikom, kriterija za određivanje UI modela opće namjene sa sistemskim rizikom, tehničke dokumentacije za dobavljače UI modela opće namjene i informacija o transparentnosti za dobavljače UI modela opće namjene. Posebno je važno da Komisija tijekom svojeg pripremnog rada provede odgovarajuća savjetovanja, uključujući ona na razini stručnjaka, te da se ta savjetovanja provedu u skladu s načelima utvrđenima u Međuinstitucijskom sporazumu o boljoj izradi zakonodavstva od 13. travnja 2016. (55). Osobito, s ciljem osiguravanja ravnopravnog sudjelovanja u pripremi delegiranih akata, Europski parlament i Vijeće primaju sve dokumente istodobno kada i stručnjaci iz država članica te njihovi stručnjaci sustavno imaju pristup sastancima stručnih skupina Komisije koji se odnose na pripremu delegiranih akata.
(173)
A fin de garantizar que el marco reglamentario pueda adaptarse cuando sea necesario, deben delegarse en la Comisión los poderes para adoptar actos con arreglo al artículo 290 del TFUE de modo que pueda modificar las condiciones en las que un sistema de IA no debe considerarse un sistema de alto riesgo, la lista de sistemas de IA de alto riesgo, las disposiciones relativas a la documentación técnica, el contenido de la declaración UE de conformidad, las disposiciones relativas a los procedimientos de evaluación de la conformidad, las disposiciones que establecen a qué sistemas de IA de alto riesgo debe aplicarse el procedimiento de evaluación de la conformidad basado en la evaluación del sistema de gestión de la calidad y en la evaluación de la documentación técnica, el umbral, los parámetros de referencia y los indicadores, lo que incluye la posibilidad de complementar dichos parámetros de referencia e indicadores, de las normas de clasificación de los modelos de IA de uso general con riesgo sistémico, los criterios para clasificar un modelo como modelo de IA de uso general con riesgo sistémico, la documentación técnica para los proveedores de modelos de IA de uso general y la información sobre transparencia para los proveedores de modelos de IA de uso general. Reviste especial importancia que la Comisión lleve a cabo las consultas oportunas durante la fase preparatoria, en particular con expertos, y que esas consultas se realicen de conformidad con los principios establecidos en el Acuerdo interinstitucional de 13 de abril de 2016 sobre la mejora de la legislación (55). En particular, a fin de garantizar una participación equitativa en la preparación de los actos delegados, el Parlamento Europeo y el Consejo reciben toda la documentación al mismo tiempo que los expertos de los Estados miembros, y sus expertos tienen acceso sistemáticamente a las reuniones de los grupos de expertos de la Comisión que se ocupen de la preparación de actos delegados.
(174)
S obzirom na brz tehnološki razvoj i tehničko stručno znanje koje je potrebno za djelotvornu primjenu ove Uredbe, Komisija bi trebala evaluirati i preispitati ovu Uredbu do 2. kolovoza 2029. i svake četiri godine nakon toga te o tome izvijestiti Europski parlament i Vijeće. Osim toga, uzimajući u obzir posljedice za područje primjene ove Uredbe, Komisija bi jednom godišnje trebala provesti procjenu potrebe za izmjenom popisa visokorizičnih UI sustava i popisa zabranjenih praksi. Nadalje, do 2. kolovoza 2028. i svake četiri godine nakon toga Komisija bi trebala evaluirati potrebu za izmjenom popisa naslova visokorizičnih područja iz priloga ovoj Uredbi, UI sustava obuhvaćenih obvezama transparentnosti, djelotvornosti sustava nadzora i upravljanja te napretka u razvoju normizacijskih dokumenata o energetski učinkovitom razvoju UI modela opće namjene, uključujući potrebu za daljnjim mjerama ili djelovanjima, te o tome izvijestiti Europski parlament i Vijeće. Naposljetku, do 2. kolovoza 2028. i svake tri godine nakon toga Komisija bi trebala evaluirati učinak i djelotvornost dobrovoljnih kodeksa ponašanja namijenjenih poticanju primjene zahtjeva predviđenih za visokorizične UI sustave u slučaju UI sustava koji nisu visokorizični i eventualno drugih dodatnih zahtjeva za takve UI sustave.
(174)
Habida cuenta de los rápidos avances tecnológicos y de los conocimientos técnicos necesarios para la aplicación efectiva del presente Reglamento, la Comisión debe evaluar y revisar el presente Reglamento a más tardar el 2 de agosto de 2029 y posteriormente cada cuatro años e informar al Parlamento Europeo y al Consejo. Además, teniendo en cuenta las implicaciones por lo que respecta al ámbito de aplicación del presente Reglamento, la Comisión debe llevar a cabo una evaluación de la necesidad de modificar la lista de sistemas de IA de alto riesgo y la lista de prácticas prohibidas una vez al año. Asimismo, a más tardar 2 de agosto de 2028 y posteriormente cada cuatro años, la Comisión debe evaluar y comunicar al Parlamento Europeo y al Consejo la necesidad de modificar la lista de ámbitos de alto riesgo que figura en el anexo del presente Reglamento, los sistemas de IA incluidos en el ámbito de aplicación de las obligaciones de transparencia, la eficacia del sistema de supervisión y gobernanza y los avances en el desarrollo de documentos de normalización sobre el desarrollo eficiente desde el punto de vista energético de modelos de IA de uso general, incluida la necesidad de medidas o acciones adicionales. Por último, a más tardar el 2 de agosto de 2028 y posteriormente cada tres años, la Comisión debe evaluar la repercusión y la eficacia de los códigos de conducta voluntarios para fomentar la aplicación de los requisitos establecidos para los sistemas de IA de alto riesgo a los sistemas de IA que no sean sistemas de IA de alto riesgo y, posiblemente, otros requisitos adicionales para dichos sistemas de IA.
(175)
Radi osiguranja jedinstvenih uvjeta za provedbu ove Uredbe provedbene ovlasti trebalo bi dodijeliti Komisiji. Te bi ovlasti trebalo izvršavati u skladu s Uredbom (EU) br. 182/2011 Europskog parlamenta i Vijeća (56).
(175)
A fin de garantizar condiciones uniformes de ejecución del presente Reglamento, deben conferirse a la Comisión competencias de ejecución. Dichas competencias deben ejercerse de conformidad con el Reglamento (UE) n.o 182/2011 del Parlamento Europeo y del Consejo (56).
(176)
S obzirom na to da cilj ove Uredbe, to jest poboljšanje funkcioniranja unutarnjeg tržišta i promicanje uvođenja antropocentrične umjetne inteligencije, uz istodobno osiguravanje visoke razine zaštite zdravlja, sigurnosti i temeljnih prava sadržanih u Povelji, uključujući demokraciju, vladavinu prava i zaštitu okoliša od štetnih učinaka UI sustavâ u Uniji te podupiranje inovacija, ne mogu dostatno ostvariti države članice, nego se zbog opsega ili učinaka djelovanja on na bolji način može ostvariti na razini Unije, Unija može donijeti mjere u skladu s načelom supsidijarnosti utvrđenim u članku 5. UEU-a. U skladu s načelom proporcionalnosti utvrđenim u tom članku ova Uredba ne prelazi ono što je potrebno za ostvarivanje tog cilja.
(176)
Dado que el objetivo del presente Reglamento, a saber, mejorar el funcionamiento del mercado interior y promover la adopción de una IA centrada en el ser humano y fiable, garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta, incluidos la democracia, el Estado de Derecho y la protección del medio ambiente, frente a los efectos perjudiciales de los sistemas de IA en la Unión, así como brindar apoyo a la innovación, no pueden ser alcanzados de manera suficiente por los Estados miembros, sino que, debido a sus dimensiones y efectos, pueden lograrse mejor a escala de la Unión, esta puede adoptar medidas, de acuerdo con el principio de subsidiariedad establecido en el artículo 5 del TUE. De conformidad con el principio de proporcionalidad establecido en el mismo artículo, el presente Reglamento no excede de lo necesario para alcanzar dicho objetivo.
(177)
Kako bi se zajamčila pravna sigurnost, osiguralo odgovarajuće razdoblje prilagodbe za operatere i izbjegli poremećaji na tržištu, među ostalim osiguravanjem kontinuiteta korištenja UI sustavâ, primjereno je da se ova Uredba primjenjuje na visokorizične UI sustave koji su stavljeni na tržište ili u upotrebu prije općeg datuma početka njezine primjene samo ako od tog datuma u tim sustavima dođe do znatnih promjena u pogledu njihova dizajna ili namjene. Primjereno je pojasniti da bi u tom pogledu pojam znatne promjene trebalo razumjeti kao sadržajno jednakovrijedan pojmu znatne izmjene, koji se upotrebljava samo u pogledu visokorizičnih UI sustava na temelju ove Uredbe. Iznimno i s obzirom na javnu odgovornost, operateri UI sustava koji su komponente opsežnih informacijskih sustava uspostavljenih pravnim aktima navedenima u prilogu ovoj Uredbi i operateri visokorizičnih UI sustava namijenjenih korištenju od strane tijela javne vlasti trebali bi poduzeti potrebne korake kako bi ispunili zahtjeve iz ove Uredbe do kraja 2030. i do 2. kolovoza 2030.
(177)
A fin de garantizar la seguridad jurídica, garantizar un período de adaptación adecuado para los operadores y evitar perturbaciones del mercado, también garantizando la continuidad del uso de los sistemas de IA, es conveniente que el presente Reglamento se aplique a los sistemas de IA de alto riesgo que se hayan introducido en el mercado o se hayan puesto en servicio antes de la fecha general de aplicación del Reglamento únicamente si, a partir de esa fecha, dichos sistemas se ven sometidos a cambios significativos en su diseño o su finalidad prevista. Conviene aclarar que, a este respecto, el concepto de «cambio significativo» debe entenderse como equivalente en sustancia al de «modificación sustancial», que se utiliza únicamente con respecto a los sistemas de IA de alto riesgo de conformidad con el presente Reglamento. Con carácter excepcional y a efectos de la rendición pública de cuentas, los operadores de sistemas de IA que sean componentes de sistemas informáticos de gran magnitud establecidos por los actos jurídicos enumerados en un anexo del presente Reglamento y los operadores de sistemas de IA de alto riesgo destinados a ser utilizados por las autoridades públicas deben adoptar, respectivamente, las medidas necesarias para cumplir los requisitos del presente Reglamento antes del final de 2030 y, a más tardar el 2 de agosto de 2030.
(178)
Dobavljače visokorizičnih UI sustava potiče se da dobrovoljno počnu ispunjavati relevantne obveze iz ove Uredbe već tijekom prijelaznog razdoblja.
(178)
Se anima a los proveedores de sistemas de IA de alto riesgo a que empiecen a cumplir, de forma voluntaria, las obligaciones pertinentes del presente Reglamento ya durante el período transitorio.
(179)
Ova Uredba trebala bi se primjenjivati od 2. kolovoza 2026. Međutim, uzimajući u obzir neprihvatljiv rizik povezan s korištenjem umjetne inteligencije na određene načine, zabrane kao i opće odredbe ove Uredbe trebale bi se trebale primjenjivati već od 2. veljače 2025. Iako potpuni učinak tih zabrana proizlazi iz uspostave upravljanja i izvršavanja ove Uredbe, predviđanje primjene zabrana važno je kako bi se uzeli u obzir neprihvatljivi rizici i kako bi se utjecalo na druge postupke, primjerice u građanskom pravu. Nadalje, infrastruktura povezana s upravljanjem i sustavom za ocjenjivanje sukladnosti trebala bi biti spremna za upotrebu prije 2. kolovoza 2026., pa bi se stoga odredbe o prijavljenim tijelima i strukturama upravljanja trebale primjenjivati od 2. kolovoza 2025. S obzirom na brz tehnološki napredak i usvajanje UI modelâ opće namjene, obveze dobavljača UI modelâ opće namjene trebale bi se primjenjivati od 2. kolovoza 2025. Kodeksi prakse trebali bi biti spremni do 2. svibnja 2025. kako bi se dobavljačima omogućilo da pravodobno dokažu usklađenost. Ured za umjetnu inteligenciju trebao bi osigurati da pravila i postupci klasifikacije budu ažurirani s obzirom na tehnološki razvoj. Usto, države članice trebale bi utvrditi pravila o sankcijama i obavijestiti Komisiju o tim pravilima, uključujući upravne novčane kazne, te osigurati njihovu pravilnu i djelotvornu provedbu do datuma početka primjene ove Uredbe. Stoga bi se odredbe o sankcijama trebale primjenjivati od 2. kolovoza 2025.
(179)
El presente Reglamento debe aplicarse a partir del 2 de agosto de 2026. No obstante, teniendo en cuenta el riesgo inaceptable asociado a determinadas formas de uso de la IA, las prohibiciones, así como las disposiciones generales del presente Reglamento, deben aplicarse ya desde el 2 de febrero de 2025. Aunque dichas prohibiciones no surtan pleno efecto hasta después del establecimiento de la gobernanza y la aplicación del presente Reglamento, es importante anticipar la aplicación de las prohibiciones para tener en cuenta los riesgos inaceptables y adaptar otros procedimientos, por ejemplo, en el ámbito del Derecho civil. Además, la infraestructura relacionada con la gobernanza y el sistema de evaluación de la conformidad deben estar operativos antes de esa fecha, por lo que las disposiciones relativas a los organismos notificados y la estructura de gobernanza deben ser aplicables a partir del 2 de agosto de 2026. Dada la rápida evolución tecnológica y el elevado ritmo de adopción de modelos de IA de uso general, las obligaciones de los proveedores de modelos de IA de uso general deben aplicarse desde el 2 de agosto de 2025. Los códigos de buenas prácticas deben estar finalizados a más tardar el 2 de mayo de 2025 al objeto de permitir a los proveedores demostrar el cumplimiento de sus obligaciones dentro del plazo previsto. La Oficina de IA debe velar por que las normas y los procedimientos de clasificación estén actualizados con arreglo a los avances tecnológicos. Asimismo, los Estados miembros deben establecer y poner en conocimiento de la Comisión las normas referentes a las sanciones, incluidas las multas administrativas, y asegurarse de que para la fecha de aplicación del presente Reglamento se apliquen de manera adecuada y efectiva. Por lo tanto, las disposiciones relativas a las sanciones deben aplicarse a partir del 2 de agosto de 2025.
(180)
Provedeno je savjetovanje s Europskim nadzornikom za zaštitu podataka i s Europskim odborom za zaštitu podataka u skladu s člankom 42. stavcima 1. i 2. Uredbe (EU) 2018/1725 te su oni dali zajedničko mišljenje 18. lipnja 2021.,
(180)
El Supervisor Europeo de Protección de Datos y el Comité Europeo de Protección de Datos, a los que se consultó de conformidad con el artículo 42, apartados 1 y 2, del Reglamento (UE) 2018/1725, emitieron su dictamen conjunto el 18 de junio de 2021.
HAN ADOPTADO EL PRESENTE REGLAMENTO:
1. Ova Uredba primjenjuje se na:
1. El presente Reglamento se aplicará a:
(a)
dobavljače koji stavljaju na tržište ili u upotrebu UI sustave ili stavljaju na tržište UI modele opće namjene u Uniji, bez obzira na to imaju li ti dobavljači poslovni nastan u Uniji ili u nekoj trećoj zemlji ili nalaze li se u Uniji ili u trećoj zemlji;
a)
los proveedores que introduzcan en el mercado o pongan en servicio sistemas de IA o que introduzcan en el mercado modelos de IA de uso general en la Unión, con independencia de si dichos proveedores están establecidos o ubicados en la Unión o en un tercer país;
(b)
subjekte koji uvode UI sustave, a koji imaju poslovni nastan u Uniji ili se nalaze u Uniji;
b)
los responsables del despliegue de sistemas de IA que estén establecidos o ubicados en la Unión;
(c)
dobavljače UI sustava i subjekte koji uvode UI sustave koji imaju poslovni nastan u trećoj zemlji ili se nalaze u trećoj zemlji ako se izlazni rezultati UI sustava upotrebljavaju u Uniji;
c)
los proveedores y responsables del despliegue de sistemas de IA que estén establecidos o ubicados en un tercer país, cuando los resultados de salida generados por el sistema de IA se utilicen en la Unión;
(d)
uvoznike i distributere UI sustavâ;
d)
los importadores y distribuidores de sistemas de IA;
(e)
proizvođače proizvoda koji stavljaju na tržište ili u upotrebu UI sustav zajedno sa svojim proizvodom i pod vlastitim imenom ili žigom;
e)
los fabricantes de productos que introduzcan en el mercado o pongan en servicio un sistema de IA junto con su producto y con su propio nombre o marca;
(f)
ovlaštene zastupnike dobavljača koji nemaju poslovni nastan u Uniji;
f)
los representantes autorizados de los proveedores que no estén establecidos en la Unión;
(g)
zahvaćene osobe koje se nalaze u Uniji.
g)
las personas afectadas que estén ubicadas en la Unión.
2. Na UI sustave klasificirane kao visokorizične u skladu s člankom 6. stavkom 1. u odnosu na proizvode obuhvaćene zakonodavstvom Unije o usklađivanju navedenim u odjeljku B Priloga I. primjenjuju se samo članak 6. stavak 1., članci od 102. do 109. i članak 112. Članak 57. primjenjuje se samo u mjeri u kojoj su zahtjevi za visokorizične UI sustave iz ove Uredbe uključeni u to zakonodavstvo Unije o usklađivanju.
2. A los sistemas de IA clasificados como sistemas de IA de alto riesgo de conformidad con el artículo 6, apartado 1, y relativos a productos regulados por los actos legislativos de armonización de la Unión enumerados en la sección B del anexo I, únicamente se les aplicará el artículo 6, apartado 1, y los artículos 102 a 109 y el artículo 112. El artículo 57 se aplicará únicamente en la medida en que los requisitos para los sistemas de IA de alto riesgo en virtud del presente Reglamento se hayan integrado en dichos actos legislativos de armonización de la Unión.
3. Ova se Uredba ne primjenjuje na područja izvan područja primjene prava Unije i ni u kojem slučaju ne utječe na nadležnosti država članica u pogledu nacionalne sigurnosti, bez obzira na vrstu subjekta kojem su države članice povjerile obavljanje zadaća u vezi s tim nadležnostima.
3. El presente Reglamento no se aplicará a los ámbitos que queden fuera del ámbito de aplicación del Derecho de la Unión y, en cualquier caso, no afectará a las competencias de los Estados miembros en materia de seguridad nacional, independientemente del tipo de entidad a la que los Estados miembros hayan encomendado el desempeño de tareas en relación con dichas competencias.
Ova se Uredba ne primjenjuje na UI sustave ako i u mjeri u kojoj se stavljaju na tržište, u upotrebu ili upotrebljavaju s izmjenama ili bez njih isključivo u vojne svrhe, obrambene svrhe ili u svrhe povezane s nacionalnom sigurnošću, bez obzira na vrstu subjekta koji obavlja te aktivnosti.
El presente Reglamento no se aplicará a los sistemas de IA que, y en la medida en que, se introduzcan en el mercado, se pongan en servicio o se utilicen, con o sin modificaciones, exclusivamente con fines militares, de defensa o de seguridad nacional, independientemente del tipo de entidad que lleve a cabo estas actividades.
Ova se Uredba ne primjenjuje na UI sustave koji se ne stavljaju na tržište ni u upotrebu u Uniji ako se izlazni rezultati upotrebljavaju u Uniji isključivo u vojne svrhe, obrambene svrhe ili u svrhe povezane s nacionalnom sigurnošću, bez obzira na vrstu subjekta koji obavlja te aktivnosti.
El presente Reglamento no se aplicará a los sistemas de IA que no se introduzcan en el mercado o no se pongan en servicio en la Unión en los casos en que sus resultados de salida se utilicen en la Unión exclusivamente con fines militares, de defensa o de seguridad nacional, independientemente del tipo de entidad que lleve a cabo estas actividades.
4. Ova se Uredba ne primjenjuje na tijela javne vlasti u trećoj zemlji ni na međunarodne organizacije obuhvaćene područjem primjene ove Uredbe na temelju stavka 1. ako ta tijela ili te organizacije upotrebljavaju UI sustave u okviru međunarodne suradnje ili sporazumâ o suradnji u području kaznenog progona i pravosudne suradnje s Unijom ili s jednom ili više država članica, pod uvjetom da takva treća zemlja ili međunarodna organizacija pruža odgovarajuće zaštitne mjere u pogledu zaštite temeljnih prava i sloboda pojedinaca.
4. El presente Reglamento no se aplicará a las autoridades públicas de terceros países ni a las organizaciones internacionales que entren dentro del ámbito de aplicación de este Reglamento conforme al apartado 1 cuando dichas autoridades u organizaciones utilicen sistemas de IA en el marco de acuerdos o de la cooperación internacionales con fines de garantía del cumplimiento del Derecho y cooperación judicial con la Unión o con uno o varios Estados miembros, siempre que tal tercer país u organización internacional ofrezca garantías suficientes con respecto a la protección de los derechos y libertades fundamentales de las personas.
5. Ova Uredba ne utječe na primjenu odredaba o odgovornosti pružateljâ usluga posredovanja kako je utvrđeno u poglavlju II. Uredbe (EU) 2022/2065.
5. El presente Reglamento no afectará a la aplicación de las disposiciones relativas a la responsabilidad de los prestadores de servicios intermediarios que figuran en el capítulo II del Reglamento (UE) 2022/2065.
6. Ova Uredba ne primjenjuje se na UI sustave ili UI modele, uključujući njihove izlazne rezultate, koji su posebno razvijeni i stavljeni u upotrebu isključivo u svrhu znanstvenih istraživanja i razvoja.
6. El presente Reglamento no se aplicará a los sistemas o modelos de IA, incluidos sus resultados de salida, desarrollados y puestos en servicio específicamente con la investigación y el desarrollo científicos como única finalidad.
7. Pravo Unije o zaštiti osobnih podataka, privatnosti i povjerljivosti komunikacija primjenjuje se na osobne podatke koji se obrađuju u vezi s pravima i obvezama utvrđenima u ovoj Uredbi. Ova Uredba ne utječe na uredbe (EU) 2016/679 i (EU) 2018/1725 ni na direktive 2002/58/EZ i (EU) 2016/680, ne dovodeći pritom u pitanje članak 10. stavak 5. i članak 59. ove Uredbe.
7. El Derecho de la Unión en materia de protección de los datos personales, la intimidad y la confidencialidad de las comunicaciones se aplicará a los datos personales tratados en relación con los derechos y obligaciones establecidos en el presente Reglamento. El presente Reglamento no afectará a los Reglamentos (UE) 2016/679 o (UE) 2018/1725 ni a las Directivas 2002/58/CE o (UE) 2016/680, sin perjuicio del artículo 10, apartado 5, y el artículo 59 del presente Reglamento.
8. Ova se Uredba ne primjenjuje na aktivnosti istraživanja, testiranja ili razvoja UI sustava ili UI modela prije njihova stavljanja na tržište ili u upotrebu. Takve se aktivnosti provode u skladu s primjenjivim pravom Unije. Testiranje u stvarnim uvjetima nije obuhvaćeno tim isključenjem.
8. El presente Reglamento no se aplicará a ninguna actividad de investigación, prueba o desarrollo relativa a sistemas de IA o modelos de IA antes de su introducción en el mercado o puesta en servicio. Estas actividades se llevarán a cabo de conformidad con el Derecho de la Unión aplicable. Las pruebas en condiciones reales no estarán cubiertas por esa exclusión.
9. Ovom se Uredbom ne dovode u pitanje pravila utvrđena drugim pravnim aktima Unije povezanima sa zaštitom potrošača i sigurnošću proizvoda.
9. El presente Reglamento se entenderá sin perjuicio de las normas establecidas por otros actos jurídicos de la Unión relativos a la protección de los consumidores y a la seguridad de los productos.
10. Ova se Uredba ne primjenjuje na obveze subjekata koji uvode sustav koji su fizičke osobe koje upotrebljavaju UI sustave isključivo u osobnoj neprofesionalnoj djelatnosti.
10. El presente Reglamento no se aplicará a las obligaciones de los responsables del despliegue que sean personas físicas que utilicen sistemas de IA en el ejercicio de una actividad puramente personal de carácter no profesional.
11. Ovom se Uredbom Uniju ili države članice ne sprečava da zadrže ili uvedu zakone i druge propise koji su pogodniji za radnike u smislu zaštite njihovih prava u pogledu korištenja UI sustava od strane poslodavaca, ili da potiču ili dopuštaju primjenu kolektivnih ugovora koji su pogodniji za radnike.
11. El presente Reglamento no impedirá que la Unión o los Estados miembros mantengan o introduzcan disposiciones legales, reglamentarias o administrativas que sean más favorables a los trabajadores en lo que atañe a la protección de sus derechos respecto al uso de sistemas de IA por parte de los empleadores ni que fomenten o permitan la aplicación de convenios colectivos que sean más favorables a los trabajadores.
12. Ova se Uredba ne primjenjuje na UI sustave koji se objavljuju na temelju besplatnih licencija za softver otvorenog koda, osim ako se stavljaju na tržište ili u upotrebu kao visokorizični UI sustavi ili kao UI sustav obuhvaćen člankom 5. ili člankom 50.
12. El presente Reglamento no se aplicará a los sistemas de IA divulgados con arreglo a licencias libres y de código abierto, a menos que se introduzcan en el mercado o se pongan en servicio como sistemas de IA de alto riesgo o como sistemas de IA que entren en el ámbito de aplicación del artículo 5 o del artículo 50.
Zabranjene prakse u području umjetne inteligencije
Prácticas de IA prohibidas
1. Zabranjuju se sljedeće prakse u području umjetne inteligencije:
1. Quedan prohibidas las siguientes prácticas de IA:
(a)
stavljanje na tržište, stavljanje u upotrebu ili korištenje UI sustava u kojem se primjenjuju subliminalne tehnike kojih osoba nije svjesna ili namjerno manipulativne ili obmanjujuće tehnike s ciljem ili s učinkom bitnog iskrivljavanja ponašanja osobe ili skupine osoba tako da se znatno narušava njihova sposobnost da donesu informiranu odluku, zbog čega donose odluku koju inače ne bi donijele, na način kojim se toj osobi, drugoj osobi ili skupini osoba uzrokuje znatna šteta ili se može razumno očekivati da će se prouzročiti takva šteta;
a)
la introducción en el mercado, la puesta en servicio o la utilización de un sistema de IA que se sirva de técnicas subliminales que trasciendan la conciencia de una persona o de técnicas deliberadamente manipuladoras o engañosas con el objetivo o el efecto de alterar de manera sustancial el comportamiento de una persona o un colectivo de personas, mermando de manera apreciable su capacidad para tomar una decisión informada y haciendo que tomen una decisión que de otro modo no habrían tomado, de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona, a otra persona o a un colectivo de personas;
(b)
stavljanje na tržište, stavljanje u upotrebu ili korištenje UI sustava koji iskorištava bilo koju slabost fizičke osobe ili određene skupine osoba zbog njihove dobi, invaliditeta ili specifičnog društvenog ili ekonomskog položaja s ciljem ili s učinkom bitnog iskrivljavanja ponašanja te osobe ili osobe koja pripada toj skupini na način kojim se toj osobi ili nekoj drugoj osobi uzrokuje znatna šteta ili se može razumno očekivati da će se prouzročiti takva šteta;
b)
la introducción en el mercado, la puesta en servicio o la utilización de un sistema de IA que explote alguna de las vulnerabilidades de una persona física o un determinado colectivo de personas derivadas de su edad o discapacidad, o de una situación social o económica específica, con la finalidad o el efecto de alterar de manera sustancial el comportamiento de dicha persona o de una persona que pertenezca a dicho colectivo de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona o a otra;
(c)
stavljanje na tržište, stavljanje u upotrebu ili korištenje UI sustava radi evaluacije ili klasifikacije fizičkih osoba ili skupina osoba tijekom određenog razdoblja na temelju njihova društvenog ponašanja ili poznatih, izvedenih ili predviđenih osobnih obilježja ili obilježja ličnosti, pri čemu njihov društveni rejting uzrokuje barem jedno od sljedećeg:
c)
la introducción en el mercado, la puesta en servicio o la utilización de sistemas de IA para evaluar o clasificar a personas físicas o a colectivos de personas durante un período determinado de tiempo atendiendo a su comportamiento social o a características personales o de su personalidad conocidas, inferidas o predichas, de forma que la puntuación ciudadana resultante provoque una o varias de las situaciones siguientes:
i.
štetno ili nepovoljno postupanje prema određenim fizičkim osobama ili skupinama osoba u društvenim kontekstima koji nisu povezani s kontekstima u kojima su podaci izvorno generirani ili prikupljeni;
i)
un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos de personas en contextos sociales que no guarden relación con los contextos donde se generaron o recabaron los datos originalmente,
ii.
štetno ili nepovoljno postupanje prema određenim fizičkim osobama ili skupinama osoba koje je neopravdano ili nerazmjerno njihovu društvenom ponašanju ili njegovoj ozbiljnosti;
ii)
un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos de personas que sea injustificado o desproporcionado con respecto a su comportamiento social o la gravedad de este;
(d)
stavljanje na tržište, stavljanje u upotrebu u tu specifičnu svrhu ili korištenje UI sustava za procjene rizika u pogledu fizičkih osoba kako bi se procijenio ili predvidjeo rizik da će fizička osoba počiniti kazneno djelo, isključivo na temelju izrade profila fizičke osobe ili procjene njezinih osobina i obilježja ličnosti; ta se zabrana ne primjenjuje na UI sustave koji se upotrebljavaju za potporu ljudskoj procjeni uključenosti osobe u kriminalnu aktivnost, koja se već temelji na objektivnim i provjerljivim činjenicama izravno povezanima s kriminalnom aktivnošću;
d)
la introducción en el mercado, la puesta en servicio para este fin específico o el uso de un sistema de IA para realizar evaluaciones de riesgos de personas físicas con el fin de valorar o predecir el riesgo de que una persona física cometa un delito basándose únicamente en la elaboración del perfil de una persona física o en la evaluación de los rasgos y características de su personalidad; esta prohibición no se aplicará a los sistemas de IA utilizados para apoyar la valoración humana de la implicación de una persona en una actividad delictiva que ya se base en hechos objetivos y verificables directamente relacionados con una actividad delictiva;
(e)
stavljanje na tržište, stavljanje u upotrebu u tu specifičnu svrhu ili korištenje UI sustava koji stvaraju ili proširuju baze podataka za prepoznavanje lica neciljanim prikupljanjem fotografija lica s interneta ili snimki CCTV-a;
e)
la introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de IA que creen o amplíen bases de datos de reconocimiento facial mediante la extracción no selectiva de imágenes faciales de internet o de circuitos cerrados de televisión;
(f)
stavljanje na tržište, stavljanje u upotrebu u tu specifičnu svrhu ili korištenje UI sustava za izvođenje zaključaka o emocijama fizičke osobe na radnome mjestu i u obrazovnim ustanovama, osim ako se UI sustav namjerava staviti u upotrebu ili na tržište iz medicinskih ili sigurnosnih razloga;
f)
la introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de IA para inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos, excepto cuando el sistema de IA esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad;
(g)
stavljanje na tržište, stavljanje u upotrebu u tu specifičnu svrhu ili upotreba sustavâ za biometrijsku kategorizaciju u kojima se fizičke osobe pojedinačno kategoriziraju na temelju njihovih biometrijskih podataka kako bi se zaključilo ili izvelo zaključke o njihovoj rasi, političkim mišljenjima, članstvu u sindikatu, vjerskim ili filozofskim uvjerenjima, spolnom životu ili seksualnoj orijentaciji; ta zabrana ne obuhvaća označivanje ili filtriranje zakonito pribavljenih biometrijskih skupova podataka, kao što su slike, na temelju biometrijskih podataka ili kategorizacije biometrijskih podataka u području kaznenog progona;
g)
la introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de categorización biométrica que clasifiquen individualmente a las personas físicas sobre la base de sus datos biométricos para deducir o inferir su raza, opiniones políticas, afiliación sindical, convicciones religiosas o filosóficas, vida sexual u orientación sexual; esta prohibición no incluye el etiquetado o filtrado de conjuntos de datos biométricos adquiridos lícitamente, como imágenes, basado en datos biométricos ni la categorización de datos biométricos en el ámbito de la garantía del cumplimiento del Derecho;
(h)
upotreba sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona, osim ako je takva upotreba nužna i u mjeri u kojoj je nužna radi jednog od sljedećih ciljeva:
h)
el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho, salvo y en la medida en que dicho uso sea estrictamente necesario para alcanzar uno o varios de los objetivos siguientes:
i.
ciljane potrage za konkretnim žrtvama otmice, trgovine ljudima ili seksualnog iskorištavanja ljudi, kao i potrage za nestalim osobama;
i)
la búsqueda selectiva de víctimas concretas de secuestro, trata de seres humanos o explotación sexual de seres humanos, así como la búsqueda de personas desaparecidas,
ii.
sprečavanja konkretne, znatne i izravne prijetnje životu ili tjelesnoj sigurnosti fizičkih osoba ili stvarne i prisutne ili stvarne i predvidljive prijetnje od terorističkog napada;
ii)
la prevención de una amenaza específica, importante e inminente para la vida o la seguridad física de las personas físicas o de una amenaza real y actual o real y previsible de un atentado terrorista,
iii.
lociranja ili identifikacije osobe osumnjičene za počinjenje kaznenog djela u svrhu vođenja kaznene istrage ili progona ili izvršenja kaznene sankcije za kaznena djela iz Priloga II. za koja je u dotičnoj državi članici zapriječena kazna zatvora ili oduzimanja slobode u maksimalnom trajanju od najmanje četiri godine.
iii)
la localización o identificación de una persona sospechosa de haber cometido un delito a fin de llevar a cabo una investigación o un enjuiciamiento penales o de ejecutar una sanción penal por alguno de los delitos mencionados en el anexo II que en el Estado miembro de que se trate se castigue con una pena o una medida de seguridad privativas de libertad cuya duración máxima sea de al menos cuatro años.
Prvim podstavkom točkom (h) ne dovodi se u pitanje članak 9. Uredbe (EU) 2016/679 kad je riječ o obradi biometrijskih podataka u svrhe koje nisu kazneni progon.
El párrafo primero, letra h), se entiende sin perjuicio de lo dispuesto en el artículo 9 del Reglamento (UE) 2016/679 en lo que respecta al tratamiento de datos biométricos con fines distintos de la garantía del cumplimiento del Derecho.
2. Upotreba sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona radi bilo kojeg od ciljeva iz stavka 1. prvog podstavka točke (h) smije se uvesti u svrhe utvrđene u toj točki samo kako bi se potvrdio identitet konkretno ciljanog pojedinca, pri čemu se uzimaju u obzir sljedeći elementi:
2. El uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho para cualquiera de los objetivos mencionados en el apartado 1, párrafo primero, letra h), debe desplegarse para los fines establecidos en dicha letra, únicamente para confirmar la identidad de la persona que constituya el objetivo específico y tendrá en cuenta los siguientes aspectos:
(a)
priroda situacije zbog koje se pojavila mogućnost upotrebe, osobito težina, vjerojatnost i razmjer štete koja bi nastala da se sustav ne koristi;
a)
la naturaleza de la situación que dé lugar al posible uso, y en particular la gravedad, probabilidad y magnitud del perjuicio que se produciría de no utilizarse el sistema;
(b)
posljedice upotrebe sustava na prava i slobode svih dotičnih osoba, osobito težina, vjerojatnost i razmjer tih posljedica.
b)
las consecuencias que tendría el uso del sistema en los derechos y las libertades de las personas implicadas, y en particular la gravedad, probabilidad y magnitud de dichas consecuencias.
Usto, upotreba sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona radi bilo kojeg od ciljeva iz stavka 1. prvog podstavka točke (h) ovog članka mora biti u skladu s potrebnim i razmjernim zaštitnim mjerama i uvjetima korištenja u skladu s nacionalnim pravom kojim se odobrava njihova upotreba, osobito u pogledu vremenskih i zemljopisnih ograničenja i ograničenja u pogledu osoba. Upotrebu sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima odobrava se samo ako je tijelo kaznenog progona dovršilo procjenu učinka na temeljna prava kako je predviđeno u članku 27. i registriralo sustav u bazi podataka EU-a u skladu s člankom 49. Međutim, u propisno opravdanim hitnim slučajevima takvi se sustavi mogu početi upotrebljavati bez registracije u bazi podataka EU-a, pod uvjetom da se takva registracija dovrši bez nepotrebne odgode.
Además, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho para cualquiera de los objetivos mencionados en el apartado 1, párrafo primero, letra h), del presente artículo deberá cumplir garantías y condiciones necesarias y proporcionadas en relación con el uso de conformidad con el Derecho nacional que autorice dicho uso, en particular en lo que respecta a las limitaciones temporales, geográficas y personales. El uso del sistema de identificación biométrica remota «en tiempo real» en espacios de acceso público solo se autorizará si la autoridad garante del cumplimiento del Derecho ha completado una evaluación de impacto relativa a los derechos fundamentales según lo dispuesto en el artículo 27 y ha registrado el sistema en la base de datos de la UE de conformidad con el artículo 49. No obstante, en casos de urgencia debidamente justificados, se podrá empezar a utilizar tales sistemas sin el registro en la base de datos de la UE, siempre que dicho registro se complete sin demora indebida.
3. Za potrebe stavka 1. prvog podstavka točke (h) i stavka 2., za svaku upotrebu sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona potrebno je prethodno odobrenje pravosudnog tijela ili neovisnog upravnog tijela čija je odluka obvezujuća iz države članice u kojoj će se sustav upotrebljavati, a koje se izdaje na obrazloženi zahtjev i u skladu s podrobnim pravilima nacionalnog prava iz stavka 5. Međutim, u propisno opravdanim hitnim situacijama takav se sustav može početi upotrebljavati bez odobrenja, pod uvjetom da se takvo odobrenje zatraži bez nepotrebne odgode, a najkasnije u roku od 24 sata. Ako je takvo odobrenje odbijeno, upotreba se smjesta zaustavlja te se svi podaci, kao i rezultati i izlazni podaci te upotrebe odmah odbacuju i brišu.
3. A los efectos del apartado 1, párrafo primero, letra h), y el apartado 2, todo uso de un sistema de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho estará supeditado a la concesión de una autorización previa por parte de una autoridad judicial o una autoridad administrativa independiente cuya decisión sea vinculante del Estado miembro en el que vaya a utilizarse dicho sistema, que se expedirá previa solicitud motivada y de conformidad con las normas detalladas del Derecho nacional mencionadas en el apartado 5. No obstante, en una situación de urgencia debidamente justificada, se podrá empezar a utilizar tal sistema sin autorización siempre que se solicite dicha autorización sin demora indebida, a más tardar en un plazo de veinticuatro horas. Si se rechaza dicha autorización, el uso se interrumpirá con efecto inmediato y todos los datos, así como los resultados y la información de salida generados por dicho uso, se desecharán y suprimirán inmediatamente.
Nadležno pravosudno tijelo ili neovisno upravno tijelo čija je odluka obvezujuća izdaje odobrenje samo ako je uvjereno, na temelju objektivnih dokaza ili jasnih informacija koje su mu predočene, da je upotreba dotičnog sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu potrebna za postizanje jednog od ciljeva iz stavka 1. prvog podstavka točke (h) navedenog u zahtjevu i razmjerna tom cilju, a ponajprije ostaje ograničena na ono što je nužno kad je riječ o razdoblju te zemljopisnom i personalnom području primjene. Pri odlučivanju o zahtjevu to tijelo uzima u obzir elemente iz stavka 2. Odluka koja proizvodi negativan pravni učinak na osobu ne smije se donijeti isključivo na temelju izlaznih podataka sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu.
La autoridad judicial competente o una autoridad administrativa independiente cuya decisión sea vinculante únicamente concederá la autorización cuando tenga constancia, sobre la base de pruebas objetivas o de indicios claros que se le aporten, de que el uso del sistema de identificación biométrica remota «en tiempo real» es necesario y proporcionado para alcanzar alguno de los objetivos especificados en el apartado 1, párrafo primero, letra h), el cual se indicará en la solicitud, y, en particular, se limita a lo estrictamente necesario en lo que se refiere al período de tiempo, así como al ámbito geográfico y personal. Al pronunciarse al respecto, esa autoridad tendrá en cuenta los aspectos mencionados en el apartado 2. Dicha autoridad no podrá adoptar ninguna decisión que produzca efectos jurídicos adversos para una persona exclusivamente sobre la base de los resultados de salida del sistema de identificación biométrica remota «en tiempo real».
4. Ne dovodeći u pitanje stavak 3., o svakoj upotrebi sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona obavješćuju se relevantno tijelo za nadzor tržišta i nacionalno tijelo za zaštitu podataka u skladu s nacionalnim pravilima iz stavka 5. Obavijest mora sadržavati barem informacije navedene u stavku 6. i ne smije uključivati osjetljive operativne podatke.
4. Sin perjuicio de lo dispuesto en el apartado 3, todo uso de un sistema de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho se notificará a la autoridad de vigilancia del mercado pertinente y a la autoridad nacional de protección de datos de conformidad con las normas nacionales a que se refiere el apartado 5. La notificación contendrá, como mínimo, la información especificada en el apartado 6 y no incluirá datos operativos sensibles.
5. Država članica može odlučiti predvidjeti mogućnost potpunog ili djelomičnog odobravanja upotrebe sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona uz ograničenja i pod uvjetima iz stavka 1. prvog podstavka točke (h) te stavaka 2. i 3. Dotična država članica u svojem nacionalnom pravu utvrđuje potrebna podrobna pravila o podnošenju zahtjeva za odobrenja iz stavka 3., o izdavanju, izvršenju i nadzoru tih odobrenja te izvješćivanju u vezi s njima. U tim se pravilima također određuje za koje se ciljeve iz stavka 1. prvog podstavka točke (h), među ostalim i za koja kaznena djela iz njegove točke (h) podtočke iii., nadležnim tijelima može odobriti upotreba tih sustava u svrhu kaznenog progona. Države članice priopćuju Komisiji ta pravila najkasnije 30 dana nakon njihova donošenja. Države članice mogu, u skladu s pravom Unije, uvesti restriktivnije propise o upotrebi sustavâ za daljinsku biometrijsku identifikaciju.
5. Los Estados miembros podrán decidir contemplar la posibilidad de autorizar, ya sea total o parcialmente, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho dentro de los límites y en las condiciones que se indican en el apartado 1, párrafo primero, letra h), y los apartados 2 y 3. Los Estados miembros de que se trate deberán establecer en sus respectivos Derechos nacionales las normas detalladas necesarias aplicables a la solicitud, la concesión y el ejercicio de las autorizaciones a que se refiere el apartado 3, así como a la supervisión y la presentación de informes relacionadas con estas. Dichas normas especificarán también para qué objetivos de los enumerados en el apartado 1, párrafo primero, letra h), y en su caso en relación con qué delitos de los indicados en la letra h), inciso iii), se podrá autorizar a las autoridades competentes para que utilicen esos sistemas con fines de garantía del cumplimiento del Derecho. Los Estados miembros notificarán dichas normas a la Comisión a más tardar treinta días después de su adopción. Los Estados miembros podrán adoptar, de conformidad con el Derecho de la Unión, leyes más restrictivas sobre el uso de sistemas de identificación biométrica remota.
6. Nacionalna tijela za nadzor tržišta i nacionalna tijela za zaštitu podataka država članica koja su obaviještena o upotrebi sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona na temelju stavka 4. podnose Komisiji godišnja izvješća o takvoj upotrebi. U tu svrhu Komisija državama članicama i nacionalnim tijelima za nadzor tržišta i zaštitu podataka dostavlja predložak, uključujući informacije o broju odluka koje su nadležna pravosudna tijela ili neovisno upravno tijelo čija je odluka obvezujuća donijeli na temelju zahtjevâ za izdavanje odobrenja u skladu sa stavkom 3. i njihov rezultat.
6. Las autoridades nacionales de vigilancia del mercado y las autoridades nacionales de protección de datos de los Estados miembros a las que se haya notificado el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho con arreglo al apartado 4 presentarán a la Comisión informes anuales sobre dicho uso. A tal fin, la Comisión facilitará a los Estados miembros y a las autoridades nacionales de vigilancia del mercado y de protección de datos un modelo que incluya información sobre el número de decisiones adoptadas por las autoridades judiciales competentes o una autoridad administrativa independiente cuya decisión sea vinculante en relación con las solicitudes de autorización de conformidad con el apartado 3, así como su resultado.
7. Komisija objavljuje godišnja izvješća o upotrebi sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u svrhu kaznenog progona na temelju agregiranih podataka u državama članicama i godišnjih izvješća iz stavka 6. Ta godišnja izvješća ne smiju uključivati osjetljive operativne podatke o povezanim aktivnostima kaznenog progona.
7. La Comisión publicará informes anuales sobre el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho elaborados basados en datos agregados relativos a los Estados miembros sobre la base de los informes anuales a que se refiere el apartado 6. Dichos informes anuales no incluirán datos operativos sensibles de las actividades de garantía del cumplimiento del Derecho conexas.
8. Ovaj članak ne utječe na zabrane koje se primjenjuju ako se praksom u području umjetne inteligencije krši drugo pravo Unije.
8. El presente artículo no afectará a las prohibiciones aplicables cuando una práctica de IA infrinja otras disposiciones de Derecho de la Unión.
Pravila o klasifikaciji UI sustava kao visokorizičnih
Reglas de clasificación de los sistemas de IA de alto riesgo
1. Bez obzira na to stavlja li se UI sustav na tržište ili u upotrebu neovisno o proizvodima iz točaka (a) i (b) taj se UI sustav smatra visokorizičnim ako su ispunjena oba sljedeća uvjeta:
1. Con independencia de si se ha introducido en el mercado o se ha puesto en servicio sin estar integrado en los productos que se mencionan en las letras a) y b), un sistema de IA se considerará de alto riesgo cuando reúna las dos condiciones que se indican a continuación:
(a)
UI sustav namijenjen je za korištenje kao sigurnosna komponenta proizvoda ili je UI sustav sam po sebi proizvod koji je obuhvaćen zakonodavstvom Unije o usklađivanju navedenim u Prilogu I.;
a)
que el sistema de IA esté destinado a ser utilizado como componente de seguridad de un producto que entre en el ámbito de aplicación de los actos legislativos de armonización de la Unión enumerados en el anexo I, o que el propio sistema de IA sea uno de dichos productos, y
(b)
za proizvod čija je sigurnosna komponenta na temelju točke (a) UI sustav ili UI sustav koji je sam po sebi proizvod zahtijeva se ocjenjivanje sukladnosti koje provodi treća strana radi stavljanja na tržište ili stavljanja u upotrebu tog proizvoda na temelju zakonodavstva Unije o usklađivanju navedenog u Prilogu I.
b)
que el producto del que el sistema de IA sea componente de seguridad con arreglo a la letra a), o el propio sistema de IA como producto, deba someterse a una evaluación de la conformidad de terceros para su introducción en el mercado o puesta en servicio con arreglo a los actos legislativos de armonización de la Unión enumerados en el anexo I.
2. Uz visokorizične UI sustave iz stavka 1., u visokorizične sustave ubrajaju se UI sustavi iz Priloga III.
2. Además de los sistemas de IA de alto riesgo a que se refiere el apartado 1, también se considerarán de alto riesgo los sistemas de IA contemplados en el anexo III.
3. Odstupajući od stavka 2., UI sustav iz Priloga III. ne smatra se visokorizičnim ako ne predstavlja znatan rizik od štete za zdravlje, sigurnost ili temeljna prava fizičkih osoba, među ostalim ako bitno ne utječe na ishod donošenja odluka.
3. No obstante lo dispuesto en el apartado 2, un sistema de IA a que se refiere el anexo III no se considerará de alto riesgo cuando no plantee un riesgo importante de causar un perjuicio a la salud, la seguridad o los derechos fundamentales de las personas físicas, también al no influir sustancialmente en el resultado de la toma de decisiones.
Prvi podstavak primjenjuje se ako je ispunjen bilo koji od sljedećih uvjeta:
El párrafo primero se aplicará cuando se cumpla cualquiera de las condiciones siguientes:
(a)
UI sustav namijenjen je obavljanju uske postupovne zadaće;
a)
que el sistema de IA esté destinado a realizar una tarea de procedimiento limitada;
(b)
UI sustav namijenjen je poboljšanju rezultata prethodno dovršene ljudske aktivnosti;
b)
que el sistema de IA esté destinado a mejorar el resultado de una actividad humana previamente realizada;
(c)
UI sustav namijenjen je otkrivanju obrazaca donošenja odluka ili odstupanja od ranijih obrazaca donošenja odluka i ne bi trebao zamijeniti prethodno dovršenu ljudsku procjenu niti na nju utjecati, bez odgovarajućeg preispitivanja koje provodi čovjek; ili
c)
que el sistema de IA esté destinado a detectar patrones de toma de decisiones o desviaciones con respecto a patrones de toma de decisiones anteriores y no esté destinado a sustituir la valoración humana previamente realizada sin una revisión humana adecuada, ni a influir en ella, o
(d)
UI sustav namijenjen je obavljanju pripremne zadaće za ocjenjivanje relevantno za slučajeve upotrebe navedene u Prilogu III.
d)
que el sistema de IA esté destinado a realizar una tarea preparatoria para una evaluación que sea pertinente a efectos de los casos de uso enumerados en el anexo III.
Ne dovodeći u pitanje prvi podstavak, UI sustav iz Priloga III. uvijek se smatra visokorizičnim ako taj UI sustav izrađuje profile fizičkih osoba.
No obstante lo dispuesto en el párrafo primero, los sistemas de IA a que se refiere el anexo III siempre se considerarán de alto riesgo cuando el sistema de IA efectúe la elaboración de perfiles de personas físicas.
4. Dobavljač koji smatra da UI sustav iz Priloga III. nije visokorizičan dokumentira svoje ocjenjivanje prije stavljanja tog sustava na tržište ili u upotrebu. Takav dobavljač podliježe obvezi registracije utvrđenoj u članku 49. stavku 2. Na zahtjev nacionalnih nadležnih tijela dobavljač dostavlja dokumentaciju o ocjenjivanju.
4. El proveedor que considere que un sistema de IA contemplado en el anexo III no es de alto riesgo documentará su evaluación antes de que dicho sistema sea introducido en el mercado o puesto en servicio. Dicho proveedor estará sujeto a la obligación de registro establecida en el artículo 49, apartado 2. A petición de las autoridades nacionales competentes, el proveedor facilitará la documentación de la evaluación.
5. Komisija, nakon savjetovanja s Europskim vijećem za umjetnu inteligenciju („Vijeće za umjetnu inteligenciju”), a najkasnije 2. veljače 2026., izdaje smjernice u kojima se utvrđuje praktična provedba ovog članka u skladu s člankom 96. zajedno sa sveobuhvatnim popisom praktičnih slučajeva upotrebe UI sustava koji su visokorizični i koji nisu visokorizični.
5. La Comisión, previa consulta al Consejo Europeo de Inteligencia Artificial (en lo sucesivo, «Consejo de IA»), y a más tardar el 2 de febrero de 2026, proporcionará directrices que especifiquen la aplicación práctica del presente artículo en consonancia con el artículo 96, junto con una lista exhaustiva de ejemplos prácticos de casos de uso de sistemas de IA que sean de alto riesgo y que no sean de alto riesgo.
6. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene stavka 3. drugog podstavka ovog članka dodavanjem novih uvjeta uvjetima koji su utvrđeni u stavku 3. drugom podstavku ovog članka ili mijenjanjem tih uvjeta ako postoje konkretni i pouzdani dokazi o postojanju UI sustava koji su obuhvaćeni područjem primjene Priloga III., ali ne predstavljaju znatan rizik od štete za zdravlje, sigurnost ili temeljna prava fizičkih osoba.
6. La Comisión estará facultada para adoptar actos delegados con arreglo al artículo 97 al objeto de modificar el apartado 3, párrafo segundo, del presente artículo, añadiendo nuevas condiciones a las establecidas en dicho apartado, o modificando estas, cuando existan pruebas concretas y fiables de la existencia de sistemas de IA que entren en el ámbito de aplicación del anexo III, pero que no planteen un riesgo importante de causar un perjuicio a la salud, la seguridad o los derechos fundamentales de las personas físicas.
7. Komisija donosi delegirane akte u skladu s člankom 97. radi izmjene stavka 3. drugog podstavka ovog članka brisanjem bilo kojeg od uvjeta utvrđenih u stavku 3. drugom podstavku ovog članka ako postoje konkretni i pouzdani dokazi da je to potrebno radi održavanja razine zaštite zdravlja, sigurnosti i temeljnih prava koja je predviđena ovom Uredbom.
7. La Comisión adoptará actos delegados con arreglo al artículo 97 al objeto de modificar el apartado 3, párrafo segundo, del presente artículo, suprimiendo cualquiera de las condiciones establecidas en él, cuando existan pruebas concretas y fiables de que es necesario para mantener el nivel de protección de la salud, la seguridad y los derechos fundamentales previsto en el presente Reglamento.
8. Nijednom izmjenom uvjeta utvrđenih u stavku 3. drugom podstavku donesenom u skladu sa stavcima 6. i 7. ovog članka ne smije se smanjiti ukupna razina zaštite zdravlja, sigurnosti i temeljnih prava koja je predviđena ovom Uredbom te se njome mora osigurati usklađenost s delegiranim aktima donesenima na temelju članka 7. stavka 1. i uzeti u obzir tržišni i tehnološki razvoj.
8. Ninguna modificación de las condiciones establecidas en el apartado 3, párrafo segundo, adoptada de conformidad con los apartados 6 y 7 del presente artículo, reducirá el nivel global de protección de la salud, la seguridad y los derechos fundamentales previsto en el presente Reglamento, y cualquier modificación garantizará la coherencia con los actos delegados adoptados con arreglo al artículo 7, apartado 1, y tendrá en cuenta la evolución tecnológica y del mercado.
Sustav upravljanja rizikom
Sistema de gestión de riesgos
1. Za visokorizične UI sustave uspostavlja se, primjenjuje i održava sustav upravljanja rizikom te se o njemu vodi dokumentacija.
1. Se establecerá, implantará, documentará y mantendrá un sistema de gestión de riesgos en relación con los sistemas de IA de alto riesgo.
2. Sustav upravljanja rizikom shvaća se kao kontinuiran iterativan proces koji se planira i izvodi tijekom cijelog životnog ciklusa visokorizičnog UI sustava i koji je potrebno redovito i sustavno preispitivati i ažurirati. Obuhvaća sljedeće korake:
2. El sistema de gestión de riesgos se entenderá como un proceso iterativo continuo planificado y ejecutado durante todo el ciclo de vida de un sistema de IA de alto riesgo, que requerirá revisiones y actualizaciones sistemáticas periódicas. Constará de las siguientes etapas:
(a)
utvrđivanje i analizu poznatih i razumno predvidljivih rizika koje visokorizični UI sustav može predstavljati za zdravlje, sigurnost ili temeljna prava kada se visokorizični UI sustav koristi u skladu sa svojom namjenom;
a)
la determinación y el análisis de los riesgos conocidos y previsibles que el sistema de IA de alto riesgo pueda plantear para la salud, la seguridad o los derechos fundamentales cuando el sistema de IA de alto riesgo se utilice de conformidad con su finalidad prevista;
(b)
procjenjivanje i evaluaciju rizika koji mogu nastati pri korištenju visokorizičnog UI sustava u skladu s njegovom namjenom i u uvjetima razumno predvidljive pogrešne upotrebe;
b)
la estimación y la evaluación de los riesgos que podrían surgir cuando el sistema de IA de alto riesgo se utilice de conformidad con su finalidad prevista y cuando se le dé un uso indebido razonablemente previsible;
(c)
evaluaciju drugih potencijalnih rizika na temelju analize podataka prikupljenih sustavom praćenja nakon stavljanja na tržište iz članka 72.;
c)
la evaluación de otros riesgos que podrían surgir, a partir del análisis de los datos recogidos con el sistema de vigilancia poscomercialización a que se refiere el artículo 72;
(d)
donošenje odgovarajućih i ciljanih mjera upravljanja rizikom osmišljenih za uklanjanje rizika utvrđenih na temelju točke (a).
d)
la adopción de medidas adecuadas y específicas de gestión de riesgos diseñadas para hacer frente a los riesgos detectados con arreglo a la letra a).
3. Rizici iz ovog članka odnose se samo na one rizike koji se mogu razumno ublažiti ili ukloniti razvijanjem ili dizajnom visokorizičnog UI sustava ili pružanjem adekvatnih tehničkih informacija.
3. Los riesgos a que se refiere el presente artículo son únicamente aquellos que pueden mitigarse o eliminarse razonablemente mediante el desarrollo o el diseño del sistema de IA de alto riesgo o el suministro de información técnica adecuada.
4. U mjerama upravljanja rizikom iz stavka 2. točke (d) na odgovarajući način uzimaju se u obzir učinci i moguća interakcija koji proizlaze iz kombinirane primjene zahtjeva utvrđenih u ovom odjeljku, u cilju djelotvornijeg svođenja rizika na najmanju moguću mjeru i istodobnog postizanja odgovarajuće ravnoteže u provedbi mjera za ispunjavanje tih zahtjeva.
4. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), tendrán debidamente en cuenta los efectos y la posible interacción derivados de la aplicación combinada de los requisitos establecidos en la presente sección, con vistas a reducir al mínimo los riesgos de manera más eficaz al tiempo que se logra un equilibrio adecuado en la aplicación de las medidas para cumplir dichos requisitos.
5. Mjere upravljanja rizikom iz stavka 2. točke (d) takve su da su relevantni preostali rizik povezan sa svakom pojedinom opasnošću kao i cjelokupni preostali rizik visokorizičnih UI sustava procijenjeni prihvatljivima.
5. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), considerarán aceptables los riesgos residuales pertinentes asociados a cada peligro, así como el riesgo residual general de los sistemas de IA de alto riesgo.
Pri utvrđivanja najprikladnijih mjera upravljanja rizikom osigurava se sljedeće:
A la hora de determinar las medidas de gestión de riesgos más adecuadas, se procurará:
(a)
uklanjanje ili smanjenje rizika utvrđenih i evaluiranih na temelju stavka 2. u mjeri u kojoj je to tehnički izvedivo putem adekvatnog dizajna i razvoja visokorizičnog UI sustava;
a)
eliminar o reducir los riesgos detectados y evaluados de conformidad con el apartado 2 en la medida en que sea técnicamente viable mediante un diseño y un desarrollo adecuados del sistema de IA de alto riesgo;
(b)
prema potrebi, provedba adekvatnih mjera za ublažavanje i kontrolu rizika koji se ne mogu ukloniti;
b)
implantar, cuando proceda, unas medidas de mitigación y control apropiadas que hagan frente a los riesgos que no puedan eliminarse;
(c)
pružanje informacija koje se zahtijevaju u skladu s člankom 13. i, prema potrebi, osposobljavanja za subjekte koji uvode sustav.
c)
proporcionar la información requerida conforme al artículo 13 y, cuando proceda, impartir formación a los responsables del despliegue.
U cilju uklanjanja ili smanjenja rizika povezanih s korištenjem visokorizičnog UI sustava u obzir se na odgovarajući način uzimaju tehničko znanje, iskustvo, obrazovanje i osposobljavanje koje treba očekivati od subjekta koji uvodi sustav te pretpostavljeni kontekst u kojem se sustav namjerava koristiti.
Con vistas a eliminar o reducir los riesgos asociados a la utilización del sistema de IA de alto riesgo, se tendrán debidamente en cuenta los conocimientos técnicos, la experiencia, la educación y la formación que se espera que posea el responsable del despliegue, así como el contexto en el que está previsto que se utilice el sistema.
6. Visokorizični UI sustavi testiraju se kako bi se utvrdile najprikladnije i ciljane mjere upravljanja rizikom. Testiranjem se osigurava da visokorizični UI sustavi postojano rade u skladu sa svojom namjenom i da ispunjavaju zahtjeve utvrđene u ovom odjeljku.
6. Los sistemas de IA de alto riesgo serán sometidos a pruebas destinadas a determinar cuáles son las medidas de gestión de riesgos más adecuadas y específicas. Dichas pruebas comprobarán que los sistemas de IA de alto riesgo funcionan de manera coherente con su finalidad prevista y cumplen los requisitos establecidos en la presente sección.
7. Postupci testiranja mogu uključivati testiranje u stvarnim uvjetima u skladu s člankom 60.
7. Los procedimientos de prueba podrán incluir pruebas en condiciones reales de conformidad con el artículo 60.
8. Visokorizični UI sustavi testiraju se prema potrebi u bilo kojem trenutku razvojnog procesa, a u svakom slučaju prije stavljanja na tržište ili u upotrebu. Testiranje se provodi u odnosu na prethodno definirane parametre i probabilističke pragove koji su primjereni za namjenu visokorizičnog UI sustava.
8. Las pruebas de los sistemas de IA de alto riesgo se realizarán, según proceda, en cualquier momento del proceso de desarrollo y, en todo caso, antes de su introducción en el mercado o puesta en servicio. Las pruebas se realizarán utilizando parámetros y umbrales de probabilidades previamente definidos que sean adecuados para la finalidad prevista del sistema de IA de alto riesgo.
9. Pri provedbi sustava upravljanja rizikom predviđenog u stavcima od 1. do 7. dobavljači razmatraju je li vjerojatno da će, s obzirom na njegovu namjenu, visokorizični UI sustav imati nepovoljan utjecaj na osobe mlađe od 18 godina i, prema potrebi, na druge skupine ranjivih osoba.
9. Cuando se implante el sistema de gestión de riesgos previsto en los apartados 1 a 7, los proveedores prestarán atención a si, en vista de su finalidad prevista, es probable que el sistema de IA de alto riesgo afecte negativamente a las personas menores de dieciocho años y, en su caso, a otros colectivos vulnerables.
10. Kad je riječ o dobavljačima visokorizičnih UI sustava na koje se primjenjuju zahtjevi u pogledu unutarnjih procesa upravljanja rizikom na temelju drugih relevantnih odredaba prava Unije, aspekti iz stavaka od 1. do 9. mogu biti dio postupaka upravljanja rizikom uspostavljenih na temelju tog prava ili se kombinirati s tim postupcima.
10. En el caso de los proveedores de sistemas de IA de alto riesgo que estén sujetos a requisitos relativos a procesos internos de gestión de riesgos con arreglo a otras disposiciones pertinentes del Derecho de la Unión, los aspectos previstos en los apartados 1 a 9 podrán formar parte de los procedimientos de gestión de riesgos establecidos con arreglo a dicho Derecho, o combinarse con ellos.
Podaci i upravljanje podacima
Datos y gobernanza de datos
1. Visokorizični UI sustavi koji upotrebljavaju tehnike s treniranjem UI modelâ s pomoću podataka moraju se razvijati na temelju skupova podataka za treniranje, validaciju i testiranje koji ispunjavaju kriterije kvalitete iz stavaka od 2. do 5. kad god se takvi skupovi podataka upotrebljavaju.
1. Los sistemas de IA de alto riesgo que utilizan técnicas que implican el entrenamiento de modelos de IA con datos se desarrollarán a partir de conjuntos de datos de entrenamiento, validación y prueba que cumplan los criterios de calidad a que se refieren los apartados 2 a 5 siempre que se utilicen dichos conjuntos de datos.
2. Na skupove podataka za treniranje, validaciju i testiranje primjenjuju se prakse upravljanja i rukovanja podacima prikladne za namjenu visokorizičnog UI sustava. Te se prakse ponajprije odnose na:
2. Los conjuntos de datos de entrenamiento, validación y prueba se someterán a prácticas de gobernanza y gestión de datos adecuadas para la finalidad prevista del sistema de IA de alto riesgo. Dichas prácticas se centrarán, en particular, en lo siguiente:
(a)
relevantne odluke o dizajnu;
a)
las decisiones pertinentes relativas al diseño;
(b)
procese prikupljanja podataka i podrijetlo podataka te, u slučaju osobnih podataka, izvornu svrhu prikupljanja podataka;
b)
los procesos de recogida de datos y el origen de los datos y, en el caso de los datos personales, la finalidad original de la recogida de datos;
(c)
relevantne postupke obrade za pripremu podataka, kao što su obilježavanje, označivanje, čišćenje, ažuriranje, obogaćivanje i agregiranje;
c)
las operaciones de tratamiento oportunas para la preparación de los datos, como la anotación, el etiquetado, la depuración, la actualización, el enriquecimiento y la agregación;
(d)
formuliranje pretpostavki, osobito s obzirom na informacije koje bi podaci trebali mjeriti i predstavljati;
d)
la formulación de supuestos, en particular en lo que respecta a la información que se supone que miden y representan los datos;
(e)
procjenu raspoloživosti, količine i prikladnosti potrebnih skupova podataka;
e)
una evaluación de la disponibilidad, la cantidad y la adecuación de los conjuntos de datos necesarios;
(f)
ispitivanje s obzirom na moguće pristranosti koje bi mogle utjecati na zdravlje i sigurnost osoba, imati negativan utjecaj na temeljna prava ili dovesti do diskriminacije zabranjene pravom Unije, posebno ako izlazni podaci utječu na ulazne podatke za buduće operacije;
f)
el examen atendiendo a posibles sesgos que puedan afectar a la salud y la seguridad de las personas, afectar negativamente a los derechos fundamentales o dar lugar a algún tipo de discriminación prohibida por el Derecho de la Unión, especialmente cuando las salidas de datos influyan en las informaciones de entrada de futuras operaciones;
(g)
odgovarajuće mjere za otkrivanje, sprečavanje i ublažavanje mogućih pristranosti utvrđenih u skladu s točkom (f);
g)
medidas adecuadas para detectar, prevenir y mitigar posibles sesgos detectados con arreglo a la letra f);
(h)
utvrđivanje relevantnih nedostataka u podacima ili drugih nedostataka koji onemogućuju usklađivanje s ovom Uredbom te načina na koji se ti nedostaci mogu ukloniti.
h)
la detección de lagunas o deficiencias pertinentes en los datos que impidan el cumplimiento del presente Reglamento, y la forma de subsanarlas.
3. Skupovi podataka za treniranje, validaciju i testiranje moraju biti relevantni, dovoljno reprezentativni te, u najvećoj mogućoj mjeri, bez pogrešaka i potpuni s obzirom na namjenu. Moraju imati odgovarajuća statistička obilježja, među ostalim u odnosu na osobe ili skupine osoba u pogledu kojih se visokorizični UI sustav namjerava koristiti, ako je primjenjivo. Te se karakteristike skupova podataka mogu postići na razini pojedinačnih skupova podataka ili na razini kombinacije skupova podataka.
3. Los conjuntos de datos de entrenamiento, validación y prueba serán pertinentes, suficientemente representativos y, en la mayor medida posible, carecerán de errores y estarán completos en vista de su finalidad prevista. Asimismo, tendrán las propiedades estadísticas adecuadas, por ejemplo, cuando proceda, en lo que respecta a las personas o los colectivos de personas en relación con los cuales está previsto que se utilice el sistema de IA de alto riesgo. Los conjuntos de datos podrán reunir esas características para cada conjunto de datos individualmente o para una combinación de estos.
4. U skupovima podataka moraju se uzeti u obzir, u mjeri u kojoj to iziskuje namjena, karakteristike ili elementi specifični za zemljopisno, kontekstualno, bihevioralno ili radno okruženje u kojem se visokorizični UI sustav namjerava koristiti.
4. Los conjuntos de datos tendrán en cuenta, en la medida necesaria para la finalidad prevista, las características o elementos particulares del entorno geográfico, contextual, conductual o funcional específico en el que está previsto que se utilice el sistema de IA de alto riesgo.
5. U mjeri u kojoj je to nužno u svrhu osiguravanja otkrivanja i ispravljanja pristranosti u vezi s visokorizičnim UI sustavima u skladu sa stavkom 2. točkama (f) i (g) ovog članka, dobavljači takvih sustava mogu iznimno obrađivati posebne kategorije osobnih podataka, podložno odgovarajućim zaštitnim mjerama za temeljna prava i slobode fizičkih osoba. Kako bi se takva obrada provela, uz odredbe utvrđene u uredbama (EU) 2016/679 i (EU) 2018/1725 te Direktivi (EU) 2016/680 moraju se ispuniti svi sljedeći uvjeti:
5. En la medida en que sea estrictamente necesario para garantizar la detección y corrección de los sesgos asociados a los sistemas de IA de alto riesgo de conformidad con lo dispuesto en el apartado 2, letras f) y g), del presente artículo, los proveedores de dichos sistemas podrán tratar excepcionalmente las categorías especiales de datos personales siempre que ofrezcan las garantías adecuadas en relación con los derechos y las libertades fundamentales de las personas físicas. Además de las disposiciones establecidas en los Reglamentos (UE) 2016/679 y (UE) 2018/1725 y la Directiva (UE) 2016/680, para que se produzca dicho tratamiento deben cumplirse todas las condiciones siguientes:
(a)
otkrivanje i ispravljanje pristranosti ne može se djelotvorno postići obradom drugih podataka, uključujući sintetičke ili anonimizirane podatke;
a)
que el tratamiento de otros datos, como los sintéticos o los anonimizados, no permita efectuar de forma efectiva la detección y corrección de sesgos;
(b)
posebne kategorije osobnih podataka podliježu tehničkim ograničenjima u pogledu ponovne upotrebe osobnih podataka i najsuvremenijim mjerama sigurnosti i zaštite privatnosti, uključujući pseudonimizaciju;
b)
que las categorías especiales de datos personales estén sujetas a limitaciones técnicas relativas a la reutilización de los datos personales y a medidas punteras en materia de seguridad y protección de la intimidad, incluida la seudonimización;
(c)
posebne kategorije osobnih podataka podliježu mjerama kojima se osigurava da su obrađeni osobni podaci osigurani i zaštićeni, podložno odgovarajućim zaštitnim mjerama, uključujući stroge kontrole i dokumentaciju pristupa, kako bi se izbjegla pogrešna upotreba i osiguralo da pristup tim osobnim podacima imaju samo ovlaštene osobe i uz odgovarajuće obveze u pogledu povjerljivosti;
c)
que las categorías especiales de datos personales estén sujetas a medidas para garantizar que los datos personales tratados estén asegurados, protegidos y sujetos a garantías adecuadas, incluidos controles estrictos y documentación del acceso, a fin de evitar el uso indebido y garantizar que solo las personas autorizadas tengan acceso a dichos datos personales con obligaciones de confidencialidad adecuadas;
(d)
posebne kategorije osobnih podataka ne smiju se prenositi, prosljeđivati niti im druge strane smiju na neki drugi način pristupiti;
d)
que las categorías especiales de datos personales no se transmitan ni transfieran a terceros y que estos no puedan acceder de ningún otro modo a ellos;
(e)
posebne kategorije osobnih podataka brišu se nakon ispravljanja pristranosti ili završetka razdoblja čuvanja osobnih podataka, ovisno o tome što nastupi ranije;
e)
que las categorías especiales de datos personales se eliminen una vez que se haya corregido el sesgo o los datos personales hayan llegado al final de su período de conservación, si esta fecha es anterior;
(f)
evidencija aktivnosti obrade na temelju uredaba (EU) 2016/679 i (EU) 2018/1725 te Direktive (EU) 2016/680 sadržava razloge zbog kojih je obrada posebnih kategorija osobnih podataka bila nužna za otkrivanje i ispravljanje pristranosti te zbog kojih se taj cilj nije mogao postići obradom drugih podataka.
f)
que los registros de las actividades de tratamiento con arreglo a los Reglamentos (UE) 2016/679 y (UE) 2018/1725 y la Directiva (UE) 2016/680 incluyan las razones por las que el tratamiento de categorías especiales de datos personales era estrictamente necesario para detectar y corregir sesgos, y por las que ese objetivo no podía alcanzarse mediante el tratamiento de otros datos.
6. Kad je riječ o razvoju visokorizičnih UI sustava u kojima se ne upotrebljavaju tehnike koje uključuju treniranje UI modelâ, stavci od 2. do 5. primjenjuju se samo na skupove podataka za testiranje.
6. Para el desarrollo de sistemas de IA de alto riesgo que no empleen técnicas que impliquen el entrenamiento de modelos de IA, los apartados 2 a 5 se aplicarán únicamente a los conjuntos de datos de prueba.
1. Tehnička dokumentacija visokorizičnog UI sustava sastavlja se prije njegova stavljanja na tržište ili u upotrebu te se ažurira.
1. La documentación técnica de un sistema de IA de alto riesgo se elaborará antes de su introducción en el mercado o puesta en servicio, y se mantendrá actualizada.
Tehnička dokumentacija sastavlja se tako da se njome dokaže da visokorizični UI sustav ispunjava zahtjeve utvrđene u ovom odjeljku te da se nacionalnim nadležnim tijelima i prijavljenim tijelima na jasan i sveobuhvatan način pruže informacije potrebne za ocjenjivanje usklađenosti UI sustava s tim zahtjevima. Tehnička dokumentacija sadržava barem elemente utvrđene u Prilogu IV. MSP-ovi, uključujući start-up poduzeća, mogu elemente tehničke dokumentacije iz Priloga IV. dostaviti na pojednostavnjen način. U tom cilju Komisija utvrđuje pojednostavnjeni obrazac za tehničku dokumentaciju namijenjen potrebama malih poduzeća i mikropoduzeća. Ako MSP, uključujući start-up poduzeće, odluči na pojednostavnjen način dostaviti informacije koje se zahtijevaju u Prilogu IV., koristi se obrascem na koji se upućuje u ovom stavku. Prijavljena tijela prihvaćaju taj obrazac u svrhu ocjenjivanja sukladnosti.
La documentación técnica se redactará de modo que demuestre que el sistema de IA de alto riesgo cumple los requisitos establecidos en la presente sección y que proporcione de manera clara y completa a las autoridades nacionales competentes y a los organismos notificados la información necesaria para evaluar la conformidad del sistema de IA con dichos requisitos. Contendrá, como mínimo, los elementos contemplados en el anexo IV. Las pymes, incluidas las empresas emergentes, podrán facilitar los elementos de la documentación técnica especificada en el anexo IV de manera simplificada. A tal fin, la Comisión establecerá un formulario simplificado de documentación técnica orientado a las necesidades de las pequeñas empresas y las microempresas. Cuando una pyme, incluidas las empresas emergentes, opte por facilitar la información exigida en el anexo IV de manera simplificada, utilizará el formulario a que se refiere el presente apartado. Los organismos notificados aceptarán dicho formulario a efectos de la evaluación de la conformidad.
2. Ako se na tržište ili u upotrebu stavlja visokorizični UI sustav povezan s proizvodom koji je obuhvaćen zakonodavstvom Unije o usklađivanju navedenim u odjeljku A Priloga I., sastavlja se jedinstvena tehnička dokumentacija koja sadržava sve informacije utvrđene u stavku 1., kao i informacije koje se zahtijevaju tim pravnim aktima.
2. Cuando se introduzca en el mercado o se ponga en servicio un sistema de IA de alto riesgo asociado a un producto que entre en el ámbito de aplicación de los actos legislativos de armonización de la Unión mencionados en el anexo I, sección A, se elaborará un único conjunto de documentos técnicos que contenga toda la información mencionada en el apartado 1, así como la información que exijan dichos actos legislativos.
3. Komisija ja ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene, prema potrebi, Priloga IV. kako bi se osiguralo da, s obzirom na tehnički napredak, tehnička dokumentacija sadržava sve informacije potrebne za ocjenjivanje usklađenosti sustava sa zahtjevima utvrđenima u ovom odjeljku.
3. La Comisión estará facultada para adoptar actos delegados con arreglo al artículo 97 al objeto de modificar el anexo IV, cuando sea necesario, para garantizar que, en vista de los avances técnicos, la documentación técnica proporcione toda la información necesaria para evaluar si el sistema cumple los requisitos establecidos en la presente sección.
1. Visokorizični UI sustavi dizajniraju se i razvijaju na takav način, među ostalim s odgovarajućim alatima sučelja čovjek-stroj, da ih fizičke osobe mogu djelotvorno nadzirati tijekom njihove upotrebe.
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que puedan ser vigilados de manera efectiva por personas físicas durante el período que estén en uso, lo que incluye dotarlos de herramientas de interfaz humano-máquina adecuadas.
2. Cilj je ljudskog nadzora spriječiti ili što više smanjiti rizike za zdravlje, sigurnost ili temeljna prava koji se mogu pojaviti tijekom upotrebe visokorizičnog UI sustava u skladu s njegovom namjenom ili u uvjetima razumno predvidljive pogrešne upotrebe, osobito ako takvi rizici i dalje postoje unatoč primjeni drugih zahtjeva utvrđenih u ovom odjeljku.
2. El objetivo de la supervisión humana será prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que pueden surgir cuando se utiliza un sistema de IA de alto riesgo conforme a su finalidad prevista o cuando se le da un uso indebido razonablemente previsible, en particular cuando dichos riesgos persistan a pesar de la aplicación de otros requisitos establecidos en la presente sección.
3. Mjere nadzora razmjerne su rizicima, razini autonomije i kontekstu korištenja visokorizičnog UI sustava, a osiguravaju se barem jednom od sljedećih vrsta mjera:
3. Las medidas de supervisión serán proporcionales a los riesgos, al nivel de autonomía y al contexto de uso del sistema de IA de alto riesgo, y se garantizarán bien mediante uno de los siguientes tipos de medidas, bien mediante ambos:
(a)
mjerama koje dobavljač utvrđuje i ugrađuje, ako je to tehnički izvedivo, u visokorizični UI sustav prije njegova stavljanja na tržište ili u upotrebu;
a)
las medidas que el proveedor defina y que integre, cuando sea técnicamente viable, en el sistema de IA de alto riesgo antes de su introducción en el mercado o su puesta en servicio;
(b)
mjerama koje dobavljač utvrđuje prije stavljanja visokorizičnog UI sustava na tržište ili u upotrebu, a koje su primjerene da ih provodi subjekt koji uvodi sustav.
b)
las medidas que el proveedor defina antes de la introducción del sistema de IA de alto riesgo en el mercado o de su puesta en servicio y que sean adecuadas para que las ponga en práctica el responsable del despliegue.
4. Za potrebe provedbe stavaka 1., 2. i 3. visokorizični UI sustav isporučuje se subjektu koji uvodi sustav na takav način da fizičke osobe kojima je povjeren ljudski nadzor mogu, ako je to potrebno i razmjerno:
4. A efectos de la puesta en práctica de lo dispuesto en los apartados 1, 2 y 3, el sistema de IA de alto riesgo se ofrecerá al responsable del despliegue de tal modo que las personas físicas a quienes se encomiende la supervisión humana puedan, según proceda y de manera proporcionada a:
(a)
pravilno razumjeti relevantne kapacitete i ograničenja visokorizičnog UI sustava i biti sposobne na odgovarajući način pratiti njegov rad, među ostalim radi otkrivanja i uklanjanja nepravilnosti, disfunkcija i neočekivanih rezultata;
a)
entender adecuadamente las capacidades y limitaciones pertinentes del sistema de IA de alto riesgo y poder vigilar debidamente su funcionamiento, por ejemplo, con vistas a detectar y resolver anomalías, problemas de funcionamiento y comportamientos inesperados;
(b)
biti na oprezu u pogledu moguće tendencije automatskog ili pretjeranog oslanjanja na izlazne podatke visokorizičnog UI sustava („automatizacijska pristranost”), osobito kad je riječ o visokorizičnim UI sustavima koji se upotrebljavaju za davanje informacija ili preporuka na temelju kojih odluke donose fizičke osobe;
b)
ser conscientes de la posible tendencia a confiar automáticamente o en exceso en los resultados de salida generados por un sistema de IA de alto riesgo («sesgo de automatización»), en particular con aquellos sistemas que se utilizan para aportar información o recomendaciones con el fin de que personas físicas adopten una decisión;
(c)
točno protumačiti izlazne podatke visokorizičnog UI sustava, uzimajući u obzir, primjerice, dostupne alate i metode za tumačenje;
c)
interpretar correctamente los resultados de salida del sistema de IA de alto riesgo, teniendo en cuenta, por ejemplo, los métodos y herramientas de interpretación disponibles;
(d)
u određenoj situaciji odustati od upotrebe visokorizičnog UI sustava ili na neki drugi način zanemariti, nadjačati ili poništiti izlazni podatak visokorizičnog UI sustava;
d)
decidir, en cualquier situación concreta, no utilizar el sistema de IA de alto riesgo o descartar, invalidar o revertir los resultados de salida que este genere;
(e)
intervenirati u rad visokorizičnog UI sustava ili prekinuti rad sustava pritiskom gumba za zaustavljanje ili sličnim postupkom koji omogućuje sigurno zaustavljanje sustava.
e)
intervenir en el funcionamiento del sistema de IA de alto riesgo o interrumpir el sistema pulsando un botón de parada o mediante un procedimiento similar que permita que el sistema se detenga de forma segura.
5. Kad je riječ o visokorizičnim UI sustavima iz točke 1. podtočke (a) Priloga III., mjerama iz stavka 3. ovog članka mora se usto osigurati da subjekt koji uvodi sustav ne poduzima nikakve radnje ili odluke na temelju identifikacije proizišle iz sustava ako identifikaciju nisu zasebno provjerile i potvrdile barem dvije fizičke osobe koje imaju potrebne kompetencije, osposobljenost i ovlasti.
5. En el caso de los sistemas de IA de alto riesgo mencionados en el anexo III, punto 1, letra a), las medidas a que se refiere el apartado 3 del presente artículo garantizarán, además, que el responsable del despliegue no actúe ni tome ninguna decisión basándose en la identificación generada por el sistema, salvo si al menos dos personas físicas con la competencia, formación y autoridad necesarias han verificado y confirmado por separado dicha identificación.
Zahtjev da najmanje dvije fizičke osobe moraju provesti zasebnu provjeru ne primjenjuje se na visokorizične UI sustave koji se upotrebljavaju u svrhu kaznenog progona, migracija, nadzora državne granice ili azila ako se u pravu Unije ili nacionalnom pravu primjena tog zahtjeva smatra nerazmjernom.
El requisito de la verificación por parte de al menos dos personas físicas por separado no se aplicará a los sistemas de IA de alto riesgo utilizados con fines de garantía del cumplimiento del Derecho, de migración, de control fronterizo o de asilo cuando el Derecho nacional o de la Unión considere que la aplicación de este requisito es desproporcionada.
Točnost, otpornost i kibernetička sigurnost
Precisión, solidez y ciberseguridad
1. Visokorizični UI sustavi dizajniraju se i razvijaju tako da postignu odgovarajuću razinu točnosti, otpornosti i kibernetičke sigurnosti te da im je u tim aspektima radni učinak tijekom cijelog životnog ciklusa konstantan.
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que alcancen un nivel adecuado de precisión, solidez y ciberseguridad y funcionen de manera uniforme en esos sentidos durante todo su ciclo de vida.
2. Kako bi se uvažili tehnički aspekti načina mjerenja odgovarajućih razina točnosti i otpornosti iz stavka 1. i ostali relevantni parametri učinkovitosti, Komisija u suradnji s relevantnim dionicima i organizacijama, kao što su tijela za mjeriteljstvo i utvrđivanje referentnih vrijednosti, prema potrebi potiče razvoj referentnih vrijednosti i metodologija mjerenja.
2. Para abordar los aspectos técnicos sobre la forma de medir los niveles adecuados de precisión y solidez establecidos en el apartado 1 y cualquier otro parámetro de rendimiento pertinente, la Comisión, en cooperación con las partes interesadas y organizaciones pertinentes, como las autoridades de metrología y de evaluación comparativa, fomentará, según proceda, el desarrollo de parámetros de referencia y metodologías de medición.
3. Razine točnosti i relevantni parametri točnosti visokorizičnih UI sustava navode se u popratnim uputama za korištenje.
3. En las instrucciones de uso que acompañen a los sistemas de IA de alto riesgo se indicarán los niveles de precisión de dichos sistemas, así como los parámetros pertinentes para medirla.
4. Visokorizični UI sustavi moraju biti otporni što je više moguće na greške, kvarove ili nedosljednosti koji se mogu dogoditi unutar sustava ili okruženja u kojem sustav radi, osobito zbog njihove interakcije s fizičkim osobama ili drugim sustavima. U tom se pogledu moraju poduzimati tehničke i organizacijske mjere.
4. Los sistemas de IA de alto riesgo serán lo más resistentes posible en lo que respecta a los errores, fallos o incoherencias que pueden surgir en los propios sistemas o en el entorno en el que funcionan, en particular a causa de su interacción con personas físicas u otros sistemas. Se adoptarán medidas técnicas y organizativas a este respecto.
Otpornost visokorizičnih UI sustava može se postići tehničkom redundancijom, što može uključivati pričuvne planove ili sigurnosne planove.
La solidez de los sistemas de IA de alto riesgo puede lograrse mediante soluciones de redundancia técnica, tales como copias de seguridad o planes de prevención contra fallos.
Visokorizični UI sustavi koji nastavljaju učiti nakon stavljanja na tržište ili u upotrebu razvijaju se na takav način da se otkloni ili na najmanju moguću mjeru svede rizik od potencijalno pristranih izlaznih podataka koji utječu na ulazne podatke u budućim operacijama („povratne veze”) te da se osigura da se na takve eventualne povratne veze na odgovarajući način reagira primjerenim mjerama ublažavanja.
Los sistemas de IA de alto riesgo que continúan aprendiendo tras su introducción en el mercado o puesta en servicio se desarrollarán de tal modo que se elimine o reduzca lo máximo posible el riesgo de que los resultados de salida que pueden estar sesgados influyan en la información de entrada de futuras operaciones (bucles de retroalimentación) y se garantice que dichos bucles se subsanen debidamente con las medidas de reducción de riesgos adecuadas.
5. Visokorizični UI sustavi moraju biti otporni na pokušaje neovlaštenih trećih strana da im izmijene upotrebu, izlazne podatke ili učinkovitost iskorištavanjem slabih točaka sustava.
5. Los sistemas de IA de alto riesgo serán resistentes a los intentos de terceros no autorizados de alterar su uso, sus resultados de salida o su funcionamiento aprovechando las vulnerabilidades del sistema.
Tehnička rješenja za osiguravanje kibernetičke sigurnosti visokorizičnih UI sustava moraju biti primjerena relevantnim okolnostima i rizicima.
Las soluciones técnicas encaminadas a garantizar la ciberseguridad de los sistemas de IA de alto riesgo serán adecuadas a las circunstancias y los riesgos pertinentes.
Tehnička rješenja za prevladavanje specifičnih slabih točaka umjetne inteligencije obuhvaćaju, prema potrebi, mjere za sprečavanje, otkrivanje, odgovor, rješavanje i kontrolu u vezi s napadima čiji je je cilj manipuliranje skupom podataka za treniranje („trovanje podataka”) ili prethodno treniranim komponentama koje se upotrebljavaju u treniranju („trovanje modela”), ulaznim podacima osmišljenima kako bi UI model načinio pogrešku („neprijateljski primjeri” ili „zaobilaženje modela”), napadima na povjerljivost ili nedostacima modela.
Entre las soluciones técnicas destinadas a subsanar vulnerabilidades específicas de la IA figurarán, según corresponda, medidas para prevenir, detectar, combatir, resolver y controlar los ataques que traten de manipular el conjunto de datos de entrenamiento («envenenamiento de datos»), o los componentes entrenados previamente utilizados en el entrenamiento («envenenamiento de modelos»), la información de entrada diseñada para hacer que el modelo de IA cometa un error («ejemplos adversarios» o «evasión de modelos»), los ataques a la confidencialidad o los defectos en el modelo.
Sustav upravljanja kvalitetom
Sistema de gestión de la calidad
1. Dobavljači visokorizičnih UI sustava uspostavljaju sustav upravljanja kvalitetom kojim se osigurava usklađenost s ovom Uredbom. O tom se sustavu na sustavan i uredan način sastavlja dokumentacija u obliku pisanih politika, postupaka i uputa, a obuhvaća barem sljedeće aspekte:
1. Los proveedores de sistemas de IA de alto riesgo establecerán un sistema de gestión de la calidad que garantice el cumplimiento del presente Reglamento. Dicho sistema deberá consignarse de manera sistemática y ordenada en documentación en la que se recojan las políticas, los procedimientos y las instrucciones e incluirá, al menos, los siguientes aspectos:
(a)
strategiju za usklađenost s propisima, uključujući usklađenost s postupcima ocjenjivanja sukladnosti i postupcima za upravljanje izmjenama visokorizičnog UI sustava;
a)
una estrategia para el cumplimiento de la normativa, incluido el cumplimiento de los procedimientos de evaluación de la conformidad y de los procedimientos de gestión de las modificaciones de los sistemas de IA de alto riesgo;
(b)
tehnike, postupke i sustavne aktivnosti koji se moraju provoditi u dizajnu te kontroli i provjeri dizajna visokorizičnog UI sustava;
b)
las técnicas, los procedimientos y las actuaciones sistemáticas que se utilizarán en el diseño y el control y la verificación del diseño del sistema de IA de alto riesgo;
(c)
tehnike, postupke i sustavne aktivnosti koji se moraju provoditi u razvoju te kontroli kvalitete i osiguravanju kvalitete visokorizičnog UI sustava;
c)
las técnicas, los procedimientos y las actuaciones sistemáticas que se utilizarán en el desarrollo del sistema de IA de alto riesgo y en el control y el aseguramiento de la calidad de este;
(d)
postupke ispitivanja, testiranja i validacije koji se moraju provoditi prije, tijekom i poslije razvoja visokorizičnog UI sustava te učestalost kojom se moraju provoditi;
d)
los procedimientos de examen, prueba y validación que se llevarán a cabo antes, durante y después del desarrollo del sistema de IA de alto riesgo, así como la frecuencia con que se ejecutarán;
(e)
tehničke specifikacije, uključujući norme, koje se moraju primjenjivati i, ako relevantne usklađene norme nisu u cijelosti primijenjene ili ne obuhvaćaju sve relevantne zahtjeve utvrđene u odjeljku 2., sredstva koja se moraju upotrijebiti kako bi se osigurala usklađenost visokorizičnog UI sustava s tim zahtjevima;
e)
las especificaciones técnicas, incluidas las normas, que se aplicarán y, cuando las normas armonizadas pertinentes no se apliquen en su totalidad o no cubran todos los requisitos pertinentes establecidos en la sección 2, los medios que se utilizarán para velar por que el sistema de IA de alto riesgo cumpla dichos requisitos;
(f)
sustave i postupke za upravljanje podacima, uključujući pribavljanje podataka, prikupljanje podataka, analizu podataka, označivanje podataka, pohranu podataka, filtriranje podataka, rudarenje podataka, agregiranje podataka, zadržavanje podataka i sve druge operacije s podacima koje se obavljaju prije stavljanja visokorizičnih UI sustava na tržište ili u upotrebu i u svrhu tog stavljanja;
f)
los sistemas y procedimientos de gestión de datos, lo que incluye su adquisición, recopilación, análisis, etiquetado, almacenamiento, filtrado, prospección, agregación, conservación y cualquier otra operación relacionada con los datos que se lleve a cabo antes de la introducción en el mercado o puesta en servicio de sistemas de IA de alto riesgo y con esa finalidad;
(g)
sustav upravljanja rizikom iz članka 9.;
g)
el sistema de gestión de riesgos que se menciona en el artículo 9;
(h)
uspostavu, primjenu i održavanje sustava praćenja nakon stavljanja na tržište u skladu s člankom 72.;
h)
el establecimiento, aplicación y mantenimiento de un sistema de vigilancia poscomercialización de conformidad con el artículo 72;
(i)
postupke povezane s prijavljivanjem ozbiljnog incidenta u skladu s člankom 73.;
i)
los procedimientos asociados a la notificación de un incidente grave con arreglo al artículo 73;
(j)
postupke komunikacije s nacionalnim nadležnim tijelima, drugim relevantnim tijelima, uključujući tijela za pružanje ili olakšavanje pristupa podacima, prijavljenim tijelima, drugim operaterima, klijentima ili drugim zainteresiranim stranama;
j)
la gestión de la comunicación con las autoridades nacionales competentes, otras autoridades pertinentes, incluidas las que permiten acceder a datos o facilitan el acceso a ellos, los organismos notificados, otros operadores, los clientes u otras partes interesadas;
(k)
sustave i postupke za čuvanje evidencije o svoj relevantnoj dokumentaciji i svim relevantnim informacijama;
k)
los sistemas y procedimientos para llevar un registro de toda la documentación e información pertinente;
(l)
upravljanje resursima, uključujući mjere koje se odnose na sigurnost opskrbe;
l)
la gestión de los recursos, incluidas medidas relacionadas con la seguridad del suministro;
(m)
okvir za odgovornost kojim se utvrđuju odgovornosti uprave i drugog osoblja za sve aspekte navedene u ovom stavku.
m)
un marco de rendición de cuentas que defina las responsabilidades del personal directivo y de otra índole en relación con todos los aspectos enumerados en este apartado.
2. Aspekti iz stavka 1. provode se razmjerno veličini dobavljačeve organizacije. Dobavljači u svakom slučaju moraju poštovati stupanj strogosti i razinu zaštite koji su potrebni kako bi se osigurala usklađenost njihovih UI sustava s ovom Uredbom.
2. La aplicación de los aspectos mencionados en el apartado 1 será proporcional al tamaño de la organización del proveedor. Los proveedores respetarán, en todo caso, el grado de rigor y el nivel de protección requerido para garantizar la conformidad de sus sistemas de IA de alto riesgo con el presente Reglamento.
3. Dobavljači visokorizičnih UI sustava koji podliježu obvezama u pogledu sustavâ upravljanja kvalitetom ili jednakovrijedne funkcije na temelju relevantnog sektorskog prava Unije mogu uključiti aspekte navedene u stavku 1. u sustave upravljanja kvalitetom u skladu s tim pravom.
3. Los proveedores de sistemas de IA de alto riesgo que estén sujetos a obligaciones relativas a los sistemas de gestión de la calidad o una función equivalente con arreglo al Derecho sectorial pertinente de la Unión podrán incluir los aspectos enumerados en el apartado 1 como parte de los sistemas de gestión de la calidad con arreglo a dicho Derecho.
4. Kad je riječ o dobavljačima koji su financijske institucije na koje se primjenjuju zahtjevi u pogledu njihova unutarnjeg upravljanja, njihovih aranžmana ili njihovih procesa na temelju prava Unije o financijskim uslugama, obveza uspostave sustava upravljanja kvalitetom, uz iznimku stavka 1. točaka (g), (h) i (i) ovog članka, smatra se ispunjenom ako se poštuju pravila o unutarnjem upravljanju, aranžmanima ili procesima u skladu s relevantnim pravom Unije o financijskim uslugama. U tom se cilju u obzir uzimaju sve usklađene norme iz članka 40.
4. En el caso de los proveedores que sean entidades financieras sujetas a requisitos relativos a su gobernanza, sus sistemas o sus procesos internos en virtud del Derecho de la Unión en materia de servicios financieros, se considerará que se ha cumplido la obligación de establecer un sistema de gestión de la calidad, salvo en relación con lo dispuesto en el apartado 1, letras g), h) e i), del presente artículo cuando se respeten las normas sobre los sistemas o procesos de gobernanza interna de acuerdo con el Derecho pertinente de la Unión en materia de servicios financieros. A tal fin, se tendrán en cuenta todas las normas armonizadas que se mencionan en el artículo 40.
Korektivne mjere i obveza obavješćivanja
Medidas correctoras y obligación de información
1. Dobavljači visokorizičnih UI sustava koji smatraju ili imaju razloga smatrati da visokorizični UI sustav koji su stavili na tržište ili u upotrebu nije sukladan s ovom Uredbom odmah poduzimaju potrebne korektivne mjere kako bi, prema potrebi, postigli sukladnost tog sustava s ovom Uredbom, povukli ga, onesposobili ili ga opozvali. O dotičnom visokorizičnom UI sustavu na odgovarajući obavješćuju distributere i, ako je primjenjivo, subjekte koji uvode sustav, ovlaštenog zastupnika i uvoznike.
1. Los proveedores de sistemas de IA de alto riesgo que consideren o tengan motivos para considerar que un sistema de IA de alto riesgo que han introducido en el mercado o puesto en servicio no es conforme con el presente Reglamento adoptarán inmediatamente las medidas correctoras necesarias para que sea conforme, para retirarlo del mercado, desactivarlo o recuperarlo, según proceda. Informarán de ello a los distribuidores del sistema de IA de alto riesgo de que se trate y, en su caso, a los responsables del despliegue, al representante autorizado y a los importadores.
2. Ako visokorizični UI sustav predstavlja rizik u smislu članka 79. stavka 1. i dobavljač sustava sazna za taj rizik, on odmah istražuje uzroke, ako je primjenjivo u suradnji sa subjektom koji uvodi sustav i koji je to prijavio, te obavješćuje tijela za nadzor tržišta koja su nadležna za dotični visokorizični UI i, ako je primjenjivo, prijavljeno tijelo koje je izdalo potvrdu za taj visokorizični UI sustav u skladu s člankom 44., osobito o prirodi neusklađenosti i relevantnim korektivnim mjerama koje su eventualno već poduzete.
2. Cuando un sistema de IA de alto riesgo presente un riesgo en el sentido del artículo 79, apartado 1, y el proveedor tenga conocimiento de dicho riesgo, este investigará inmediatamente las causas, en colaboración con el responsable del despliegue que lo haya notificado, en su caso, e informará a las autoridades de vigilancia del mercado competentes respecto al sistema de IA de alto riesgo de que se trate y, cuando proceda, al organismo notificado que haya expedido un certificado para dicho sistema de conformidad con lo dispuesto en el artículo 44, en particular sobre la naturaleza del incumplimiento y sobre cualquier medida correctora adoptada.
Ovlašteni zastupnici dobavljačâ visokorizičnih UI sustava
Representantes autorizados de los proveedores de sistemas de IA de alto riesgo
1. Prije stavljanja svojih visokorizičnih UI sustava na tržište Unije dobavljači s poslovnim nastanom u trećim zemljama pisanim ovlaštenjem imenuju ovlaštenog zastupnika s poslovnim nastanom u Uniji.
1. Antes de comercializar sus sistemas de IA de alto riesgo en el mercado de la Unión, los proveedores establecidos en terceros países tendrán que nombrar, mediante un mandato escrito, a un representante autorizado que esté establecido en la Unión.
2. Dobavljač omogućuje svojem ovlaštenom zastupniku da obavlja zadaće navedene u ovlaštenju koje je dobio od dobavljača.
2. Los proveedores permitirán que su representante autorizado pueda efectuar las tareas especificadas en el mandato recibido del proveedor.
3. Ovlašteni zastupnik obavlja zadaće navedene u ovlaštenju koje je dobio od dobavljača. On na zahtjev dostavlja primjerak ovlaštenja tijelima za nadzor tržišta na jednom od službenih jezika institucije Unije koji je navelo nadležno tijelo. Za potrebe ove Uredbe ovlaštenjem se ovlaštenom zastupniku daje ovlast da obavlja sljedeće zadaće:
3. Los representantes autorizados efectuarán las tareas especificadas en el mandato recibido del proveedor. Facilitarán a las autoridades de vigilancia del mercado, cuando lo soliciten, una copia del mandato en una de las lenguas oficiales de las instituciones de la Unión según lo indicado por la autoridad de competente. A los efectos del presente Reglamento, el mandato habilitará al representante autorizado para realizar las tareas siguientes:
(a)
provjerava jesu li sastavljene EU izjava o sukladnosti iz članka 47. i tehnička dokumentacija iz članka 11. i je li dobavljač proveo odgovarajući postupak ocjenjivanja sukladnosti;
a)
verificar que se han elaborado la declaración UE de conformidad a que se refiere el artículo 47 y la documentación técnica a que se refiere el artículo 11 y que el proveedor ha llevado a cabo un procedimiento de evaluación de la conformidad adecuado;
(b)
nadležnim tijelima te nacionalnim tijelima iz članka 74. stavka 10., tijekom razdoblja od deset godina nakon što je visokorizični UI sustav stavljen na tržište ili u upotrebu, drži na raspolaganju kontaktne podatke dobavljača koji je imenovao ovlaštenog zastupnika, primjerak EU izjave o sukladnosti iz članka 47., tehničku dokumentaciju i, ako je primjenjivo, potvrdu koju je izdalo prijavljeno tijelo;
b)
conservar a disposición de las autoridades competentes y de las autoridades u organismos nacionales a que se refiere el artículo 74, apartado 10, durante un período de diez años a contar desde la introducción en el mercado o la puesta en servicio del sistema de IA de alto riesgo, los datos de contacto del proveedor que haya nombrado al representante autorizado, una copia de la declaración UE de conformidad a que se refiere el artículo 47, la documentación técnica y, en su caso, el certificado expedido por el organismo notificado;
(c)
nadležnom tijelu na obrazloženi zahtjev dostavlja sve informacije i dokumentaciju, uključujući one iz točke (b) ovog podstavka, koji su potrebni za dokazivanje sukladnosti visokorizičnog UI sustava sa zahtjevima utvrđenima u odjeljku 2., što uključuje pristup evidenciji iz članka 12. stavka 1. koju automatski generira visokorizični UI sustav u mjeri u kojoj je takva evidencija pod kontrolom dobavljača;
c)
proporcionar a una autoridad competente, previa solicitud motivada, toda la información y la documentación, incluida la mencionada en el presente párrafo, letra b), que sean necesarias para demostrar la conformidad de un sistema de IA de alto riesgo con los requisitos establecidos en la sección 2, incluido el acceso a los archivos de registro a que se refiere el artículo 12, apartado 1, generados automáticamente por ese sistema, en la medida en que dichos archivos estén bajo el control del proveedor;
(d)
na obrazloženi zahtjev surađuje s nadležnim tijelima u svim aktivnostima koje ta tijela poduzimaju u vezi s visokorizičnim UI sustavom, posebno kako bi se smanjili i ublažili rizici koje predstavlja visokorizični UI sustav;
d)
cooperar con las autoridades competentes, previa solicitud motivada, en todas las acciones que estas emprendan en relación con el sistema de IA de alto riesgo, en particular para reducir y mitigar los riesgos que este presente;
(e)
ako je primjenjivo, ispunjava obveze registracije iz članka 49. stavka 1. ili, ako registraciju provodi sam dobavljač, osigurava točnost informacija iz točke 3. odjeljka A Priloga VIII.
e)
cuando proceda, cumplir las obligaciones de registro a que se refiere el artículo 49, apartado 1, o si el registro lo lleva a cabo el propio proveedor, garantizar que la información a que se refiere el anexo VIII, sección A, punto 3, es correcta.
Ovlaštenjem se ovlaštenom zastupniku daje ovlast da mu se, uz dobavljača ili umjesto dobavljaču, obraćaju nadležna tijela u vezi sa svim pitanjima povezanima s osiguravanjem usklađenosti s ovom Uredbom.
El mandato habilitará al representante autorizado para que las autoridades competentes se pongan en contacto con él, además de con el proveedor o en lugar de con el proveedor, con referencia a todas las cuestiones relacionadas con la garantía del cumplimiento del presente Reglamento.
4. Ovlašteni zastupnik ukida ovlaštenje ako smatra ili ima razloga smatrati da dobavljač postupa protivno svojim obvezama na temelju ove Uredbe. U tom slučaju ovlašteni zastupnik o ukidanju ovlaštenja i razlozima za ukidanje odmah obavješćuje relevantno tijelo za nadzor tržišta i, ako je primjenjivo, relevantno prijavljeno tijelo.
4. El representante autorizado pondrá fin al mandato si considera o tiene motivos para considerar que el proveedor contraviene las obligaciones que le atañen con arreglo al presente Reglamento. En tal caso, además, informará de inmediato de la terminación del mandato y de los motivos de esta medida a la autoridad de vigilancia del mercado pertinente, así como, cuando proceda, al organismo notificado pertinente.
Obligaciones de los importadores
1. Prije stavljanja visokorizičnog UI sustava na tržište uvoznici osiguravaju da je sustav sukladan s ovom Uredbom tako da provjere je li:
1. Antes de introducir un sistema de IA de alto riesgo en el mercado, los importadores se asegurarán de que el sistema sea conforme con el presente Reglamento verificando que:
(a)
dobavljač visokorizičnog UI sustava proveo relevantni postupak ocjenjivanja sukladnosti iz članka 43.;
a)
el proveedor del sistema de IA de alto riesgo haya llevado a cabo el procedimiento de evaluación de la conformidad pertinente a que se refiere el artículo 43;
(b)
dobavljač sastavio tehničku dokumentaciju u skladu s člankom 11. i Prilogom IV.;
b)
el proveedor haya elaborado la documentación técnica de conformidad con el artículo 11 y el anexo IV;
(c)
sustav označen oznakom CE te jesu li mu priložene EU izjava o sukladnosti iz članka 47. i upute za korištenje;
c)
el sistema lleve el marcado CE exigido y vaya acompañado de la declaración UE de conformidad a que se refiere el artículo 47 y de las instrucciones de uso;
(d)
dobavljač imenovao ovlaštenog zastupnika u skladu s člankom 22. stavkom 1.
d)
el proveedor haya designado a un representante autorizado de conformidad con el artículo 22, apartado 1.
2. Ako uvoznik ima dovoljno razloga smatrati da visokorizični UI sustav nije sukladan s ovom Uredbom, da je krivotvoren ili da mu je priložena krivotvorena dokumentacija, ne stavlja taj sustav na tržište dok on ne postane sukladan s ovom Uredbom. Ako visokorizični UI sustav predstavlja rizik u smislu članka 79. stavka 1., uvoznik o tome obavješćuje dobavljača sustava, ovlaštene zastupnike i tijela za nadzor tržišta.
2. Si el importador tiene motivos suficientes para considerar que un sistema de IA de alto riesgo no es conforme con el presente Reglamento, ha sido falsificado o va acompañado de documentación falsificada, no lo introducirá en el mercado hasta que se haya conseguido la conformidad de dicho sistema. Si el sistema de IA de alto riesgo presenta un riesgo en el sentido del artículo 79, apartado 1, el importador informará de ello al proveedor del sistema, a los representantes autorizados y a las autoridades de vigilancia del mercado.
3. Uvoznici navode svoje ime, registrirano trgovačko ime ili registrirani žig i adresu za kontakt na visokorizičnom UI sustavu i na njegovoj ambalaži ili u njegovoj popratnoj dokumentaciji, ako je primjenjivo.
3. Los importadores indicarán, en el embalaje del sistema de IA de alto riesgo o en la documentación que lo acompañe, cuando proceda, su nombre, su nombre comercial registrado o marca registrada y su dirección de contacto.
4. Dok je visokorizični UI sustav pod njihovom odgovornošću uvoznici osiguravaju da uvjeti skladištenja ili prijevoza, ako je primjenjivo, ne ugrožavaju njegovu usklađenost sa zahtjevima utvrđenima u odjeljku 2.
4. Mientras sean responsables de un sistema de IA de alto riesgo, los importadores se asegurarán de que las condiciones de almacenamiento o transporte, cuando proceda, no comprometan el cumplimiento de los requisitos establecidos en la sección 2 por parte de dicho sistema.
5. Uvoznici tijekom razdoblja od deset godina nakon što je visokorizični UI sustav stavljen na tržište ili u upotrebu čuvaju primjerak potvrde koju je izdalo prijavljeno tijelo, ako je primjenjivo, uputa za korištenje i EU izjave o sukladnosti iz članka 47.
5. Los importadores conservarán, durante un período de diez años a contar desde la introducción en el mercado o la puesta en servicio del sistema de IA de alto riesgo, una copia del certificado expedido por el organismo notificado, en su caso, de las instrucciones de uso y de la declaración UE de conformidad a que se refiere el artículo 47.
6. Uvoznici relevantnim nadležnim tijelima na obrazloženi zahtjev dostavljaju sve informacije i dokumentaciju, uključujući informacije i dokumentaciju navedene u stavku 5., koji su potrebni za dokazivanje sukladnosti visokorizičnog UI sustava sa zahtjevima utvrđenima u odjeljku 2. na jeziku koji ta tijela mogu bez poteškoća razumjeti. U tu svrhu također osiguravaju da se tim tijelima na raspolaganje može staviti tehnička dokumentacija.
6. Los importadores proporcionarán a las autoridades competentes pertinentes, previa solicitud motivada, toda la información y la documentación, incluidas las referidas en el apartado 5, que sean necesarias para demostrar la conformidad de un sistema de IA de alto riesgo con los requisitos establecidos en la sección 2 en una lengua que estas puedan entender fácilmente. A tal efecto, velarán asimismo por que la documentación técnica pueda ponerse a disposición de esas autoridades.
7. Uvoznici surađuju s relevantnim nadležnim tijelima u svim mjerama koje ta tijela poduzimaju u vezi s visokorizičnim UI sustavom koji uvoznici stavljaju na tržište, posebno kako bi se smanjili i ublažili rizici koje on predstavlja.
7. Los importadores cooperarán con las autoridades competentes pertinentes en cualquier medida que estas adopten en relación con un sistema de IA de alto riesgo introducido en el mercado por los importadores, en particular para reducir y mitigar los riesgos que este presente.
Obligaciones de los distribuidores
1. Prije stavljanja visokorizičnog UI sustava na raspolaganje na tržištu distributeri provjeravaju ima li on potrebnu oznaku CE, jesu li mu priloženi primjerak EU izjave o sukladnosti iz članka 47. i upute za korištenje te jesu li dobavljač i uvoznik tog sustava, ovisno o slučaju, ispunili svoje obveze utvrđene u članku 16. točkama (b) i (c) i članku 23. stavku 3.
1. Antes de comercializar un sistema de IA de alto riesgo, los distribuidores verificarán que este lleve el marcado CE exigido, que vaya acompañado de una copia de la declaración UE de conformidad a que se refiere el artículo 47 y de las instrucciones de uso, y que el proveedor y el importador de dicho sistema, según corresponda, hayan cumplido sus obligaciones establecidas en el artículo 16, letras b) y c), y el artículo 23, apartado 3, respectivamente.
2. Ako distributer na temelju informacija kojima raspolaže smatra ili ima razloga smatrati da visokorizični UI sustav nije sukladan sa zahtjevima utvrđenima u odjeljku 2., ne stavlja visokorizični UI sustav na tržište dok sustav ne postane sukladan s tim zahtjevima. Osim toga, ako visokorizični UI sustav predstavlja rizik u smislu članka 79. stavka 1., distributer o tome obavješćuje dobavljača ili uvoznika tog sustava, ovisno o slučaju.
2. Si un distribuidor considera o tiene motivos para considerar, con arreglo a la información en su poder, que un sistema de IA de alto riesgo no es conforme con los requisitos establecidos en la sección 2, no lo comercializará hasta que se haya conseguido esa conformidad. Además, si el sistema de IA de alto riesgo presenta un riesgo en el sentido del artículo 79, apartado 1, el distribuidor informará de ello al proveedor o importador del sistema, según corresponda.
3. Dok je visokorizični UI sustav pod njihovom odgovornošću, distributeri osiguravaju da uvjeti skladištenja ili prijevoza, ako je primjenjivo, ne ugrožavaju njegovu usklađenost sa zahtjevima utvrđenima u odjeljku 2.
3. Mientras sean responsables de un sistema de IA de alto riesgo, los distribuidores se asegurarán de que las condiciones de almacenamiento o transporte, cuando proceda, no comprometen el cumplimiento por parte del sistema de los requisitos establecidos en la sección 2.
4. Ako distributer na temelju informacija kojima raspolaže smatra ili ima razloga smatrati da visokorizični UI sustav koji je stavio na raspolaganje na tržištu nije sukladan sa zahtjevima utvrđenima u odjeljku 2., poduzima korektivne mjere potrebne kako bi postigao sukladnost dotičnog sustava s tim zahtjevima, povukao ga ili opozvao ili, osigurava da te korektivne mjere poduzme, prema potrebi, dobavljač, uvoznik ili drugi relevantni operater. Ako visokorizični UI sustav predstavlja rizik u smislu članka 79. stavka 1., distributer o tome odmah obavješćuje dobavljača ili uvoznika sustava i tijela nadležna za dotični visokorizični UI sustav, navodeći pojedinosti, osobito o neusklađenosti i poduzetim korektivnim mjerama.
4. Los distribuidores que consideren o tengan motivos para considerar, con arreglo a la información en su poder, que un sistema de IA de alto riesgo que han comercializado no es conforme con los requisitos establecidos en la sección 2 adoptarán las medidas correctoras necesarias para que sea conforme, para retirarlo del mercado o recuperarlo, o velarán por que el proveedor, el importador u otro operador pertinente, según proceda, adopte dichas medidas correctoras. Cuando un sistema de IA de alto riesgo presente un riesgo en el sentido del artículo 79, apartado 1, su distribuidor informará inmediatamente de ello al proveedor o al importador del sistema y a las autoridades competentes respecto al sistema de IA de alto riesgo de que se trate y dará detalles, en particular, sobre la no conformidad y las medidas correctoras adoptadas.
5. Distributeri visokorizičnog UI sustava relevantnom nadležnom tijelu na obrazloženi zahtjev tog tijela dostavljaju sve informacije i dokumentaciju o svim njihovim mjerama na temelju stavaka od 1. do 4. koje su potrebne za dokazivanje sukladnosti tog sustava sa zahtjevima utvrđenima u odjeljku 2.
5. Previa solicitud motivada de una autoridad competente pertinente, los distribuidores de un sistema de IA de alto riesgo proporcionarán a esa autoridad toda la información y la documentación relativas a sus actuaciones con arreglo a los apartados 1 a 4 que sean necesarias para demostrar que dicho sistema cumple los requisitos establecidos en la sección 2.
6. Distributeri surađuju s relevantnim nadležnim tijelima u svim mjerama koje ta tijela poduzimaju u vezi s visokorizičnim UI sustavom koji su distributeri stavili na raspolaganje na tržištu, posebno kako bi se smanjili ili ublažili rizici koje on predstavlja.
6. Los distribuidores cooperarán con las autoridades competentes pertinentes en cualquier medida que estas adopten en relación con un sistema de IA de alto riesgo comercializado por los distribuidores, en particular para reducir o mitigar los riesgos que este presente.
Odgovornosti duž vrijednosnog lanca umjetne inteligencije
Responsabilidades a lo largo de la cadena de valor de la IA
1. Svi distributeri, uvoznici, subjekti koji uvode sustav ili ostale treće strane smatraju se dobavljačima visokorizičnog UI sustava za potrebe ove Uredbe i podliježu obvezama dobavljača iz članka 16. u bilo kojoj od sljedećih okolnosti:
1. Cualquier distribuidor, importador, responsable del despliegue o tercero será considerado proveedor de un sistema de IA de alto riesgo a los efectos del presente Reglamento y estará sujeto a las obligaciones del proveedor previstas en el artículo 16 en cualquiera de las siguientes circunstancias:
(a)
ako stave svoje ime ili žig na visokorizični UI sustav koji je već stavljen na tržište ili u upotrebu, ne dovodeći u pitanje ugovorne aranžmane u kojima je utvrđena drukčija raspodjela obveza;
a)
cuando ponga su nombre o marca en un sistema de IA de alto riesgo previamente introducido en el mercado o puesto en servicio, sin perjuicio de los acuerdos contractuales que estipulen que las obligaciones se asignan de otro modo;
(b)
ako znatno izmijene visokorizični UI sustav koji je već stavljen na tržište ili u upotrebu i to na takav način da i dalje ostane visokorizični UI sustav na temelju članka 6.;
b)
cuando modifique sustancialmente un sistema de IA de alto riesgo que ya haya sido introducido en el mercado o puesto en servicio de tal manera que siga siendo un sistema de IA de alto riesgo con arreglo al artículo 6;
(c)
ako izmijene namjenu UI sustava, uključujući UI sustav opće namjene, koji nije klasificiran kao visokorizičan i već je stavljen na tržište ili u upotrebu i to na takav način da dotični UI sustav postane visokorizični UI sustav u skladu s člankom 6.;
c)
cuando modifique la finalidad prevista de un sistema de IA, incluido un sistema de IA de uso general, que no haya sido considerado de alto riesgo y ya haya sido introducido en el mercado o puesto en servicio, de tal manera que el sistema de IA de que se trate se convierta en un sistema de IA de alto riesgo de conformidad con el artículo 6.
2. Ako nastupe okolnosti iz stavka 1., dobavljač koji je prvobitno stavio UI sustav na tržište ili u upotrebu više se ne smatra dobavljačem tog konkretnog UI sustava za potrebe ove Uredbe. Taj početni dobavljač blisko surađuje s novim dobavljačima te stavlja na raspolaganje potrebne informacije i pruža razumno očekivani tehnički pristup i drugu pomoć koji su potrebni za ispunjavanje obveza utvrđenih u ovoj Uredbi, posebno u pogledu poštovanja ocjenjivanja sukladnosti visokorizičnih UI sustava. Ovaj se stavak ne primjenjuje u slučajevima u kojima je početni dobavljač jasno naveo da se njegov UI sustav ne smije promijeniti u visokorizični UI sustav i stoga nije obuhvaćen obvezom predaje dokumentacije.
2. Cuando se den las circunstancias mencionadas en el apartado 1, el proveedor que inicialmente haya introducido en el mercado el sistema de IA o lo haya puesto en servicio dejará de ser considerado proveedor de ese sistema de IA específico a efectos del presente Reglamento. Ese proveedor inicial cooperará estrechamente con los nuevos proveedores y facilitará la información necesaria, el acceso técnico u otra asistencia razonablemente previstos que sean necesarios para el cumplimiento de las obligaciones establecidas en el presente Reglamento, en particular en lo que respecta al cumplimiento de la evaluación de la conformidad de los sistemas de IA de alto riesgo. El presente apartado no se aplicará en los casos en que el proveedor inicial haya indicado claramente que su sistema de IA no debe ser transformado en un sistema de IA de alto riesgo y, por lo tanto, no está sujeto a la obligación de facilitar la documentación.
3. Kad je riječ o visokorizičnim UI sustavima koji su sigurnosna komponenta proizvoda obuhvaćenih zakonodavstvom Unije o usklađivanju navedenim u odjeljku A Priloga I., proizvođač proizvoda smatra se dobavljačem visokorizičnog UI sustava i podliježe obvezama iz članka 16. u bilo kojoj od sljedećih okolnosti:
3. En el caso de los sistemas de IA de alto riesgo que sean componentes de seguridad de productos contemplados en los actos legislativos de armonización de la Unión enumerados en el anexo I, sección A, el fabricante del producto será considerado proveedor del sistema de IA de alto riesgo y estará sujeto a las obligaciones previstas en el artículo 16 en alguna de las siguientes circunstancias:
(a)
visokorizični UI sustav stavljen je na tržište zajedno s dotičnim proizvodom pod imenom ili žigom proizvođača proizvoda;
a)
que el sistema de IA de alto riesgo se introduzca en el mercado junto con el producto bajo el nombre o la marca del fabricante del producto;
(b)
visokorizični UI sustav stavljen je u upotrebu pod imenom ili žigom proizvođača proizvoda nakon što je proizvod stavljen na tržište.
b)
que el sistema de IA de alto riesgo se ponga en servicio bajo el nombre o la marca del fabricante del producto después de que el producto haya sido introducido en el mercado.
4. Dobavljač visokorizičnog UI sustava i treća strana koja isporučuje UI sustav, alate, usluge, komponente ili procese koji se upotrebljavaju u visokorizičnom UI sustavu ili su u njega integrirani, pisanim dogovorom utvrđuju informacije, mogućnosti, tehnički pristup i drugu pomoć na temelju općepriznatih najnovijih dostignuća koji su potrebni kako bi dobavljač visokorizičnog UI sustava mogao u potpunosti ispuniti obveze utvrđene u ovoj Uredbi. Ovaj se stavak ne primjenjuje na treće strane koje stavljaju na raspolaganje javnosti alate, usluge, procese ili komponente, osim UI modelâ opće namjene, na temelju besplatne licencije za softver otvorenog koda.
4. El proveedor de un sistema de IA de alto riesgo y el tercero que suministre un sistema de IA de alto riesgo, herramientas, servicios, componentes o procesos que se utilicen o integren en un sistema de IA de alto riesgo especificarán, mediante acuerdo escrito, la información, las capacidades, el acceso técnico y otra asistencia que sean necesarios, sobre la base del estado de la técnica generalmente reconocido, para que el proveedor del sistema de IA de alto riesgo pueda cumplir plenamente las obligaciones establecidas en el presente Reglamento. El presente apartado no se aplicará a terceros que pongan a disposición del público herramientas, servicios, procesos o componentes distintos de modelos de IA de uso general, en el marco de una licencia libre y de código abierto.
Ured za umjetnu inteligenciju može razviti i preporučiti dobrovoljne modele uvjeta za ugovore između dobavljačâ visokorizičnih UI sustava i trećih strana koji isporučuju alate, usluge, komponente ili procese koji se upotrebljavaju u visokorizičnim UI sustavima ili su u njih integrirani. Pri izradi tih dobrovoljnih modela uvjeta Ured za umjetnu inteligenciju uzima u obzir moguće ugovorne zahtjeve primjenjive u određenim sektorima ili poslovnim slučajevima. Dobrovoljni modeli uvjeta objavljuju se i besplatno su dostupni u lako upotrebljivom elektroničkom obliku.
La Oficina de IA podrá elaborar y recomendar cláusulas contractuales tipo, de carácter voluntario, entre los proveedores de sistemas de IA de alto riesgo y terceros que suministren herramientas, servicios, componentes o procesos que se utilicen o integren en los sistemas de IA de alto riesgo. Cuando elabore esas cláusulas contractuales tipo de carácter voluntario, la Oficina de IA tendrá en cuenta los posibles requisitos contractuales aplicables en determinados sectores o modelos de negocio. Las cláusulas contractuales tipo de carácter voluntario se publicarán y estarán disponibles gratuitamente en un formato electrónico fácilmente utilizable.
5. Stavcima 2. i 3. ne dovodi se u pitanje potreba za poštovanjem i zaštitom prava intelektualnog vlasništva, povjerljivih poslovnih informacija i poslovnih tajni u skladu s pravom Unije i nacionalnim pravom.
5. Los apartados 2 y 3 se entenderán sin perjuicio de la necesidad de observar y proteger los derechos de propiedad intelectual e industrial, la información empresarial confidencial y los secretos comerciales, de conformidad con el Derecho de la Unión y nacional.
Obveze subjekata koji uvode visokorizične UI sustave
Obligaciones de los responsables del despliegue de sistemas de IA de alto riesgo
1. Subjekti koji uvode visokorizične UI sustave poduzimaju odgovarajuće tehničke i organizacijske mjere kako bi osigurali da upotrebljavaju takve sustave u skladu s uputama za korištenje priloženima sustavima na temelju stavaka 3. i 6.
1. Los responsables del despliegue de sistemas de IA de alto riesgo adoptarán medidas técnicas y organizativas adecuadas para garantizar que utilizan dichos sistemas con arreglo a las instrucciones de uso que los acompañen, de acuerdo con los apartados 3 y 6.
2. Subjekti koji uvode sustav dodjeljuju zadaću ljudskog nadzora fizičkim osobama koje imaju potrebne kompetencije, osposobljenost i ovlasti, te im pružaju potrebnu potporu.
2. Los responsables del despliegue encomendarán la supervisión humana a personas físicas que tengan la competencia, la formación y la autoridad necesarias.
3. Obvezama utvrđenima u stavcima 1. i 2. ne dovode se u pitanje druge obveze subjekta koji uvodi sustav na temelju prava Unije ili nacionalnog prava ni sloboda subjekta koji uvodi sustav da organizira svoje resurse i aktivnosti u svrhu provedbe mjera ljudskog nadzora koje je naveo dobavljač.
3. Las obligaciones previstas en los apartados 1 y 2 no afectan a otras obligaciones que el Derecho nacional o de la Unión imponga a los responsables del despliegue ni a su libertad para organizar sus propios recursos y actividades con el fin de poner en práctica las medidas de supervisión humana que indique el proveedor.
4. Ne dovodeći u pitanje stavke 1. i 2., subjekt koji uvodi sustav osigurava, u mjeri u kojoj ima kontrolu nad ulaznim podacima, da su ulazni podaci relevantni i dovoljno reprezentativni s obzirom na namjenu visokorizičnog UI sustava.
4. Sin perjuicio de lo dispuesto en los apartados 1 y 2, el responsable del despliegue se asegurará de que los datos de entrada sean pertinentes y suficientemente representativos en vista de la finalidad prevista del sistema de IA de alto riesgo, en la medida en que ejerza el control sobre dichos datos.
5. Subjekti koji uvode sustav prate rad visokorizičnog UI sustava u skladu s uputama za korištenje i prema potrebi obavješćuju dobavljače u skladu s člankom 72. Ako subjekti koji uvode sustav imaju razloga smatrati da korištenje visokorizičnog UI sustava u skladu s uputama može dovesti do toga da UI sustav predstavlja rizik u smislu članka 79. stavka 1., o tome bez nepotrebne odgode obavješćuju dobavljača ili distributera i relevantno tijelo za nadzor tržišta te suspendiraju korištenje tog sustava. Ako subjekti koji uvode sustav utvrde ozbiljan incident, o tom incidentu odmah obavješćuju prvo dobavljača, a zatim uvoznika ili distributera i relevantna tijela za nadzor tržišta. Ako subjekt koji uvodi sustav ne može stupiti u kontakt s dobavljačem, članak 73. primjenjuje se mutatis mutandis. Ova obveza ne obuhvaća osjetljive operativne podatke subjekata koji uvode UI sustave koji su tijela kaznenog progona.
5. Los responsables del despliegue vigilarán el funcionamiento del sistema de IA de alto riesgo basándose en las instrucciones de uso y, cuando proceda, informarán a los proveedores con arreglo al artículo 72. Cuando los responsables del despliegue tengan motivos para considerar que utilizar el sistema de IA de alto riesgo conforme a sus instrucciones puede dar lugar a que ese sistema de AI presente un riesgo en el sentido del artículo 79, apartado 1, informarán, sin demora indebida, al proveedor o distribuidor y a la autoridad de vigilancia del mercado pertinente y suspenderán el uso de ese sistema. Cuando los responsables del despliegue detecten un incidente grave, informarán asimismo inmediatamente de dicho incidente, en primer lugar, al proveedor y, a continuación, al importador o distribuidor y a la autoridad de vigilancia del mercado pertinente. En el caso de que el responsable del despliegue no consiga contactar con el proveedor, el artículo 73 se aplicará mutatis mutandis. Esta obligación no comprenderá los datos operativos sensibles de los responsables del despliegue de sistemas de IA que sean autoridades garantes del cumplimiento del Derecho.
Kad je riječ o subjektima koji uvode sustav, a koji su financijske institucije na koje se primjenjuju zahtjevi u pogledu njihova unutarnjeg upravljanja, njihovih aranžmana ili njihovih postupaka na temelju prava Unije o financijskim uslugama, obveza praćenja utvrđena u prvom podstavku smatra se ispunjenom ako se poštuju pravila o aranžmanima, procesima i mehanizmima unutarnjeg upravljanja na temelju relevantnog prava o financijskim uslugama.
En el caso de los responsables del despliegue que sean entidades financieras sujetas a requisitos relativos a su gobernanza, sus sistemas o sus procesos internos en virtud del Derecho de la Unión en materia de servicios financieros, se considerará que se ha cumplido la obligación de vigilancia prevista en el párrafo primero cuando se respeten las normas sobre sistemas, procesos y mecanismos de gobernanza interna de acuerdo con el Derecho pertinente en materia de servicios financieros.
6. Subjekti koji uvode visokorizične UI sustave čuvaju evidenciju koju automatski generira taj visokorizični UI sustav u mjeri u kojoj je takva evidencija pod njihovom kontrolom, tijekom razdoblja koje je primjereno namjeni visokorizičnog UI sustava, a najmanje šest mjeseci, osim ako je drukčije predviđeno u primjenjivom pravu Unije ili nacionalnom pravu, a posebno u pravu Unije o zaštiti osobnih podataka.
6. Los responsables del despliegue de sistemas de IA de alto riesgo conservarán los archivos de registro que los sistemas de IA de alto riesgo generen automáticamente en la medida en que dichos archivos estén bajo su control, durante un período de tiempo adecuado para la finalidad prevista del sistema de IA de alto riesgo, de al menos seis meses, salvo que se disponga otra cosa en el Derecho de la Unión o nacional aplicable, en particular en el Derecho de la Unión en materia de protección de datos personales.
Subjekti koji uvode sustav, a koji su financijske institucije na koje se primjenjuju zahtjevi u pogledu njihova unutarnjeg upravljanja, njihovih aranžmana ili njihovih procesa na temelju prava Unije o financijskim uslugama čuvaju evidenciju u sklopu dokumentacije koja se čuva na temelju relevantnog prava Unije o financijskim uslugama.
Los responsables del despliegue que sean entidades financieras sujetas a requisitos relativos a su gobernanza, sus sistemas o sus procesos internos en virtud del Derecho de la Unión en materia de servicios financieros mantendrán los archivos de registro como parte de la documentación conservada en virtud del Derecho de la Unión en materia de servicios financieros.
7. Prije stavljanja u upotrebu ili korištenja visokorizičnog UI sustava na radnom mjestu subjekti koji uvode visokorizični UI sustav, a koji su poslodavci, obavješćuju predstavnike radnika i radnike na koje se to odnosi da će podlijegati upotrebi visokorizičnog UI sustava. Te se informacije pružaju, ako je primjenjivo, u skladu s pravilima i postupcima utvrđenima u pravu Unije i nacionalnom pravu te praksom o informiranju radnika i njihovih predstavnika.
7. Antes de poner en servicio o utilizar un sistema de IA de alto riesgo en el lugar de trabajo, los responsables del despliegue que sean empleadores informarán a los representantes de los trabajadores y a los trabajadores afectados de que estarán expuestos a la utilización del sistema de IA de alto riesgo. Esta información se facilitará, cuando proceda, con arreglo a las normas y procedimientos establecidos en el Derecho de la Unión y nacional y conforme a las prácticas en materia de información a los trabajadores y sus representantes.
8. Subjekti koji uvode visokorizične UI sustave koji su javna tijela ili institucije, tijela, uredi ili agencije Unije moraju ispunjavati obveze registracije iz članka 49. Ako takvi subjekti koji uvode sustav utvrde da visokorizični UI sustav koji namjeravaju upotrebljavati nije registriran u bazi podataka EU-a iz članka 71., taj sustav ne upotrebljavaju i o tome obavješćuju dobavljača ili distributera.
8. Los responsables del despliegue de sistemas de IA de alto riesgo que sean autoridades públicas o instituciones, órganos y organismos de la Unión cumplirán las obligaciones de registro a que se refiere el artículo 49. Cuando dichos responsables del despliegue constaten que el sistema de IA de alto riesgo que tienen previsto utilizar no ha sido registrado en la base de datos de la UE a que se refiere el artículo 71, no utilizarán dicho sistema e informarán al proveedor o al distribuidor.
9. Ako je primjenjivo, subjekti koji uvode visokorizične UI sustave služe se informacijama iz članka 13. ove Uredbe da bi ispunili svoju obvezu provedbe procjene učinka na zaštitu podataka iz članka 35. Uredbe (EU) 2016/679 ili članka 27. Direktive (EU) 2016/680.
9. Cuando proceda, los responsables del despliegue de sistemas de IA de alto riesgo utilizarán la información facilitada conforme al artículo 13 del presente Reglamento para cumplir la obligación de llevar a cabo una evaluación de impacto relativa a la protección de datos que les imponen el artículo 35 del Reglamento (UE) 2016/679 o el artículo 27 de la Directiva (UE) 2016/680.
10. Ne dovodeći u pitanje Direktivu (EU) 2016/680, u okviru istrage radi ciljane potrage za osobom osumnjičenom ili osuđenom za počinjenje kaznenog djela, subjekt koji uvodi visokorizični UI sustav za naknadnu daljinsku biometrijsku identifikaciju od pravosudnog ili upravnog tijela čija je odluka obvezujuća i podliježe sudskom preispitivanju traži, ex ante ili bez nepotrebne odgode, a najkasnije u roku od 48 sati odobrenje za upotrebu tog sustava osim ako se on upotrebljava za početnu identifikaciju potencijalnog osumnjičenika na temelju objektivnih i provjerljivih činjenica izravno povezanih s kaznenim djelom. Svaka upotreba mora biti ograničena na ono što je nužno za istragu određenog kaznenog djela.
10. No obstante lo dispuesto en la Directiva (UE) 2016/680, en el marco de una investigación cuya finalidad sea la búsqueda selectiva de una persona sospechosa de haber cometido un delito o condenada por ello, el responsable del despliegue de un sistema de IA de alto riego de identificación biométrica remota en diferido solicitará, ex ante o sin demora indebida y a más tardar en un plazo de cuarenta y ocho horas, a una autoridad judicial o administrativa cuyas decisiones sean vinculantes y estén sujetas a revisión judicial, una autorización para utilizar ese sistema, salvo cuando se utilice para la identificación inicial de un posible sospechoso sobre la base de hechos objetivos y verificables vinculados directamente al delito. Cada utilización deberá limitarse a lo que resulte estrictamente necesario para investigar un delito concreto.
Ako je odobrenje zatraženo na temelju prvog podstavka odbijeno, upotreba sustava za naknadnu daljinsku biometrijsku identifikaciju povezanog s tim zatraženim odobrenjem smjesta se zaustavlja te se brišu osobni podaci povezani s upotrebom visokorizičnog UI sustava za koji je zatraženo odobrenje.
En caso de que se deniegue la autorización contemplada en el párrafo primero, dejará de utilizarse el sistema de identificación biométrica remota en diferido objeto de la solicitud de autorización con efecto inmediato y se eliminarán los datos personales asociados al uso del sistema de IA de alto riesgo para el que se solicitó la autorización.
Takav visokorizični UI sustav za naknadnu daljinsku biometrijsku identifikaciju ni u kojem se slučaju ne smije upotrebljavati u svrhu kaznenog progona na neciljani način, bez ikakve poveznice s kaznenim djelom, kaznenim postupkom, stvarnom i prisutnom ili stvarnom i predvidljivom prijetnjom kaznenog djela ili potragom za određenom nestalom osobom. Mora se osigurati da tijela kaznenog progona ne mogu donositi odluke koje proizvode negativan pravni učinak na osobu isključivo na temelju izlaznih podataka takvih sustava za naknadnu daljinsku biometrijsku identifikaciju.
Dicho sistema de IA de alto riego de identificación biométrica remota en diferido no se utilizará en ningún caso a los efectos de la garantía del cumplimiento del Derecho de forma indiscriminada, sin que exista relación alguna con un delito, un proceso penal, una amenaza real y actual o real y previsible de delito, o con la búsqueda de una persona desaparecida concreta. Se velará por que las autoridades garantes del cumplimiento del Derecho no puedan adoptar ninguna decisión que produzca efectos jurídicos adversos para una persona exclusivamente sobre la base de los resultados de salida de dichos sistemas de identificación biométrica remota en diferido.
Ovim se stavkom ne dovode u pitanje članak 9. Uredbe (EU) 2016/679 i članak 10. Direktive (EU) 2016/680 kad je riječ o obradi biometrijskih podataka.
El presente apartado se entiende sin perjuicio del artículo 9 del Reglamento (UE) 2016/679 y del artículo 10 de la Directiva (UE) 2016/680 para el tratamiento de los datos biométricos.
Neovisno o namjeni ili subjektu koji uvodi sustav, svaka upotreba takvih visokorizičnih UI sustava dokumentira se u relevantnom policijskom spisu i na zahtjev se stavlja na raspolaganje relevantnom tijelu za nadzor tržišta i nacionalnom tijelu za zaštitu podataka, isključujući otkrivanje osjetljivih operativnih podataka povezanih s kaznenim progonom. Ovim se podstavkom ne dovode u pitanje ovlasti dodijeljene nadzornim tijelima Direktivom (EU) 2016/680.
Con independencia de la finalidad o del responsable del despliegue, se documentará toda utilización de tales sistemas de IA de alto riesgo en el expediente policial pertinente y se pondrá a disposición, previa solicitud, de la autoridad de vigilancia del mercado pertinente y de la autoridad nacional de protección de datos, quedando excluida la divulgación de datos operativos sensibles relacionados con la garantía del cumplimiento del Derecho. El presente párrafo se entenderá sin perjuicio de los poderes conferidas por la Directiva (UE) 2016/680 a las autoridades de control.
Subjekti koji uvode sustav podnose godišnja izvješća relevantnim tijelima za nadzor tržišta i nacionalnim tijelima za zaštitu podataka o svojoj upotrebi sustavâ za naknadnu daljinsku biometrijsku identifikaciju, isključujući otkrivanje osjetljivih operativnih podataka povezanih s kaznenim progonom. Izvješća mogu biti skupna kako bi obuhvatila više od jednog uvođenja.
Los responsables del despliegue presentarán informes anuales a la autoridad de vigilancia del mercado pertinente y a la autoridad nacional de protección de datos sobre el uso que han hecho de los sistemas de identificación biométrica remota en diferido, quedando excluida la divulgación de datos operativos sensibles relacionados con la garantía del cumplimiento del Derecho. Los informes podrán agregarse de modo que cubran más de un despliegue.
Države članice mogu, u skladu s pravom Unije, uvesti restriktivnije propise o upotrebi sustavâ za naknadnu daljinsku biometrijsku identifikaciju.
Los Estados miembros podrán adoptar, de conformidad con el Derecho de la Unión, leyes más restrictivas sobre el uso de sistemas de identificación biométrica remota en diferido.
11. Ne dovodeći u pitanje članak 50. ove Uredbe, subjekti koji uvode visokorizične UI sustave iz Priloga III. koji donose odluke ili pomažu u donošenju odluka povezanih s fizičkim osobama obavješćuju fizičke osobe o tome da podliježu upotrebi visokorizičnog UI sustava. Na visokorizične UI sustave koji se upotrebljavaju u svrhu kaznenog progona primjenjuje se članak 13. Direktive (EU) 2016/680.
11. Sin perjuicio de lo dispuesto en el artículo 50 del presente Reglamento, los responsables del despliegue de los sistemas de IA de alto riesgo a que se refiere el anexo III que tomen decisiones o ayuden a tomar decisiones relacionadas con personas físicas informarán a las personas físicas de que están expuestas a la utilización de los sistemas de IA de alto riesgo. En el caso de los sistemas de IA de alto riesgo que se utilicen a los efectos de la garantía del cumplimiento del Derecho, se aplicará el artículo 13 de la Directiva (UE) 2016/680.
12. Subjekti koji uvode sustav surađuju s relevantnim nadležnim tijelima u svim mjerama koje ta tijela poduzimaju u vezi s visokorizičnim UI sustavom radi provedbe ove Uredbe.
12. Los responsables del despliegue cooperarán con las autoridades competentes pertinentes en cualquier medida que estas adopten en relación con el sistema de IA de alto riesgo con el objetivo de aplicar el presente Reglamento.
Procjena učinka visokorizičnih UI sustava na temeljna prava
Evaluación de impacto relativa a los derechos fundamentales para los sistemas de IA de alto riesgo
1. Prije uvođenja visokorizičnog UI sustava iz članka 6. stavka 2., uz iznimku visokorizičnih UI sustava namijenjenih za upotrebu u području navedenom u točki 2. Priloga III., subjekti koji uvode sustav koji su javnopravna tijela ili su privatni subjekti koji pružaju javne usluge i subjekti koji uvode visokorizične UI sustave iz točke 5. podtočaka (b) i (c) Priloga III. provode procjenu učinka koji upotreba takvog sustava može imati na temeljna prava. U tu svrhu subjekti koji uvode sustav provode procjenu koja sadržava:
1. Antes de desplegar uno de los sistemas de IA de alto riesgo a que se refiere el artículo 6, apartado 2, con excepción de los sistemas de IA de alto riesgo destinados a ser utilizados en el ámbito enumerado en el anexo III, punto 2, los responsables del despliegue que sean organismos de Derecho público, o entidades privadas que prestan servicios públicos, y los responsable del despliegue de sistemas de IA de alto riesgo a que se refiere el anexo III, punto 5, letras b) y c), llevarán a cabo una evaluación del impacto que la utilización de dichos sistemas puede tener en los derechos fundamentales. A tal fin, los responsables del despliegue llevarán a cabo una evaluación que consistirá en:
(a)
opis procesa subjekta koji uvodi sustav u kojima će se visokorizični UI sustav upotrebljavati u skladu sa svojom namjenom;
a)
una descripción de los procesos del responsable del despliegue en los que se utilizará el sistema de IA de alto riesgo en consonancia con su finalidad prevista;
(b)
opis razdoblja i učestalosti namjeravane upotrebe svakog visokorizičnog UI sustava;
b)
una descripción del período de tiempo durante el cual se prevé utilizar cada sistema de IA de alto riesgo y la frecuencia con la que está previsto utilizarlo;
(c)
kategorije fizičkih osoba i skupina na koje će vjerojatno utjecati upotreba sustava u konkretnom kontekstu;
c)
las categorías de personas físicas y colectivos que puedan verse afectados por su utilización en el contexto específico;
(d)
specifične rizike od štete koji će vjerojatno utjecati na kategorije fizičkih osoba ili skupine osoba identificirane u skladu s točkom (c) ovog stavka, uzimajući u obzir informacije koje je dostavio dobavljač u skladu s člankom 13.;
d)
los riesgos de perjuicio específicos que puedan afectar a las categorías de personas físicas y colectivos determinadas con arreglo a la letra c) del presente apartado, teniendo en cuenta la información facilitada por el proveedor con arreglo al artículo 13;
(e)
opis provedbe mjera ljudskog nadzora u skladu s uputama za korištenje;
e)
una descripción de la aplicación de medidas de supervisión humana, de acuerdo con las instrucciones de uso;
(f)
mjere koje se moraju poduzeti u slučaju materijalizacije tih rizika, uključujući aranžmane za unutarnje upravljanje i mehanizme za podnošenje pritužbi.
f)
las medidas que deben adoptarse en caso de que dichos riesgos se materialicen, incluidos los acuerdos de gobernanza interna y los mecanismos de reclamación.
2. Obveza utvrđene u stavku 1. primjenjuje se na prvu upotrebu visokorizičnog UI sustava. Subjekt koji uvodi sustav može se u sličnim slučajevima osloniti na prethodno provedene procjene učinka na temeljna prava ili postojeću procjenu učinka koju je proveo dobavljač. Ako tijekom upotrebe visokorizičnog UI sustava subjekt koji uvodi sustav smatra da se neki od elemenata iz stavka 1. promijenio ili da nije ažuriran, subjekt koji uvodi sustav poduzima potrebne korake za ažuriranje informacija.
2. La obligación descrita con arreglo al apartado 1 se aplicará al primer uso del sistema de IA de alto riesgo. En casos similares, el responsable del despliegue podrá basarse en evaluaciones de impacto relativas a los derechos fundamentales realizadas previamente o a evaluaciones de impacto existentes realizadas por los proveedores. Si, durante el uso del sistema de IA de alto riesgo, el responsable del despliegue considera que alguno de los elementos enumerados en el apartado 1 ha cambiado o ha dejado de estar actualizado, adoptará las medidas necesarias para actualizar la información.
3. Nakon provedbe procjene iz stavka 1. ovog članka subjekt koji uvodi sustav obavješćuje tijelo za nadzor tržišta o njezinim rezultatima, podnošenjem ispunjenog predloška iz stavka 5. ovog članka u okviru obavijesti. U slučaju iz članka 46. stavka 1. subjekti koji uvode sustav mogu biti izuzeti od te obveze obavješćivanja.
3. Una vez realizada la evaluación a que se refiere el apartado 1 del presente artículo, el responsable del despliegue notificará sus resultados a la autoridad de vigilancia del mercado, presentando el modelo cumplimentado a que se refiere el apartado 5 del presente artículo. En el caso contemplado en el artículo 46, apartado 1, los responsables del despliegue podrán quedar exentos de esta obligación de notificación.
4. Ako je bilo koja od obveza utvrđenih u ovom članku već ispunjena procjenom učinka na zaštitu podataka provedenom na temelju članka 35. Uredbe (EU) 2016/679 ili članka 27. Direktive (EU) 2016/680, procjena učinka na temeljna prava iz stavka 1. ovog članka dopunjuje tu procjenu učinka na zaštitu podataka.
4. Si ya se cumple cualquiera de las obligaciones establecidas en el presente artículo mediante la evaluación de impacto relativa a la protección de datos realizada con arreglo al artículo 35 del Reglamento (UE) 2016/679 o del artículo 27 de la Directiva (UE) 2016/680, la evaluación de impacto relativa a los derechos fundamentales a que se refiere el apartado 1 del presente artículo complementará dicha evaluación de impacto relativa a la protección de datos.
5. Ured za umjetnu inteligenciju izrađuje predložak upitnika, među ostalim s pomoću automatiziranog alata, kako bi se subjektima koji uvode sustav olakšalo da na pojednostavnjen način ispune svoje obveze iz ovog članka.
5. La Oficina de IA elaborará un modelo de cuestionario, también mediante una herramienta automatizada, a fin de facilitar que los responsables del despliegue cumplan sus obligaciones en virtud del presente artículo de manera simplificada.
Tijela koja provode prijavljivanje
1. Svaka država članica imenuje ili osniva barem jedno tijelo koje provodi prijavljivanje, koje je odgovorno za utvrđivanje i provedbu postupaka potrebnih za ocjenjivanje, imenovanje, prijavljivanje i praćenje tijelâ za ocjenjivanje sukladnosti. Te postupke u suradnji razvijaju tijela koja provode prijavljivanje iz svih država članica.
1. Cada Estado miembro nombrará o constituirá al menos una autoridad notificante que será responsable de establecer y llevar a cabo los procedimientos necesarios para la evaluación, designación y notificación de los organismos de evaluación de la conformidad, así como de su supervisión. Dichos procedimientos se desarrollarán por medio de la cooperación entre las autoridades notificantes de todos los Estados miembros.
2. Države članice mogu odlučiti da ocjenjivanje i praćenje iz stavka 1. provodi nacionalno akreditacijsko tijelo u smislu Uredbe (EZ) br. 765/2008 i u skladu s tom uredbom.
2. Los Estados miembros podrán decidir que la evaluación y la supervisión contempladas en el apartado 1 sean realizadas por un organismo nacional de acreditación en el sentido del Reglamento (CE) n.o 765/2008 y con arreglo a este.
3. Tijela koja provode prijavljivanje osnivaju se, organiziraju i rade na takav način da ne dolazi do sukoba interesa s tijelima za ocjenjivanje sukladnosti te da su zajamčene objektivnost i nepristranost njihovih aktivnosti.
3. Las autoridades notificantes se constituirán, se organizarán y funcionarán de forma que no surjan conflictos de intereses con los organismos de evaluación de la conformidad y que se garantice la imparcialidad y objetividad de sus actividades.
4. Tijela koja provode prijavljivanje organizirana su na takav način da odluke povezane s prijavljivanjem tijela za ocjenjivanje sukladnosti donose nadležne osobe različite od osoba koje su provele ocjenjivanje tih tijela.
4. Las autoridades notificantes se organizarán de forma que las decisiones relativas a la notificación de los organismos de evaluación de la conformidad sean adoptadas por personas competentes distintas de las que llevaron a cabo la evaluación de dichos organismos.
5. Tijela koja provode prijavljivanje ne smiju nuditi obavljanje aktivnosti niti smiju obavljati aktivnosti koje obavljaju tijela za ocjenjivanje sukladnosti, kao ni usluge savjetovanja na tržišnoj ili konkurentskoj osnovi.
5. Las autoridades notificantes no ofrecerán ni ejercerán ninguna actividad que efectúen los organismos de evaluación de la conformidad, ni ningún servicio de consultoría de carácter comercial o competitivo.
6. Tijela koja provode prijavljivanje u skladu s člankom 78. štite povjerljivost informacija koje su pribavila.
6. Las autoridades notificantes preservarán la confidencialidad de la información obtenida, de conformidad con lo dispuesto en el artículo 78.
7. Tijela koja provode prijavljivanje moraju imati adekvatan broj članova stručnog osoblja za propisno obavljanje svojih zadaća. Stručno osoblje mora imati, ako je primjenjivo, potrebno stručno znanje za svoju funkciju u područjima kao što su informacijske tehnologije, umjetna inteligencija i pravo, uključujući nadzor temeljnih prava.
7. Las autoridades notificantes dispondrán de suficiente personal competente para efectuar adecuadamente sus tareas. Cuando proceda, el personal competente tendrá los conocimientos especializados necesarios para ejercer sus funciones, en ámbitos como las tecnologías de la información, la IA y el Derecho, incluida la supervisión de los derechos fundamentales.
Zahtjev tijela za ocjenjivanje sukladnosti za prijavljivanje
Solicitud de notificación por parte de un organismo de evaluación de la conformidad
1. Tijela za ocjenjivanje sukladnosti podnose zahtjev za prijavljivanje tijelu koje provodi prijavljivanje u državi članici u kojoj imaju poslovni nastan.
1. Los organismos de evaluación de la conformidad presentarán una solicitud de notificación ante la autoridad notificante del Estado miembro en el que estén establecidos.
2. Zahtjevu za prijavljivanje prilaže se opis aktivnosti ocjenjivanja sukladnosti, jednog ili više modula za ocjenjivanje sukladnosti i vrsta UI sustava za koje tijelo za ocjenjivanje sukladnosti tvrdi da je nadležno te potvrda o akreditaciji, ako postoji, koju je izdalo nacionalno akreditacijsko tijelo i kojom se potvrđuje da tijelo za ocjenjivanje sukladnosti ispunjava zahtjeve utvrđene u članku 31.
2. La solicitud de notificación irá acompañada de una descripción de las actividades de evaluación de la conformidad, del módulo o módulos de evaluación de la conformidad y los tipos de sistemas de IA en relación con los cuales el organismo de evaluación de la conformidad se considere competente, así como de un certificado de acreditación, si lo hay, expedido por un organismo nacional de acreditación, que declare que el organismo de evaluación de la conformidad cumple los requisitos establecidos en el artículo 31.
Dodaju se svi valjani dokumenti koji se odnose na postojeća imenovanja, na temelju drugog zakonodavstva Unije o usklađivanju, prijavljenog tijela koje podnosi zahtjev.
Se añadirá cualquier documento válido relacionado con las designaciones existentes del organismo notificado solicitante en virtud de cualquier otro acto de la legislación de armonización de la Unión.
3. Ako dotično tijelo za ocjenjivanje sukladnosti ne može predočiti potvrdu o akreditaciji, tijelu koje provodi prijavljivanje dostavlja sve dokumente potrebne za provjeru, priznavanje i redovito praćenje njegova ispunjavanja zahtjeva utvrđenih u članku 31.
3. Si el organismo de evaluación de la conformidad de que se trate no puede facilitar un certificado de acreditación, entregará a la autoridad notificante todas las pruebas documentales necesarias para verificar, reconocer y supervisar periódicamente que cumple los requisitos establecidos en el artículo 31.
4. Kad je riječ o prijavljenim tijelima koja su imenovana na temelju drugog zakonodavstva Unije o usklađivanju, svi dokumenti i potvrde povezani s tim imenovanjima mogu se, prema potrebi, upotrijebiti u postupku njihova imenovanja na temelju ove Uredbe. Prijavljeno tijelo ažurira dokumentaciju iz stavaka 2. i 3. ovog članka u slučaju bilo kakvih relevantnih promjena kako bi tijelu odgovornom za prijavljena tijela omogućilo da prati i provjerava kontinuirano ispunjavanje svih zahtjeva utvrđenih u članku 31.
4. En lo que respecta a los organismos notificados designados de conformidad con cualquier otro acto legislativo de armonización de la Unión, todos los documentos y certificados vinculados a dichas designaciones podrán utilizarse para apoyar su procedimiento de designación en virtud del presente Reglamento, según proceda. El organismo notificado actualizará la documentación a que se refieren los apartados 2 y 3 del presente artículo cuando se produzcan cambios pertinentes, para que la autoridad responsable de los organismos notificados pueda supervisar y verificar que se siguen cumpliendo todos los requisitos establecidos en el artículo 31.
Procedimiento de notificación
1. Tijela koja provode prijavljivanje mogu prijaviti samo tijela za ocjenjivanje sukladnosti koja ispunjavaju zahtjeve utvrđene u članku 31.
1. Las autoridades notificantes solo podrán notificar organismos de evaluación de la conformidad que hayan cumplido los requisitos establecidos en el artículo 31.
2. Tijela koja provode prijavljivanje pomoću alata za elektroničko prijavljivanje koji je razvila i kojim upravlja Komisija dostavljaju prijavu Komisiji i drugim državama članicama o svakom tijelu za ocjenjivanje sukladnosti iz stavka 1.
2. Las autoridades notificantes notificarán a la Comisión y a los demás Estados miembros, mediante el sistema de notificación electrónica desarrollado y gestionado por la Comisión, cada organismo de evaluación de la conformidad a que se refiere el apartado 1.
3. Prijavljivanje iz stavka 2. ovog članka obuhvaća sve pojedinosti o aktivnostima ocjenjivanja sukladnosti, jednom ili više modula za ocjenjivanje sukladnosti, vrstama dotičnih UI sustava te relevantnu potvrdu o stručnosti. Ako se prijavljivanje ne temelji na potvrdi o akreditaciji iz članka 29. stavka 2., tijelo koje provodi prijavljivanje dostavlja Komisiji i drugim državama članicama pisane dokaze kojima se potvrđuju stručnost tijela za ocjenjivanje sukladnosti i aranžmani koji su uspostavljeni kako bi se osiguralo da će se to tijelo redovito pratiti i da će nastaviti ispunjavati zahtjeve utvrđene u članku 31.
3. La notificación a que se refiere el apartado 2 del presente artículo incluirá información detallada de las actividades de evaluación de la conformidad, el módulo o módulos de evaluación de la conformidad y los tipos de sistemas de IA afectados, así como la certificación de competencia pertinente. Si la notificación no está basada en el certificado de acreditación a que se refiere el artículo 29, apartado 2, la autoridad notificante facilitará a la Comisión y a los demás Estados miembros las pruebas documentales que demuestren la competencia del organismo de evaluación de la conformidad y las disposiciones existentes destinadas a garantizar que se supervisará periódicamente al organismo y que este continuará satisfaciendo los requisitos establecidos en el artículo 31.
4. Dotično tijelo za ocjenjivanje sukladnosti može obavljati aktivnosti prijavljenog tijela samo ako Komisija ili druge države članice ne podnesu prigovor u roku od dva tjedna od prijavljivanja koje je izvršilo tijelo koje provodi prijavljivanje ako prijava uključuje potvrdu o akreditaciji iz članka 29. stavka 2. odnosno u roku od dva mjeseca od prijavljivanja koje je izvršilo tijelo koje provodi prijavljivanje ako prijava uključuje pisane dokaze iz članka 29. stavka 3.
4. El organismo de evaluación de la conformidad de que se trate únicamente podrá realizar las actividades de un organismo notificado si la Comisión o los demás Estados miembros no formulan ninguna objeción en el plazo de dos semanas tras la notificación de una autoridad notificante cuando esta incluya el certificado de acreditación a que se refiere el artículo 29, apartado 2, o de dos meses tras la notificación de la autoridad notificante cuando esta incluya las pruebas documentales a que se refiere el artículo 29, apartado 3.
5. Ako se podnesu prigovori, Komisija bez odgode započinje savjetovanja s relevantnim državama članicama i tijelom za ocjenjivanje sukladnosti. S obzirom na savjetovanja Komisija odlučuje je li odobrenje opravdano. Komisija svoju odluku upućuje dotičnoj državi članici i relevantnom tijelu za ocjenjivanje sukladnosti.
5. Cuando se formulen objeciones, la Comisión iniciará sin demora consultas con los Estados miembros pertinentes y el organismo de evaluación de la conformidad. En vista de todo ello, la Comisión enviará su decisión al Estado miembro afectado y al organismo de evaluación de la conformidad pertinente.
Zahtjevi koji se odnose na prijavljena tijela
Requisitos relativos a los organismos notificados
1. Prijavljeno tijelo osniva se na temelju nacionalnog prava države članice i ima pravnu osobnost.
1. Los organismos notificados se establecerán de conformidad con el Derecho nacional de los Estados miembros y tendrán personalidad jurídica.
2. Prijavljena tijela moraju ispunjavati organizacijske zahtjeve i zahtjeve koji se odnose na upravljanje kvalitetom, resurse i procese koji su potrebni za obavljanje njihovih zadaća, kao i odgovarajuće zahtjeve u pogledu kibernetičke sigurnosti.
2. Los organismos notificados satisfarán los requisitos organizativos, de gestión de la calidad, recursos y procesos, necesarios para el desempeño de sus funciones, así como los requisitos adecuados en materia de ciberseguridad.
3. Organizacijskom strukturom, podjelom odgovornosti, linijama izvješćivanja i radom prijavljenih tijela osigurava se povjerenje u njihovu učinkovitost i u rezultate aktivnosti ocjenjivanja sukladnosti koje ona provode.
3. La estructura organizativa, la distribución de las responsabilidades, la línea jerárquica y el funcionamiento de los organismos notificados ofrecerán confianza en su desempeño y en los resultados de las actividades de evaluación de la conformidad que realicen los organismos notificados.
4. Prijavljena tijela moraju biti neovisna o dobavljaču visokorizičnog UI sustava u vezi s kojim provode aktivnosti ocjenjivanja sukladnosti. Prijavljena tijela ujedno moraju biti neovisna o svim ostalim operaterima koji imaju gospodarski interes u visokorizičnim UI sustavima koji se ocjenjuju, kao i o svim konkurentima dobavljača. Time se ne sprečava upotreba ocijenjenih visokorizičnih UI sustava koji su potrebni za rad tijela za ocjenjivanje sukladnosti ni upotreba takvih visokorizičnih UI sustava za osobne potrebe.
4. Los organismos notificados serán independientes del proveedor de un sistema de IA de alto riesgo en relación con el cual lleven a cabo actividades de evaluación de la conformidad. Los organismos notificados serán independientes de cualquier otro operador con un interés económico en los sistemas de IA de alto riesgo que se evalúen, así como de cualquier competidor del proveedor. Ello no será óbice para el uso de sistemas de IA de alto riesgo evaluados que sean necesarios para las actividades del organismo de evaluación de la conformidad o para el uso de tales sistemas de alto riesgo con fines personales.
5. Tijelo koje ocjenjuje sukladnost, njegovo najviše rukovodstvo i osoblje odgovorno za provedbu zadaća ocjenjivanja sukladnosti ne smiju biti izravno uključeni u dizajn, razvoj, stavljanje na tržište ili upotrebu visokorizičnih UI sustava niti smiju zastupati strane uključene u te aktivnosti. Oni ne smiju sudjelovati u aktivnostima koje bi mogle dovesti u pitanje njihovu neovisnost prosudbe ili njihov integritet u vezi s aktivnostima ocjenjivanja sukladnosti za koje su prijavljeni. To se osobito odnosi na usluge savjetovanja.
5. Los organismos de evaluación de la conformidad, sus máximos directivos y el personal responsable de la realización de las tareas de evaluación de la conformidad no intervendrán directamente en el diseño, el desarrollo, la comercialización o el uso de dichos sistemas de IA de alto riesgo, ni tampoco representarán a las partes que llevan a cabo estas actividades. Además, no efectuarán ninguna actividad que pudiera entrar en conflicto con su independencia de criterio o su integridad en relación con las actividades de evaluación de la conformidad para las que han sido notificados. Ello se aplicará especialmente a los servicios de consultoría.
6. Prijavljena tijela organizirana su i rade na način kojim se jamče neovisnost, objektivnost i nepristranost njihovih aktivnosti. Prijavljena tijela dokumentiraju i primjenjuju strukturu i postupke za očuvanje nepristranosti te za promicanje i primjenu načelâ nepristranosti u cijeloj svojoj organizaciji, među svojim osobljem i u svojim aktivnostima ocjenjivanja.
6. Los organismos notificados estarán organizados y gestionados de modo que se garantice la independencia, objetividad e imparcialidad de sus actividades. Los organismos notificados documentarán e implantarán una estructura y procedimientos que garanticen la imparcialidad y permitan promover y poner en práctica los principios de imparcialidad aplicables en toda su organización, a todo su personal y en todas sus actividades de evaluación.
7. Prijavljena tijela moraju imati uspostavljene dokumentirane postupke kojima se osigurava da njihovo osoblje, odbori, podružnice, podugovaratelji i sva povezana tijela ili osoblje vanjskih tijela u skladu s člankom 78. poštuju povjerljivost informacija koje prime tijekom obavljanja aktivnosti ocjenjivanja sukladnosti, osim ako se otkrivanje tih informacija zahtijeva zakonom. Osoblje prijavljenih tijela obvezno je čuvati profesionalnu tajnu u pogledu svih informacija koje pribavi tijekom obavljanja svojih zadaća na temelju ove Uredbe, osim u odnosu na tijela koja provode prijavljivanje u državi članici u kojoj prijavljena tijela obavljaju svoje aktivnosti.
7. Los organismos notificados contarán con procedimientos documentados que garanticen que su personal, sus comités, sus filiales, sus subcontratistas y todos sus organismos asociados o personal de organismos externos mantengan, de conformidad con el artículo 78, la confidencialidad de la información que llegue a su poder en el desempeño de las actividades de evaluación de la conformidad, excepto en aquellos casos en que la ley exija su divulgación. El personal de los organismos notificados estará sujeto al secreto profesional en lo que respecta a toda la información obtenida en el ejercicio de las funciones que les hayan sido encomendadas en virtud del presente Reglamento, salvo en relación con las autoridades notificantes del Estado miembro en el que desarrollen sus actividades.
8. Prijavljena tijela moraju imati uspostavljene postupke za obavljanje aktivnosti kojima se propisno uzimaju u obzir veličina dobavljača, sektor u kojem on posluje, njegova struktura i stupanj složenosti dotičnog UI sustava.
8. Los organismos notificados contarán con procedimientos para desempeñar sus actividades que tengan debidamente en cuenta el tamaño de los proveedores, el sector en que operan, su estructura y el grado de complejidad del sistema de IA de que se trate.
9. Prijavljena tijela sklapaju odgovarajuće osiguranje od odgovornosti za svoje aktivnosti ocjenjivanja sukladnosti, osim ako u skladu s nacionalnim pravom odgovornost preuzima država članica u kojoj imaju poslovni nastan ili je ta država članica sama izravno odgovorna za ocjenjivanje sukladnosti.
9. Los organismos notificados suscribirán un seguro de responsabilidad adecuado para sus actividades de evaluación de la conformidad, salvo que la responsabilidad la asuma el Estado miembro en que estén establecidos con arreglo al Derecho nacional o que el propio Estado miembro sea directamente responsable de la evaluación de la conformidad.
10. Prijavljena tijela moraju biti sposobna provoditi sve svoje zadaće na temelju ove Uredbe s najvećom razinom profesionalnog integriteta i potrebnim kompetencijama u određenom području, bez obzira na to provode li te zadaće sama prijavljena tijela ili se one provode u njihovo ime i pod njihovom odgovornošću.
10. Los organismos notificados serán capaces de llevar a cabo todas sus tareas con arreglo al presente Reglamento con el máximo grado de integridad profesional y la competencia técnica necesaria en el ámbito específico, tanto si dichas tareas las efectúan los propios organismos notificados como si se realizan en su nombre y bajo su responsabilidad.
11. Prijavljena tijela moraju imati dostatne unutarnje kompetencije da bi mogla djelotvorno evaluirati zadaće koje u njihovo ime obavljaju vanjske strane. Prijavljeno tijelo mora kontinuirano imati dovoljan broj članova administrativnog, tehničkog, pravnog i znanstvenog osoblja koji posjeduju iskustvo i znanje u vezi s relevantnim vrstama UI sustava, podacima i obradom podataka te u vezi sa zahtjevima utvrđenima u odjeljku 2.
11. Los organismos notificados contarán con competencias técnicas internas suficientes para poder evaluar de manera eficaz las tareas que lleven a cabo agentes externos en su nombre. El organismo notificado dispondrá permanentemente de suficiente personal administrativo, técnico, jurídico y científico que tenga experiencia y conocimientos relativos a los tipos de sistemas de IA, los datos y la computación de datos pertinentes y a los requisitos establecidos en la sección 2.
12. Prijavljena tijela sudjeluju u koordinacijskim aktivnostima iz članka 38. Osim toga, izravno sudjeluju ili imaju predstavnika u europskim organizacijama za normizaciju, ili osiguravaju da su upoznata s relevantnim normama i prate razvoj zbivanja.
12. Los organismos notificados participarán en las actividades de coordinación según lo previsto en el artículo 38. Asimismo, tomarán parte directamente o mediante representación en organizaciones europeas de normalización, o se asegurarán de mantenerse al corriente de la situación actualizada de las normas pertinentes.
Operativne obveze prijavljenih tijela
Obligaciones operativas de los organismos notificados
1. Prijavljena tijela provjeravaju sukladnost visokorizičnih UI sustava u skladu s postupcima ocjenjivanja sukladnosti utvrđenima u članku 43.
1. Los organismos notificados verificarán la conformidad de los sistemas de IA de alto riesgo siguiendo los procedimientos de evaluación de la conformidad establecidos en el artículo 43.
2. Prijavljena tijela pri obavljanju svojih aktivnosti izbjegavaju nepotrebno opterećenje za dobavljače i uzimaju u obzir veličinu dobavljača, sektor u kojem posluje, njegovu strukturu i stupanj složenosti dotičnog visokorizičnog UI sustava, posebno kako bi se na najmanju moguću mjeru sveli administrativno opterećenje i troškovi usklađivanja za mikropoduzeća i mala poduzeća u smislu Preporuke 2003/361/EZ. Prijavljeno tijelo ipak poštuje stupanj strogosti i razinu zaštite koji su potrebni kako bi visokorizični UI sustav ispunjavao zahtjeve ove Uredbe.
2. Los organismos notificados evitarán cargas innecesarias para los proveedores cuando desempeñen sus actividades, y tendrán debidamente en cuenta el tamaño del proveedor, el sector en que opera, su estructura y el grado de complejidad del sistema de IA de alto riesgo de que se trate, en particular con vistas a reducir al mínimo las cargas administrativas y los costes del cumplimiento para las microempresas y pequeñas empresas en el sentido de la Recomendación 2003/361/CE. El organismo notificado respetará, sin embargo, el grado de rigor y el nivel de protección requeridos para que el sistema de IA de alto riesgo cumpla los requisitos del presente Reglamento.
3. Prijavljena tijela tijelu koje provodi prijavljivanje iz članka 28. stavljaju na raspolaganje i na zahtjev dostavljaju svu relevantnu dokumentaciju, uključujući dokumentaciju dobavljača, kako bi to tijelo moglo provoditi svoje aktivnosti ocjenjivanja, imenovanja, prijavljivanja i praćenja te kako bi se olakšalo ocjenjivanje opisano u ovom odjeljku.
3. Los organismos notificados pondrán a disposición de la autoridad notificante mencionada en el artículo 28, y le presentarán cuando se les pida, toda la documentación pertinente, incluida la documentación de los proveedores, a fin de que dicha autoridad pueda llevar a cabo sus actividades de evaluación, designación, notificación y supervisión, y de facilitar la evaluación descrita en la presente sección.
Promjene u vezi s prijavama
Cambios en las notificaciones
1. Tijelo koje provodi prijavljivanje obavješćuje Komisiju i druge države članice o svim relevantnim promjenama u vezi s prijavom prijavljenog tijela pomoću alata za elektroničko prijavljivanje iz članka 30. stavka 2.
1. La autoridad notificante notificará a la Comisión y a los demás Estados miembros cualquier cambio pertinente en la notificación de un organismo notificado a través del sistema de notificación electrónica a que se refiere el artículo 30, apartado 2.
2. Postupci utvrđeni u člancima 29. i 30. primjenjuju se na proširenja opsega prijave.
2. Los procedimientos establecidos en los artículos 29 y 30 se aplicarán a las ampliaciones del ámbito de aplicación de la notificación.
Na promjene u vezi s prijavom, uz iznimku proširenja njezina opsega, primjenjuju se postupci utvrđeni u stavcima od 3. do 9.
Para modificaciones de la notificación distintas de las ampliaciones de su ámbito de aplicación, se aplicarán los procedimientos establecidos en los apartados 3 a 9.
3. Ako prijavljeno tijelo odluči prestati obavljati aktivnosti ocjenjivanja sukladnosti, o tome obavješćuje tijelo koje provodi prijavljivanje i dotične dobavljače u najkraćem mogućem roku, a u slučaju planiranog prestanka obavljanja aktivnosti barem godinu dana prije prestanka obavljanja svojih aktivnosti. Potvrde prijavljenog tijela mogu ostati valjane tijekom razdoblja od devet mjeseci nakon prestanka obavljanja aktivnosti prijavljenog tijela pod uvjetom da je neko drugo prijavljeno tijelo u pisanom obliku potvrdilo da će preuzeti odgovornost za visokorizične UI sustave na koje se te potvrde odnose. Potonje prijavljeno tijelo provodi cjelovito ocjenjivanje dotičnih visokorizičnih UI sustava do kraja tog devetomjesečnog razdoblja prije nego što izda nove potvrde za te sustave. Ako je prijavljeno tijelo prestalo obavljati svoje aktivnosti, tijelo koje provodi prijavljivanje povlači imenovanje.
3. Cuando un organismo notificado decida poner fin a sus actividades de evaluación de la conformidad, informará de ello a la autoridad notificante y a los proveedores afectados tan pronto como sea posible y, cuando se trate de un cese planeado, al menos un año antes de poner fin a sus actividades. Los certificados del organismo notificado podrán seguir siendo válidos durante un plazo de nueve meses después del cese de las actividades del organismo notificado, siempre que otro organismo notificado haya confirmado por escrito que asumirá la responsabilidad de los sistemas de IA de alto riesgo cubiertos por dichos certificados. Este último organismo notificado realizará una evaluación completa de los sistemas de IA de alto riesgo afectados antes del vencimiento de ese plazo de nueve meses y antes de expedir nuevos certificados para esos sistemas. Si el organismo notificado ha puesto fin a sus actividades, la autoridad notificante retirará la designación.
4. Ako tijelo koje provodi prijavljivanje ima dovoljno razloga smatrati da određeno prijavljeno tijelo više ne ispunjava zahtjeve utvrđene u članku 31. ili da ne ispunjava svoje obveze, tijelo koje provodi prijavljivanje bez odgode i uz najveću moguću pozornost istražuje to pitanje. U tom kontekstu tijelo koje provodi prijavljivanje obavješćuje dotično prijavljeno tijelo o podnesenim prigovorima i daje mu mogućnost da se izjasni. Ako tijelo koje provodi prijavljivanje zaključi da prijavljeno tijelo više ne ispunjava zahtjeve utvrđene u članku 31. ili da ne ispunjava svoje obveze, ono prema potrebi ograničava, suspendira ili povlači imenovanje, ovisno o težini neispunjavanja tih zahtjeva ili obveza. Tijelo koje provodi prijavljivanje o tome odmah obavješćuje Komisiju i druge države članice.
4. Si una autoridad notificante tiene motivo suficiente para considerar que un organismo notificado ya no cumple los requisitos establecidos en el artículo 31 o no está cumpliendo sus obligaciones, la autoridad notificante investigará el asunto sin demora y con la máxima diligencia. En ese contexto, informará al organismo notificado de que se trate acerca de las objeciones formuladas y le ofrecerá la posibilidad de exponer sus puntos de vista. Si la autoridad notificante llega a la conclusión de que el organismo notificado ya no cumple los requisitos establecidos en el artículo 31 o no está cumpliendo sus obligaciones, dicha autoridad limitará, suspenderá o retirará la designación, según el caso, dependiendo de la gravedad del incumplimiento de dichos requisitos u obligaciones. Asimismo, informará de ello inmediatamente a la Comisión y a los demás Estados miembros.
5. Ako je imenovanje prijavljenog tijela suspendirano, ograničeno ili djelomično ili potpuno povučeno, to tijelo o tome obavješćuje dotične dobavljače u roku od deset dana.
5. Cuando su designación haya sido suspendida, limitada o retirada total o parcialmente, el organismo notificado informará a los proveedores afectados a más en un plazo de diez días.
6. U slučaju ograničenja, suspenzije ili povlačenja imenovanja, tijelo koje provodi prijavljivanje poduzima odgovarajuće mjere kako bi osiguralo da se spisi dotičnog prijavljenog tijela sačuvaju te da se stave na raspolaganje tijelima koja provode prijavljivanje u drugim državama članicama i tijelima za nadzor tržišta na njihov zahtjev.
6. En caso de la limitación, suspensión o retirada de una designación, la autoridad notificante adoptará las medidas oportunas para garantizar que los archivos del organismo notificado de que se trate se conserven, y para ponerlos a disposición de las autoridades notificantes de otros Estados miembros y de las autoridades de vigilancia del mercado, a petición de estas.
7. U slučaju ograničenja, suspenzije ili povlačenja imenovanja, tijelo koje provodi prijavljivanje:
7. En caso de la limitación, suspensión o retirada de una designación, la autoridad notificante:
(a)
ocjenjuje učinak koji to ima na potvrde koje je izdalo prijavljeno tijelo;
a)
evaluará las repercusiones en los certificados expedidos por el organismo notificado;
(b)
Komisiji i drugim državama članicama podnosi izvješće o svojim nalazima u roku od tri mjeseca nakon što ih je obavijestilo o promjenama u vezi s imenovanjem;
b)
presentará a la Comisión y a los demás Estados miembros un informe con sus conclusiones en un plazo de tres meses a partir de la notificación de los cambios en la designación;
(c)
od prijavljenog tijela zahtijeva da u razumnom roku koji odredi tijelo koje provodi prijavljivanje suspendira ili povuče sve nepropisno izdane potvrde kako bi se osigurala kontinuirana sukladnost visokorizičnih UI sustava na tržištu;
c)
exigirá al organismo notificado que suspenda o retire, en un plazo razonable determinado por la autoridad, todo certificado indebidamente expedido, a fin de garantizar la conformidad continua de los sistemas de IA de alto riesgo en el mercado;
(d)
obavješćuje Komisiju i države članice o potvrdama za koje je zatražilo suspenziju ili povlačenje;
d)
informará a la Comisión y a los Estados miembros de los certificados cuya suspensión o retirada haya exigido;
(e)
nacionalnim nadležnim tijelima države članice u kojoj dobavljač ima registrirano mjesto poslovanja dostavlja sve relevantne informacije o potvrdama za koje je zatražilo suspenziju ili povlačenje; to tijelo prema potrebi poduzima odgovarajuće mjere kako bi se izbjegao potencijalni rizik za zdravlje, sigurnost ili temeljna prava.
e)
facilitará a las autoridades nacionales competentes del Estado miembro en el que el proveedor tenga su domicilio social toda la información pertinente sobre los certificados cuya suspensión o retirada haya exigido; dicha autoridad tomará las medidas oportunas, cuando sea necesario, para evitar un riesgo para la salud, la seguridad o los derechos fundamentales.
8. Osim ako su potvrde nepropisno izdane i ako je imenovanje suspendirano ili ograničeno, potvrde ostaju valjane u jednoj od sljedećih okolnosti:
8. Salvo en el caso de los certificados expedidos indebidamente, y cuando una designación haya sido suspendida o limitada, los certificados mantendrán su validez en una de las circunstancias siguientes:
(a)
tijelo koje provodi prijavljivanje potvrdilo je, u roku od mjesec dana od suspenzije ili ograničenja, da potvrde na koje se odnosi suspenzija ili ograničenje ne predstavljaju rizik za zdravlje, sigurnost ili temeljna prava te je navelo vremenski raspored za mjere s pomoću kojih bi se suspenzija ili ograničenje mogli ispraviti; ili
a)
cuando, en el plazo de un mes a partir de la suspensión o la limitación, la autoridad notificante haya confirmado que no existe riesgo alguno para la salud, la seguridad o los derechos fundamentales en relación con los certificados afectados por la suspensión o la limitación y haya fijado un calendario de acciones para subsanar la suspensión o la limitación, o
(b)
tijelo koje provodi prijavljivanje potvrdilo je da se tijekom razdoblja suspenzije ili ograničenja neće izdavati, mijenjati ili ponovno izdavati potvrde na koje se odnosi suspenzija te navodi je li prijavljeno tijelo sposobno nastaviti pratiti već izdane potvrde i odgovarati za njih tijekom razdoblja suspenzije ili ograničenja. U slučaju da tijelo koje provodi prijavljivanje utvrdi da prijavljeno tijelo nije sposobno dati podršku za već izdane potvrde, dobavljač sustava na koji se potvrda odnosi u roku od tri mjeseca od suspenzije ili ograničenja u pisanom obliku potvrđuje nacionalnim nadležnim tijelima države članice u kojoj ima registrirano mjesto poslovanja da neko drugo kvalificirano prijavljeno tijelo privremeno preuzima funkcije prijavljenog tijela u pogledu praćenja potvrda i odgovaranja za njih tijekom razdoblja suspenzije ili ograničenja.
b)
cuando la autoridad notificante haya confirmado que no se expedirán, modificarán ni volverán a expedir certificados relacionados con la suspensión mientras dure la suspensión o limitación, y declare si el organismo notificado tiene o no la capacidad, durante el período de la suspensión o limitación, de seguir supervisando los certificados expedidos y siendo responsable de ellos; cuando la autoridad notificante determine que el organismo notificado no tiene la capacidad de respaldar los certificados expedidos, el proveedor del sistema cubierto por el certificado deberá confirmar por escrito a las autoridades nacionales competentes del Estado miembro en que tenga su domicilio social, en un plazo de tres meses a partir de la suspensión o limitación, que otro organismo notificado cualificado va a asumir temporalmente las funciones del organismo notificado para supervisar los certificados y ser responsable de ellos durante el período de la suspensión o limitación.
9. Osim ako su potvrde nepropisno izdane i ako je imenovanje povučeno, potvrde ostaju valjane tijekom razdoblja od devet mjeseci u sljedećim okolnostima:
9. Salvo en el caso de los certificados expedidos indebidamente, y cuando se haya retirado una designación, los certificados mantendrán su validez durante nueve meses en las circunstancias siguientes:
(a)
nacionalno nadležno tijelo države članice u kojoj dobavljač visokorizičnog UI sustava na koji se potvrda odnosi ima registrirano mjesto poslovanja potvrdilo je da dotični visokorizični UI sustavi ne predstavljaju rizik za zdravlje, sigurnost ili temeljna prava; i
a)
la autoridad nacional competente del Estado miembro en el que tiene su domicilio social el proveedor del sistema de IA de alto riesgo cubierto por el certificado ha confirmado que no existe ningún riesgo para la salud, la seguridad o los derechos fundamentales asociado al sistema de IA de alto riesgo de que se trate, y
(b)
drugo prijavljeno tijelo potvrdilo je u pisanom obliku da će preuzeti izravnu odgovornost za te UI sustave i da će dovršiti njihovo ocjenjivanje u roku od dvanaest mjeseci od povlačenja imenovanja.
b)
otro organismo notificado ha confirmado por escrito que asumirá la responsabilidad inmediata de dichos sistemas de IA y completa su evaluación en el plazo de doce meses a partir de la retirada de la designación.
U okolnostima iz prvog podstavka nacionalno nadležno tijelo države članice u kojoj dobavljač sustava na koji se potvrda odnosi ima registrirano mjesto poslovanja može produljiti privremenu valjanost potvrda za dodatna razdoblja od tri mjeseca, pri čemu ukupno razdoblje ne smije biti dulje od 12 mjeseci.
En las circunstancias a que se refiere el párrafo primero, la autoridad nacional competente del Estado miembro en el que tenga su domicilio social el proveedor del sistema cubierto por el certificado podrá prorrogar la validez provisional de los certificados por plazos adicionales de tres meses, sin exceder de doce meses en total.
Nacionalno nadležno tijelo ili prijavljeno tijelo koje preuzima funkcije prijavljenog tijela na koje se odnosi promjena u vezi s imenovanjem odmah o tome obavješćuje Komisiju, druge države članice i druga prijavljena tijela.
La autoridad nacional competente o el organismo notificado que asuman las funciones del organismo notificado afectado por el cambio de la designación informarán de ello inmediatamente a la Comisión, a los demás Estados miembros y a los demás organismos notificados.
Osporavanje stručnosti prijavljenih tijela
Cuestionamiento de la competencia de los organismos notificados
1. Komisija prema potrebi istražuje sve slučajeve u kojima postoje razlozi za sumnju u stručnost prijavljenog tijela ili u to da prijavljeno tijelo kontinuirano ispunjava zahtjeve utvrđene u članku 31. i svoje konkretne odgovornosti.
1. La Comisión investigará, cuando sea necesario, todos los casos en los que existan razones para dudar de la competencia de un organismo notificado o del cumplimiento continuo, por parte de un organismo notificado, de los requisitos establecidos en el artículo 31 y de sus responsabilidades aplicables.
2. Tijelo koje provodi prijavljivanje Komisiji na zahtjev dostavlja sve relevantne informacije koje se odnose na prijavu ili održavanje stručnosti dotičnog prijavljenog tijela.
2. La autoridad notificante facilitará a la Comisión, a petición de esta, toda la información pertinente relativa a la notificación o el mantenimiento de la competencia del organismo notificado de que se trate.
3. Komisija osigurava da se sa svim osjetljivim informacijama pribavljenima tijekom njezinih istraga na temelju ovog članka postupa na povjerljiv način u skladu s člankom 78.
3. La Comisión garantizará el tratamiento confidencial de acuerdo con el artículo 78 de toda la información delicada recabada en el transcurso de sus investigaciones en virtud del presente artículo.
4. Ako Komisija utvrdi da prijavljeno tijelo ne ispunjava ili da više ne ispunjava zahtjeve za svoju prijavu, o tome obavješćuje državu članicu koja provodi prijavljivanje i od nje zahtijeva da poduzme potrebne korektivne mjere, uključujući suspenziju ili povlačenje prijave ako je to potrebno. Ako država članica ne provede potrebne korektivne mjere, Komisija može provedbenim aktom suspendirati, ograničiti ili povući imenovanje. Taj provedbeni akt donosi se u skladu s postupkom ispitivanja iz članka 98. stavka 2.
4. Cuando la Comisión determine que un organismo notificado no cumple o ha dejado de cumplir los requisitos para su notificación, informará al Estado miembro notificante en consecuencia y le solicitará que adopte las medidas correctoras necesarias, incluidas la suspensión o la retirada de la designación en caso necesario. Si el Estado miembro no adopta las medidas correctoras necesarias, la Comisión, mediante un acto de ejecución, podrá suspender, limitar o retirar la designación. Dicho acto de ejecución se adoptará con arreglo al procedimiento de examen contemplado en el artículo 98, apartado 2.
Usklađene norme i normizacijski dokumenti
Normas armonizadas y documentos de normalización
1. Za visokorizične UI sustave ili UI modele opće namjene koji su sukladni s usklađenim normama ili dijelovima usklađenih normi na koje su objavljena upućivanja u Službenom listu Europske unije u skladu s Uredbom (EU) br. 1025/2012 pretpostavlja se da su sukladni sa zahtjevima utvrđenima u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, s obvezama utvrđenima u poglavlju V. odjeljcima 2. i 3. ove Uredbe, u mjeri u kojoj te norme obuhvaćaju te zahtjeve ili obveze.
1. Los sistemas de IA de alto riesgo o los modelos de IA de uso general que sean conformes con normas armonizadas, o partes de estas, cuyas referencias estén publicadas en el Diario Oficial de la Unión Europea de conformidad con el Reglamento (UE) n.o 1025/2012 se presumirá que son conformes con los requisitos establecidos en la sección 2 del presente capítulo o, en su caso, con las obligaciones establecidas en el capítulo V, secciones 2 y 3, del presente Reglamento, en la medida en que dichas normas contemplen estos requisitos u obligaciones.
2. U skladu s člankom 10. Uredbe (EU) br. 1025/2012 Komisija bez nepotrebne odgode upućuje zahtjeve za normizaciju koji obuhvaćaju sve zahtjeve utvrđene u odjeljku 2. ovog poglavlja i, ovisno o slučaju, zahtjeve za normizaciju koji obuhvaćaju obveze utvrđene u poglavlju V. odjeljcima 2. i 3. ove Uredbe. U okviru zahtjeva za normizaciju također se zahtijeva izrada dokumenata u vezi s procesom izvješćivanja i dokumentiranja kako bi se poboljšala resursna učinkovitost UI sustavâ, primjerice kako bi visokorizični UI sustav smanjio potrošnju energije i drugih resursa tijekom svojeg životnog ciklusa, te u vezi s energetski učinkovitim razvojem UI modelâ opće namjene. Pri izradi zahtjeva za normizaciju Komisija se savjetuje s Vijećem za umjetnu inteligenciju i relevantnim dionicima, uključujući savjetodavni forum.
2. De conformidad con el artículo 10 del Reglamento (UE) n.o 1025/2012, la Comisión formulará, sin demora indebida, peticiones de normalización que contemplen todos los requisitos establecidos en la sección 2 del presente capítulo y, según proceda, las peticiones de normalización que contemplen las obligaciones establecidas en el capítulo V, secciones 2 y 3, del presente Reglamento. La petición de normalización también incluirá la solicitud de documentos sobre los procesos de presentación de información y documentación a fin de mejorar el funcionamiento de los de los sistemas de IA desde el punto de vista de los recursos, como la reducción del consumo de energía y de otros recursos del sistema de IA de alto riesgo durante su ciclo de vida, así como sobre el desarrollo eficiente desde el punto de vista energético de los modelos de IA de uso general. Cuando prepare una petición de normalización, la Comisión consultará al Consejo de IA y a las partes interesadas pertinentes, incluido el foro consultivo.
Pri upućivanju zahtjeva za normizaciju europskim organizacijama za normizaciju Komisija navodi da norme moraju biti jasne i usklađene, među ostalim i s normama razvijenima u raznim sektorima za proizvode obuhvaćene postojećim zakonodavstvom Unije o usklađivanju navedenim u Prilogu I., i da se njima mora osigurati da visokorizični UI sustavi ili UI modeli opće namjene koji se stavljaju na tržište ili u upotrebu u Uniji ispunjavaju relevantne zahtjeve ili obveze utvrđene u ovoj Uredbi.
Cuando dirija una petición de normalización a las organizaciones europeas de normalización, la Comisión especificará que las normas deben ser claras, coherentes —también con las normas elaboradas en diversos sectores para los productos regulados por los actos legislativos de armonización de la Unión vigentes enumerados en el anexo I— y destinadas a garantizar que los sistemas de IA de alto riesgo o los modelos de IA de uso general introducidos en el mercado o puestos en servicio en la Unión cumplan los requisitos u obligaciones pertinentes establecidos en el presente Reglamento.
Komisija također zahtijeva od europskih organizacija za normizaciju da dostave dokaze o svojim nastojanjima da ispune ciljeve iz prvog i drugog podstavka ovog stavka u skladu s člankom 24. Uredbe (EU) br. 1025/2012.
La Comisión solicitará a las organizaciones europeas de normalización que aporten pruebas de que han hecho todo lo posible por cumplir los objetivos a que se refieren los párrafos primero y segundo del presente apartado, de conformidad con el artículo 24 del Reglamento (UE) n.o 1025/2012.
3. Sudionici u procesu normizacije nastoje promicati ulaganja i inovacije u području umjetne inteligencije, među ostalim povećanjem pravne sigurnosti, kao i konkurentnosti i rasta tržišta Unije, te doprinositi jačanju globalne suradnje u području normizacije, uzimajući u obzir postojeće međunarodne norme u području umjetne inteligencije koje su u skladu s vrijednostima, temeljnim pravima i interesima Unije, i poboljšati višedioničko upravljanje osiguravanjem ujednačene zastupljenosti interesa i djelotvornog sudjelovanja svih relevantnih dionika u skladu s člancima 5., 6. i 7. Uredbe (EU) br. 1025/2012.
3. Los participantes en el proceso de normalización tratarán de promover la inversión y la innovación en IA, también incrementando la seguridad jurídica, así como la competitividad y el crecimiento del mercado de la Unión, de contribuir al refuerzo de la cooperación mundial en pro de la normalización, teniendo en cuenta las normas internacionales existentes en el ámbito de la IA que son coherentes con los valores, derechos fundamentales e intereses de la Unión, y de mejorar la gobernanza multilateral, garantizando una representación equilibrada de los intereses y la participación efectiva de todas las partes interesadas pertinentes de conformidad con los artículos 5, 6 y 7 del Reglamento (UE) n.o 1025/2012.
1. Komisija može donositi provedbene akte o utvrđivanju zajedničkih specifikacija za zahtjeve utvrđene u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, za obveze utvrđene u odjeljcima 2. i 3. poglavlja V. ako su ispunjeni sljedeći uvjeti:
1. La Comisión podrá adoptar actos de ejecución por los que se establezcan especificaciones comunes para los requisitos establecidos en la sección 2 del presente capítulo o, según corresponda, para las obligaciones establecidas en el capítulo V, secciones 2 y 3, siempre que se hayan cumplido las siguientes condiciones:
(a)
Komisija je na temelju članka 10. stavka 1. Uredbe (EU) br. 1025/2012 zatražila od jedne ili više europskih organizacija za normizaciju da izrade usklađenu normu za zahtjeve utvrđene u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, za obveze utvrđene u odjeljcima 2. i 3. poglavlja V., a:
a)
la Comisión ha solicitado, de conformidad con el artículo 10, apartado 1, del Reglamento (UE) n.o 1025/2012, a una o varias organizaciones europeas de normalización que elaboren una norma armonizada para los requisitos establecidos en la sección 2 del presente capítulo, o según corresponda, para las obligaciones establecidas en el capítulo V, secciones 2 y 3, y:
i.
zahtjev nije prihvatila nijedna europska organizacija za normizaciju; ili
i)
la solicitud no ha sido aceptada por ninguna de las organizaciones europeas de normalización, o
ii.
usklađene norme koje se odnose na taj zahtjev nisu izrađene u roku utvrđenom u skladu s člankom 10. stavkom 1. Uredbe (EU) br. 1025/2012; ili
ii)
las normas armonizadas que responden a dicha solicitud no se han entregado en el plazo establecido de conformidad con el artículo 10, apartado 1, del Reglamento (UE) n.o 1025/2012, o
iii.
relevantnim usklađenim normama nisu dostatno uvažena pitanja temeljnih prava; ili
iii)
las normas armonizadas pertinentes responden de forma insuficiente a las preocupaciones en materia de derechos fundamentales, o
iv.
usklađene norme nisu u skladu sa zahtjevom; i
iv)
las normas armonizadas no se ajustan a la solicitud, y
(b)
u Službenom listu Europske unije nije objavljeno, u skladu s Uredbom (EU) br. 1025/2012, upućivanje na usklađene norme koje obuhvaćaju zahtjeve utvrđene u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, obveze utvrđene u odjeljcima 2. i 3. poglavlja V., niti se očekuje objava takvih upućivanja u razumnom roku.
b)
no se ha publicado en el Diario Oficial de la Unión Europea ninguna referencia a normas armonizadas que regulen los requisitos establecidos en la sección 2 del presente capítulo, o según proceda, las obligaciones a que se refiere el capítulo V, secciones 2 y 3, de conformidad con el Reglamento (UE) n.o 1025/2012 y no se prevé la publicación de tal referencia en un plazo razonable.
Pri izradi zajedničkih specifikacija Komisija se savjetuje sa savjetodavnim forumom iz članka 67.
Al elaborar las disposiciones comunes, la Comisión consultará al foro consultivo a que se refiere el artículo 67.
Provedbeni akti iz prvog podstavka ovog stavka donose se u skladu s postupkom ispitivanja iz članka 98. stavka 2.
Los actos de ejecución a que se refiere el párrafo primero del presente apartado se adoptarán de conformidad con el procedimiento de examen contemplado en el artículo 98, apartado 2.
2. Prije nego što izradi nacrt provedbenog akta Komisija obavješćuje odbor iz članka 22. Uredbe (EU) br. 1025/2012 o tome da smatra da su uvjeti utvrđeni u stavku 1. ovog članka ispunjeni.
2. Antes de elaborar un proyecto de acto de ejecución, la Comisión informará al comité a que se refiere el artículo 22 del Reglamento (UE) n.o 1025/2012 de que considera que se cumplen las condiciones establecidas en el apartado 1 del presente artículo.
3. Za visokorizične UI sustave ili UI modele opće namjene koji su sukladni sa zajedničkim specifikacijama iz stavka 1. ili dijelovima tih specifikacija pretpostavlja se da su sukladni sa zahtjevima utvrđenima u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, da su u skladu s obvezama utvrđenima u odjeljcima 2. i 3. poglavlja V., u mjeri u kojoj te zajedničke specifikacije obuhvaćaju te zahtjeve ili te obveze.
3. Se presumirá que los sistemas de IA de alto riesgo o los modelos de IA de uso general que sean conformes con las especificaciones comunes a que se refiere el apartado 1, o partes de dichas especificaciones, son conformes con los requisitos establecidos en la sección 2 del presente capítulo o, según corresponda, para cumplir con las obligaciones a que se refiere el capítulo V, secciones 2 y 3, en la medida en que dichas especificaciones comunes contemplen esos requisitos o esas obligaciones.
4. Ako europska organizacija za normizaciju donese usklađenu normu i Komisiji predloži da se upućivanje na nju objavi u Službenom listu Europske unije, Komisija ocjenjuje tu usklađenu normu u skladu s Uredbom (EU) br. 1025/2012. Kad se upućivanje na usklađenu normu objavi u Službenom listu Europske unije, Komisija stavlja izvan snage provedbene akte iz stavka 1. ili njihove dijelove koji obuhvaćaju iste zahtjeve utvrđene u odjeljku 2. ovog poglavlja odnosno, ovisno o slučaju, iste obveze utvrđene u odjeljcima 2. i 3. poglavlja V.
4. Cuando una norma armonizada sea adoptada por una organización europea de normalización y propuesta a la Comisión con el fin de publicar su referencia en el Diario Oficial de la Unión Europea, la Comisión evaluará la norma armonizada de conformidad con el Reglamento (UE) n.o 1025/2012. Cuando la referencia a una norma armonizada se publique en el Diario Oficial de la Unión Europea, la Comisión derogará los actos de ejecución a que se refiere el apartado 1, o las partes de dichos actos que contemplen los mismos requisitos establecidos en la sección 2 del presente capítulo o, según corresponda, las mismas obligaciones establecidas en el capítulo V, secciones 2 y 3.
5. Ako dobavljači visokorizičnih UI sustava ili UI modela opće namjene ne ispunjavaju zajedničke specifikacije iz stavka 1., moraju propisno obrazložiti da su usvojili tehnička rješenja kojima se ispunjavaju zahtjevi iz odjeljka 2. ovog poglavlja odnosno, ovisno o slučaju, kojima se ispunjavaju obveze utvrđene u odjeljcima 2. i 3. poglavlja V., na razini koja je barem jednakovrijedna tim zajedničkim specifikacijama.
5. Cuando los proveedores de sistemas de IA de alto riesgo o los modelos de IA de uso general no cumplan las especificaciones comunes mencionadas en el apartado 1, justificarán debidamente que han adoptado soluciones técnicas que cumplan los requisitos a que se refiere la sección 2 del presente capítulo o, según corresponda, cumplan con las obligaciones establecidas en el capítulo V, secciones 2 y 3, en un nivel como mínimo equivalente a aquellos.
6. Ako država članica smatra da zajednička specifikacija ne ispunjava u potpunosti zahtjeve utvrđene u odjeljku 2. odnosno, ovisno o slučaju, obveze utvrđene u odjeljcima 2. i 3. poglavlja V., ona o tome obavješćuje Komisiju i navodi detaljno objašnjenje. Komisija ocjenjuje te informacije i, prema potrebi, mijenja provedbeni akt kojim se utvrđuje dotična zajednička specifikacija.
6. Cuando un Estado miembro considere que una especificación común no cumple plenamente los requisitos establecidos en la sección 2, o, según corresponda, no cumple con las obligaciones establecidas en el capítulo V, secciones 2 y 3, informará de ello a la Comisión con una explicación detallada. La Comisión evaluará dicha información y, en su caso, modificará el acto de ejecución por el que se establece la especificación común de que se trate.
Evaluación de la conformidad
1. U vezi s visokorizičnim UI sustavima iz točke 1. Priloga III., ako je dobavljač pri dokazivanju usklađenosti visokorizičnog UI sustava sa zahtjevima utvrđenima u odjeljku 2. primijenio usklađene norme iz članka 40. ili, ako je primjenjivo, zajedničke specifikacije iz članka 41., dobavljač bira jedan od sljedećih postupaka ocjenjivanja sukladnosti na temelju:
1. En el caso de los sistemas de IA de alto riesgo enumerados en el anexo III, punto 1, cuando, al demostrar el cumplimiento de los requisitos establecidos en la sección 2 por parte de un sistema de IA de alto riesgo, el proveedor haya aplicado las normas armonizadas a que se refiere el artículo 40, o bien, en su caso, las especificaciones comunes a que se refiere el artículo 41, el proveedor optará por uno de los procedimientos de evaluación de la conformidad siguientes:
(a)
unutarnje kontrole iz Priloga VI.; ili
a)
el fundamentado en el control interno, mencionado en el anexo VI, o
(b)
ocjenjivanja sustava upravljanja kvalitetom i ocjenjivanja tehničke dokumentacije iz Priloga VII., uz sudjelovanje prijavljenog tijela.
b)
el fundamentado en la evaluación del sistema de gestión de la calidad y la evaluación de la documentación técnica, con la participación de un organismo notificado, mencionado en el anexo VII.
Pri dokazivanju usklađenosti visokorizičnog UI sustava sa zahtjevima utvrđenima u odjeljku 2. dobavljač primjenjuje postupak ocjenjivanja sukladnosti iz Priloga VII. ako:
Al demostrar el cumplimiento de los requisitos establecidos en la sección 2 por parte de un sistema de IA de alto riesgo, el proveedor se atendrá al procedimiento de evaluación de la conformidad establecido en el anexo VII cuando:
(a)
usklađene norme iz članka 40. ne postoje, a zajedničke specifikacije iz članka 41. nisu dostupne;
a)
las normas armonizadas a que se refiere el artículo 40 no existan, y no se disponga de las especificaciones comunes a que se refiere el artículo 41;
(b)
dobavljač nije primijenio usklađenu normu ili je primijenio samo dio usklađene norme;
b)
el proveedor no haya aplicado la norma armonizada, o solo haya aplicado parte de esta;
(c)
zajedničke specifikacije iz točke (a) postoje, ali ih dobavljač nije primijenio;
c)
existan las especificaciones comunes a que se refiere la letra a), pero el proveedor no las haya aplicado;
(d)
jedna ili više usklađenih normi iz točke (a) objavljena je uz ograničenje, i to samo za dio norme koji je ograničen.
d)
una o varias de las normas armonizadas a que se refiere la letra a) se hayan publicado con una limitación, y únicamente en la parte de la norma objeto de la limitación.
Za potrebe postupka ocjenjivanja sukladnosti iz Priloga VII. dobavljač može odabrati bilo koje prijavljeno tijelo. Međutim, ako visokorizični UI sustav u upotrebu namjeravaju staviti tijela kaznenog progona, tijela za imigraciju ili tijela za azil odnosno institucije, tijela, uredi ili agencije Unije, tijelo za nadzor tržišta iz članka 74. stavka 8. ili 9., ovisno o slučaju, djeluje kao prijavljeno tijelo.
A efectos del procedimiento de evaluación de la conformidad mencionado en el anexo VII, el proveedor podrá escoger cualquiera de los organismos notificados. No obstante, cuando se prevea la puesta en servicio del sistema de IA de alto riesgo por parte de las autoridades garantes del cumplimiento del Derecho, las autoridades de inmigración o las autoridades de asilo, o por las instituciones, órganos u organismos de la Unión, la autoridad de vigilancia del mercado mencionada en el artículo 74, apartado 8 o 9, según proceda, actuará como organismo notificado.
2. Za visokorizične UI sustave iz točaka od 2. do 8. Priloga III. dobavljači primjenjuju postupak ocjenjivanja sukladnosti na temelju unutarnje kontrole iz Priloga VI., kojim se ne predviđa sudjelovanje prijavljenog tijela.
2. En el caso de los sistemas de IA de alto riesgo mencionados en el anexo III, puntos 2 a 8, los proveedores se atendrán al procedimiento de evaluación de la conformidad fundamentado en un control interno a que se refiere el anexo VI, que no contempla la participación de un organismo notificado.
3. Za visokorizične UI sustave obuhvaćene zakonodavstvom Unije o usklađivanju navedenim u odjeljku A Priloga I. dobavljač primjenjuje relevantni postupak ocjenjivanja sukladnosti kako se zahtijeva tim pravnim aktima. Na te visokorizične UI sustave primjenjuju se zahtjevi utvrđeni u odjeljku 2. ovog poglavlja i dio su tog ocjenjivanja. Također se primjenjuju točke 4.3., 4.4., 4.5. i točka 4.6. peti odlomak Priloga VII.
3. En el caso de los sistemas de IA de alto riesgo regulados por los actos legislativos de armonización de la Unión enumerados en el anexo I, sección A, el proveedor se atendrá al procedimiento de evaluación de la conformidad pertinente exigida por dichos actos legislativos. Los requisitos establecidos en la sección 2 del presente capítulo se aplicarán a dichos sistemas de IA de alto riesgo y formarán parte de dicha evaluación. Asimismo, se aplicarán los puntos 4.3, 4.4 y 4.5 del anexo VII, así como el punto 4.6, párrafo quinto, de dicho anexo.
Za potrebe tog ocjenjivanja prijavljena tijela koja su prijavljena na temelju tih pravnih akata imaju pravo kontrolirati sukladnost visokorizičnih UI sustava sa zahtjevima utvrđenima u odjeljku 2. pod uvjetom da je u kontekstu postupka prijavljivanja na temelju tih pravnih akata ocijenjeno ispunjavaju li dotična prijavljena tijela zahtjeve utvrđene u članku 31. stavcima 4., 5., 10. i 11.
A efectos de dicha evaluación, los organismos notificados que hayan sido notificados con arreglo a dichos actos legislativos dispondrán de la facultad de controlar la conformidad de los sistemas de IA de alto riesgo con los requisitos establecidos en la sección 2, a condición de que se haya evaluado el cumplimiento por parte de dichos organismos notificados de los requisitos establecidos en el artículo 31, apartados 4, 5, 10 y 11, en el contexto del procedimiento de notificación con arreglo a dichos actos legislativos.
Ako je pravnim aktom navedenim u odjeljku A Priloga II. proizvođaču proizvoda omogućeno da se izuzme iz ocjenjivanja sukladnosti koje provodi treća strana pod uvjetom da je taj proizvođač primijenio sve usklađene norme koje obuhvaćaju sve relevantne zahtjeve, taj proizvođač tu mogućnost može iskoristiti samo ako je primijenio i usklađene norme ili, ako je primjenjivo, zajedničke specifikacije iz članka 41., koje obuhvaćaju sve zahtjeve utvrđene u odjeljku 2. ovog poglavlja.
Cuando un acto legislativo enumerado en el anexo I, sección A, permita al fabricante del producto prescindir de una evaluación de la conformidad de terceros, a condición de que el fabricante haya aplicado todas las normas armonizadas que contemplan todos los requisitos pertinentes, dicho fabricante solamente podrá recurrir a esta opción si también ha aplicado las normas armonizadas o, en su caso, las especificaciones comunes a que se refiere el artículo 41 que contemplan todos los requisitos establecidos en la sección 2 del presente capítulo.
4. Za visokorizične UI sustave koji su već bili podvrgnuti postupku ocjenjivanja sukladnosti provodi se novi postupak ocjenjivanja sukladnosti ako dođe do bitnih izmjena, neovisno o tome namjerava li se izmijenjeni sustav dalje distribuirati ili ga nastavlja upotrebljavati isti subjekt koji ga već uvodi.
4. Los sistemas de IA de alto riesgo que ya hayan sido objeto de un procedimiento de evaluación de la conformidad se someterán a un nuevo procedimiento de evaluación de la conformidad en caso de modificación sustancial, con independencia de si está prevista una distribución posterior del sistema modificado o de si este continúa siendo utilizado por el responsable del despliegue actual.
Za visokorizične UI sustave koji nastavljaju učiti nakon stavljanja na tržište ili u upotrebu, promjene visokorizičnog UI sustava i njegove učinkovitosti koje je dobavljač unaprijed odredio u trenutku početnog ocjenjivanja sukladnosti i koje su obuhvaćene informacijama u tehničkoj dokumentaciji iz točke 2. podtočke (f) Priloga IV. ne čine bitnu izmjenu.
En el caso de los sistemas de IA de alto riesgo que continúen aprendiendo tras su introducción en el mercado o su puesta en servicio, los cambios en el sistema de IA de alto riesgo y su funcionamiento que hayan sido predeterminados por el proveedor en el momento de la evaluación inicial de la conformidad y figuren en la información recogida en la documentación técnica mencionada en el anexo IV, punto 2, letra f), no constituirán modificaciones sustanciales.
5. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene priloga VI. i VII. njihovim ažuriranjem s obzirom na tehnički napredak.
5. La Comisión estará facultada para adoptar actos delegados con arreglo al artículo 97 al objeto de modificar los anexos VI y VII actualizándolos a la luz del progreso técnico.
6. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene stavaka 1. i 2. ovog članka kako bi visokorizične UI sustave iz točaka od 2. do 8. Priloga III. podvrgnula postupku ocjenjivanja sukladnosti iz Priloga VII. ili dijelovima tog postupka. Komisija takve delegirane akte donosi uzimajući u obzir djelotvornost postupka ocjenjivanja sukladnosti na temelju unutarnje kontrole iz Priloga VI. u sprečavanju rizika za zdravlje i sigurnost te zaštitu temeljnih prava koje takvi sustavi predstavljaju ili svođenju takvih rizika na najmanju moguću mjeru, kao i dostupnost adekvatnih kapaciteta i resursa među prijavljenim tijelima.
6. La Comisión estará facultada para adoptar actos delegados de conformidad con el artículo 97 al objeto de modificar los apartados 1 y 2 del presente artículo a fin de someter a los sistemas de IA de alto riesgo mencionados en el anexo III, puntos 2 a 8, al procedimiento de evaluación de la conformidad a que se refiere el anexo VII o a partes de este. La Comisión adoptará dichos actos delegados teniendo en cuenta la eficacia del procedimiento de evaluación de la conformidad fundamentado en un control interno mencionado en el anexo VI para prevenir o reducir al mínimo los riesgos para la salud, la seguridad y la protección de los derechos fundamentales que plantean estos sistemas, así como la disponibilidad de capacidades y recursos adecuados por parte de los organismos notificados.
1. Potvrde koje izdaju prijavljena tijela u skladu s Prilogom VII. sastavljaju se na jeziku koji relevantna tijela u državi članici u kojoj prijavljeno tijelo ima poslovni nastan mogu bez poteškoća razumjeti.
1. Los certificados expedidos por los organismos notificados con arreglo al anexo VII se redactarán en una lengua que las autoridades pertinentes del Estado miembro en el que esté establecido el organismo notificado puedan entender fácilmente.
2. Potvrde vrijede tijekom razdoblja koje je u njima navedeno, a ono ne smije biti dulje od pet godina za UI sustave obuhvaćene Prilogom I. i dulje od četiri godine za UI sustave obuhvaćene Prilogom III. Na zahtjev dobavljača valjanost potvrde može se produljivati za daljnja razdoblja od kojih nijedno ne smije biti dulje od pet godina za UI sustave obuhvaćene Prilogom I. i dulje od četiri godine za UI sustave obuhvaćene Prilogom III., i to na temelju ponovnog ocjenjivanja u skladu s primjenjivim postupcima ocjenjivanja sukladnosti. Svaka dopuna potvrde ostaje valjana pod uvjetom da je valjana potvrda koju dopunjuje.
2. Los certificados serán válidos para el período que indiquen, que no excederá de cinco años para los sistemas de IA contemplados en el anexo I, y cuatro años para los sistemas de IA contemplados en el anexo III. A solicitud del proveedor, la validez de un certificado podrá prorrogarse por períodos adicionales no superiores a cinco años para los sistemas de IA contemplados en el anexo I, y cuatro años para los sistemas de IA contemplados en el anexo III, sobre la base de una nueva evaluación con arreglo a los procedimientos de evaluación de la conformidad aplicables. Todo suplemento de un certificado mantendrá su validez a condición de que el certificado al que complementa sea válido.
3. Ako prijavljeno tijelo ustanovi da UI sustav više ne ispunjava zahtjeve utvrđene u odjeljku 2., to prijavljeno tijelo, uzimajući u obzir načelo proporcionalnosti, suspendira ili povlači izdanu potvrdu ili uvodi ograničenja za nju, osim ako se primjerenim korektivnim mjerama koje dobavljač sustava poduzme u primjerenom roku koji je utvrdilo prijavljeno tijelo osigura usklađenost UI sustava s tim zahtjevima. Prijavljeno tijelo daje obrazloženje za svoju odluku.
3. Si un organismo notificado observa que un sistema de IA ya no cumple los requisitos establecidos en la sección 2, suspenderá o retirará, teniendo en cuenta el principio de proporcionalidad, el certificado expedido o le impondrá restricciones, a menos que se garantice el cumplimiento de dichos requisitos mediante medidas correctoras adecuadas adoptadas por el proveedor del sistema en un plazo adecuado determinado por el organismo notificado. El organismo notificado motivará su decisión.
Protiv odluka prijavljenih tijela, među ostalim protiv odluka o izdanim potvrdama o sukladnosti, mora biti dostupan žalbeni postupak.
Existirá un procedimiento de recurso frente a las decisiones de los organismos notificados, también respecto a los certificados de conformidad expedidos.
Odstupanje od postupka ocjenjivanja sukladnosti
Exención del procedimiento de evaluación de la conformidad
1. Odstupajući od članka 43., i na propisno obrazložen zahtjev, svako tijelo za nadzor tržišta može odobriti stavljanje određenih visokorizičnih UI sustava na tržište ili u upotrebu na državnom području dotične države članice zbog iznimnih razloga koji se odnose na javnu sigurnost ili zaštitu života i zdravlja ljudi, zaštitu okoliša ili zaštitu ključne industrijske i infrastrukturne imovine. Trajanje tog odobrenja ograničeno je na razdoblje provedbe potrebnih postupaka ocjenjivanja sukladnosti, uzimajući u obzir iznimne razloge koji opravdavaju odstupanje. Ti se postupci dovršavaju bez nepotrebne odgode.
1. Como excepción a lo dispuesto en el artículo 43 y previa solicitud debidamente motivada, cualquier autoridad de vigilancia del mercado podrá autorizar la introducción en el mercado o la puesta en servicio de sistemas de IA de alto riesgo específicos en el territorio del Estado miembro de que se trate por motivos excepcionales de seguridad pública o con el fin de proteger la vida y la salud de las personas, el medio ambiente o activos fundamentales de la industria y de las infraestructuras. Dicha autorización se concederá por un período limitado, mientras se lleven a cabo los procedimientos de evaluación de la conformidad necesarios, teniendo en cuenta los motivos excepcionales que justifiquen la exención. La conclusión de los procedimientos de que se trate se alcanzará sin demora indebida.
2. U propisno opravdanoj hitnoj situaciji zbog iznimnih razloga koji se odnose na javnu sigurnost ili u slučaju konkretne, znatne i izravne prijetnje životu ili tjelesnoj sigurnosti fizičkih osoba, tijela kaznenog progona ili tijela civilne zaštite mogu određeni visokorizični UI sustav staviti u upotrebu bez odobrenja iz stavka 1. pod uvjetom da se to odobrenje bez nepotrebne odgode zatraži tijekom ili nakon upotrebe. Ako je odobrenje iz stavka 1. odbijeno, upotreba visokorizičnog UI sustava smjesta se prekida te se odmah odbacuju svi rezultati i izlazni podaci proizišli iz takve upotrebe.
2. En una situación de urgencia debidamente justificada por motivos excepcionales de seguridad pública o en caso de amenaza específica, importante e inminente para la vida o la seguridad física de las personas físicas, las autoridades garantes del cumplimiento del Derecho o las autoridades de protección civil podrán poner en servicio un sistema de IA de alto riesgo específico sin la autorización a que se refiere el apartado 1, siempre que se solicite dicha autorización durante o después de la utilización sin demora indebida. Si se deniega la autorización a que se refiere el apartado 1, se suspenderá el uso del sistema de IA de alto riesgo con efecto inmediato y se desecharán inmediatamente todos los resultados y toda la información de salida producidos por dicho uso.
3. Odobrenje iz stavka 1. izdaje se samo ako tijelo za nadzor tržišta zaključi da visokorizični UI sustav ispunjava zahtjeve iz odjeljka 2. Tijelo za nadzor tržišta obavješćuje Komisiju i druge države članice o svim odobrenjima izdanima na temelju stavaka 1 i 2. Ta obveza ne obuhvaća osjetljive operativne podatke u vezi s aktivnostima tijelâ kaznenog progona.
3. La autorización a que se refiere el apartado 1 solo se expedirá si la autoridad de vigilancia del mercado llega a la conclusión de que el sistema de IA de alto riesgo cumple los requisitos establecidos en la sección 2. La autoridad de vigilancia del mercado informará a la Comisión y a los demás Estados miembros de toda autorización expedida de conformidad con los apartados 1 y 2. Esta obligación no comprenderá los datos operativos sensibles relativos a las actividades de las autoridades garantes del cumplimiento del Derecho.
4. Ako u roku od 15 kalendarskih dana od primitka informacija iz stavka 3. nijedna država članica ni Komisija ne podnese prigovor na odobrenje koje je izdalo tijelo za nadzor tržišta određene države članice u skladu sa stavkom 1., to se odobrenje smatra opravdanim.
4. Si, en el plazo de quince días naturales tras la recepción de la información indicada en el apartado 3, ningún Estado miembro ni la Comisión presentan objeción alguna sobre una autorización expedida por una autoridad de vigilancia del mercado de un Estado miembro con arreglo al apartado 1, la autorización se considerará justificada.
5. Ako u roku od 15 kalendarskih dana od primitka obavijesti iz stavka 3. određena država članica podnese prigovor na odobrenje koje je izdalo tijelo za nadzor tržišta druge države članice ili ako Komisija smatra da je to odobrenje u suprotnosti s pravom Unije ili da je zaključak država članica o usklađenosti sustava iz stavka 3. neosnovan, Komisija bez odgode započinje savjetovanje s relevantnom državom članicom. U savjetovanju sudjeluju dotični operateri i omogućuje im se da iznesu svoja stajališta. Komisija ih uzima u obzir i odlučuje je li odobrenje opravdano. Komisija svoju odluku upućuje dotičnim državama članicama i dotičnim operaterima.
5. Si, en el plazo de quince días naturales tras la recepción de la notificación a que se refiere el apartado 3, un Estado miembro formula objeciones contra una autorización expedida por una autoridad de vigilancia del mercado de otro Estado miembro, o si la Comisión considera que la autorización vulnera el Derecho de la Unión o que la conclusión de los Estados miembros relativa al cumplimiento del sistema a que se refiere el apartado 3 es infundada, la Comisión celebrará consultas con el Estado miembro pertinente sin demora. Se consultará a los operadores de que se trate y se les ofrecerá la posibilidad de exponer sus puntos de vista. En vista de todo ello, la Comisión decidirá si la autorización está justificada o no. La Comisión enviará su decisión al Estado miembro afectado y a los operadores pertinentes.
6. Ako Komisija odobrenje smatra neopravdanim, tijelo za nadzor tržišta dotične države članice povlači to odobrenje.
6. Si la Comisión considera que la autorización no está justificada, la autoridad de vigilancia del mercado del Estado miembro de que se trate la retirará.
7. Kad je riječ o visokorizičnim UI sustavima koji su povezani s proizvodima obuhvaćenima zakonodavstvom Unije o usklađivanju navedenim u odjeljku A Priloga I., primjenjuju se samo odstupanja od ocjenjivanja sukladnosti utvrđena u tom zakonodavstvu Unije o usklađivanju.
7. En el caso de los sistemas de IA de alto riesgo asociados a productos regulados por los actos legislativos de armonización de la Unión enumerados en el anexo I, sección A, solo se aplicarán las exenciones de la evaluación de la conformidad establecidas en dichos actos legislativos de armonización de la Unión.
Declaración UE de conformidad
1. Dobavljač sastavlja pisanu, strojno čitljivu EU izjavu o sukladnosti, potpisanu fizički ili elektronički, za svaki visokorizični UI sustav i drži je na raspolaganju nacionalnim nadležnim tijelima tijekom razdoblja od deset godina nakon stavljanja tog visokorizičnog UI sustava na tržište ili u upotrebu. U EU izjavi o sukladnosti navodi se za koji je visokorizični UI sustav ona sastavljena. Primjerak EU izjave o sukladnosti dostavlja se relevantnim nacionalnim nadležnim tijelima na njihov zahtjev.
1. El proveedor redactará una declaración UE de conformidad por escrito en un formato legible por máquina, con firma electrónica o manuscrita, para cada sistema de IA de alto riesgo y la mantendrá a disposición de las autoridades nacionales competentes durante un período de diez años a contar desde la introducción del sistema de IA de alto riesgo en el mercado o su puesta en servicio. En la declaración UE de conformidad se especificará el sistema de IA de alto riesgo para el que ha sido redactada. Se entregará una copia de la declaración UE de conformidad a las autoridades nacionales competentes pertinentes que lo soliciten.
2. U EU izjavi o sukladnosti navodi se da dotični visokorizični UI sustav ispunjava zahtjeve utvrđene u odjeljku 2. EU izjava o sukladnosti sadržava informacije utvrđene u Prilogu V. i prevodi se na jezik koji nacionalna nadležna tijela država članica u kojima se visokorizični UI sustav stavlja na tržište ili na raspolaganje mogu bez poteškoća razumjeti.
2. En la declaración UE de conformidad constará que el sistema de IA de alto riesgo de que se trate cumple los requisitos establecidos en la sección 2. La declaración UE de conformidad contendrá la información indicada en el anexo V y se traducirá a una lengua que puedan entender fácilmente las autoridades nacionales competentes del Estado o Estados miembros en que se introduzca en el mercado o comercialice el sistema de IA de alto riesgo.
3. Ako visokorizični UI sustavi podliježu drugom zakonodavstvu Unije o usklađivanju kojim se također zahtijeva EU izjava o sukladnosti, sastavlja se jedinstvena EU izjava o sukladnosti koja se odnosi na svo pravo Unije koje se primjenjuje na dotični visokorizični UI sustav. Ta izjava sadržava sve informacije potrebne za identifikaciju zakonodavstva Unije o usklađivanju na koje se izjava odnosi.
3. Cuando los sistemas de IA de alto riesgo estén sujetos a otros actos legislativos de armonización de la Unión que también exijan una declaración UE de conformidad, se elaborará una única declaración UE de conformidad con respecto a todos el Derecho de la Unión aplicable al sistema de IA de alto riesgo. La declaración contendrá toda la información necesaria para determinar los actos legislativos de armonización de la Unión a los que se refiere la declaración.
4. Sastavljanjem EU izjave o sukladnosti dobavljač preuzima odgovornost za ispunjavanje zahtjeva utvrđenih u odjeljku 2. Dobavljač prema potrebi ažurira EU izjavu o sukladnosti.
4. Al elaborar la declaración UE de conformidad, el proveedor asumirá la responsabilidad del cumplimiento de los requisitos establecidos en la sección 2. El proveedor mantendrá actualizada la declaración UE de conformidad según proceda.
5. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene Priloga V. ažuriranjem sadržaja EU izjave o sukladnosti utvrđene u tom prilogu kako bi se uveli elementi koji postanu potrebni s obzirom na tehnički napredak.
5. La Comisión estará facultada para adoptar actos delegados con arreglo al artículo 97 al objeto de modificar el anexo V actualizando el contenido de la declaración UE de conformidad establecida en dicho anexo, con el fin de introducir elementos que resulten necesarios a la luz del progreso técnico.
1. Za oznaku CE vrijede opća načela utvrđena u članku 30. Uredbe (EZ) br. 765/2008.
1. El marcado CE estará sujeto a los principios generales establecidos en el artículo 30 del Reglamento (CE) n.o 765/2008.
2. Za visokorizične UI sustave koji se pružaju digitalno digitalna oznaka CE upotrebljava se samo ako joj se može lako pristupiti preko sučelja s kojeg se pristupa tom sustavu ili s pomoću lako dostupnog strojno čitljivog koda ili drugih elektroničkih sredstava.
2. En el caso de los sistemas de IA de alto riesgo que se proporcionan digitalmente, se utilizará un marcado CE digital, únicamente si es fácilmente accesible a través de la interfaz desde la que se accede a dicho sistema o mediante un código fácilmente accesible legible por máquina u otros medios electrónicos.
3. Oznaka CE stavlja se na visokorizične UI sustave tako da bude vidljiva, čitka i neizbrisiva. Ako to zbog prirode visokorizičnog UI sustava nije moguće ili nije opravdano, oznaka CE stavlja se na pakiranje ili na popratnu dokumentaciju, ovisno o slučaju.
3. El marcado CE se colocará de manera visible, legible e indeleble en los sistemas de IA de alto riesgo. Cuando esto no sea posible o no pueda garantizarse debido a la naturaleza del sistema de IA de alto riesgo, se colocará en el embalaje o en los documentos adjuntos, según proceda.
4. Ako je primjenjivo, uz oznaku CE navodi se identifikacijski broj prijavljenog tijela odgovornog za postupke ocjenjivanja sukladnosti iz članka 43. Identifikacijski broj prijavljenog tijela stavlja sâmo prijavljeno tijelo ili ga prema njegovim uputama stavlja dobavljač ili dobavljačev ovlašteni zastupnik. Taj identifikacijski broj navodi se i u svim promotivnim materijalima u kojima se navodi da dotični visokorizični UI sustav ispunjava zahtjeve u pogledu oznake CE.
4. En su caso, el marcado CE irá seguido del número de identificación del organismo notificado responsable de los procedimientos de evaluación de la conformidad establecidos en el artículo 43. El número de identificación del organismo notificado lo colocará él mismo o, siguiendo sus instrucciones, el proveedor o el representante autorizado del proveedor. El número de identificación figurará también en todo el material publicitario en el que se mencione que el sistema de IA de alto riesgo cumple los requisitos de marcado CE.
5. Ako visokorizični UI sustavi podliježu drugom pravu Unije kojim se također predviđa stavljanje oznake CE, na oznaci CE navodi se da visokorizični UI sustav ispunjava i zahtjeve iz tog drugog prava.
5. Cuando los sistemas de IA de alto riesgo estén sujetos a otras disposiciones del Derecho de la Unión que también requieran la colocación del marcado CE, este indicará que los sistemas de IA de alto riesgo también cumplen los requisitos de esas otras disposiciones.
1. Prije stavljanja na tržište ili u upotrebu visokorizičnog UI sustava iz Priloga III., uz izuzeće visokorizičnih UI sustava iz točke 2. Priloga III., dobavljač ili, ako je primjenjivo, ovlašteni zastupnik registrira sebe i svoj sustav u bazi podataka EU-a iz članka 71.
1. Antes de introducir en el mercado o de poner en servicio un sistema de IA de alto riesgo enumerado en el anexo III, con excepción de los sistemas de IA de alto riesgo mencionados en el anexo III, punto 2, el proveedor o, en su caso, el representante autorizado, registrarán su sistema y a ellos mismos en la base de datos de la UE a que se refiere el artículo 71.
2. Prije stavljanja na tržište ili u upotrebu UI sustava za koji je dobavljač zaključio da nije visokorizičan u skladu s člankom 6. stavkom 3., taj dobavljač ili, ako je primjenjivo, ovlašteni zastupnik registrira sebe i taj sustav u bazi podataka EU-a iz članka 71.
2. Antes de introducir en el mercado o poner en servicio un sistema de IA sobre el que el proveedor haya llegado a la conclusión de que no es de alto riesgo de conformidad con el artículo 6, apartado 3, dicho proveedor o, en su caso, el representante autorizado, registrarán ese sistema y a ellos mismos en la base de datos de la UE a que se refiere el artículo 71.
3. Prije stavljanja u upotrebu ili korištenja visokorizičnog UI sustava iz Priloga III., uz izuzeće visokorizičnih UI sustava iz točke 2. Priloga III., subjekti koji uvode sustav koji su tijela javne vlasti, institucije, tijela uredi ili agencije Unije ili osobe koje djeluju u njihovo ime registriraju se, odabiru sustav i registriraju njegovo korištenje u bazi podataka EU-a iz članka 71.
3. Antes de poner en servicio o utilizar un sistema de IA de alto riesgo enumerado en el anexo III, con excepción de los sistemas de IA de alto riesgo mencionados en el anexo III, punto 2, los responsables del despliegue de sistemas de IA de alto riesgo que sean autoridades públicas, instituciones, órganos u organismos de la Unión, o personas que actúen en su nombre, se registrarán, seleccionarán el sistema y registrarán su utilización en la base de datos de la UE a que se refiere el artículo 71.
4. Za visokorizične UI sustave iz točaka 1., 6. i 7. Priloga III., u području kaznenog progona, migracija, azila i upravljanja nadzorom državne granice registracija iz stavaka 1., 2. i 3. ovog članka provodi se u sigurnom dijelu baze podataka EU-a iz članka 71. koji nije javno dostupan, a uključuje samo informacije iz sljedećega, ovisno o slučaju:
4. En el caso de los sistemas de IA de alto riesgo mencionados en el anexo III, puntos 1, 6 y 7, en los ámbitos de la garantía del cumplimiento del Derecho, la migración, el asilo y la gestión del control fronterizo, el registro a que se refieren los apartados 1, 2 y 3 del presente artículo se efectuará en una sección segura no pública de la base de datos de la UE a que se refiere el artículo 71 e incluirá únicamente la información, según proceda, a la que se hace referencia en:
(a)
odjeljka A točaka od 1. do 10. Priloga VIII., osim točaka 6., 8. i 9.;
a)
el anexo VIII, sección A, puntos 1 a 10, con excepción de los puntos 6, 8 y 9;
(b)
odjeljka B točaka od 1. do 5. i točaka 8. i 9. Priloga VIII.;
b)
el anexo VIII, sección B, puntos 1 a 5 y puntos 8 y 9;
(c)
odjeljka C točaka od 1. do 3. Priloga VIII.;
c)
el anexo VIII, sección C, puntos 1 a 3;
(d)
točaka 1., 2., 3. i 5. Priloga IX.
d)
el anexo IX, puntos 1, 2, 3 y 5.
Samo Komisija i nacionalna tijela iz članka 74. stavka 8. imaju pristup odgovarajućim dijelovima baze podataka EU-a kojima je pristup ograničen, a koji su navedeni u prvom podstavku ovog stavka.
Únicamente la Comisión y las autoridades nacionales a que se refiere el artículo 74, apartado 8, tendrán acceso a las secciones restringidas respectivas de la base de datos de la UE enumeradas en el párrafo primero del presente apartado.
5. Visokorizični UI sustavi iz točke 2. Priloga III. registriraju se na nacionalnoj razini.
5. Los sistemas de IA de alto riesgo a que se refiere el anexo III, punto 2, se registrarán a nivel nacional.
Obveze u pogledu transparentnosti za dobavljače određenih UI sustava i subjekte koji ih uvode
Obligaciones de transparencia de los proveedores y responsables del despliegue de determinados sistemas de IA
1. Dobavljači osiguravaju da su UI sustavi koji su namijenjeni izravnoj interakciji s fizičkim osobama dizajnirani i razvijeni na takav način da se dotične fizičke osobe obavješćuje o tome da su u interakciji s UI sustavom, osim ako je to očito sa stajališta razmjerno dobro informirane, pronicljive i oprezne fizičke osobe, uzimajući u obzir okolnosti i kontekst upotrebe. Ta se obveza ne primjenjuje na UI sustave koji su zakonski odobreni za otkrivanje, sprečavanje, istragu ili kazneni progon kaznenih djela, podložno odgovarajućim zaštitnim mjerama za prava i slobode trećih strana, osim ako su ti sustavi dostupni javnosti za prijavu kaznenih djela.
1. Los proveedores garantizarán que los sistemas de IA destinados a interactuar directamente con personas físicas se diseñen y desarrollen de forma que las personas físicas de que se trate estén informadas de que están interactuando con un sistema de IA, excepto cuando resulte evidente desde el punto de vista de una persona física razonablemente informada, atenta y perspicaz, teniendo en cuenta las circunstancias y el contexto de utilización. Esta obligación no se aplicará a los sistemas de IA autorizados por ley para detectar, prevenir, investigar o enjuiciar delitos, con sujeción a las garantías adecuadas para los derechos y libertades de terceros, salvo que estos sistemas estén a disposición del público para denunciar un delito penal.
2. Dobavljači UI sustava, uključujući UI sustave opće namjene, koji generiraju sintetički audiosadržaj, slikovni sadržaj, videosadržaj ili tekstovni sadržaj osiguravaju da izlazni rezultati UI sustava budu označeni u strojno čitljivom obliku i da ih se može prepoznati kao umjetno generirane ili manipulirane. Dobavljači osiguravaju da njihova tehnička rješenja budu djelotvorna, interoperabilna, otporna i pouzdana u mjeri u kojoj je to tehnički izvedivo, uzimajući u obzir posebnosti i ograničenja različitih vrsta sadržaja, troškove provedbe i općepriznata najnovija dostignuća, što se može odražavati u relevantnim tehničkim normama. Ta se obveza ne primjenjuje ako UI sustavi obavljaju pomoćnu funkciju za standardno uređivanje ili bitno ne mijenjaju ulazne podatke koje pruža subjekt koji uvodi sustav ili njihovu semantiku, ili ako su zakonski odobreni za otkrivanje, sprečavanje, istragu ili kazneni progon kaznenih djela.
2. Los proveedores de sistemas de IA, entre los que se incluyen los sistemas de IA de uso general, que generen contenido sintético de audio, imagen, vídeo o texto, velarán por que los resultados de salida del sistema de IA estén marcados en un formato legible por máquina y que sea posible detectar que han sido generados o manipulados de manera artificial. Los proveedores velarán por que sus soluciones técnicas sean eficaces, interoperables, sólidas y fiables en la medida en que sea técnicamente viable, teniendo en cuenta las particularidades y limitaciones de los diversos tipos de contenido, los costes de aplicación y el estado actual de la técnica generalmente reconocido, según se refleje en las normas técnicas pertinentes. Esta obligación no se aplicará en la medida en que los sistemas de IA desempeñen una función de apoyo a la edición estándar o no alteren sustancialmente los datos de entrada facilitados por el responsable del despliegue o su semántica, o cuando estén autorizados por ley para detectar, prevenir, investigar o enjuiciar delitos.
3. Subjekti koji uvode sustav za prepoznavanje emocija ili sustav za biometrijsku kategorizaciju obavješćuju fizičke osobe koje su izložene tom sustavu o njegovu radu, a osobne podatke obrađuju u skladu s uredbama (EU) 2016/679 i (EU) 2018/1725 te Direktivom (EU) 2016/680, ovisno o slučaju. Ta se obveza ne primjenjuje na UI sustave za biometrijsku kategorizaciju i prepoznavanje emocija koji su zakonski odobreni za otkrivanje, sprečavanje ili istragu kaznenih djela, podložno odgovarajućim zaštitnim mjerama za prava i slobode trećih strana i u skladu s pravom Unije.
3. Los responsables del despliegue de un sistema de reconocimiento de emociones o de un sistema de categorización biométrica informarán del funcionamiento del sistema a las personas físicas expuestas a él y tratarán sus datos personales de conformidad con los Reglamentos (UE) 2016/679 y (UE) 2018/1725 y con la Directiva (UE) 2016/680, según corresponda. Esta obligación no se aplicará a los sistemas de IA utilizados para la categorización biométrica y el reconocimiento de emociones que hayan sido autorizados por ley para detectar, prevenir e investigar delitos, con sujeción a las garantías adecuadas para los derechos y libertades de terceros y de conformidad con el Derecho de la Unión.
4. Subjekti koji uvode UI sustav koji generira ili manipulira slikovnim sadržajem, audiosadržajem ili videosadržajem koji čini uvjerljiv krivotvoreni sadržaj (deep fake) moraju navesti da je taj sadržaj umjetno generiran ili da je njime manipulirano. Ta se obveza ne primjenjuje ako je korištenje zakonski odobreno za otkrivanje, sprečavanje, istragu ili kazneni progon kaznenih djela. Ako je sadržaj dio očigledno umjetničkog, kreativnog, satiričnog, fiktivnog ili analognog djela ili programa, obveze u pogledu transparentnosti iz ovog stavka ograničene su na otkrivanje postojanja takvog generiranog ili manipuliranog sadržaja na odgovarajući način kojim se ne ometa prikazivanje tog djela ili uživanje u njemu.
4. Los responsables del despliegue de un sistema de IA que genere o manipule imágenes o contenidos de audio o vídeo que constituyan una ultrasuplantación harán público que estos contenidos o imágenes han sido generados o manipulados de manera artificial. Esta obligación no se aplicará cuando la ley autorice su uso para para detectar, prevenir, investigar o enjuiciar delitos. Cuando el contenido forme parte de una obra o programa manifiestamente creativos, satíricos, artísticos, de ficción o análogos, las obligaciones de transparencia establecidas en el presente apartado se limitarán a la obligación de hacer pública la existencia de dicho contenido generado o manipulado artificialmente de una manera adecuada que no dificulte la exhibición o el disfrute de la obra.
Subjekti koji uvode UI sustav koji generira ili manipulira tekstom koji se objavljuje u svrhu informiranja javnosti o pitanjima od javnog interesa moraju navesti da je tekst umjetno generiran ili da je njime manipulirano. Ta se obveza ne primjenjuje ako je korištenje zakonski odobreno za otkrivanje, sprečavanje, istragu ili kazneni progon kaznenih djela ili ako je sadržaj generiran umjetnom inteligencijom prošao proces preispitivanja koje provodi čovjek ili uredničku kontrolu i ako fizička ili pravna osoba snosi uredničku odgovornost za objavu sadržaja.
Los responsables del despliegue de un sistema de IA que genere o manipule texto que se publique con el fin de informar al público sobre asuntos de interés público divulgarán que el texto se ha generado o manipulado de manera artificial. Esta obligación no se aplicará cuando el uso esté autorizado por ley para detectar, prevenir, investigar o enjuiciar delitos, o cuando el contenido generado por IA haya sido sometido a un proceso de revisión humana o de control editorial y cuando una persona física o jurídica tenga la responsabilidad editorial por la publicación del contenido.
5. Informacije iz stavaka od 1. do 4. dotičnim se fizičkim osobama pružaju na jasan i raspoznatljiv način najkasnije u trenutku prve interakcije ili prvog izlaganja. Te informacije moraju ispunjavati primjenjive zahtjeve u pogledu pristupačnosti.
5. La información a que se refieren los apartados 1 a 4 se facilitará a las personas físicas de que se trate de manera clara y distinguible a más tardar con ocasión de la primera interacción o exposición. La información se ajustará a los requisitos de accesibilidad aplicables.
6. Stavci od 1. do 4. ne utječu na zahtjeve i obveze iz poglavlja III. i njima se ne dovode u pitanje druge obveze u pogledu transparentnosti utvrđene u pravu Unije ili nacionalnom pravu za subjekte koji uvode UI sustave.
6. Los apartados 1 a 4 no afectarán a los requisitos y obligaciones establecidos en el capítulo III y se entenderán sin perjuicio de otras obligaciones de transparencia establecidas en el Derecho nacional o de la Unión para los responsables del despliegue de sistemas de IA.
7. Ured za umjetnu inteligenciju potiče i olakšava izradu kodeksâ prakse na razini Unije kako bi se olakšala djelotvorna provedba obveza u pogledu otkrivanja i označivanja umjetno generiranog ili manipuliranog sadržaja. Komisija može donositi provedbene akte radi odobravanja tih kodeksa prakse u skladu s postupkom utvrđenim u članku 56. stavku 6. Ako smatra da kodeks nije adekvatan, Komisija može donositi provedbene akte o utvrđivanju zajedničkih pravila za provedbu tih obveza u skladu s postupkom ispitivanja utvrđenim u članku 98. stavku 2.
7. La Oficina de IA fomentará y facilitará la elaboración de códigos de buenas prácticas a escala de la Unión para promover la aplicación efectiva de las obligaciones relativas a la detección y el etiquetado de contenidos generados o manipulados de manera artificial. La Comisión podrá adoptar actos de ejecución a fin de aprobar dichos códigos de buenas prácticas, de conformidad con el procedimiento establecido en el artículo 56, apartado 6. Si considera que el código no es adecuado, la Comisión podrá adoptar un acto de ejecución que especifique normas comunes para el cumplimiento de las citadas obligaciones de conformidad con el procedimiento de examen establecido en el artículo 98, apartado 2.
1. Ako UI model opće namjene ispunjava uvjet iz članka 51. stavka 1. točke (a), dotični dobavljač o tome obavješćuje Komisiju bez odgode, a u svakom slučaju u roku od dva tjedna nakon što je taj zahtjev ispunjen ili nakon što postane poznato da će biti ispunjen. Ta obavijest uključuje informacije potrebne kako bi se dokazalo da je dotični zahtjev ispunjen. Ako Komisija sazna za UI model opće namjene koji predstavlja sistemske rizike, a o kojem nije bila obaviještena, može ga odlučiti odrediti kao model sa sistemskim rizikom.
1. Cuando un modelo de IA de uso general cumpla la condición a que se refiere el artículo 51, apartado 1, letra a), el proveedor pertinente lo notificará a la Comisión sin demora y, en cualquier caso, antes de transcurridas dos semanas desde que se cumpla dicho requisito o desde que se sepa que va a cumplirse. Dicha notificación incluirá la información necesaria para demostrar que se cumple el requisito pertinente. Si la Comisión tiene conocimiento de un modelo de IA de uso general que presenta riesgos sistémicos y que no ha sido notificado, podrá decidir designarlo como modelo con riesgo sistémico.
2. Dobavljač UI modela opće namjene koji ispunjava uvjet iz članka 51. stavka 1. točke (a) može uz svoju obavijest dostaviti dostatno potkrijepljene argumente kako bi dokazao da UI model opće namjene iznimno, iako ispunjava navedeni zahtjev, zbog svojih specifičnih karakteristika ne predstavlja sistemske rizike i da ga stoga ne bi trebalo klasificirati kao UI model opće namjene sa sistemskim rizikom.
2. El proveedor de un modelo de IA de uso general que cumpla la condición a que se refiere el artículo 51, apartado 1, letra a), podrá presentar, junto con su notificación, argumentos suficientemente fundamentados que demuestren que, excepcionalmente, aunque el modelo de IA de uso general cumple dicho requisito, no presenta riesgos sistémicos, debido a sus características específicas, y no debe clasificarse, por tanto, como modelo de IA de uso general con riesgo sistémico.
3. Ako Komisija zaključi da argumenti dostavljeni na temelju stavka 2. nisu dostatno potkrijepljeni i da dotični dobavljač nije dokazao da UI model opće namjene zbog svojih specifičnih karakteristika ne predstavlja sistemske rizike, ona odbacuje te argumente, a UI model opće namjene smatra se UI modelom opće namjene sa sistemskim rizikom.
3. Cuando la Comisión concluya que los argumentos presentados con arreglo al apartado 2 no están suficientemente fundamentados y que el proveedor pertinente no ha sido capaz de demostrar que el modelo de IA de uso general no presenta, debido a sus características específicas, riesgos sistémicos, rechazará dichos argumentos y el modelo de IA de uso general se considerará un modelo de IA de uso general con riesgo sistémico.
4. Komisija može UI model opće namjene odrediti kao model koji predstavlja sistemske rizike na temelju kriterija iz Priloga XIII., po službenoj dužnosti ili slijedom kvalificiranog upozorenja znanstvenog povjerenstva u skladu s člankom 90. stavkom 1. točkom (a).
4. La Comisión podrá determinar que un modelo de IA de uso general presenta riesgos sistémicos, de oficio o a raíz de una alerta cualificada del grupo de expertos científicos con arreglo al artículo 90, apartado 1, letra a), a partir de los criterios establecidos en el anexo XIII.
Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. radi izmjene Priloga XIII. utvrđivanjem i ažuriranjem kriterija utvrđenih u tom prilogu.
La Comisión estará facultada para adoptar actos delegados de conformidad con el artículo 97 al objeto de modificar el anexo XIII especificando y actualizando los criterios establecidos en dicho anexo.
5. Na obrazloženi zahtjev dobavljača čiji je model u skladu sa stavkom 4. određen kao UI model opće namjene sa sistemskim rizikom, Komisija takav zahtjev uzima u obzir i može odlučiti ponovno ocijeniti može li se i dalje smatrati da UI model opće namjene predstavlja sistemske rizike na temelju kriterija iz Priloga XIII. Takav zahtjev mora sadržavati objektivne, detaljne i nove razloge koji su se pojavili nakon odluke o određivanju. Dobavljači mogu zatražiti ponovnu ocjenu najranije šest mjeseci nakon odluke o određivanju. Ako Komisija nakon ponovne ocjene odluči zadržati određivanje modela kao UI modela opće namjene sa sistemskim rizikom, dobavljači mogu zatražiti ponovno ocjenjivanje najranije šest mjeseci nakon te odluke.
5. Previa solicitud motivada de un proveedor cuyo modelo haya sido designado como modelo de IA de uso general con riesgo sistémico con arreglo al apartado 4, la Comisión tendrá en cuenta la solicitud y podrá decidir reevaluar si puede seguir considerándose que el modelo de IA de uso general presenta riesgos sistémicos con arreglo a los criterios establecidos en el anexo XIII. Dicha solicitud contendrá motivos objetivos, detallados y nuevos que hayan surgido desde la decisión de designación. Los proveedores no podrán solicitar la reevaluación antes de transcurridos seis meses desde la decisión de designación. Si tras la reevaluación la Comisión decide mantener la designación como modelo de IA de uso general con riesgo sistémico, los proveedores no podrán solicitar otra reevaluación hasta transcurridos seis meses desde dicha decisión.
6. Komisija osigurava objavljivanje popisa UI modelâ opće namjene sa sistemskim rizikom i ažurira ga, ne dovodeći u pitanje potrebu za poštovanjem i zaštitom prava intelektualnog vlasništva i povjerljivih poslovnih informacija ili poslovnih tajni u skladu s pravom Unije i nacionalnim pravom.
6. La Comisión velará por que se publique una lista de modelos de IA de uso general con riesgo sistémico, que mantendrá actualizada, sin perjuicio de la necesidad de respetar y proteger los derechos de propiedad intelectual e industrial y la información empresarial confidencial o los secretos comerciales de conformidad con el Derecho de la Unión y nacional.
Obveze dobavljača UI modelâ opće namjene
Obligaciones de los proveedores de modelos de IA de uso general
1. Dobavljači UI modelâ opće namjene:
1. Los proveedores de modelos de IA de uso general:
(a)
izrađuju i ažuriraju tehničku dokumentaciju modela, među ostalim o postupku njegova treniranja i testiranja te rezultatima njegove evaluacije, koja sadržava barem informacije utvrđene u Prilogu XI., kako bi je na zahtjev dostavili Uredu za umjetnu inteligenciju i nacionalnim nadležnim tijelima;
a)
elaborarán y mantendrán actualizada la documentación técnica del modelo, incluida la información relativa al proceso de entrenamiento y realización de pruebas y los resultados de su evaluación, que contendrá, como mínimo, la información establecida en el anexo XI con el fin de facilitarla, previa solicitud, a la Oficina de IA y a las autoridades nacionales competentes;
(b)
izrađuju, ažuriraju i stavljaju na raspolaganje informacije i dokumentaciju dobavljačima UI sustava koji namjeravaju integrirati UI model opće namjene u svoje UI sustave. Ne dovodeći u pitanje potrebu za poštovanjem i zaštitom prava intelektualnog vlasništva i povjerljivih poslovnih informacija ili poslovnih tajni u skladu s pravom Unije i nacionalnim pravom, te informacije i dokumentacija:
b)
elaborarán y mantendrán actualizada información y documentación y la pondrán a disposición de los proveedores de sistemas de IA que tengan la intención de integrar el modelo de IA de uso general en sus sistemas de IA. Sin perjuicio de la necesidad de observar y proteger los derechos de propiedad intelectual e industrial y la información empresarial confidencial o los secretos comerciales de conformidad con el Derecho de la Unión y nacional, dicha información y documentación:
i.
omogućuju dobavljačima UI sustava da dobro razumiju sposobnosti i ograničenja UI modela opće namjene i da ispune svoje obveze na temelju ove Uredbe; i
i)
permitirá a los proveedores de sistemas de IA entender bien las capacidades y limitaciones del modelo de IA de uso general y cumplir sus obligaciones en virtud del presente Reglamento, y
ii.
sadržavaju barem elemente utvrđene u Prilogu XII.;
ii)
contendrá, como mínimo, los elementos previstos en el anexo XII;
(c)
uspostavljaju politiku usklađivanja s pravom Unije o autorskom pravu i povezanim pravima, posebno kako bi utvrdili i poštovali, među ostalim i s pomoću najsuvremenijih tehnologija, pridržaj prava izražen u skladu s člankom 4. stavkom 3. Direktive (EU) 2019/790;
c)
establecerán directrices para cumplir el Derecho de la Unión en materia de derechos de autor y derechos afines, y en particular, para detectar y cumplir, por ejemplo, a través de tecnologías punta, una reserva de derechos expresada de conformidad con el artículo 4, apartado 3, de la Directiva (UE) 2019/790;
(d)
izrađuju i objavljuju dovoljno detaljan sažetak o sadržaju upotrijebljenom za treniranje UI modela opće namjene, prema predlošku Ureda za umjetnu inteligenciju.
d)
elaborarán y pondrán a disposición del público un resumen suficientemente detallado del contenido utilizado para el entrenamiento del modelo de IA de uso general, con arreglo al modelo facilitado por la Oficina de IA.
2. Obveze utvrđene u stavku 1. točkama (a) i (b) ne primjenjuju se na dobavljače UI modela koji se objavljuju na temelju besplatne licencije za softver otvorenog koda koja omogućuje pristup modelu te njegovu upotrebu, izmjenu i distribuciju i čiji su parametri, uključujući težinske faktore, informacije o arhitekturi modela te informacije o upotrebi modela, javno dostupni. Ta se iznimka ne primjenjuje na UI modele opće namjene sa sistemskim rizikom.
2. Las obligaciones establecidas en el apartado 1, letras a) y b), no se aplicarán a los proveedores de modelos de IA que se divulguen con arreglo a una licencia libre y de código abierto que permita el acceso, la utilización, la modificación y la distribución del modelo y cuyos parámetros, incluidos los pesos, la información sobre la arquitectura del modelo y la información sobre el uso del modelo, se pongan a disposición del público. Esta excepción no se aplicará a los modelos de IA de uso general con riesgo sistémico.
3. Dobavljači UI modela opće namjene prema potrebi surađuju s Komisijom i nacionalnim nadležnim tijelima u izvršavanju njihovih nadležnosti i ovlasti na temelju ove Uredbe.
3. Los proveedores de modelos de IA de uso general cooperarán con la Comisión y las autoridades nacionales competentes, según sea necesario, en el ejercicio de sus competencias y facultades en virtud del presente Reglamento.
4. Dobavljači UI modelâ opće namjene mogu se do objave usklađene norme osloniti na kodekse prakse u smislu članka 56. kako bi dokazali da ispunjavaju obveze utvrđene u stavku 1. ovog članka. Ispunjavanjem europskih usklađenih normi za dobavljače vrijedi pretpostavka sukladnosti u mjeri u kojoj su te obveze obuhvaćene tim normama. Dobavljači UI modelâ opće namjene koji ne poštuju odobreni kodeks prakse ili ne ispunjavaju europsku usklađenu normu moraju dokazati alternativne adekvatne načine usklađivanja kako bi ih ocijenila Komisija.
4. Los proveedores de modelos de IA de uso general podrán recurrir a códigos de buenas prácticas en el sentido de lo dispuesto en el artículo 56 para demostrar el cumplimiento de las obligaciones establecidas en el apartado 1 del presente artículo, hasta que se publique una norma armonizada. El cumplimiento de las normas armonizadas europeas otorga a los proveedores presunción de conformidad en la medida en que tales normas regulen dichas obligaciones. Los proveedores de modelos de IA de uso general que no se adhieran a un código de buenas prácticas aprobado o no cumplan una norma armonizada europea deberán demostrar que cumplen sus obligaciones por medios alternativos adecuados para su evaluación por parte de la Comisión.
5. Kako bi se olakšalo usklađivanje s Prilogom XI., a posebno s njegovom točkom 2. podtočkama (d) i (e), Komisija je ovlaštena z donošenje delegiranih akata u skladu s člankom 97. kako bi detaljno opisala metodologije mjerenja i izračuna u cilju omogućavanja usporedive i provjerljive dokumentacije.
5. A fin de facilitar el cumplimiento de lo dispuesto en el anexo XI, en particular en su punto 2, letras d) y e), la Comisión estará facultada para adoptar actos delegados de conformidad con el artículo 97 para detallar las metodologías de medición y cálculo con vistas a que la documentación sea comparable y verificable.
6. Komisija je ovlaštena za donošenje delegiranih akata u skladu s člankom 97. stavkom 2. radi izmjene priloga XI. i XII. s obzirom na tehnološki razvoj.
6. La Comisión estará facultada para adoptar actos delegados con arreglo al artículo 97, apartado 2, para modificar los anexos XI y XII en función de los avances tecnológicos.
7. Sa svim informacijama ili dokumentacijom koji se pribave u skladu s ovim člankom, uključujući poslovne tajne, postupa se u skladu s obvezama u pogledu povjerljivosti utvrđenima u članku 78.
7. Toda información o documentación obtenida en virtud del presente artículo, incluidos los secretos comerciales, se tratarán de conformidad con las obligaciones de confidencialidad establecidas en el artículo 78.