Notice: This is a Juremy.com rendered version. Only European Union documents published in the Official Journal of the European Union are deemed authentic. Juremy accepts no responsibility or liability whatsoever with regard to the content of this document.
Base data © European Union, 1998-2024. Postprocessed and marked-up data © 2019-2024 Juremy.com, all rights reserved.
Render version: 0.1, render date: 2024-07-24
Official Journal
of the European Union
EN
Официален вестник
на Европейския съюз
BG
L series
Серия L
2024/1689
12.7.2024
2024/1689
12.7.2024
REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL
РЕГЛАМЕНТ (ЕС) 2024/1689 НА ЕВРОПЕЙСКИЯ ПАРЛАМЕНТ И НА СЪВЕТА
of 13 June 2024
от 13 юни 2024 година
laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act)
за установяване на хармонизирани правила относно изкуствения интелект и за изменение на регламенти (ЕО) № 300/2008, (ЕС) № 167/2013, (ЕС) № 168/2013, (ЕС) 2018/858, (ЕС) 2018/1139 и (ЕС) 2019/2144 и директиви 2014/90/ЕС, (ЕС) 2016/797 и (ЕС) 2020/1828 (Акт за изкуствения интелект)
(Text with EEA relevance)
(текст от значение за ЕИП)
THE EUROPEAN PARLIAMENT AND THE COUNCIL OF THE EUROPEAN UNION,
ЕВРОПЕЙСКИЯТ ПАРЛАМЕНТ И СЪВЕТЪТ НА ЕВРОПЕЙСКИЯ СЪЮЗ,
Having regard to the Treaty on the Functioning of the European Union, and in particular Articles 16 and 114 thereof,
като взеха предвид Договора за функционирането на Европейския съюз, и по-специално членове 16 и 114 от него,
Having regard to the proposal from the European Commission,
като взеха предвид предложението на Европейската комисия,
After transmission of the draft legislative act to the national parliaments,
след предаване на проекта на законодателния акт на националните парламенти,
Having regard to the opinion of the European Economic and Social Committee (1),
като взеха предвид становището на Европейския икономически и социален комитет (1),
Having regard to the opinion of the European Central Bank (2),
като взеха предвид становището на Европейската централна банка (2),
Having regard to the opinion of the Committee of the Regions (3),
като взеха предвид становището на Комитета на регионите (3),
Acting in accordance with the ordinary legislative procedure (4),
в съответствие с обикновената законодателна процедура (4),
Whereas:
като имат предвид, че:
(1)
The purpose of this Regulation is to improve the functioning of the internal market by laying down a uniform legal framework in particular for the development, the placing on the market, the putting into service and the use of artificial intelligence systems (AI systems) in the Union, in accordance with Union values, to promote the uptake of human centric and trustworthy artificial intelligence (AI) while ensuring a high level of protection of health, safety, fundamental rights as enshrined in the Charter of Fundamental Rights of the European Union (the ‘Charter’), including democracy, the rule of law and environmental protection, to protect against the harmful effects of AI systems in the Union, and to support innovation. This Regulation ensures the free movement, cross-border, of AI-based goods and services, thus preventing Member States from imposing restrictions on the development, marketing and use of AI systems, unless explicitly authorised by this Regulation.
(1)
Целта на настоящия регламент е да се подобри функционирането на вътрешния пазар чрез установяване на единна правна рамка, по-специално за разработването, пускането на пазара, пускането в действие и използването на системи с изкуствен интелект (наричани по-долу „системи с ИИ“) в Съюза, в съответствие с ценностите на Съюза, да се насърчи навлизането на ориентиран към човека и надежден изкуствен интелект (ИИ), като същевременно се гарантира високо равнище на защита на здравето, безопасността и основните права, залегнали в Хартата на основните права на Европейския съюз (наричана по-долу „Хартата“), включително демокрацията, принципите на правовата държава и опазването на околната среда, да се осигури защита срещу вредните последици от системите с ИИ в Съюза и да се подкрепят иновациите. С настоящия регламент се гарантира свободното трансгранично движение на стоки и услуги, основани на ИИ, като по този начин не се допуска държавите членки да налагат ограничения върху разработването, предлагането на пазара и използването на системи с ИИ, освен ако това не е изрично разрешено с настоящия регламент.
(2)
This Regulation should be applied in accordance with the values of the Union enshrined as in the Charter, facilitating the protection of natural persons, undertakings, democracy, the rule of law and environmental protection, while boosting innovation and employment and making the Union a leader in the uptake of trustworthy AI.
(2)
Настоящият регламент следва да се прилага в съответствие с ценностите на Съюза, залегнали в Хартата, като се улеснява защитата на физическите лица, предприятията, демокрацията, принципите на правовата държава и опазването на околната среда и същевременно се насърчават иновациите и заетостта и се спомага за превръщането на Съюза в лидер във възприемането на надежден ИИ.
(3)
AI systems can be easily deployed in a large variety of sectors of the economy and many parts of society, including across borders, and can easily circulate throughout the Union. Certain Member States have already explored the adoption of national rules to ensure that AI is trustworthy and safe and is developed and used in accordance with fundamental rights obligations. Diverging national rules may lead to the fragmentation of the internal market and may decrease legal certainty for operators that develop, import or use AI systems. A consistent and high level of protection throughout the Union should therefore be ensured in order to achieve trustworthy AI, while divergences hampering the free circulation, innovation, deployment and the uptake of AI systems and related products and services within the internal market should be prevented by laying down uniform obligations for operators and guaranteeing the uniform protection of overriding reasons of public interest and of rights of persons throughout the internal market on the basis of Article 114 of the Treaty on the Functioning of the European Union (TFEU). To the extent that this Regulation contains specific rules on the protection of individuals with regard to the processing of personal data concerning restrictions of the use of AI systems for remote biometric identification for the purpose of law enforcement, of the use of AI systems for risk assessments of natural persons for the purpose of law enforcement and of the use of AI systems of biometric categorisation for the purpose of law enforcement, it is appropriate to base this Regulation, in so far as those specific rules are concerned, on Article 16 TFEU. In light of those specific rules and the recourse to Article 16 TFEU, it is appropriate to consult the European Data Protection Board.
(3)
Системите с ИИ могат лесно да бъдат внедрени в най-различни сектори на икономиката и в много сфери на обществото, включително в трансграничен план, и да се ползват от свободно движение в целия Съюз. Някои държави членки вече са проучили възможността за приемане на национални правила, за да гарантират, че ИИ е надежден и безопасен и се разработва и използва в съответствие със задълженията, свързани с основните права. Различаващите се национални правила могат да доведат до разпокъсаност на вътрешния пазар и да намалят правната сигурност за операторите, които разработват, внасят или използват системи с ИИ. Ето защо, с цел да се осигури надежден ИИ, следва да се гарантира последователно и високо равнище на защита в целия Съюз, като същевременно се предотвратят различията, възпрепятстващи свободното движение, иновациите, внедряването и възприемането в рамките на вътрешния пазар на системи с ИИ и свързани с тях продукти и услуги, като за целта се предвидят еднакви задължения за операторите и се гарантира еднаква защита на императивните съображения от обществен интерес и на правата на лицата в рамките на целия вътрешен пазар на основание член 114 от Договора за функционирането на Европейския съюз (ДФЕС). Доколкото настоящият регламент съдържа специални правила за защита на физическите лица по отношение на обработването на лични данни във връзка с ограниченията за използването на системи с ИИ за дистанционна биометрична идентификация за правоохранителни цели, за използването на системи с ИИ за оценка на риска за физическите лица за правоохранителни цели и за използването на системи с ИИ за биометрично категоризиране за правоохранителни цели, е целесъобразно правното основание на настоящия регламент, във връзка с тези специални правила, да бъде член 16 ДФЕС. С оглед на тези специални правила и защитата съгласно член 16 ДФЕС е целесъобразно да се проведе консултация с Европейския комитет по защита на данните.
(4)
AI is a fast evolving family of technologies that contributes to a wide array of economic, environmental and societal benefits across the entire spectrum of industries and social activities. By improving prediction, optimising operations and resource allocation, and personalising digital solutions available for individuals and organisations, the use of AI can provide key competitive advantages to undertakings and support socially and environmentally beneficial outcomes, for example in healthcare, agriculture, food safety, education and training, media, sports, culture, infrastructure management, energy, transport and logistics, public services, security, justice, resource and energy efficiency, environmental monitoring, the conservation and restoration of biodiversity and ecosystems and climate change mitigation and adaptation.
(4)
ИИ е бързо развиваща се съвкупност от технологии, които допринасят за извличането на множество икономически, екологични и обществени ползи по протежение на целия спектър от стопански сектори и социални дейности. Като подобрява прогнозирането, оптимизира операциите и разпределянето на ресурсите и персонализира цифровите решения, които са на разположение на физическите лица и организациите, използването на ИИ може да осигури ключови конкурентни предимства за предприятията и да спомогне за постигането на социално и екологично благоприятни резултати, например в областта на здравеопазването, селското стопанство, безопасността на храните, образованието и обучението, медиите, спорта, културата, управлението на инфраструктурата, енергетиката, транспорта и логистиката, публичните услуги, сигурността, правосъдието, ресурсната и енергийната ефективност, мониторинга на околната среда, опазването и възстановяването на биоразнообразието и екосистемите, както и смекчаването на последиците от изменението на климата и адаптирането към него.
(5)
At the same time, depending on the circumstances regarding its specific application, use, and level of technological development, AI may generate risks and cause harm to public interests and fundamental rights that are protected by Union law. Such harm might be material or immaterial, including physical, psychological, societal or economic harm.
(5)
Същевременно, в зависимост от обстоятелствата по отношение на конкретното му приложение, използване и равнище на технологично развитие, ИИ може да доведе до рискове и да накърни обществените интереси и основните права, защитени от правото на Съюза. Тези вреди могат да бъдат имуществени или неимуществени, включително физически, психически, обществени или икономически.
(6)
Given the major impact that AI can have on society and the need to build trust, it is vital for AI and its regulatory framework to be developed in accordance with Union values as enshrined in Article 2 of the Treaty on European Union (TEU), the fundamental rights and freedoms enshrined in the Treaties and, pursuant to Article 6 TEU, the Charter. As a prerequisite, AI should be a human-centric technology. It should serve as a tool for people, with the ultimate aim of increasing human well-being.
(6)
Предвид значителното въздействие, което ИИ може да окаже върху обществото, и необходимостта от изграждане на доверие, е от жизненоважно значение ИИ и неговата регулаторна рамка да бъдат разработени в съответствие с ценностите на Съюза, залегнали в член 2 от Договора за Европейския съюз (ДЕС), и основните права и свободи, залегнали в Договорите и, съгласно член 6 ДЕС, в Хартата. Като предварително условие ИИ следва да бъде технология, ориентирана към човека. Той следва да служи като инструмент за хората, като крайната цел е да се повиши тяхното благосъстояние.
(7)
In order to ensure a consistent and high level of protection of public interests as regards health, safety and fundamental rights, common rules for high-risk AI systems should be established. Those rules should be consistent with the Charter, non-discriminatory and in line with the Union’s international trade commitments. They should also take into account the European Declaration on Digital Rights and Principles for the Digital Decade and the Ethics guidelines for trustworthy AI of the High-Level Expert Group on Artificial Intelligence (AI HLEG).
(7)
За да се гарантира последователно и високо равнище на защита на обществените интереси по отношение на здравето, безопасността и основните права, следва да бъдат установени общи правила за високорисковите системи с ИИ. Тези правила следва да бъдат в съответствие с Хартата, да бъдат недискриминационни и да са в съответствие с международните търговски ангажименти на Съюза. Освен това те следва да са съобразени с Европейската декларация относно цифровите права и принципи за цифровото десетилетие и Насоките относно етичните аспекти за надежден ИИ на експертната група на високо равнище по въпросите на изкуствения интелект (ЕГВР ИИ).
(8)
A Union legal framework laying down harmonised rules on AI is therefore needed to foster the development, use and uptake of AI in the internal market that at the same time meets a high level of protection of public interests, such as health and safety and the protection of fundamental rights, including democracy, the rule of law and environmental protection as recognised and protected by Union law. To achieve that objective, rules regulating the placing on the market, the putting into service and the use of certain AI systems should be laid down, thus ensuring the smooth functioning of the internal market and allowing those systems to benefit from the principle of free movement of goods and services. Those rules should be clear and robust in protecting fundamental rights, supportive of new innovative solutions, enabling a European ecosystem of public and private actors creating AI systems in line with Union values and unlocking the potential of the digital transformation across all regions of the Union. By laying down those rules as well as measures in support of innovation with a particular focus on small and medium enterprises (SMEs), including startups, this Regulation supports the objective of promoting the European human-centric approach to AI and being a global leader in the development of secure, trustworthy and ethical AI as stated by the European Council (5), and it ensures the protection of ethical principles, as specifically requested by the European Parliament (6).
(8)
Поради това е необходима правна рамка на Съюза, с която да се установят хармонизирани правила относно ИИ, за да се насърчи разработването, използването и навлизането на ИИ на вътрешния пазар, и която същевременно да осигурява високо равнище на защита на обществените интереси, например здравето и безопасността, и защитата на основните права, включително демокрацията, принципите на правовата държава и опазването на околната среда, признати и защитени от правото на Съюза. За постигането на тази цел следва да бъдат установени правила, уреждащи пускането на пазара, пускането в действие и използването на някои системи с ИИ, и по този начин да се гарантира безпрепятственото функциониране на вътрешния пазар и да се даде възможност на тези системи да се ползват от принципа на свободно движение на стоки и услуги. Тези правила следва да бъдат ясни и надеждни по отношение на защитата на основните права, да благоприятстват нови иновативни решения и да дават възможност за изграждане на европейска екосистема от публични и частни участници, които да създават системи с ИИ в съответствие с ценностите на Съюза и да отключват потенциала на цифровата трансформация във всички региони на Съюза. С установяването на такива правила, както и на мерки в подкрепа на иновациите с отделяне на специално внимание на малките и средните предприятия (МСП), включително новосъздадените предприятия, настоящият регламент подкрепя целта за насърчаване на европейския подход към ИИ, ориентиран към човека, и целта на Съюза да бъде световен лидер в разработването на сигурен, надежден и етичен ИИ, както бе посочено от Европейския съвет (5), и гарантира защитата на етичните принципи, както изрично бе поискано от Европейския парламент (6).
(9)
Harmonised rules applicable to the placing on the market, the putting into service and the use of high-risk AI systems should be laid down consistently with Regulation (EC) No 765/2008 of the European Parliament and of the Council (7), Decision No 768/2008/EC of the European Parliament and of the Council (8) and Regulation (EU) 2019/1020 of the European Parliament and of the Council (9) (New Legislative Framework). The harmonised rules laid down in this Regulation should apply across sectors and, in line with the New Legislative Framework, should be without prejudice to existing Union law, in particular on data protection, consumer protection, fundamental rights, employment, and protection of workers, and product safety, to which this Regulation is complementary. As a consequence, all rights and remedies provided for by such Union law to consumers, and other persons on whom AI systems may have a negative impact, including as regards the compensation of possible damages pursuant to Council Directive 85/374/EEC (10) remain unaffected and fully applicable. Furthermore, in the context of employment and protection of workers, this Regulation should therefore not affect Union law on social policy and national labour law, in compliance with Union law, concerning employment and working conditions, including health and safety at work and the relationship between employers and workers. This Regulation should also not affect the exercise of fundamental rights as recognised in the Member States and at Union level, including the right or freedom to strike or to take other action covered by the specific industrial relations systems in Member States as well as the right to negotiate, to conclude and enforce collective agreements or to take collective action in accordance with national law. This Regulation should not affect the provisions aiming to improve working conditions in platform work laid down in a Directive of the European Parliament and of the Council on improving working conditions in platform work. Moreover, this Regulation aims to strengthen the effectiveness of such existing rights and remedies by establishing specific requirements and obligations, including in respect of the transparency, technical documentation and record-keeping of AI systems. Furthermore, the obligations placed on various operators involved in the AI value chain under this Regulation should apply without prejudice to national law, in compliance with Union law, having the effect of limiting the use of certain AI systems where such law falls outside the scope of this Regulation or pursues legitimate public interest objectives other than those pursued by this Regulation. For example, national labour law and law on the protection of minors, namely persons below the age of 18, taking into account the UNCRC General Comment No 25 (2021) on children’s rights in relation to the digital environment, insofar as they are not specific to AI systems and pursue other legitimate public interest objectives, should not be affected by this Regulation.
(9)
Следва да бъдат установени хармонизирани правила, приложими за пускането на пазара, пускането в действие и използването на високорискови системи с ИИ, в съответствие с Регламент (ЕО) № 765/2008 на Европейския парламент и на Съвета (7), Решение № 768/2008/ЕО на Европейския парламент и на Съвета (8) и Регламент (ЕС) 2019/1020 на Европейския парламент и на Съвета (9) (наричани по-долу „новата законодателна рамка“). Хармонизираните правила, установени в настоящия регламент, следва да се прилагат във всички сектори и, в съответствие с новата законодателна рамка, следва да не засягат действащото право на Съюза, по-специално в областта на защитата на данните, защитата на потребителите, основните права, заетостта, защитата на работниците и безопасността на продуктите, което настоящият регламент допълва. В резултат на това всички права и правни средства за защита, предвидени в това право на Съюза в интерес на потребителите и други лица, върху които системите с ИИ могат да окажат отрицателно въздействие, включително по отношение на обезщетението за евентуални вреди съгласно Директива 85/374/ЕИО на Съвета (10), остават незасегнати и напълно приложими. Наред с това, в контекста на заетостта и защитата на работниците, настоящият регламент не следва да засяга правото на Съюза в областта на социалната политика и националното трудово право, което е в съответствие с правото на Съюза, относно условията на заетост и труд, включително здравословните и безопасни условия на труд и отношенията между работодателите и работниците. Настоящият регламент не следва да засяга и упражняването на основни права, признати в държавите членки и на равнището на Съюза, включително правото или свободата на стачка или на други действия, обхванати от специалните системи на колективни трудови правоотношения в държавите членки, както и правото да се преговаря, да се сключват и прилагат колективни трудови договори или да се предприемат колективни действия в съответствие с националното право. Настоящият регламент не следва да засяга разпоредбите, насочени към подобряване на условията на труд при работа през платформа, предвидени в директива на Европейския парламент и на Съвета относно подобряването на условията на труд при работата през платформа. Освен това настоящият регламент има за цел да повиши ефективността на тези съществуващи права и правни средства за защита чрез установяване на конкретни изисквания и задължения, включително по отношение на прозрачността, техническата документация и поддържането на регистри по отношение на системите с ИИ. Наред с това задълженията, наложени на различните оператори, участващи във веригата за създаване на стойност в областта на ИИ съгласно настоящия регламент, следва да се прилагат, без да се засяга националното право, съвместимо с правото на Съюза и което води до ограничаване на използването на определени системи с ИИ, когато това право е извън приложното поле на настоящия регламент или преследва законни цели от обществен интерес, различни от преследваните с настоящия регламент. Например националното трудово право и правото за закрила на ненавършилите пълнолетие лица, а именно лицата на възраст под 18 години, като се вземе предвид Общ коментар № 25 (2021) на Комитета по правата на детето на Организацията на обединените нации относно правата на децата във връзка с цифровата среда, доколкото те не са конкретно насочени към системите с ИИ и преследват други законни цели от обществен интерес, не следва да бъдат засегнати от настоящия регламент.
(10)
The fundamental right to the protection of personal data is safeguarded in particular by Regulations (EU) 2016/679 (11) and (EU) 2018/1725 (12) of the European Parliament and of the Council and Directive (EU) 2016/680 of the European Parliament and of the Council (13). Directive 2002/58/EC of the European Parliament and of the Council (14) additionally protects private life and the confidentiality of communications, including by way of providing conditions for any storing of personal and non-personal data in, and access from, terminal equipment. Those Union legal acts provide the basis for sustainable and responsible data processing, including where data sets include a mix of personal and non-personal data. This Regulation does not seek to affect the application of existing Union law governing the processing of personal data, including the tasks and powers of the independent supervisory authorities competent to monitor compliance with those instruments. It also does not affect the obligations of providers and deployers of AI systems in their role as data controllers or processors stemming from Union or national law on the protection of personal data in so far as the design, the development or the use of AI systems involves the processing of personal data. It is also appropriate to clarify that data subjects continue to enjoy all the rights and guarantees awarded to them by such Union law, including the rights related to solely automated individual decision-making, including profiling. Harmonised rules for the placing on the market, the putting into service and the use of AI systems established under this Regulation should facilitate the effective implementation and enable the exercise of the data subjects’ rights and other remedies guaranteed under Union law on the protection of personal data and of other fundamental rights.
(10)
Основното право на защита на личните данни е гарантирано по-специално с регламенти (ЕС) 2016/679 (11) и (ЕС) 2018/1725 (12) на Европейския парламент и на Съвета и с Директива (ЕС) 2016/680 на Европейския парламент и на Съвета (13). Директива 2002/58/ЕО на Европейския парламент и на Съвета (14) допълнително защитава личния живот и поверителността на съобщенията, включително чрез установяване на условията за съхраняване на лични и нелични данни в крайно оборудване и достъп до такива данни от крайно оборудване. Посочените правни актове на Съюза осигуряват основата за устойчиво и отговорно обработване на данни, включително когато наборите от данни включват комбинация от лични и нелични данни. Настоящият регламент няма за цел да засегне прилагането на съществуващото право на Съюза, уреждащо обработването на лични данни, включително задачите и правомощията на независимите надзорни органи, компетентни да наблюдават спазването на тези инструменти. Освен това той не засяга задълженията на доставчиците и внедрителите на системи с ИИ в ролята им на администратори или обработващи лични данни, които произтичат от правото на Съюза или националното право относно защитата на личните данни, доколкото проектирането, разработването или използването на системи с ИИ включва обработването на лични данни. Целесъобразно е също така да се поясни, че субектите на данни продължават да се ползват с всички права и гаранции, предоставени им с посоченото право на Съюза, включително правата, свързани с изцяло автоматизираното вземане на индивидуални решения, включително профилирането. Хармонизираните правила относно пускането на пазара, пускането в действие и използването на системи с ИИ, установени съгласно настоящия регламент, следва да улеснят ефективното прилагане и да позволят упражняването на правата на субектите на данни и другите правни средства за защита, гарантирани с правото на Съюза в областта на защитата на личните данни, и на други основни права.
(11)
This Regulation should be without prejudice to the provisions regarding the liability of providers of intermediary services as set out in Regulation (EU) 2022/2065 of the European Parliament and of the Council (15).
(11)
Настоящият регламент следва да не засяга разпоредбите относно отговорността на доставчиците на посреднически услуги, установени в Регламент (ЕС) 2022/2065 на Европейския парламент и на Съвета (15).
(12)
The notion of ‘AI system’ in this Regulation should be clearly defined and should be closely aligned with the work of international organisations working on AI to ensure legal certainty, facilitate international convergence and wide acceptance, while providing the flexibility to accommodate the rapid technological developments in this field. Moreover, the definition should be based on key characteristics of AI systems that distinguish it from simpler traditional software systems or programming approaches and should not cover systems that are based on the rules defined solely by natural persons to automatically execute operations. A key characteristic of AI systems is their capability to infer. This capability to infer refers to the process of obtaining the outputs, such as predictions, content, recommendations, or decisions, which can influence physical and virtual environments, and to a capability of AI systems to derive models or algorithms, or both, from inputs or data. The techniques that enable inference while building an AI system include machine learning approaches that learn from data how to achieve certain objectives, and logic- and knowledge-based approaches that infer from encoded knowledge or symbolic representation of the task to be solved. The capacity of an AI system to infer transcends basic data processing by enabling learning, reasoning or modelling. The term ‘machine-based’ refers to the fact that AI systems run on machines. The reference to explicit or implicit objectives underscores that AI systems can operate according to explicit defined objectives or to implicit objectives. The objectives of the AI system may be different from the intended purpose of the AI system in a specific context. For the purposes of this Regulation, environments should be understood to be the contexts in which the AI systems operate, whereas outputs generated by the AI system reflect different functions performed by AI systems and include predictions, content, recommendations or decisions. AI systems are designed to operate with varying levels of autonomy, meaning that they have some degree of independence of actions from human involvement and of capabilities to operate without human intervention. The adaptiveness that an AI system could exhibit after deployment, refers to self-learning capabilities, allowing the system to change while in use. AI systems can be used on a stand-alone basis or as a component of a product, irrespective of whether the system is physically integrated into the product (embedded) or serves the functionality of the product without being integrated therein (non-embedded).
(12)
Понятието „система с ИИ“ в настоящия регламент следва да бъде ясно определено и тясно съгласувано с резултатите от работата на международни организации в областта на ИИ, за да се гарантира правна сигурност и да се улесни сближаването и широкото приемане в международен план, като същевременно се осигури гъвкавост с цел да се реагира на бързото технологично развитие в тази област. Освен това определението следва да се основава на ключови характеристики на системите с ИИ, които ги отличават от по-прости традиционни софтуерни системи или подходи за програмиране, и не следва да обхваща системи, които се основават на правилата, определени единствено от физически лица за автоматично изпълнение на операциите. Ключова характеристика на системите с ИИ е тяхната способност да правят изводи. Тази способност да се правят изводи се отнася до процеса на получаване на резултати, например прогнози, съдържание, препоръки или решения, които могат да повлияят на физическата и виртуалната среда, както и до способността на системите с ИИ да извличат модели или алгоритми, или и двете, от входяща информация или данни. Техниките, даващи възможност да се правят изводи при изграждането на системи с ИИ, включват подходи за машинно обучение, при които те се учат от данните как да постигнат определени цели, както и основани на логика и знания подходи, при които достигат до изводи от кодирани знания или символично представяне на задачата, която трябва да бъде решена. Способността на дадена система с ИИ да прави изводи надхвърля основната обработка на данни, като дава възможност за обучение, разсъждение или моделиране. Понятието „машинно базиран“ се отнася до факта, че системите с ИИ работят с помощта на машини. С позоваването на явни или подразбиращи цели се подчертава, че системите с ИИ могат да работят в съответствие с ясно определени или с подразбиращи се цели. Целите на дадена система с ИИ може да се различават от предназначението на системата с ИИ в специфичен контекст. За целите на настоящия регламент под „среда“ следва да се разбира контекстът, в който функционират системите с ИИ, а резултатите, генерирани от системата с ИИ, отразяват различни функции, изпълнявани от системите с ИИ, и включват прогнози, съдържание, препоръки или решения. Системите с ИИ са проектирани да функционират с различна степен на автономност, което означава, че те разполагат с известна степен на независимост на действията от участието на човека и на способност за работа без човешка намеса. Адаптивността, която дадена система с ИИ би могла да прояви след внедряването ѝ, се отнася до способностите за самообучение, които позволяват на системата да се променя по време на нейното използване. Системите с ИИ могат да се използват самостоятелно или като компонент на продукт, независимо дали системата е физически интегрирана в продукта (вградена), или обслужва функционалността на продукта, без да бъде интегрирана в него (невградена).
(13)
The notion of ‘deployer’ referred to in this Regulation should be interpreted as any natural or legal person, including a public authority, agency or other body, using an AI system under its authority, except where the AI system is used in the course of a personal non-professional activity. Depending on the type of AI system, the use of the system may affect persons other than the deployer.
(13)
Понятието „внедрител“, посочено в настоящия регламент, следва да се тълкува като всяко физическо или юридическо лице, включително публичен орган, агенция или друга структура, които използват система с ИИ, върху която упражняват контрол, с изключение на случаите, когато системата с ИИ се използва в процеса на лична непрофесионална дейност. В зависимост от вида на системата с ИИ използването на системата може да засегне лица, различни от внедрителя.
(14)
The notion of ‘biometric data’ used in this Regulation should be interpreted in light of the notion of biometric data as defined in Article 4, point (14) of Regulation (EU) 2016/679, Article 3, point (18) of Regulation (EU) 2018/1725 and Article 3, point (13) of Directive (EU) 2016/680. Biometric data can allow for the authentication, identification or categorisation of natural persons and for the recognition of emotions of natural persons.
(14)
Понятието „биометрични данни“, посочено в настоящия регламент, следва да се тълкува с оглед на понятието за биометрични данни съгласно определението в член 4, точка 14 от Регламент (ЕС) 2016/679, член 3, точка 18 от Регламент (ЕС) 2018/1725 и член 3, точка 13 от Директива (ЕС) 2016/680. Биометричните данни могат да позволят удостоверяване на самоличността, идентифициране или категоризиране на физически лица, както и разпознаване на емоции на физически лица.
(15)
The notion of ‘biometric identification’ referred to in this Regulation should be defined as the automated recognition of physical, physiological and behavioural human features such as the face, eye movement, body shape, voice, prosody, gait, posture, heart rate, blood pressure, odour, keystrokes characteristics, for the purpose of establishing an individual’s identity by comparing biometric data of that individual to stored biometric data of individuals in a reference database, irrespective of whether the individual has given its consent or not. This excludes AI systems intended to be used for biometric verification, which includes authentication, whose sole purpose is to confirm that a specific natural person is the person he or she claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having security access to premises.
(15)
Понятието „биометрична идентификация“, посочено в настоящия регламент, следва да се определи като автоматизираното разпознаване на физически, физиологични и поведенчески характеристики на човека, например лице, движение на очите, форма на тялото, глас, ритъм и интонация на говора, походка, стойка, сърдечен ритъм, кръвно налягане, мирис и особености на натиска на клавиши, с цел установяване на самоличността на дадено лице чрез сравняване на биометрични данни на това лице със съхранени биометрични данни на лица в референтна база данни, независимо дали лицето е дало своето съгласие. Това изключва системите с ИИ, предназначени да бъдат използвани за биометрична проверка, която включва удостоверяване на самоличността, чиято единствена цел е да се потвърди, че конкретно физическо лице е лицето, за което се представя, и да се потвърди самоличността на физическо лице единствено за да се получи достъп до услуга, да се отключи устройство или да се придобие сигурен достъп до помещения.
(16)
The notion of ‘biometric categorisation’ referred to in this Regulation should be defined as assigning natural persons to specific categories on the basis of their biometric data. Such specific categories can relate to aspects such as sex, age, hair colour, eye colour, tattoos, behavioural or personality traits, language, religion, membership of a national minority, sexual or political orientation. This does not include biometric categorisation systems that are a purely ancillary feature intrinsically linked to another commercial service, meaning that the feature cannot, for objective technical reasons, be used without the principal service, and the integration of that feature or functionality is not a means to circumvent the applicability of the rules of this Regulation. For example, filters categorising facial or body features used on online marketplaces could constitute such an ancillary feature as they can be used only in relation to the principal service which consists in selling a product by allowing the consumer to preview the display of the product on him or herself and help the consumer to make a purchase decision. Filters used on online social network services which categorise facial or body features to allow users to add or modify pictures or videos could also be considered to be ancillary feature as such filter cannot be used without the principal service of the social network services consisting in the sharing of content online.
(16)
Понятието „биометрично категоризиране“, посочено в настоящия регламент, следва да се определи като отнасяне на физически лица към конкретни категории въз основа на техните биометрични данни. Подобни конкретни категории могат да са свързани с аспекти като пол, възраст, цвят на косата, цвят на очите, татуировки, поведенчески или личностни черти, език, религия, принадлежност към национално малцинство, сексуална или политическа ориентация. Това не включва системи за биометрично категоризиране, които представляват чисто спомагателна функция, неразривно свързана с друга търговска услуга, което означава, че тази функция не може по обективни технически причини да се използва без основната услуга и интегрирането на тази функция или функционалност не е средство за заобикаляне на приложимостта на правилата на настоящия регламент. Например филтрите за категоризиране на черти на лицето или тялото, използвани на онлайн места за търговия, биха могли да представляват такава спомагателна функция, тъй като могат да се използват само във връзка с основната услуга, която се състои в продажбата на продукт, като позволяват на потребителя да визуализира изображението на продукта върху себе си и му помагат да вземе решение при покупка. Филтрите, използвани в онлайн услугите на социалните мрежи, които категоризират черти на лицето или тялото, за да позволят на ползвателите да добавят или променят снимки или видеоклипове, също могат да се считат за спомагателна функция, тъй като такъв филтър не може да се използва без основната услуга при услугите на социалните мрежи, състояща се в споделяне на съдържание онлайн.
(17)
The notion of ‘remote biometric identification system’ referred to in this Regulation should be defined functionally, as an AI system intended for the identification of natural persons without their active involvement, typically at a distance, through the comparison of a person’s biometric data with the biometric data contained in a reference database, irrespectively of the particular technology, processes or types of biometric data used. Such remote biometric identification systems are typically used to perceive multiple persons or their behaviour simultaneously in order to facilitate significantly the identification of natural persons without their active involvement. This excludes AI systems intended to be used for biometric verification, which includes authentication, the sole purpose of which is to confirm that a specific natural person is the person he or she claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having security access to premises. That exclusion is justified by the fact that such systems are likely to have a minor impact on fundamental rights of natural persons compared to the remote biometric identification systems which may be used for the processing of the biometric data of a large number of persons without their active involvement. In the case of ‘real-time’ systems, the capturing of the biometric data, the comparison and the identification occur all instantaneously, near-instantaneously or in any event without a significant delay. In this regard, there should be no scope for circumventing the rules of this Regulation on the ‘real-time’ use of the AI systems concerned by providing for minor delays. ‘Real-time’ systems involve the use of ‘live’ or ‘near-live’ material, such as video footage, generated by a camera or other device with similar functionality. In the case of ‘post’ systems, in contrast, the biometric data has already been captured and the comparison and identification occur only after a significant delay. This involves material, such as pictures or video footage generated by closed circuit television cameras or private devices, which has been generated before the use of the system in respect of the natural persons concerned.
(17)
Понятието „система за дистанционна биометрична идентификация“, посочено в настоящия регламент, следва да се определи функционално като система с ИИ, предназначена за идентифициране на физически лица без тяхното активно участие, обикновено от разстояние, чрез сравняване на биометричните данни на дадено лице с биометричните данни, съдържащи се в референтна база данни, независимо от конкретните използвани технологии, процеси или видове биометрични данни. Такива системи за дистанционна биометрична идентификация обикновено се използват за едновременно наблюдение на множество лица или тяхното поведение с цел да се улесни значително идентифицирането на физически лица без тяхното активно участие. Това изключва системите с ИИ, предназначени да бъдат използвани за биометрична проверка, която включва удостоверяване на самоличността, чиято единствена цел е да се потвърди, че конкретно физическо лице е лицето, за което се представя, и да се потвърди самоличността на физическо лице единствено за да се получи достъп до услуга, да се отключи устройство или да се придобие сигурен достъп до помещения. Това изключване е обосновано от факта, че е вероятно такива системи да оказват незначително въздействие върху основните права на физическите лица в сравнение със системите за дистанционна биометрична идентификация, които могат да се използват за обработването на биометрични данни на голям брой лица без тяхното активно участие. При системите, работещи в реално време, снемането на биометрични данни, сравнението и идентификацията се осъществяват мигновено, почти мигновено или при всички случаи без значително забавяне. В това отношение не следва да има възможност за заобикаляне на правилата на настоящия регламент относно използването в реално време на съответните системи с ИИ и за целта в него следва да се уредят незначителните забавяния. Системите, работещи в реално време, предполагат използването на материал „на живо“ или „почти на живо“, като видеозапис от камера или друго устройство с подобна функция. За разлика от тях при функциониращите впоследствие системи биометричните данни вече са снети и сравняването и идентифицирането се извършват едва след значително забавяне. Това предполага материал, като снимки или видеозаписи от камери от вътрешна система за видеонаблюдение или от частни устройства, които са направени преди използването на системата по отношение на съответните физически лица.
(18)
The notion of ‘emotion recognition system’ referred to in this Regulation should be defined as an AI system for the purpose of identifying or inferring emotions or intentions of natural persons on the basis of their biometric data. The notion refers to emotions or intentions such as happiness, sadness, anger, surprise, disgust, embarrassment, excitement, shame, contempt, satisfaction and amusement. It does not include physical states, such as pain or fatigue, including, for example, systems used in detecting the state of fatigue of professional pilots or drivers for the purpose of preventing accidents. This does also not include the mere detection of readily apparent expressions, gestures or movements, unless they are used for identifying or inferring emotions. Those expressions can be basic facial expressions, such as a frown or a smile, or gestures such as the movement of hands, arms or head, or characteristics of a person’s voice, such as a raised voice or whispering.
(18)
Понятието „система за разпознаване на емоции“, посочено в настоящия регламент, следва да се определи като система с ИИ, чието предназначение е да определи или да прави изводи за емоциите или намеренията на физически лица въз основа на техните биометрични данни. Това понятие се отнася до емоции или намерения като щастие, тъга, гняв, изненада, отвращение, смущение, вълнение, срам, презрение, удовлетворение и забавление. Не се включват физически състояния като болка или умора, като например системи, използвани за установяване на състояние на умора при професионални пилоти или водачи с цел предотвратяване на произшествия. Освен това то не включва откриването на лесно забележими изражения, жестове или движения, освен ако те не се използват, за да се определят или да се правят изводи за емоциите. Тези изражения могат да бъдат основни изражения на лицето, като например намръщване или усмивка, или жестове като движение на ръцете или главата, или характеристики на човешкия глас, например висок глас или шепот.
(19)
For the purposes of this Regulation the notion of ‘publicly accessible space’ should be understood as referring to any physical space that is accessible to an undetermined number of natural persons, and irrespective of whether the space in question is privately or publicly owned, irrespective of the activity for which the space may be used, such as for commerce, for example, shops, restaurants, cafés; for services, for example, banks, professional activities, hospitality; for sport, for example, swimming pools, gyms, stadiums; for transport, for example, bus, metro and railway stations, airports, means of transport; for entertainment, for example, cinemas, theatres, museums, concert and conference halls; or for leisure or otherwise, for example, public roads and squares, parks, forests, playgrounds. A space should also be classified as being publicly accessible if, regardless of potential capacity or security restrictions, access is subject to certain predetermined conditions which can be fulfilled by an undetermined number of persons, such as the purchase of a ticket or title of transport, prior registration or having a certain age. In contrast, a space should not be considered to be publicly accessible if access is limited to specific and defined natural persons through either Union or national law directly related to public safety or security or through the clear manifestation of will by the person having the relevant authority over the space. The factual possibility of access alone, such as an unlocked door or an open gate in a fence, does not imply that the space is publicly accessible in the presence of indications or circumstances suggesting the contrary, such as. signs prohibiting or restricting access. Company and factory premises, as well as offices and workplaces that are intended to be accessed only by relevant employees and service providers, are spaces that are not publicly accessible. Publicly accessible spaces should not include prisons or border control. Some other spaces may comprise both publicly accessible and non-publicly accessible spaces, such as the hallway of a private residential building necessary to access a doctor’s office or an airport. Online spaces are not covered, as they are not physical spaces. Whether a given space is accessible to the public should however be determined on a case-by-case basis, having regard to the specificities of the individual situation at hand.
(19)
За целите на настоящия регламент понятието „обществено достъпно място“ следва да се разбира като означаващо всяко физическо място, което е достъпно за неопределен брой физически лица, независимо дали това място е частна или публична собственост и без значение от дейността, за която мястото може да се използва, като за търговия, например магазини, ресторанти, кафенета, за услуги, например банки, професионални дейности, хотелиерство и ресторантьорство, за спорт, например плувни басейни, спортни зали, стадиони, за транспорт, например автобусни, метро и железопътни гари, летища, транспортни средства, за развлечение, например кина, театри, музеи, концертни и конферентни зали, за отдих или други дейности, например отворени за обществено ползване пътища, площади, паркове, гори, детски площадки. Дадено място следва също така да се класифицира като обществено достъпно ако, независимо от потенциалния капацитет или ограниченията във връзка със сигурността, достъпът до него зависи от някои предварително определени условия, които могат да бъдат изпълнени от неопределен брой лица, като например закупуване на билет или друг превозен документ, предварителна регистрация или навършване на определена възраст. Дадено място не следва обаче да се счита за обществено достъпно, ако достъпът до него е ограничен до конкретни и определени физически лица чрез правото на Съюза или националното право, пряко свързано с обществената безопасност или сигурност, или чрез ясното волеизявление от страна на лицето, което е носител на съответните права по отношение на мястото. Единствено фактическата възможност за достъп, например незаключена врата или отворена порта в ограда, не означава, че мястото е обществено достъпно, при наличие на признаци или обстоятелства, които предполагат обратното, например знаци, забраняващи или ограничаващи достъпа. Помещенията на дадено дружество и фабрика, както и офисите и работните места, до които се предвижда достъп само за съответните служители и доставчици на услуги, не са обществено достъпни места. Обществено достъпните места не следва да включват затворите или зоните за граничен контрол. Други зони могат да се състоят както от зони, които са обществено достъпни, така и от зони, които не са обществено достъпни, като например коридорите в частни жилищни сгради, необходими за достъп до лекарски кабинет, или летищата. Онлайн пространствата не се включват, тъй като те не са физически места. Дали дадено място е достъпно за обществеността обаче следва да се определя отделно във всеки един случай, като се отчитат особеностите на отделния случай.
(20)
In order to obtain the greatest benefits from AI systems while protecting fundamental rights, health and safety and to enable democratic control, AI literacy should equip providers, deployers and affected persons with the necessary notions to make informed decisions regarding AI systems. Those notions may vary with regard to the relevant context and can include understanding the correct application of technical elements during the AI system’s development phase, the measures to be applied during its use, the suitable ways in which to interpret the AI system’s output, and, in the case of affected persons, the knowledge necessary to understand how decisions taken with the assistance of AI will have an impact on them. In the context of the application this Regulation, AI literacy should provide all relevant actors in the AI value chain with the insights required to ensure the appropriate compliance and its correct enforcement. Furthermore, the wide implementation of AI literacy measures and the introduction of appropriate follow-up actions could contribute to improving working conditions and ultimately sustain the consolidation, and innovation path of trustworthy AI in the Union. The European Artificial Intelligence Board (the ‘Board’) should support the Commission, to promote AI literacy tools, public awareness and understanding of the benefits, risks, safeguards, rights and obligations in relation to the use of AI systems. In cooperation with the relevant stakeholders, the Commission and the Member States should facilitate the drawing up of voluntary codes of conduct to advance AI literacy among persons dealing with the development, operation and use of AI.
(20)
За да се извлекат максимални ползи от системите с ИИ, като същевременно се защитават основните права, здравето и безопасността, и за да се даде възможност за демократичен контрол, грамотността в областта на ИИ следва да осигури на доставчиците, внедрителите и засегнатите лица необходимите понятия за вземане на информирани решения относно системите с ИИ. Тези понятия могат да се различават по отношение на съответния контекст и могат да включват разбиране на правилното прилагане на техническите елементи по време на етапа на разработване на системата с ИИ, мерките, които трябва да се прилагат по време на използването ѝ, подходящите начини за тълкуване на резултатите от системата с ИИ и, по отношение на засегнатите лица, знанията, необходими за разбиране на начина, по който решенията, взети с помощта на ИИ, ще окажат въздействие върху тях. В контекста на прилагането на настоящия регламент грамотността в областта на ИИ следва да осигури на всички съответни участници във веригата за създаване на стойност в областта на ИИ необходимата информация, за да се гарантира подходящото спазване и правилното му прилагане. Освен това широкото прилагане на мерки за повишаване на грамотността в областта на ИИ и въвеждането на подходящи последващи действия биха могли да допринесат за подобряване на условията на труд и в крайна сметка да поддържат процеса на утвърждаване и иновации на надеждния ИИ в Съюза. Европейският съвет по изкуствен интелект (наричан по-долу „Съветът по ИИ“) следва да подпомага Комисията с цел насърчаване на инструментите за грамотност в областта на ИИ, обществената осведоменост и разбирането на ползите, рисковете, гаранциите, правата и задълженията във връзка с използването на системи с ИИ. В сътрудничество със съответните заинтересовани страни Комисията и държавите членки следва да улеснят изготвянето на незадължителни кодекси за поведение с цел повишаване на грамотността в областта на ИИ сред лицата, занимаващи се с разработването, експлоатацията и използването на ИИ.
(21)
In order to ensure a level playing field and an effective protection of rights and freedoms of individuals across the Union, the rules established by this Regulation should apply to providers of AI systems in a non-discriminatory manner, irrespective of whether they are established within the Union or in a third country, and to deployers of AI systems established within the Union.
(21)
За да се гарантират равнопоставеност и ефективна защита на правата и свободите на физическите лица в целия Съюз, правилата, установени с настоящия регламент, следва да се прилагат недискриминационно за доставчиците на системи с ИИ, независимо дали са установени в Съюза, или в трета държава, както и за внедрителите на системи с ИИ, установени в Съюза.
(22)
In light of their digital nature, certain AI systems should fall within the scope of this Regulation even when they are not placed on the market, put into service, or used in the Union. This is the case, for example, where an operator established in the Union contracts certain services to an operator established in a third country in relation to an activity to be performed by an AI system that would qualify as high-risk. In those circumstances, the AI system used in a third country by the operator could process data lawfully collected in and transferred from the Union, and provide to the contracting operator in the Union the output of that AI system resulting from that processing, without that AI system being placed on the market, put into service or used in the Union. To prevent the circumvention of this Regulation and to ensure an effective protection of natural persons located in the Union, this Regulation should also apply to providers and deployers of AI systems that are established in a third country, to the extent the output produced by those systems is intended to be used in the Union. Nonetheless, to take into account existing arrangements and special needs for future cooperation with foreign partners with whom information and evidence is exchanged, this Regulation should not apply to public authorities of a third country and international organisations when acting in the framework of cooperation or international agreements concluded at Union or national level for law enforcement and judicial cooperation with the Union or the Member States, provided that the relevant third country or international organisation provides adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals. Where relevant, this may cover activities of entities entrusted by the third countries to carry out specific tasks in support of such law enforcement and judicial cooperation. Such framework for cooperation or agreements have been established bilaterally between Member States and third countries or between the European Union, Europol and other Union agencies and third countries and international organisations. The authorities competent for supervision of the law enforcement and judicial authorities under this Regulation should assess whether those frameworks for cooperation or international agreements include adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals. Recipient national authorities and Union institutions, bodies, offices and agencies making use of such outputs in the Union remain accountable to ensure their use complies with Union law. When those international agreements are revised or new ones are concluded in the future, the contracting parties should make utmost efforts to align those agreements with the requirements of this Regulation.
(22)
Поради своето цифрово естество някои системи с ИИ следва да попадат в обхвата на настоящия регламент дори когато не се пускат на пазара, не се пускат в действие и не се използват в Съюза. Такъв е например случаят с оператор, установен в Съюза, който сключва договор за определени услуги с оператор, установен в трета държава, във връзка с дейност, която ще се извършва от система с ИИ, която би била определена като високорискова. При тези обстоятелства системата с ИИ, използвана в трета държава от оператора, би могла да обработва данни, които са законно събрани в Съюза и прехвърлени от Съюза, и да предоставя на сключилия договор оператор в Съюза резултата от системата с ИИ, получен въз основа на тази обработка, без системата с ИИ да е била пускана на пазара, пусната в действие или използвана в Съюза. За да не се допусне заобикаляне на настоящия регламент и да се гарантира ефективна защита на физическите лица, намиращи се в Съюза, настоящият регламент следва също така да се прилага за доставчиците и внедрителите на системи с ИИ, установени в трета държава, доколкото резултатът, получен от тези системи, е предназначен да се използва в Съюза. Независимо от това, за да се вземат предвид съществуващите договорености и особените нужди от бъдещо сътрудничество с чуждестранни партньори, с които се обменят информация и доказателства, настоящият регламент не следва да се прилага за публични органи на трета държава и за международни организации, когато те действат в рамките на споразумения за сътрудничество или международни споразумения, сключени на равнището на Съюза или на национално равнище за сътрудничество в областта на правоприлагането и за съдебно сътрудничество със Съюза или с неговите държави членки, при условие че съответната трета държава или международна организация осигурява подходящи гаранции по отношение на защитата на основните права и свободи на лицата. Когато е приложимо, това може да обхваща дейности на субекти, на които третите държави са възложили изпълнението на конкретни задачи в подкрепа на това сътрудничество в областта на правоприлагането и съдебно сътрудничество. Такива рамки за сътрудничество или споразумения са установени двустранно между държави членки и трети държави или между Европейския съюз, Европол и други агенции на Съюза, трети държави и международни организации. Органите, компетентни за надзора на правоохранителните органи и органите на съдебната власт съгласно настоящия регламент, следва да преценят дали тези рамки за сътрудничество или международни споразумения включват подходящи гаранции по отношение на защитата на основните права и свободи на лицата. Националните органи и институциите, органите, службите и агенциите на Съюза, които получават и използват такива резултати в Съюза, продължават да са задължени да гарантират, че използването им е в съответствие с правото на Съюза. Когато тези международни споразумения се преразглеждат или се сключват нови в бъдеще, договарящите страни следва да положат максимални усилия да приведат тези споразумения в съответствие с изискванията на настоящия регламент.
(23)
This Regulation should also apply to Union institutions, bodies, offices and agencies when acting as a provider or deployer of an AI system.
(23)
Настоящият регламент следва да се прилага и за институциите, органите, службите и агенциите на Съюза, когато те действат като доставчик или внедрител на система с ИИ.
(24)
If, and insofar as, AI systems are placed on the market, put into service, or used with or without modification of such systems for military, defence or national security purposes, those should be excluded from the scope of this Regulation regardless of which type of entity is carrying out those activities, such as whether it is a public or private entity. As regards military and defence purposes, such exclusion is justified both by Article 4(2) TEU and by the specificities of the Member States’ and the common Union defence policy covered by Chapter 2 of Title V TEU that are subject to public international law, which is therefore the more appropriate legal framework for the regulation of AI systems in the context of the use of lethal force and other AI systems in the context of military and defence activities. As regards national security purposes, the exclusion is justified both by the fact that national security remains the sole responsibility of Member States in accordance with Article 4(2) TEU and by the specific nature and operational needs of national security activities and specific national rules applicable to those activities. Nonetheless, if an AI system developed, placed on the market, put into service or used for military, defence or national security purposes is used outside those temporarily or permanently for other purposes, for example, civilian or humanitarian purposes, law enforcement or public security purposes, such a system would fall within the scope of this Regulation. In that case, the entity using the AI system for other than military, defence or national security purposes should ensure the compliance of the AI system with this Regulation, unless the system is already compliant with this Regulation. AI systems placed on the market or put into service for an excluded purpose, namely military, defence or national security, and one or more non-excluded purposes, such as civilian purposes or law enforcement, fall within the scope of this Regulation and providers of those systems should ensure compliance with this Regulation. In those cases, the fact that an AI system may fall within the scope of this Regulation should not affect the possibility of entities carrying out national security, defence and military activities, regardless of the type of entity carrying out those activities, to use AI systems for national security, military and defence purposes, the use of which is excluded from the scope of this Regulation. An AI system placed on the market for civilian or law enforcement purposes which is used with or without modification for military, defence or national security purposes should not fall within the scope of this Regulation, regardless of the type of entity carrying out those activities.
(24)
Ако и доколкото системите с ИИ се пускат на пазара, пускат в действие или използват, със или без изменение на тези системи, за военни цели и цели, свързани с отбраната или националната сигурност, те следва да бъдат изключени от обхвата на настоящия регламент, независимо от това какъв вид субект извършва тези дейности, например дали е публичен, или частен субект. По отношение на военните цели и целите, свързани с отбраната, това изключение е обосновано както от член 4, параграф 2 ДЕС, така и от специфичните особености на политиката за отбрана на държавите членки и общата политика за отбрана на Съюза, обхваната от дял V, глава 2 ДЕС, спрямо които се прилага международното публично право, което поради това е по-подходящата правна рамка за регулиране на системите с ИИ в контекста на употребата на смъртоносна сила и на други системи с ИИ в контекста на военните и отбранителните дейности. По отношение на целите на националната сигурност, изключението е обосновано както от факта, че националната сигурност продължава да бъде отговорност единствено на държавите членки в съответствие с член 4, параграф 2 ДЕС, така и от специфичното естество и оперативни нужди на дейностите в областта на националната сигурност и специалните национални правила, приложими за тези дейности. Въпреки това, ако система с ИИ, разработена, пусната на пазара, пусната в действие или използвана за военни цели и цели, свързани с отбраната или националната сигурност, се използва извън рамките на тези цели временно или се използва постоянно за други цели, например за граждански или хуманитарни цели и за правоохранителни цели или цели, свързани с обществената сигурност, тази система би попаднала в обхвата на настоящия регламент. В този случай субектът, използващ системата с ИИ за цели, различни от военни цели и цели, свързани с отбраната или националната сигурност, следва да гарантира съответствието на системата с ИИ с настоящия регламент, освен ако системата вече не е в съответствие с настоящия регламент. Системите с ИИ, пуснати на пазара или пуснати в действие за изключена цел, а именно военна цел и цел, свързана с отбраната или национална сигурност, и една или повече неизключени цели, например граждански цели или правоохранителни цели, попадат в обхвата на настоящия регламент и доставчиците на тези системи следва да гарантират спазването на настоящия регламент. В тези случаи фактът, че дадена система с ИИ може да попадне в обхвата на настоящия регламент, не следва да засяга възможността субектите, извършващи дейности в областта на националната сигурност и отбраната и военни дейности, независимо от вида на субекта, извършващ тези дейности, да използват за цели в областта на националната сигурност и отбраната и за военни цели системи с ИИ, чието използване е изключено от обхвата на настоящия регламент. Система с ИИ, пусната на пазара за граждански цели или за правоохранителни цели, която се използва, със или без изменение, за военни цели и за цели, свързани с отбраната или националната сигурност, не следва да попада в обхвата на настоящия регламент, независимо от вида на субекта, извършващ тези дейности.
(25)
This Regulation should support innovation, should respect freedom of science, and should not undermine research and development activity. It is therefore necessary to exclude from its scope AI systems and models specifically developed and put into service for the sole purpose of scientific research and development. Moreover, it is necessary to ensure that this Regulation does not otherwise affect scientific research and development activity on AI systems or models prior to being placed on the market or put into service. As regards product-oriented research, testing and development activity regarding AI systems or models, the provisions of this Regulation should also not apply prior to those systems and models being put into service or placed on the market. That exclusion is without prejudice to the obligation to comply with this Regulation where an AI system falling into the scope of this Regulation is placed on the market or put into service as a result of such research and development activity and to the application of provisions on AI regulatory sandboxes and testing in real world conditions. Furthermore, without prejudice to the exclusion of AI systems specifically developed and put into service for the sole purpose of scientific research and development, any other AI system that may be used for the conduct of any research and development activity should remain subject to the provisions of this Regulation. In any event, any research and development activity should be carried out in accordance with recognised ethical and professional standards for scientific research and should be conducted in accordance with applicable Union law.
(25)
Настоящият регламент следва да подкрепя иновациите, да зачита свободата на науката и не следва да е пречка за научноизследователската и развойната дейност. Поради това е необходимо от неговия обхват да бъдат изключени системите и моделите с ИИ, специално разработени и пуснати в действие единствено с цел научноизследователска и развойна дейност. Освен това е необходимо да се гарантира, че настоящият регламент не засяга по друг начин научноизследователската и развойната дейност в областта на системите или моделите с ИИ преди пускането им на пазара или пускането им в действие. По отношение на ориентираната към продуктите научноизследователска, изпитателна и развойна дейност във връзка със системи или модели с ИИ, разпоредбите на настоящия регламент също така не следва да се прилагат преди пускането в действие или пускането на пазара на тези системи и модели. Това изключение не засяга задължението за спазване на настоящия регламент, когато система с ИИ, попадаща в обхвата на настоящия регламент, е пусната на пазара или пусната в действие в резултат на такава научноизследователска и развойна дейност, както и прилагането на разпоредбите относно регулаторните лаборатории в областта на ИИ и изпитването в реални условия. Освен това, без да се засяга изключението по отношение на системите с ИИ, специално разработени и пуснати в действие единствено за целите на научноизследователската и развойната дейност, за всяка друга система с ИИ, която може да се използва за извършването на научноизследователска и развойна дейност, разпоредбите на настоящия регламент следва да продължат да се прилагат. Във всеки случай всяка научноизследователска и развойна дейност следва да се извършва в съответствие с признатите етични и професионални стандарти по отношение на научните изследвания и следва да се провежда в съответствие с приложимото право на Съюза.
(26)
In order to introduce a proportionate and effective set of binding rules for AI systems, a clearly defined risk-based approach should be followed. That approach should tailor the type and content of such rules to the intensity and scope of the risks that AI systems can generate. It is therefore necessary to prohibit certain unacceptable AI practices, to lay down requirements for high-risk AI systems and obligations for the relevant operators, and to lay down transparency obligations for certain AI systems.
(26)
За да се въведе пропорционален и ефективен набор от задължителни правила за системите с ИИ, следва да се прилага ясно определен подход, основан на риска. В рамките на този подход видът и съдържанието на правилата следва да се адаптират към интензитета и обхвата на рисковете, които системите с ИИ могат да породят. Поради това е необходимо да се забранят някои неприемливи практики в областта на ИИ, да се установят изисквания за високорисковите системи с ИИ и задължения за съответните оператори, както и да се установят задължения за прозрачност за някои системи с ИИ.
(27)
While the risk-based approach is the basis for a proportionate and effective set of binding rules, it is important to recall the 2019 Ethics guidelines for trustworthy AI developed by the independent AI HLEG appointed by the Commission. In those guidelines, the AI HLEG developed seven non-binding ethical principles for AI which are intended to help ensure that AI is trustworthy and ethically sound. The seven principles include human agency and oversight; technical robustness and safety; privacy and data governance; transparency; diversity, non-discrimination and fairness; societal and environmental well-being and accountability. Without prejudice to the legally binding requirements of this Regulation and any other applicable Union law, those guidelines contribute to the design of coherent, trustworthy and human-centric AI, in line with the Charter and with the values on which the Union is founded. According to the guidelines of the AI HLEG, human agency and oversight means that AI systems are developed and used as a tool that serves people, respects human dignity and personal autonomy, and that is functioning in a way that can be appropriately controlled and overseen by humans. Technical robustness and safety means that AI systems are developed and used in a way that allows robustness in the case of problems and resilience against attempts to alter the use or performance of the AI system so as to allow unlawful use by third parties, and minimise unintended harm. Privacy and data governance means that AI systems are developed and used in accordance with privacy and data protection rules, while processing data that meets high standards in terms of quality and integrity. Transparency means that AI systems are developed and used in a way that allows appropriate traceability and explainability, while making humans aware that they communicate or interact with an AI system, as well as duly informing deployers of the capabilities and limitations of that AI system and affected persons about their rights. Diversity, non-discrimination and fairness means that AI systems are developed and used in a way that includes diverse actors and promotes equal access, gender equality and cultural diversity, while avoiding discriminatory impacts and unfair biases that are prohibited by Union or national law. Social and environmental well-being means that AI systems are developed and used in a sustainable and environmentally friendly manner as well as in a way to benefit all human beings, while monitoring and assessing the long-term impacts on the individual, society and democracy. The application of those principles should be translated, when possible, in the design and use of AI models. They should in any case serve as a basis for the drafting of codes of conduct under this Regulation. All stakeholders, including industry, academia, civil society and standardisation organisations, are encouraged to take into account, as appropriate, the ethical principles for the development of voluntary best practices and standards.
(27)
Въпреки че основаният на риска подход е основата за пропорционален и ефективен набор от задължителни правила, е важно да се припомнят Насоките относно етичните аспекти за надежден ИИ от 2019 г., разработени от независимата ЕГВР ИИ, определена от Комисията. В тези насоки ЕГВР ИИ е разработила седем необвързващи етични принципа за ИИ, които имат за цел да спомогнат да се гарантира, че ИИ е надежден и етичен. Седемте принципа включват човешки фактор и контрол; техническа стабилност и безопасност; неприкосновеност на личния живот и управление на данните; прозрачност; многообразие, недискриминация и справедливост; обществено и екологично благосъстояние; отчетност. Без да засягат правно обвързващите изисквания на настоящия регламент и на всички други приложими правни актове на Съюза, посочените насоки допринасят за разработването на съгласуван, надежден и ориентиран към човека ИИ в съответствие с Хартата и с ценностите, на които се основава Съюзът. Съгласно Насоките на ЕГВР ИИ човешки фактор и контрол означава, че системите с ИИ се разработват и използват като инструмент, който служи на хората, зачита човешкото достойнство и личната независимост и функционира така, че да може да се контролира и наблюдава от хората по подходящ начин. Техническа стабилност и безопасност означава, че системите с ИИ се разработват и използват по начин, който позволява стабилност в случай на проблеми и устойчивост срещу опити за промяна на използването или действието на системата с ИИ, така че да се даде възможност за незаконно използване от трети лица, и който свежда до минимум непреднамерените вреди. Неприкосновеност на личния живот и управление на данните означава, че системите с ИИ се разработват и използват в съответствие с правилата относно неприкосновеността на личния живот и защитата на данните, като същевременно се обработват данни, които отговарят на високи стандарти по отношение на качеството и целостта. Прозрачност означава, че системите с ИИ се разработват и използват по начин, който позволява подходяща проследимост и разбираемост, като същевременно хората се уведомяват, че комуникират или си взаимодействат със система с ИИ, и внедрителите надлежно се информират за способностите и ограниченията на тази система с ИИ, а засегнатите лица – за техните права. Многообразие, недискриминация и справедливост означава, че системите с ИИ се разработват и използват по начин, който включва различни участници и насърчава равния достъп, равенството между половете и културното многообразие, като същевременно се избягват дискриминационните въздействия и несправедливата предубеденост, които са забранени от правото на Съюза или националното право. Обществено и екологично благосъстояние означава, че системите с ИИ се разработват и използват по устойчив и екологосъобразен начин, както и така, че да са от полза за всички хора, като същевременно се наблюдават и оценяват дългосрочните въздействия върху отделните лица, обществото и демокрацията. Прилагането на тези принципи следва да бъде отразено, когато е възможно, при проектирането и използването на модели с ИИ. При всички случаи те следва да служат като основа за изготвянето на кодекси за поведение съгласно настоящия регламент. Всички заинтересовани страни, включително стопанските сектори, академичните среди, гражданското общество и организациите за стандартизация, се насърчават да вземат предвид, когато е целесъобразно, етичните принципи за разработването на незадължителни най-добри практики и стандарти.
(28)
Aside from the many beneficial uses of AI, it can also be misused and provide novel and powerful tools for manipulative, exploitative and social control practices. Such practices are particularly harmful and abusive and should be prohibited because they contradict Union values of respect for human dignity, freedom, equality, democracy and the rule of law and fundamental rights enshrined in the Charter, including the right to non-discrimination, to data protection and to privacy and the rights of the child.
(28)
Въпреки че ИИ има многобройни полезни приложения, с него може да се злоупотребява и той може да осигури нови и мощни инструменти за манипулативни и експлоататорски практики и практики за социален контрол. Тези практики са особено вредни и недобросъвестни и следва да бъдат забранени, тъй като противоречат на ценностите на Съюза за зачитане на човешкото достойнство, свободата, равенството, демокрацията и принципите на правовата държава, и основните права, залегнали в Хартата, включително правото на недискриминация, на защита на данните и на неприкосновеност на личния живот, както и правата на детето.
(29)
AI-enabled manipulative techniques can be used to persuade persons to engage in unwanted behaviours, or to deceive them by nudging them into decisions in a way that subverts and impairs their autonomy, decision-making and free choices. The placing on the market, the putting into service or the use of certain AI systems with the objective to or the effect of materially distorting human behaviour, whereby significant harms, in particular having sufficiently important adverse impacts on physical, psychological health or financial interests are likely to occur, are particularly dangerous and should therefore be prohibited. Such AI systems deploy subliminal components such as audio, image, video stimuli that persons cannot perceive, as those stimuli are beyond human perception, or other manipulative or deceptive techniques that subvert or impair person’s autonomy, decision-making or free choice in ways that people are not consciously aware of those techniques or, where they are aware of them, can still be deceived or are not able to control or resist them. This could be facilitated, for example, by machine-brain interfaces or virtual reality as they allow for a higher degree of control of what stimuli are presented to persons, insofar as they may materially distort their behaviour in a significantly harmful manner. In addition, AI systems may also otherwise exploit the vulnerabilities of a person or a specific group of persons due to their age, disability within the meaning of Directive (EU) 2019/882 of the European Parliament and of the Council (16), or a specific social or economic situation that is likely to make those persons more vulnerable to exploitation such as persons living in extreme poverty, ethnic or religious minorities. Such AI systems can be placed on the market, put into service or used with the objective to or the effect of materially distorting the behaviour of a person and in a manner that causes or is reasonably likely to cause significant harm to that or another person or groups of persons, including harms that may be accumulated over time and should therefore be prohibited. It may not be possible to assume that there is an intention to distort behaviour where the distortion results from factors external to the AI system which are outside the control of the provider or the deployer, namely factors that may not be reasonably foreseeable and therefore not possible for the provider or the deployer of the AI system to mitigate. In any case, it is not necessary for the provider or the deployer to have the intention to cause significant harm, provided that such harm results from the manipulative or exploitative AI-enabled practices. The prohibitions for such AI practices are complementary to the provisions contained in Directive 2005/29/EC of the European Parliament and of the Council (17), in particular unfair commercial practices leading to economic or financial harms to consumers are prohibited under all circumstances, irrespective of whether they are put in place through AI systems or otherwise. The prohibitions of manipulative and exploitative practices in this Regulation should not affect lawful practices in the context of medical treatment such as psychological treatment of a mental disease or physical rehabilitation, when those practices are carried out in accordance with the applicable law and medical standards, for example explicit consent of the individuals or their legal representatives. In addition, common and legitimate commercial practices, for example in the field of advertising, that comply with the applicable law should not, in themselves, be regarded as constituting harmful manipulative AI-enabled practices.
(29)
Манипулативните техники, използващи ИИ, могат да служат за склоняване на хората към нежелано поведение или за подвеждането им, като ги подтикват да вземат решения по начин, който подкопава и накърнява тяхната независимост, вземане на решения и свободен избор. Пускането на пазара, пускането в действие или използването на някои системи с ИИ с цел или последици, изразяващи се в съществено изменение на човешкото поведение, при което е вероятно да възникнат значителни вреди, по-специално оказващи достатъчно значимо неблагоприятно въздействие върху физическото или психологическото здраве или финансовите интереси, са особено опасни и поради това следва да бъдат забранени. Такива системи с ИИ използват компоненти, действащи на подсъзнанието, например стимули чрез изображения и аудио и видео стимули, които хората не могат да възприемат, тъй като тези стимули са отвъд човешкото възприятие, или други манипулативни или заблуждаващи техники, които подкопават или накърняват независимостта, вземането на решения или свободния избор така, че хората не осъзнават, че се използват такива техники, или дори когато го осъзнават, те все пак могат да бъдат заблудени или не са в състояние да ги контролират или да им устоят. Това може да бъде улеснено например от интерфейси мозък-машина или виртуална реалност, тъй като те позволяват по-висока степен на контрол върху това какви стимули се предоставят на хората, доколкото те могат съществено да променят поведението им по начин, който води до значителна вреда. Наред с това системите с ИИ могат да се възползват и по друг начин от уязвимостта на дадено лице или конкретна група лица поради тяхната възраст, увреждане по смисъла на Директива (ЕС) 2019/882 на Европейския парламенти и на Съвета (16) или конкретно социално или икономическо положение, което има вероятност да направи тези лица по-уязвими на експлоатация, като например лица, живеещи в крайна бедност, етнически или религиозни малцинства. Такива системи с ИИ могат да бъдат пуснати на пазара, пуснати в действие или използвани с цел или последици, изразяващи се в съществено изменение на поведението на дадено лице, и по начин, който причинява или има разумна вероятност да причини значителна вреда на това или на друго лице или групи лица, включително вреди, които могат да се натрупват с течение на времето, поради което следва да бъдат забранени. Може да не е възможно да се приеме, че е налице намерение за изменение на поведението, когато изменението се дължи на фактори, външни за системата с ИИ, които са извън контрола на доставчика или внедрителя, а именно фактори, които може да не са разумно предвидими и поради това да не е възможно доставчикът или внедрителят на системата с ИИ да ги смекчи. Във всеки случай не е необходимо доставчикът или внедрителят да има намерение да причини значителна вреда, при условие че тази вреда произтича от манипулативни или експлоататорски практики, използващи ИИ. Забраните за такива практики в областта на ИИ допълват разпоредбите, съдържащи се в Директива 2005/29/ЕО на Европейския парламент и на Съвета (17), по-специално за забрана при всички обстоятелства на нелоялните търговски практики, водещи до икономически или финансови вреди за потребителите, независимо дали са въведени чрез системи с ИИ, или по друг начин. Забраните за манипулативни и експлоататорски практики в настоящия регламент не следва да засягат законните практики при медицинско лечение, като например психологическо лечение на психично заболяване или физическа рехабилитация, когато тези практики се извършват в съответствие с приложимото право и приложимите медицински стандарти, например за изричното съгласие на лицата или техните законни представители. Освен това общоприетите и законни търговски практики, например в областта на рекламата, които са в съответствие с приложимото право, не следва сами по себе си да се считат за вредни манипулативни практики, използващи ИИ.
(30)
Biometric categorisation systems that are based on natural persons’ biometric data, such as an individual person’s face or fingerprint, to deduce or infer an individuals’ political opinions, trade union membership, religious or philosophical beliefs, race, sex life or sexual orientation should be prohibited. That prohibition should not cover the lawful labelling, filtering or categorisation of biometric data sets acquired in line with Union or national law according to biometric data, such as the sorting of images according to hair colour or eye colour, which can for example be used in the area of law enforcement.
(30)
Следва да бъдат забранени системите за биометрично категоризиране, които се основават на биометрични данни на физическите лица, като например лицето или пръстовите отпечатъци на дадено лице, за да се направят заключения или изводи относно неговите политически възгледи, членство в синдикални организации, религиозни или философски убеждения, раса, сексуален живот или сексуална ориентация. Тази забрана не следва да обхваща законното обозначаване, филтриране или категоризиране на наборите от биометрични данни, получени в съответствие с правото на Съюза или националното право въз основа на биометрични данни, като например сортиране на изображения според цвета на косата или цвета на очите, които могат да се използват например в правоохранителната област.
(31)
AI systems providing social scoring of natural persons by public or private actors may lead to discriminatory outcomes and the exclusion of certain groups. They may violate the right to dignity and non-discrimination and the values of equality and justice. Such AI systems evaluate or classify natural persons or groups thereof on the basis of multiple data points related to their social behaviour in multiple contexts or known, inferred or predicted personal or personality characteristics over certain periods of time. The social score obtained from such AI systems may lead to the detrimental or unfavourable treatment of natural persons or whole groups thereof in social contexts, which are unrelated to the context in which the data was originally generated or collected or to a detrimental treatment that is disproportionate or unjustified to the gravity of their social behaviour. AI systems entailing such unacceptable scoring practices and leading to such detrimental or unfavourable outcomes should therefore be prohibited. That prohibition should not affect lawful evaluation practices of natural persons that are carried out for a specific purpose in accordance with Union and national law.
(31)
Системите с ИИ, осигуряващи социално оценяване на физически лица, извършено от публични или частни субекти, могат да доведат до дискриминационни резултати и изключване на определени групи. Те могат да нарушат правото на достойнство и недискриминация и ценностите на равенството и справедливостта. Подобни системи с ИИ оценяват или класифицират физически лица или групи от такива лица въз основа на множество данни, свързани с тяхното социално поведение в различен контекст, или известни, изведени или предполагаеми лични или личностни характеристики, през определен период от време. Социалната класация, получена от такива системи с ИИ, може да доведе до увреждащо или неблагоприятно третиране на физически лица или на цели групи от такива лица в социален контекст, който няма връзка с контекста, в който първоначално са били генерирани или събрани данните, или до увреждащо третиране, което е непропорционално или неоправдано с оглед на тежестта, която се отдава на тяхното социално поведение. Поради това системите с ИИ, които включват такива неприемливи практики за оценяване и водещи до вредни или неблагоприятни резултати, следва да бъдат забранени. Тази забрана не следва да засяга законните практики за оценяване на физически лица, извършвани за конкретна цел в съответствие с правото на Съюза или националното право.
(32)
The use of AI systems for ‘real-time’ remote biometric identification of natural persons in publicly accessible spaces for the purpose of law enforcement is particularly intrusive to the rights and freedoms of the concerned persons, to the extent that it may affect the private life of a large part of the population, evoke a feeling of constant surveillance and indirectly dissuade the exercise of the freedom of assembly and other fundamental rights. Technical inaccuracies of AI systems intended for the remote biometric identification of natural persons can lead to biased results and entail discriminatory effects. Such possible biased results and discriminatory effects are particularly relevant with regard to age, ethnicity, race, sex or disabilities. In addition, the immediacy of the impact and the limited opportunities for further checks or corrections in relation to the use of such systems operating in real-time carry heightened risks for the rights and freedoms of the persons concerned in the context of, or impacted by, law enforcement activities.
(32)
Използването на системи с ИИ за дистанционна биометрична идентификация в реално време на физически лица на обществено достъпни места за правоохранителни цели особено силно накърнява правата и свободите на засегнатите лица, доколкото то може да засегне личния живот на голяма част от населението, да породи усещане за постоянно наблюдение и косвено да действа разубеждаващо по отношение на упражняването на свободата на събранията и други основни права. Техническите неточности на системите с ИИ, предназначени за дистанционна биометрична идентификация на физически лица, могат да доведат до опорочени от предубеденост резултати и до дискриминация. Такива възможни опорочени от предубеденост резултати и дискриминационни последици са от особено значение по отношение на възраст, етническа принадлежност, раса, пол или увреждане. Освен това непосредственият ефект и ограничените възможности за допълнителни проверки или корекции във връзка с използването на такива системи, функциониращи в реално време, крият повишен риск за правата и свободите на лицата, които са засегнати при правоохранителните дейности или върху които тези дейности оказват въздействие.
(33)
The use of those systems for the purpose of law enforcement should therefore be prohibited, except in exhaustively listed and narrowly defined situations, where the use is strictly necessary to achieve a substantial public interest, the importance of which outweighs the risks. Those situations involve the search for certain victims of crime including missing persons; certain threats to the life or to the physical safety of natural persons or of a terrorist attack; and the localisation or identification of perpetrators or suspects of the criminal offences listed in an annex to this Regulation, where those criminal offences are punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years and as they are defined in the law of that Member State. Such a threshold for the custodial sentence or detention order in accordance with national law contributes to ensuring that the offence should be serious enough to potentially justify the use of ‘real-time’ remote biometric identification systems. Moreover, the list of criminal offences provided in an annex to this Regulation is based on the 32 criminal offences listed in the Council Framework Decision 2002/584/JHA (18), taking into account that some of those offences are, in practice, likely to be more relevant than others, in that the recourse to ‘real-time’ remote biometric identification could, foreseeably, be necessary and proportionate to highly varying degrees for the practical pursuit of the localisation or identification of a perpetrator or suspect of the different criminal offences listed and having regard to the likely differences in the seriousness, probability and scale of the harm or possible negative consequences. An imminent threat to life or the physical safety of natural persons could also result from a serious disruption of critical infrastructure, as defined in Article 2, point (4) of Directive (EU) 2022/2557 of the European Parliament and of the Council (19), where the disruption or destruction of such critical infrastructure would result in an imminent threat to life or the physical safety of a person, including through serious harm to the provision of basic supplies to the population or to the exercise of the core function of the State. In addition, this Regulation should preserve the ability for law enforcement, border control, immigration or asylum authorities to carry out identity checks in the presence of the person concerned in accordance with the conditions set out in Union and national law for such checks. In particular, law enforcement, border control, immigration or asylum authorities should be able to use information systems, in accordance with Union or national law, to identify persons who, during an identity check, either refuse to be identified or are unable to state or prove their identity, without being required by this Regulation to obtain prior authorisation. This could be, for example, a person involved in a crime, being unwilling, or unable due to an accident or a medical condition, to disclose their identity to law enforcement authorities.
(33)
Поради това използването на тези системи за правоохранителни цели следва да бъде забранено, освен в изчерпателно изброени и подробно определени ситуации, при които използването е строго необходимо за постигане на значителен обществен интерес, чиято важност надделява над рисковете. Тези ситуации включват издирването на някои жертви на престъпления, включително изчезнали лица; някои заплахи за живота или физическата безопасност на физически лица или от терористично нападение; както и установяването на местоположението или самоличността на извършители или заподозрени в извършването на престъпленията, изброени в приложение към настоящия регламент, когато тези престъпления се наказват в съответната държава членка с лишаване от свобода или мярка за задържане с максимален срок не по-малко от четири години, като се отчита определението на тези престъпления в правото на съответната държава членка. Прагът относно срока на лишаването от свобода или на мярката за задържане в съответствие с националното право спомага да се гарантира, че престъплението е достатъчно тежко, за да обоснове евентуално използването на системи за дистанционна биометрична идентификация в реално време. Освен това списъкът на престъпленията, поместен в приложение към настоящия регламент, се основава на 32-те престъпления, изброени в Рамково решение 2002/584/ПВР на Съвета (18), като се отчита, че някои от тези престъпления на практика вероятно имат по-голямо значение от други, доколкото използването на дистанционна биометрична идентификация в реално време би могло да е вероятно необходимо и пропорционално в много различна степен с оглед на практическото установяване на местоположението или самоличността на извършителя или заподозрения за различните изброени престъпления, като се имат предвид също вероятните разлики в тяхната тежест, вероятност и размер на вредата или възможните отрицателни последици. Непосредствена заплаха за живота или физическата безопасност на физически лица може да възникне и от сериозно нарушаване на критична инфраструктура съгласно определението в член 2, точка 4 от Директива (ЕС) 2022/2557 на Европейския парламент и на Съвета (19), когато нарушаването или унищожаването на такава критична инфраструктура би довело до непосредствена заплаха за живота или физическата безопасност на дадено лице, включително чрез сериозно увреждане на снабдяването с основни продукти за населението или на упражняването на основните функции на държавата. Освен това с настоящия регламент следва да се запази възможността правоохранителните органи, органите за граничен контрол, имиграционните органи или органите в областта на убежището да извършват проверки на самоличността в присъствието на засегнатото лице в съответствие с условията, определени в правото на Съюза и в националното право за такива проверки. По-специално, правоохранителните органи, органите за граничен контрол, имиграционните органи или органите в областта на убежището следва да могат да използват информационни системи, в съответствие с правото на Съюза или националното право, за установяване на самоличността на лица, които по време на проверка за установяване на самоличността отказват да бъде установена самоличността им или не са в състояние да посочат или докажат самоличността си, без настоящият регламент да изисква предварително разрешение с тази цел. Това може да бъде например лице, замесено в престъпление, което не желае или не може, поради злополука или здравословно състояние, да разкрие самоличността си пред правоохранителните органи.
(34)
In order to ensure that those systems are used in a responsible and proportionate manner, it is also important to establish that, in each of those exhaustively listed and narrowly defined situations, certain elements should be taken into account, in particular as regards the nature of the situation giving rise to the request and the consequences of the use for the rights and freedoms of all persons concerned and the safeguards and conditions provided for with the use. In addition, the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement should be deployed only to confirm the specifically targeted individual’s identity and should be limited to what is strictly necessary concerning the period of time, as well as the geographic and personal scope, having regard in particular to the evidence or indications regarding the threats, the victims or perpetrator. The use of the real-time remote biometric identification system in publicly accessible spaces should be authorised only if the relevant law enforcement authority has completed a fundamental rights impact assessment and, unless provided otherwise in this Regulation, has registered the system in the database as set out in this Regulation. The reference database of persons should be appropriate for each use case in each of the situations mentioned above.
(34)
За да се гарантира, че тези системи се използват по отговорен и пропорционален начин, е важно също така да се определи, че във всяка от тези изчерпателно изброени и подробно определени ситуации следва да се вземат предвид определени елементи, по-специално по отношение на естеството на ситуацията, във връзка с която е искането, и последиците от използването за правата и свободите на всички засегнати лица, както и гаранциите и условията, при които ще премине използването. Освен това използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели следва да бъде единствено с цел потвърждаване на самоличността на конкретно лице и следва да бъде ограничено до строго необходимото от гледна точка на срок, както и на териториален обхват и обхват по отношение на лицата, като се вземат предвид по-специално доказателствата или признаците за опасностите, жертвите или извършителя. Използването на системата за дистанционна биометрична идентификация в реално време на обществено достъпни места следва да бъде разрешено само ако съответният правоохранителен орган е извършил оценка на въздействието върху основните права и, освен ако в настоящия регламент не е предвидено друго, е регистрирал системата в базата данни, посочена в настоящия регламент. Референтната база данни на лицата следва да бъде подходяща за всеки случай на използване във всяка от посочените по-горе ситуации.
(35)
Each use of a ‘real-time’ remote biometric identification system in publicly accessible spaces for the purpose of law enforcement should be subject to an express and specific authorisation by a judicial authority or by an independent administrative authority of a Member State whose decision is binding. Such authorisation should, in principle, be obtained prior to the use of the AI system with a view to identifying a person or persons. Exceptions to that rule should be allowed in duly justified situations on grounds of urgency, namely in situations where the need to use the systems concerned is such as to make it effectively and objectively impossible to obtain an authorisation before commencing the use of the AI system. In such situations of urgency, the use of the AI system should be restricted to the absolute minimum necessary and should be subject to appropriate safeguards and conditions, as determined in national law and specified in the context of each individual urgent use case by the law enforcement authority itself. In addition, the law enforcement authority should in such situations request such authorisation while providing the reasons for not having been able to request it earlier, without undue delay and at the latest within 24 hours. If such an authorisation is rejected, the use of real-time biometric identification systems linked to that authorisation should cease with immediate effect and all the data related to such use should be discarded and deleted. Such data includes input data directly acquired by an AI system in the course of the use of such system as well as the results and outputs of the use linked to that authorisation. It should not include input that is legally acquired in accordance with another Union or national law. In any case, no decision producing an adverse legal effect on a person should be taken based solely on the output of the remote biometric identification system.
(35)
За всяко използване на система за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели следва да се изисква изрично и конкретно разрешение от съдебен орган или от независим административен орган на държава членка, чието решение е задължително. Това разрешение следва по принцип да бъде получено преди използването на системата с ИИ с цел идентифициране на дадено лице или лица. Изключения от това правило следва да се допускат в надлежно обосновани спешни случаи, а именно в ситуации, при които необходимостта от използване на съответните системи е такава, че е практически и обективно невъзможно да бъде получено разрешение преди началото на използването на системата с ИИ. При такива спешни ситуации използването на системата с ИИ следва да бъде ограничено до абсолютно необходимия минимум и да е съпроводено с подходящи гаранции и условия, както са установени в националното право и специално указани в контекста на всеки отделен случай на спешно използване от самия правоохранителен орган. Освен това в такива ситуации правоохранителният орган следва да поиска такова разрешение, като посочи причините, поради които не е могъл да го поиска по-рано, без ненужно забавяне и най-късно в рамките на 24 часа. Ако искането за това разрешение бъде отхвърлено, използването на системи за биометрична идентификация в реално време, свързано с това разрешение, следва да бъде прекратено незабавно и всички данни, свързани с това използване, следва да бъдат премахнати и заличени. Тези данни включват входящите данни, получени пряко от система с ИИ в хода на използването на такава система, както и резултатите от използването, свързано с това разрешение. Това не следва да включва входящи данни, законно придобити в съответствие с друг правен акт на Съюза или национален правен акт. Във всеки случай решение, което поражда неблагоприятни правни последици за дадено лице, не следва да бъде взето единствено въз основа на резултата от системата за дистанционна биометрична идентификация.
(36)
In order to carry out their tasks in accordance with the requirements set out in this Regulation as well as in national rules, the relevant market surveillance authority and the national data protection authority should be notified of each use of the real-time biometric identification system. Market surveillance authorities and the national data protection authorities that have been notified should submit to the Commission an annual report on the use of real-time biometric identification systems.
(36)
За да изпълняват задачите си в съответствие с изискванията, установени в настоящия регламент, както и в националните правила, съответният орган за надзор на пазара и националният орган за защита на данните следва да бъдат уведомявани за всяко използване на системата за биометрична идентификация в реално време. Уведомените за това използване органи за надзор на пазара и национални органи за защита на данните следва да представят на Комисията годишен доклад относно използването на системи за биометрична идентификация в реално време.
(37)
Furthermore, it is appropriate to provide, within the exhaustive framework set by this Regulation that such use in the territory of a Member State in accordance with this Regulation should only be possible where and in as far as the Member State concerned has decided to expressly provide for the possibility to authorise such use in its detailed rules of national law. Consequently, Member States remain free under this Regulation not to provide for such a possibility at all or to only provide for such a possibility in respect of some of the objectives capable of justifying authorised use identified in this Regulation. Such national rules should be notified to the Commission within 30 days of their adoption.
(37)
Също така е целесъобразно да се предвиди, в рамките на изчерпателната уредба, създадена с настоящия регламент, че такова използване на територията на държава членка в съответствие с настоящия регламент следва да бъде възможно само и доколкото съответната държава членка е решила изрично да предвиди възможността за допускане на такова използване в подробните правила на националното си право. Следователно съгласно настоящия регламент държавите членки са свободни изобщо да не предвиждат такава възможност или да предвидят такава възможност само по отношение на някои от целите, посочени в настоящия регламент, които могат да оправдаят допустимото използване. Тези национални правила следва да бъдат съобщени на Комисията в срок от 30 дни след приемането им.
(38)
The use of AI systems for real-time remote biometric identification of natural persons in publicly accessible spaces for the purpose of law enforcement necessarily involves the processing of biometric data. The rules of this Regulation that prohibit, subject to certain exceptions, such use, which are based on Article 16 TFEU, should apply as lex specialis in respect of the rules on the processing of biometric data contained in Article 10 of Directive (EU) 2016/680, thus regulating such use and the processing of biometric data involved in an exhaustive manner. Therefore, such use and processing should be possible only in as far as it is compatible with the framework set by this Regulation, without there being scope, outside that framework, for the competent authorities, where they act for purpose of law enforcement, to use such systems and process such data in connection thereto on the grounds listed in Article 10 of Directive (EU) 2016/680. In that context, this Regulation is not intended to provide the legal basis for the processing of personal data under Article 8 of Directive (EU) 2016/680. However, the use of real-time remote biometric identification systems in publicly accessible spaces for purposes other than law enforcement, including by competent authorities, should not be covered by the specific framework regarding such use for the purpose of law enforcement set by this Regulation. Such use for purposes other than law enforcement should therefore not be subject to the requirement of an authorisation under this Regulation and the applicable detailed rules of national law that may give effect to that authorisation.
(38)
Използването на системи с ИИ за дистанционна биометрична идентификация в реално време на физически лица на обществено достъпни места за правоохранителни цели задължително включва обработването на биометрични данни. Правилата на настоящия регламент, които забраняват, с някои изключения, подобно използване и чието правно основание е член 16 ДФЕС, следва да се прилагат като lex specialis по отношение на правилата относно обработването на биометрични данни, съдържащи се в член 10 от Директива (ЕС) 2016/680, като по този начин се урежда изчерпателно това използване и свързаното с него обработване на биометрични данни. Поради това такова използване и такова обработване следва да бъдат възможни само доколкото са съвместими с рамката, установена с настоящия регламент, без да има възможност извън тази рамка компетентните органи, когато действат с правоохранителни цели, да използват такива системи и да обработват такива данни във връзка с тях на основанията, изброени в член 10 от Директива (ЕС) 2016/680. В този контекст настоящият регламент няма за цел да осигури правно основание на обработването на лични данни съгласно член 8 от Директива (ЕС) 2016/680. Използването обаче на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за цели, различни от правоохранителни цели, включително от компетентни органи, не следва да бъде обхванато от специалната рамка относно такова използване за правоохранителни цели, установена с настоящия регламент. Поради това спрямо използването за цели, различни от правоохранителни цели, не следва да се прилагат изискването за разрешение съгласно настоящия регламент и приложимите подробни правила на националното право, които може да уреждат това разрешение.
(39)
Any processing of biometric data and other personal data involved in the use of AI systems for biometric identification, other than in connection to the use of real-time remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement as regulated by this Regulation, should continue to comply with all requirements resulting from Article 10 of Directive (EU) 2016/680. For purposes other than law enforcement, Article 9(1) of Regulation (EU) 2016/679 and Article 10(1) of Regulation (EU) 2018/1725 prohibit the processing of biometric data subject to limited exceptions as provided in those Articles. In the application of Article 9(1) of Regulation (EU) 2016/679, the use of remote biometric identification for purposes other than law enforcement has already been subject to prohibition decisions by national data protection authorities.
(39)
Всяко обработване на биометрични данни и други лични данни, необходимо за използването на системи с ИИ за биометрична идентификация, различно от обработване във връзка с използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели, уредено в настоящия регламент, следва да продължи да отговаря на всички изисквания, произтичащи от член 10 от Директива (ЕС) 2016/680. За цели, различни от правоохранителни цели, с член 9, параграф 1 от Регламент (ЕС) 2016/679 и член 10, параграф 1 от Регламент (ЕС) 2018/1725 се забранява обработването на биометрични данни, като се прилагат ограничен брой изключения, предвидени в посочените членове. В приложение на член 9, параграф 1 от Регламент (ЕС) 2016/679 използването на дистанционна биометрична идентификация за цели, различни от правоохранителни цели, вече е забранявано с решения на националните органи за защита на данните.
(40)
In accordance with Article 6a of Protocol No 21 on the position of the United Kingdom and Ireland in respect of the area of freedom, security and justice, as annexed to the TEU and to the TFEU, Ireland is not bound by the rules laid down in Article 5(1), first subparagraph, point (g), to the extent it applies to the use of biometric categorisation systems for activities in the field of police cooperation and judicial cooperation in criminal matters, Article 5(1), first subparagraph, point (d), to the extent it applies to the use of AI systems covered by that provision, Article 5(1), first subparagraph, point (h), Article 5(2) to (6) and Article 26(10) of this Regulation adopted on the basis of Article 16 TFEU which relate to the processing of personal data by the Member States when carrying out activities falling within the scope of Chapter 4 or Chapter 5 of Title V of Part Three of the TFEU, where Ireland is not bound by the rules governing the forms of judicial cooperation in criminal matters or police cooperation which require compliance with the provisions laid down on the basis of Article 16 TFEU.
(40)
В съответствие с член 6а от Протокол № 21 относно позицията на Обединеното кралство и Ирландия по отношение на пространството на свобода, сигурност и правосъдие, приложен към ДЕС и към ДФЕС, Ирландия не е обвързана от правилата, предвидени в член 5, параграф 1, първа алинея, буква ж), доколкото се прилагат за използването на системи за биометрично категоризиране за дейности в областта на полицейското и съдебното сътрудничество по наказателноправни въпроси, в член 5, параграф 1, първа алинея, буква г), доколкото се прилагат за използването на системи с ИИ, обхванати от посочената разпоредба, в член 5, параграф 1, първа алинея, буква з) и параграфи 2 – 6 и в член 26, параграф 10 от настоящия регламент, приети на основание член 16 ДФЕС и отнасящи се до обработването на лични данни от държавите членки при осъществяване на дейности, попадащи в обхвата на трета част, дял V, глава 4 или 5 ДФЕС, когато Ирландия не е обвързана от правилата, уреждащи формите на съдебно сътрудничество по наказателноправни въпроси или на полицейско сътрудничество, в рамките на които трябва да бъдат спазвани разпоредбите, установени на основание член 16 ДФЕС.
(41)
In accordance with Articles 2 and 2a of Protocol No 22 on the position of Denmark, annexed to the TEU and to the TFEU, Denmark is not bound by rules laid down in Article 5(1), first subparagraph, point (g), to the extent it applies to the use of biometric categorisation systems for activities in the field of police cooperation and judicial cooperation in criminal matters, Article 5(1), first subparagraph, point (d), to the extent it applies to the use of AI systems covered by that provision, Article 5(1), first subparagraph, point (h), (2) to (6) and Article 26(10) of this Regulation adopted on the basis of Article 16 TFEU, or subject to their application, which relate to the processing of personal data by the Member States when carrying out activities falling within the scope of Chapter 4 or Chapter 5 of Title V of Part Three of the TFEU.
(41)
В съответствие с членове 2 и 2а от Протокол № 22 относно позицията на Дания, приложен към ДЕС и към ДФЕС, Дания не е обвързана и за нея не се прилагат правилата, предвидени в член 5, параграф 1, първа алинея, буква ж), доколкото се прилагат за използването на системи за биометрично категоризиране за дейности в областта на полицейското и съдебното сътрудничество по наказателноправни въпроси, в член 5, параграф 1, първа алинея, буква г), доколкото се прилагат за използването на системи с ИИ, обхванати от посочената разпоредба, в член 5, параграф 1, първа алинея, буква з) и параграфи 2 – 6 и в член 26, параграф 10 от настоящия регламент, приети на основание член 16 от ДФЕС и отнасящи се до обработването на лични данни от държавите членки при осъществяването на дейности, попадащи в обхвата на трета част, дял V, глава 4 или 5 ДФЕС.
(42)
In line with the presumption of innocence, natural persons in the Union should always be judged on their actual behaviour. Natural persons should never be judged on AI-predicted behaviour based solely on their profiling, personality traits or characteristics, such as nationality, place of birth, place of residence, number of children, level of debt or type of car, without a reasonable suspicion of that person being involved in a criminal activity based on objective verifiable facts and without human assessment thereof. Therefore, risk assessments carried out with regard to natural persons in order to assess the likelihood of their offending or to predict the occurrence of an actual or potential criminal offence based solely on profiling them or on assessing their personality traits and characteristics should be prohibited. In any case, that prohibition does not refer to or touch upon risk analytics that are not based on the profiling of individuals or on the personality traits and characteristics of individuals, such as AI systems using risk analytics to assess the likelihood of financial fraud by undertakings on the basis of suspicious transactions or risk analytic tools to predict the likelihood of the localisation of narcotics or illicit goods by customs authorities, for example on the basis of known trafficking routes.
(42)
В съответствие с презумпцията за невиновност физическите лица в Съюза следва винаги да бъдат съдени въз основа на тяхното действително поведение. Физическите лица никога не следва да бъдат съдени въз основа на прогнозирано от ИИ поведение, базирано единствено на тяхното профилиране, личностни черти или характеристики, например гражданство, място на раждане, местопребиваване, брой деца, равнище на задлъжнялост или вид автомобил, без основателно подозрение за участието на лицето в престъпна дейност въз основа на обективни и проверими факти и без човешка оценка. Поради това следва да се забрани извършването на оценки на риска по отношение на физически лица, за да се оцени вероятността от извършване на престъпление или да се прогнозира извършването на действително или вероятно престъпление единствено въз основа на профилирането им или на оценката на техните личностни черти и характеристики. Във всеки случай тази забрана не се отнася до анализа на вероятността, който не се основава на профилирането на лица или на личностните черти и характеристики на тези лица, като например системи с ИИ, използващи анализ на риска за оценка на риска от финансови измами от страна на предприятия въз основа на подозрителни сделки или инструменти за анализ на риска за прогнозиране на вероятността за откриване на наркотици или незаконни стоки от страна на митническите органи, например въз основа на известни маршрути за трафик.
(43)
The placing on the market, the putting into service for that specific purpose, or the use of AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage, should be prohibited because that practice adds to the feeling of mass surveillance and can lead to gross violations of fundamental rights, including the right to privacy.
(43)
Пускането на пазара, пускането в действие за тази конкретна цел или използването на системи с ИИ, които създават или разширяват бази данни за разпознаване на лица чрез нецеленасочено извличане на лицеви изображения от интернет или записи от видеонаблюдение, следва да бъдат забранени, тъй като тази практика допринася за усещането за масово наблюдение и може да доведе до груби нарушения на основните права, включително правото на неприкосновеност на личния живот.
(44)
There are serious concerns about the scientific basis of AI systems aiming to identify or infer emotions, particularly as expression of emotions vary considerably across cultures and situations, and even within a single individual. Among the key shortcomings of such systems are the limited reliability, the lack of specificity and the limited generalisability. Therefore, AI systems identifying or inferring emotions or intentions of natural persons on the basis of their biometric data may lead to discriminatory outcomes and can be intrusive to the rights and freedoms of the concerned persons. Considering the imbalance of power in the context of work or education, combined with the intrusive nature of these systems, such systems could lead to detrimental or unfavourable treatment of certain natural persons or whole groups thereof. Therefore, the placing on the market, the putting into service, or the use of AI systems intended to be used to detect the emotional state of individuals in situations related to the workplace and education should be prohibited. That prohibition should not cover AI systems placed on the market strictly for medical or safety reasons, such as systems intended for therapeutical use.
(44)
Съществуват сериозни опасения относно научната основа на системите с ИИ, които имат за цел да определят или да направят изводи за емоциите, по-специално като се има предвид, че изразяването на емоции се различава значително в отделните култури и ситуации и дори при едно и също лице. Сред основните недостатъци на тези системи са ограничената надеждност, липсата на съобразен с конкретния случай подход и ограничената възможност за обобщаване. Поради това системите с ИИ, които определят или правят изводи за емоциите или намеренията на физически лица въз основа на техните биометрични данни, могат да доведат до дискриминационни резултати и да накърнят правата и свободите на съответните лица. Като се има предвид властовото неравновесие в контекста на работата или образованието, съчетано с инвазивния характер на тези системи, подобни системи биха могли да доведат до увреждащо или неблагоприятно третиране на определени физически лица или на цели групи от такива лица. Поради това пускането на пазара, пускането в действие или използването на системи с ИИ, предназначени за определяне на емоционалното състояние на лица в ситуации, свързани с работното място и образованието, следва да бъдат забранени. Тази забрана не следва да обхваща системи с ИИ, пуснати на пазара единствено от медицински съображения или съображения, свързани с безопасността, като например системи, предназначени за терапевтична употреба.
(45)
Practices that are prohibited by Union law, including data protection law, non-discrimination law, consumer protection law, and competition law, should not be affected by this Regulation.
(45)
Практиките, които са забранени от правото на Съюза, включително правото в областта на защитата на данните, недискриминацията и защитата на потребителите, както и правото в областта на конкуренцията, не следва да бъдат засегнати от настоящия регламент.
(46)
High-risk AI systems should only be placed on the Union market, put into service or used if they comply with certain mandatory requirements. Those requirements should ensure that high-risk AI systems available in the Union or whose output is otherwise used in the Union do not pose unacceptable risks to important Union public interests as recognised and protected by Union law. On the basis of the New Legislative Framework, as clarified in the Commission notice ‘The “Blue Guide” on the implementation of EU product rules 2022’ (20), the general rule is that more than one legal act of Union harmonisation legislation, such as Regulations (EU) 2017/745 (21) and (EU) 2017/746 (22) of the European Parliament and of the Council or Directive 2006/42/EC of the European Parliament and of the Council (23), may be applicable to one product, since the making available or putting into service can take place only when the product complies with all applicable Union harmonisation legislation. To ensure consistency and avoid unnecessary administrative burdens or costs, providers of a product that contains one or more high-risk AI systems, to which the requirements of this Regulation and of the Union harmonisation legislation listed in an annex to this Regulation apply, should have flexibility with regard to operational decisions on how to ensure compliance of a product that contains one or more AI systems with all applicable requirements of the Union harmonisation legislation in an optimal manner. AI systems identified as high-risk should be limited to those that have a significant harmful impact on the health, safety and fundamental rights of persons in the Union and such limitation should minimise any potential restriction to international trade.
(46)
Високорисковите системи с ИИ следва да се пускат на пазара на Съюза, да се пускат в действие или да се използват само ако отговарят на определени задължителни изисквания. Тези изисквания следва да гарантират, че високорисковите системи с ИИ, които се предлагат в Съюза или резултатите от които се използват по друг начин в Съюза, не пораждат неприемливи рискове за важни обществени интереси на Съюза, признати и защитени от правото на Съюза. Въз основа на новата законодателна рамка, както е пояснено в известието на Комисията „Синьото ръководство“ за прилагане на правилата на ЕС относно продуктите – 2022 г. (20), общото правило е, че повече от един правен акт от законодателството на Съюза за хармонизация, например регламенти (ЕС) 2017/745 (21) и (ЕС) 2017/746 (22) на Европейския парламент и на Съвета или Директива 2006/42/ЕО на Европейския парламент и на Съвета (23), може да е приложим за един продукт, тъй като предоставянето или пускането в действие може да се извърши само когато продуктът е в съответствие с цялото приложимо законодателство на Съюза за хармонизация. За да се гарантира съгласуваност и да се избегне ненужна административна тежест или разходи, доставчиците на продукт, който съдържа една или повече високорискови системи с ИИ, за които се прилагат изискванията на настоящия регламент и на законодателството на Съюза за хармонизация, посочено в приложение към настоящия регламент, следва да разполагат с гъвкавост по отношение на оперативните решения за това как да се гарантира оптимално съответствие на продукт, който съдържа една или повече системи с ИИ, с всички приложими изисквания на законодателството на Съюза за хармонизация. Системите с ИИ, които се определят като високорискови, следва да се ограничат до имащите значително вредно въздействие върху здравето, безопасността и основните права на хората в Съюза, като при това следва да се свежда до минимум всяко възможно ограничаване на международната търговия.
(47)
AI systems could have an adverse impact on the health and safety of persons, in particular when such systems operate as safety components of products. Consistent with the objectives of Union harmonisation legislation to facilitate the free movement of products in the internal market and to ensure that only safe and otherwise compliant products find their way into the market, it is important that the safety risks that may be generated by a product as a whole due to its digital components, including AI systems, are duly prevented and mitigated. For instance, increasingly autonomous robots, whether in the context of manufacturing or personal assistance and care should be able to safely operate and performs their functions in complex environments. Similarly, in the health sector where the stakes for life and health are particularly high, increasingly sophisticated diagnostics systems and systems supporting human decisions should be reliable and accurate.
(47)
Системите с ИИ биха могли да имат неблагоприятни последици за здравето и безопасността на хората, по-специално когато тези системи функционират като защитни елементи на продуктите. В съответствие с целите на законодателството на Съюза за хармонизация – да се улесни свободното движение на продукти на вътрешния пазар и да се гарантира, че на пазара се предлагат само безопасни и съответстващи на изискванията продукти – е важно да бъдат надлежно предотвратени и ограничени рисковете за безопасността, които могат да бъдат породени от даден продукт като цяло поради неговите цифрови компоненти, включително системи с ИИ. Например все по-автономните роботи, независимо дали в контекста на производството, или на личната помощ и грижи, следва да могат да работят и да изпълняват функциите си безопасно в сложна среда. По същия начин, в сектора на здравеопазването, където рисковете за живота и здравето са особено високи, все по-усъвършенстваните системи за диагностика и системите за подпомагане на човешките решения следва да бъдат надеждни и точни.
(48)
The extent of the adverse impact caused by the AI system on the fundamental rights protected by the Charter is of particular relevance when classifying an AI system as high risk. Those rights include the right to human dignity, respect for private and family life, protection of personal data, freedom of expression and information, freedom of assembly and of association, the right to non-discrimination, the right to education, consumer protection, workers’ rights, the rights of persons with disabilities, gender equality, intellectual property rights, the right to an effective remedy and to a fair trial, the right of defence and the presumption of innocence, and the right to good administration. In addition to those rights, it is important to highlight the fact that children have specific rights as enshrined in Article 24 of the Charter and in the United Nations Convention on the Rights of the Child, further developed in the UNCRC General Comment No 25 as regards the digital environment, both of which require consideration of the children’s vulnerabilities and provision of such protection and care as necessary for their well-being. The fundamental right to a high level of environmental protection enshrined in the Charter and implemented in Union policies should also be considered when assessing the severity of the harm that an AI system can cause, including in relation to the health and safety of persons.
(48)
Степента на неблагоприятно въздействие на системата с ИИ върху основните права, защитени от Хартата, е от особено значение, когато дадена система с ИИ се класифицира като високорискова. Тези права включват правото на човешко достойнство, правото на зачитане на личния и семейния живот, защитата на личните данни, свободата на изразяване на мнение и свободата на информация, свободата на събранията и сдруженията, правото на недискриминация, правото на образование, защитата на потребителите, правата на работниците, правата на хората с увреждания, равенството между половете, правата върху интелектуалната собственост, правото на ефективни правни средства за защита и на справедлив съдебен процес, правото на защита и презумпцията за невиновност, както и правото на добра администрация. В допълнение към тези права е важно да се подчертае факта, че децата имат специални права, които са залегнали в член 24 от Хартата и в Конвенцията на Организацията на обединените нации за правата на детето, допълнително разработени в Общ коментар № 25 по Конвенцията на ООН за правата на детето по отношение на цифровата среда, като и в двата акта се изисква да се отчита уязвимостта на децата и да се осигуряват защитата и грижите, необходими за тяхното благосъстояние. Основното право на високо равнище на опазване на околната среда, залегнало в Хартата и отразено в политиките на Съюза, също следва да се взема предвид при оценката на тежестта на вредата, която дадена система с ИИ може да причини, включително във връзка с човешкото здраве и безопасност.
(49)
As regards high-risk AI systems that are safety components of products or systems, or which are themselves products or systems falling within the scope of Regulation (EC) No 300/2008 of the European Parliament and of the Council (24), Regulation (EU) No 167/2013 of the European Parliament and of the Council (25), Regulation (EU) No 168/2013 of the European Parliament and of the Council (26), Directive 2014/90/EU of the European Parliament and of the Council (27), Directive (EU) 2016/797 of the European Parliament and of the Council (28), Regulation (EU) 2018/858 of the European Parliament and of the Council (29), Regulation (EU) 2018/1139 of the European Parliament and of the Council (30), and Regulation (EU) 2019/2144 of the European Parliament and of the Council (31), it is appropriate to amend those acts to ensure that the Commission takes into account, on the basis of the technical and regulatory specificities of each sector, and without interfering with existing governance, conformity assessment and enforcement mechanisms and authorities established therein, the mandatory requirements for high-risk AI systems laid down in this Regulation when adopting any relevant delegated or implementing acts on the basis of those acts.
(49)
По отношение на високорисковите системи с ИИ, които са защитни елементи на продукти или системи или които сами по себе си са продукти или системи, попадащи в обхвата на Регламент (ЕО) № 300/2008 на Европейския парламент и на Съвета (24), Регламент (ЕС) № 167/2013 на Европейския парламент и на Съвета (25), Регламент (ЕС) № 168/2013 на Европейския парламент и на Съвета (26), Директива 2014/90/ЕС на Европейския парламент и на Съвета (27), Директива (ЕС) 2016/797 на Европейския парламент и на Съвета (28), Регламент (ЕС) 2018/858 на Европейския парламент и на Съвета (29), Регламент (ЕС) 2018/1139 на Европейския парламент и на Съвета (30) и Регламент (ЕС) 2019/2144 на Европейския парламент и на Съвета (31), е целесъобразно тези актове да бъдат изменени, за да се гарантира, че Комисията отчита – въз основа на техническата и регулаторна специфика на всеки сектор и без да има намеса в съществуващите механизми и органи за управление, оценяване на съответствието и контрол на прилагането, създадени съгласно горепосочените актове – задължителните изисквания за високорисковите системи с ИИ, установени в настоящия регламент, когато приема съответни делегирани актове или актове за изпълнение на основание на горепосочените актове.
(50)
As regards AI systems that are safety components of products, or which are themselves products, falling within the scope of certain Union harmonisation legislation listed in an annex to this Regulation, it is appropriate to classify them as high-risk under this Regulation if the product concerned undergoes the conformity assessment procedure with a third-party conformity assessment body pursuant to that relevant Union harmonisation legislation. In particular, such products are machinery, toys, lifts, equipment and protective systems intended for use in potentially explosive atmospheres, radio equipment, pressure equipment, recreational craft equipment, cableway installations, appliances burning gaseous fuels, medical devices, in vitro diagnostic medical devices, automotive and aviation.
(50)
По отношение на системите с ИИ, които са защитни елементи на продукти или които сами по себе си са продукти, попадащи в обхвата на определено законодателство на Съюза за хармонизация, посочено в приложение към настоящия регламент, е целесъобразно те да бъдат класифицирани като високорискови съгласно настоящия регламент, ако съответният продукт преминава през процедура за оценяване на съответствието с орган за оценяване на съответствието – трето лице, съгласно съответното законодателство на Съюза за хармонизация. Подобни продукти са по-специално машини, играчки, асансьори, оборудване и защитни системи, предназначени за използване в потенциално взривоопасна среда, радиооборудване, оборудване под налягане, оборудване за плавателни съдове за отдих, въжени линии, уреди, захранвани с газово гориво, медицински изделия, медицински изделия за инвитро диагностика, автомобили и въздухоплавателни средства.
(51)
The classification of an AI system as high-risk pursuant to this Regulation should not necessarily mean that the product whose safety component is the AI system, or the AI system itself as a product, is considered to be high-risk under the criteria established in the relevant Union harmonisation legislation that applies to the product. This is, in particular, the case for Regulations (EU) 2017/745 and (EU) 2017/746, where a third-party conformity assessment is provided for medium-risk and high-risk products.
(51)
Класифицирането на дадена система с ИИ като високорискова съгласно настоящия регламент не следва непременно да означава, че продуктът, чийто защѝтен елемент е системата с ИИ, или самата система с ИИ като продукт, се счита за високорисков или високорискова съгласно критериите, установени в съответното законодателство на Съюза за хармонизация, приложимо за продукта. Такъв е по-специално случаят с регламенти (ЕС) 2017/745 и (ЕС) 2017/746, в които се предвижда оценяване на съответствието от трето лице за продукти със среден и висок риск.
(52)
As regards stand-alone AI systems, namely high-risk AI systems other than those that are safety components of products, or that are themselves products, it is appropriate to classify them as high-risk if, in light of their intended purpose, they pose a high risk of harm to the health and safety or the fundamental rights of persons, taking into account both the severity of the possible harm and its probability of occurrence and they are used in a number of specifically pre-defined areas specified in this Regulation. The identification of those systems is based on the same methodology and criteria envisaged also for any future amendments of the list of high-risk AI systems that the Commission should be empowered to adopt, via delegated acts, to take into account the rapid pace of technological development, as well as the potential changes in the use of AI systems.
(52)
По отношение на самостоятелните системи с ИИ, а именно високорисковите системи с ИИ, различни от тези, които са защитни елементи на продукти или които сами по себе си са продукти, е целесъобразно те да бъдат класифицирани като високорискови, ако с оглед на предназначението си представляват висок риск от увреждане на здравето и безопасността или на основните права на хората, като се вземат предвид както тежестта на възможната вреда, така и вероятността от настъпването ѝ, и тези системи с ИИ се използват в някои конкретно и предварително определени области, посочени в настоящия регламент. Идентифицирането на тези системи се основава на същата методика и критерии като предвидените и за евентуални бъдещи изменения на списъка на високорисковите системи с ИИ, които Комисията следва да бъде оправомощена да приеме чрез делегирани актове, за да се вземат предвид бързите темпове на технологично развитие, както и възможните промени в използването на системите с ИИ.
(53)
It is also important to clarify that there may be specific cases in which AI systems referred to in pre-defined areas specified in this Regulation do not lead to a significant risk of harm to the legal interests protected under those areas because they do not materially influence the decision-making or do not harm those interests substantially. For the purposes of this Regulation, an AI system that does not materially influence the outcome of decision-making should be understood to be an AI system that does not have an impact on the substance, and thereby the outcome, of decision-making, whether human or automated. An AI system that does not materially influence the outcome of decision-making could include situations in which one or more of the following conditions are fulfilled. The first such condition should be that the AI system is intended to perform a narrow procedural task, such as an AI system that transforms unstructured data into structured data, an AI system that classifies incoming documents into categories or an AI system that is used to detect duplicates among a large number of applications. Those tasks are of such narrow and limited nature that they pose only limited risks which are not increased through the use of an AI system in a context that is listed as a high-risk use in an annex to this Regulation. The second condition should be that the task performed by the AI system is intended to improve the result of a previously completed human activity that may be relevant for the purposes of the high-risk uses listed in an annex to this Regulation. Considering those characteristics, the AI system provides only an additional layer to a human activity with consequently lowered risk. That condition would, for example, apply to AI systems that are intended to improve the language used in previously drafted documents, for example in relation to professional tone, academic style of language or by aligning text to a certain brand messaging. The third condition should be that the AI system is intended to detect decision-making patterns or deviations from prior decision-making patterns. The risk would be lowered because the use of the AI system follows a previously completed human assessment which it is not meant to replace or influence, without proper human review. Such AI systems include for instance those that, given a certain grading pattern of a teacher, can be used to check ex post whether the teacher may have deviated from the grading pattern so as to flag potential inconsistencies or anomalies. The fourth condition should be that the AI system is intended to perform a task that is only preparatory to an assessment relevant for the purposes of the AI systems listed in an annex to this Regulation, thus making the possible impact of the output of the system very low in terms of representing a risk for the assessment to follow. That condition covers, inter alia, smart solutions for file handling, which include various functions from indexing, searching, text and speech processing or linking data to other data sources, or AI systems used for translation of initial documents. In any case, AI systems used in high-risk use-cases listed in an annex to this Regulation should be considered to pose significant risks of harm to the health, safety or fundamental rights if the AI system implies profiling within the meaning of Article 4, point (4) of Regulation (EU) 2016/679 or Article 3, point (4) of Directive (EU) 2016/680 or Article 3, point (5) of Regulation (EU) 2018/1725. To ensure traceability and transparency, a provider who considers that an AI system is not high-risk on the basis of the conditions referred to above should draw up documentation of the assessment before that system is placed on the market or put into service and should provide that documentation to national competent authorities upon request. Such a provider should be obliged to register the AI system in the EU database established under this Regulation. With a view to providing further guidance for the practical implementation of the conditions under which the AI systems listed in an annex to this Regulation are, on an exceptional basis, non-high-risk, the Commission should, after consulting the Board, provide guidelines specifying that practical implementation, completed by a comprehensive list of practical examples of use cases of AI systems that are high-risk and use cases that are not.
(53)
Важно е също така да се поясни, че може да има особени случаи, в които системите с ИИ, свързани с предварително определени области, посочени в настоящия регламент, не водят до значителен риск от увреждане на правните интереси, защитени в тези области, тъй като не оказват съществено влияние върху вземането на решения или не увреждат съществено тези интереси. За целите на настоящия регламент система с ИИ, която не оказва съществено влияние върху резултата от вземането на решения, следва да се разбира като система с ИИ, която не оказва въздействие върху същността, а оттам и върху резултата от вземането на решения, независимо дали е от човека, или автоматизирано. Система с ИИ, която не оказва съществено влияние върху резултата от вземането на решения, може да включва ситуации, при които са изпълнени едно или повече от посочените по-нататък условия. Първото условие следва да бъде системата с ИИ да е предназначена да изпълнява конкретно определена процедурна задача, като например система с ИИ, която преобразува неструктурирани данни в структурирани данни, система с ИИ, която класифицира входящите документи в категории, или система с ИИ, която се използва за откриване на случаи на дублиране в рамките на голям брой приложения. Тези задачи са с толкова тесен и ограничен характер, че пораждат само ограничени рискове, които не се увеличават чрез използването на система с ИИ в контекст, посочен като високорисково използване в приложение към настоящия регламент. Второто условие следва да бъде задачата, изпълнявана от системата с ИИ, да има за цел подобряване на резултата от извършена преди това човешка дейност, която може да е от значение за целите на видовете високорисково използване, изброени в приложение към настоящия регламент. Като се имат предвид тези характеристики, системата с ИИ представлява само допълнение към човешката дейност с произтичащ от това понижен риск. Това условие например ще е приложимо при системи с ИИ, които имат за цел да подобрят езика, използван във вече изготвени документи, например във връзка с професионалния тон, академичния стил на езика или чрез привеждане на текста в съответствие с определено послание на дадена марка. Третото условие следва да бъде системата с ИИ да е предназначена да открива модели за вземане на решения или отклонения от съществуващи модели за вземане на решения. Рискът ще бъде намален, тъй като използването на системата с ИИ следва предварително извършена човешка оценка, която системата няма за цел да замени или да повлияе без подходящ преглед, извършен от човек. Тези системи с ИИ включват например такива, които, предвид определен модел на оценяване от преподавател, могат да се използват за последваща проверка на вероятността преподавателят да се е отклонил от модела на оценяване, така че да се откроят възможни несъответствия или аномалии. Четвъртото условие следва да бъде системата с ИИ да е предназначена да изпълнява задача, която представлява само подготвителен етап преди извършването на оценка, която е от значение за целите на системите с ИИ, изброени в приложение в настоящия регламент, като по този начин възможното въздействие на резултата от системата намалява в значителна степен от гледна точка на това дали представлява риск за оценката, която ще последва. Това условие обхваща, наред с другото, интелигентни решения за обработка на файлове, които включват различни функции като индексиране, търсене, обработка на текст и реч или свързване на данни с други източници на данни, или системи с ИИ, използвани за превод на първоначални документи. Във всеки случай следва да се счита, че системи с ИИ, използвани в случаи на високорисково използване, посочени в приложение към настоящия регламент, пораждат значителни рискове от вреди за здравето, безопасността или основните права, ако системата с ИИ предполага профилиране по смисъла на член 4, точка 4 от Регламент (ЕС) 2016/679 или член 3, точка 4 от Директива (ЕС) 2016/680, или член 3, точка 5 от Регламент (ЕС) 2018/1725. За да се гарантират проследимост и прозрачност, доставчик, който счита, че дадена система с ИИ не е високорискова въз основа на посочените по-горе условия, следва да изготви документация за оценката, преди системата да бъде пусната на пазара или пусната в действие, и при поискване да предостави тази документация на националните компетентни органи. Този доставчик следва да бъде задължен да регистрира системата с ИИ в базата данни на ЕС, създадена съгласно настоящия регламент. С цел да се дадат допълнителни насоки за практическото изпълнение на условията, съгласно които системи с ИИ, изброени в приложение към настоящия регламент, по изключение не са високорискови, Комисията, след консултация със Съвета по ИИ, следва да предостави насоки, в които да се конкретизира това практическо изпълнение, допълнено от изчерпателен списък с практически примери за случаи на използване на системи с ИИ, които са високорискови, и такива, които не са.
(54)
As biometric data constitutes a special category of personal data, it is appropriate to classify as high-risk several critical-use cases of biometric systems, insofar as their use is permitted under relevant Union and national law. Technical inaccuracies of AI systems intended for the remote biometric identification of natural persons can lead to biased results and entail discriminatory effects. The risk of such biased results and discriminatory effects is particularly relevant with regard to age, ethnicity, race, sex or disabilities. Remote biometric identification systems should therefore be classified as high-risk in view of the risks that they pose. Such a classification excludes AI systems intended to be used for biometric verification, including authentication, the sole purpose of which is to confirm that a specific natural person is who that person claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having secure access to premises. In addition, AI systems intended to be used for biometric categorisation according to sensitive attributes or characteristics protected under Article 9(1) of Regulation (EU) 2016/679 on the basis of biometric data, in so far as these are not prohibited under this Regulation, and emotion recognition systems that are not prohibited under this Regulation, should be classified as high-risk. Biometric systems which are intended to be used solely for the purpose of enabling cybersecurity and personal data protection measures should not be considered to be high-risk AI systems.
(54)
Тъй като биометричните данни представляват специална категория лични данни, е целесъобразно да се класифицират като високорискови няколко случая на критично използване на биометрични системи, доколкото тяхното използване е разрешено съгласно съответното право на Съюза и национално право. Техническите неточности на системите с ИИ, предназначени за дистанционна биометрична идентификация на физически лица, могат да доведат до опорочени от предубеденост резултати и до дискриминация. Рискът от такива опорочени от предубеденост резултати и дискриминация е от особено значение във връзка с възраст, етническа принадлежност, раса, пол или увреждане. Поради това системите за дистанционна биометрична идентификация следва да бъдат класифицирани като високорискови с оглед на рисковете, които пораждат. Тази класификация изключва системите с ИИ, предназначени да бъдат използвани за биометрична проверка, включително за удостоверяване на самоличността, чиято единствена цел е да се потвърди, че конкретно физическо лице е лицето, за което се представя, и да се потвърди самоличността на физическо лице единствено за да се получи достъп до услуга, да се отключи устройство или да се придобие сигурен достъп до помещения. Освен това следва да бъдат класифицирани като високорискови системите с ИИ, предназначени да се използват за биометрично категоризиране в съответствие с чувствителни признаци или характеристики, защитени съгласно член 9, параграф 1 от Регламент (ЕС) 2016/679, въз основа на биометрични данни, доколкото те не са забранени съгласно настоящия регламент, и системи за разпознаване на емоции, които не са забранени съгласно настоящия регламент. Биометричните системи, които са предназначени да се използват единствено с цел да се позволи предприемането на мерки за киберсигурност и за защита на личните данни, не следва да се считат за високорискови системи с ИИ.
(55)
As regards the management and operation of critical infrastructure, it is appropriate to classify as high-risk the AI systems intended to be used as safety components in the management and operation of critical digital infrastructure as listed in point (8) of the Annex to Directive (EU) 2022/2557, road traffic and the supply of water, gas, heating and electricity, since their failure or malfunctioning may put at risk the life and health of persons at large scale and lead to appreciable disruptions in the ordinary conduct of social and economic activities. Safety components of critical infrastructure, including critical digital infrastructure, are systems used to directly protect the physical integrity of critical infrastructure or the health and safety of persons and property but which are not necessary in order for the system to function. The failure or malfunctioning of such components might directly lead to risks to the physical integrity of critical infrastructure and thus to risks to health and safety of persons and property. Components intended to be used solely for cybersecurity purposes should not qualify as safety components. Examples of safety components of such critical infrastructure may include systems for monitoring water pressure or fire alarm controlling systems in cloud computing centres.
(55)
Във връзка с управлението и експлоатацията на критична инфраструктура, е целесъобразно системите с ИИ, предназначени да бъдат използвани като защитни елементи при управлението и експлоатацията на критична цифрова инфраструктура, посочена в точка 8 от приложението към Директива (ЕС) 2022/2557, движението по пътищата и водоснабдяването, газоснабдяването, отоплението и електроенергията, да бъдат класифицирани като високорискови системи с ИИ, тъй като при тях аварията или неизправността може да изложи на риск живота и здравето на множество хора и да доведе до значителни смущения в обичайното осъществяване на социални и икономически дейности. Защитните елементи на критичната инфраструктура, включително критичната цифрова инфраструктура, са системи, използвани за пряка защита на физическата цялост на критичната инфраструктура или на здравето и безопасността на хората и имуществото, но не са необходими за функционирането на системата. Аварията или неизправността на тези елементи може пряко да породи рискове за физическата цялост на критичната инфраструктура и оттук –рискове за здравето и безопасността на хората и имуществото. Елементи, предназначени да се използват единствено за целите на киберсигурността, не следва да се квалифицират като защитни елементи. Сред примерите за защитни елементи на критичната инфраструктура могат да се посочат системите за наблюдение на водното налягане или контролните системи за пожароизвестяване в центровете за изчисления в облак.
(56)
The deployment of AI systems in education is important to promote high-quality digital education and training and to allow all learners and teachers to acquire and share the necessary digital skills and competences, including media literacy, and critical thinking, to take an active part in the economy, society, and in democratic processes. However, AI systems used in education or vocational training, in particular for determining access or admission, for assigning persons to educational and vocational training institutions or programmes at all levels, for evaluating learning outcomes of persons, for assessing the appropriate level of education for an individual and materially influencing the level of education and training that individuals will receive or will be able to access or for monitoring and detecting prohibited behaviour of students during tests should be classified as high-risk AI systems, since they may determine the educational and professional course of a person’s life and therefore may affect that person’s ability to secure a livelihood. When improperly designed and used, such systems may be particularly intrusive and may violate the right to education and training as well as the right not to be discriminated against and perpetuate historical patterns of discrimination, for example against women, certain age groups, persons with disabilities, or persons of certain racial or ethnic origins or sexual orientation.
(56)
Внедряването на системи с ИИ в образованието е важно, за да се насърчи висококачествено цифрово образование и обучение и да се даде възможност на всички учащи се и преподаватели да придобиват и споделят необходимите цифрови умения и компетентности, включително за медийна грамотност и критично мислене, за да участват активно в икономиката, обществото и демократичните процеси. Същевременно системите с ИИ, използвани в образованието или професионалното обучение, по-специално за определяне на достъпа или приема, за разпределяне на лица в институции или програми на всички нива на образованието и професионалното обучение, за оценяване на учебните резултати, за оценяване на подходящото ниво на образование за дадено лице и за оказване на съществено влияние върху нивото на образование и обучение, което лицата ще получат или до което ще могат да имат достъп, или за наблюдение и откриване на забранено поведение на ученици и студенти по време на изпити, следва да се класифицират като високорискови системи с ИИ, тъй като могат да определят образователния и професионалния път на дадено лице и така да повлияят на способността на това лице да осигурява прехраната си. Когато не са правилно проектирани и използвани, тези системи може да са особено инвазивни и е възможно да нарушат правото на образование и обучение, както и правото на недискриминация, и да продължат да възпроизвеждат исторически наложени дискриминационни модели, например срещу жени, определени възрастови групи, хора с увреждания или с определен расов или етнически произход или сексуална ориентация.
(57)
AI systems used in employment, workers management and access to self-employment, in particular for the recruitment and selection of persons, for making decisions affecting terms of the work-related relationship, promotion and termination of work-related contractual relationships, for allocating tasks on the basis of individual behaviour, personal traits or characteristics and for monitoring or evaluation of persons in work-related contractual relationships, should also be classified as high-risk, since those systems may have an appreciable impact on future career prospects, livelihoods of those persons and workers’ rights. Relevant work-related contractual relationships should, in a meaningful manner, involve employees and persons providing services through platforms as referred to in the Commission Work Programme 2021. Throughout the recruitment process and in the evaluation, promotion, or retention of persons in work-related contractual relationships, such systems may perpetuate historical patterns of discrimination, for example against women, certain age groups, persons with disabilities, or persons of certain racial or ethnic origins or sexual orientation. AI systems used to monitor the performance and behaviour of such persons may also undermine their fundamental rights to data protection and privacy.
(57)
Системите с ИИ, използвани в областта на заетостта, управлението на работниците и достъпа до самостоятелна заетост, по-специално за подбор и наемане на лица, за вземане на решения, засягащи условията за повишение при отношения във връзка с полагане на труд и прекратяване на договорни отношения във връзка с полагане на труд, за разпределяне на задачи въз основа на индивидуално поведение, личностни черти или характеристики и за наблюдение или оценка на лица, които имат договорни отношения във връзка с полагане на труд, също следва да бъдат класифицирани като високорискови, тъй като тези системи могат в значителна степен да повлияят на бъдещите перспективи за професионално развитие, осигуряването на прехраната на тези лица и правата на работниците. Съответните договорни отношения във връзка с полагането на труд следва по пълноценен начин да включват и служителите и лицата, предоставящи услуги чрез платформи, както е посочено в работната програма на Комисията за 2021 г. По време на целия процес на набиране на персонал и при оценката, повишаването или задържането на лица в договорни отношения във връзка с полагането на труд такива системи могат да продължат да възпроизвеждат исторически наложени дискриминационни модели, например срещу жени, определени възрастови групи, хора с увреждания или с определен расов или етнически произход или сексуална ориентация. Системите с ИИ, използвани за наблюдение на работата и поведението на тези лица, могат също така да накърнят техните основни права на защита на данните и неприкосновеност на личния живот.
(58)
Another area in which the use of AI systems deserves special consideration is the access to and enjoyment of certain essential private and public services and benefits necessary for people to fully participate in society or to improve one’s standard of living. In particular, natural persons applying for or receiving essential public assistance benefits and services from public authorities namely healthcare services, social security benefits, social services providing protection in cases such as maternity, illness, industrial accidents, dependency or old age and loss of employment and social and housing assistance, are typically dependent on those benefits and services and in a vulnerable position in relation to the responsible authorities. If AI systems are used for determining whether such benefits and services should be granted, denied, reduced, revoked or reclaimed by authorities, including whether beneficiaries are legitimately entitled to such benefits or services, those systems may have a significant impact on persons’ livelihood and may infringe their fundamental rights, such as the right to social protection, non-discrimination, human dignity or an effective remedy and should therefore be classified as high-risk. Nonetheless, this Regulation should not hamper the development and use of innovative approaches in the public administration, which would stand to benefit from a wider use of compliant and safe AI systems, provided that those systems do not entail a high risk to legal and natural persons. In addition, AI systems used to evaluate the credit score or creditworthiness of natural persons should be classified as high-risk AI systems, since they determine those persons’ access to financial resources or essential services such as housing, electricity, and telecommunication services. AI systems used for those purposes may lead to discrimination between persons or groups and may perpetuate historical patterns of discrimination, such as that based on racial or ethnic origins, gender, disabilities, age or sexual orientation, or may create new forms of discriminatory impacts. However, AI systems provided for by Union law for the purpose of detecting fraud in the offering of financial services and for prudential purposes to calculate credit institutions’ and insurance undertakings’ capital requirements should not be considered to be high-risk under this Regulation. Moreover, AI systems intended to be used for risk assessment and pricing in relation to natural persons for health and life insurance can also have a significant impact on persons’ livelihood and if not duly designed, developed and used, can infringe their fundamental rights and can lead to serious consequences for people’s life and health, including financial exclusion and discrimination. Finally, AI systems used to evaluate and classify emergency calls by natural persons or to dispatch or establish priority in the dispatching of emergency first response services, including by police, firefighters and medical aid, as well as of emergency healthcare patient triage systems, should also be classified as high-risk since they make decisions in very critical situations for the life and health of persons and their property.
(58)
Друга област, в която използването на системи с ИИ заслужава специално внимание, е достъпът до и ползването на някои основни частни и публични услуги и подпомагане, необходими на хората за пълноценно участие в обществото или за подобряване на техния стандарт на живот. По-специално, физическите лица, които кандидатстват или получават основно обществено подпомагане и услуги от публични органи, а именно здравни услуги, социалноосигурителни обезщетения, социални услуги, осигуряващи закрила в случаи като майчинство, заболяване, трудова злополука, зависимост или старост и загуба на работа, както и на социална помощ и помощ за жилищно настаняване, обикновено зависят от това подпомагане и услуги и са в уязвимо положение по отношение на отговорните органи. Ако системите с ИИ се използват, за да се определи дали това подпомагане и услуги следва да бъдат предоставени, отказани, намалени, отменени или възстановени от органите, включително дали бенефициерите имат законно право да се ползват от това подпомагане или услуги, въпросните системи могат да окажат значително въздействие върху материалната издръжка на тези лица и да нарушат основните им права, като правото на социална закрила, недискриминация, човешко достойнство или ефективни правни средства за защита, и поради това следва да бъдат класифицирани като високорискови. Независимо от това настоящият регламент не следва да възпрепятства разработването и използването на иновативни подходи в публичната администрация, за които по-широкото използване на съвместими и безопасни системи с ИИ би било полезно, при условие че тези системи не пораждат висок риск за юридическите и физическите лица. Наред с това системите с ИИ, използвани за оценка на кредитния рейтинг или кредитоспособността на физически лица, следва да бъдат класифицирани като високорискови системи с ИИ, тъй като те определят какъв достъп ще имат тези лица до финансови ресурси или основни услуги като жилищно настаняване, електроенергия и телекомуникационни услуги. Използваните за тези цели системи с ИИ могат да доведат до дискриминация на лица или групи и да продължат да възпроизвеждат исторически наложени дискриминационни модели, например въз основа на расов или етнически произход, пол, увреждане, възраст, сексуална ориентация, или да създадат нови форми на дискриминация. Системите с ИИ, предвидени в правото на Съюза за целите на разкриването на измами при предлагането на финансови услуги и за пруденциални цели за изчисляване на капиталовите изисквания на кредитните институции и застрахователите, не следва обаче да се считат за високорискови съгласно настоящия регламент. Освен това системите с ИИ, предназначени да се използват за оценка на риска и ценообразуване във връзка със здравно застраховане и животозастраховане на физически лица, също могат да окажат значително въздействие върху осигуряването на прехраната на лицата и ако не са надлежно проектирани, разработени и използвани, могат да нарушат техните основни права и да доведат до сериозни последици за живота и здравето на хората, включително финансово изключване и дискриминация. И на последно място, системите с ИИ, използвани за оценка и класифициране на спешните повиквания от физически лица или за изпращане или определяне на приоритет по отношение на изпращането на службите за спешно реагиране, включително от полицията, пожарната и медицинската помощ, както и на системите за разпределяне на пациенти в областта на спешната здравна помощ, също следва да бъдат класифицирани като високорискови, тъй като те вземат решения в ситуации, които са изключително критични за живота и здравето на хората и за тяхното имущество.
(59)
Given their role and responsibility, actions by law enforcement authorities involving certain uses of AI systems are characterised by a significant degree of power imbalance and may lead to surveillance, arrest or deprivation of a natural person’s liberty as well as other adverse impacts on fundamental rights guaranteed in the Charter. In particular, if the AI system is not trained with high-quality data, does not meet adequate requirements in terms of its performance, its accuracy or robustness, or is not properly designed and tested before being put on the market or otherwise put into service, it may single out people in a discriminatory or otherwise incorrect or unjust manner. Furthermore, the exercise of important procedural fundamental rights, such as the right to an effective remedy and to a fair trial as well as the right of defence and the presumption of innocence, could be hampered, in particular, where such AI systems are not sufficiently transparent, explainable and documented. It is therefore appropriate to classify as high-risk, insofar as their use is permitted under relevant Union and national law, a number of AI systems intended to be used in the law enforcement context where accuracy, reliability and transparency is particularly important to avoid adverse impacts, retain public trust and ensure accountability and effective redress. In view of the nature of the activities and the risks relating thereto, those high-risk AI systems should include in particular AI systems intended to be used by or on behalf of law enforcement authorities or by Union institutions, bodies, offices, or agencies in support of law enforcement authorities for assessing the risk of a natural person to become a victim of criminal offences, as polygraphs and similar tools, for the evaluation of the reliability of evidence in in the course of investigation or prosecution of criminal offences, and, insofar as not prohibited under this Regulation, for assessing the risk of a natural person offending or reoffending not solely on the basis of the profiling of natural persons or the assessment of personality traits and characteristics or the past criminal behaviour of natural persons or groups, for profiling in the course of detection, investigation or prosecution of criminal offences. AI systems specifically intended to be used for administrative proceedings by tax and customs authorities as well as by financial intelligence units carrying out administrative tasks analysing information pursuant to Union anti-money laundering law should not be classified as high-risk AI systems used by law enforcement authorities for the purpose of prevention, detection, investigation and prosecution of criminal offences. The use of AI tools by law enforcement and other relevant authorities should not become a factor of inequality, or exclusion. The impact of the use of AI tools on the defence rights of suspects should not be ignored, in particular the difficulty in obtaining meaningful information on the functioning of those systems and the resulting difficulty in challenging their results in court, in particular by natural persons under investigation.
(59)
Предвид техните функции и отговорност, действията на правоохранителните органи, включващи определени видове използване на системи с ИИ, се характеризират със значителна степен на властово неравновесие и могат да доведат до наблюдение, задържане или лишаване от свобода на физическо лице, както и до други неблагоприятни въздействия по отношение на основните права, гарантирани от Хартата. По-специално, ако системата с ИИ не е обучена с висококачествени данни, не отговаря на съответните изисквания по отношение на своето функциониране, точност или надеждност или не е била правилно проектирана и изпитана преди да бъде пусната на пазара или по друг начин пусната в действие, тя може да избира лица по дискриминационен начин или по неправилен или необективен в друго отношение начин. Освен това упражняването на важни процесуални основни права, като правото на ефективни правни средства за защита и на справедлив съдебен процес, както и правото на защита и презумпцията за невиновност, би могло да бъде възпрепятствано, по-специално когато системите с ИИ не са достатъчно прозрачни, разбираеми и документирани. Поради това е целесъобразно редица системи с ИИ, предназначени да бъдат използвани в правоохранителен контекст, където точността, надеждността и прозрачността са особено важни за избягване на неблагоприятни въздействия, запазване на общественото доверие и гарантиране на отчетност и ефективна правна защита, да се класифицират като високорискови, доколкото тяхното използване е разрешено съгласно съответното право на Съюза и национално право. С оглед на естеството на дейностите и свързаните с тях рискове тези високорискови системи с ИИ следва да включват по-специално системи с ИИ, предназначени да бъдат използвани от или от името на правоохранителните органи или от институции, органи, служби или агенции на Съюза в подкрепа на правоохранителните органи за оценка на риска дадено физическо лице да стане жертва на престъпления, например полиграфи и подобни инструменти, за оценка на надеждността на доказателствата в хода на разследването или наказателното преследване на престъпления, и, доколкото това не е забранено съгласно настоящия регламент, за оценка на риска дадено физическо лице да извърши нарушение или повторно нарушение не само въз основа на профилирането на физически лица или на оценката на личностни черти и характеристики или на минало престъпно поведение на физически лица или групи, както и за профилиране в хода на разкриването, разследването или наказателното преследване на престъпления. Системите с ИИ, специално предназначени да се използват за административни производства от данъчните и митническите органи, както и от звената за финансово разузнаване, изпълняващи административни задачи за анализ на информация съгласно правото на Съюза за борба с изпирането на пари, не следва да се класифицират като високорискови системи с ИИ, използвани от правоохранителните органи за целите на предотвратяването, разкриването, разследването и наказателното преследване на престъпления. Използването на инструменти с ИИ от страна на правоохранителните и други съответни органи не следва да се превръща във фактор, обуславящ неравенство или изключване. Въздействието на използването на инструменти с ИИ върху правата на защита на заподозрените лица не следва да се пренебрегва, по-специално трудностите при получаване на съдържателна информация относно функционирането на тези системи и произтичащите от това трудности при оспорване на резултатите от тях в съда, по-специално от страна на физически лица, срещу които се води разследване.
(60)
AI systems used in migration, asylum and border control management affect persons who are often in particularly vulnerable position and who are dependent on the outcome of the actions of the competent public authorities. The accuracy, non-discriminatory nature and transparency of the AI systems used in those contexts are therefore particularly important to guarantee respect for the fundamental rights of the affected persons, in particular their rights to free movement, non-discrimination, protection of private life and personal data, international protection and good administration. It is therefore appropriate to classify as high-risk, insofar as their use is permitted under relevant Union and national law, AI systems intended to be used by or on behalf of competent public authorities or by Union institutions, bodies, offices or agencies charged with tasks in the fields of migration, asylum and border control management as polygraphs and similar tools, for assessing certain risks posed by natural persons entering the territory of a Member State or applying for visa or asylum, for assisting competent public authorities for the examination, including related assessment of the reliability of evidence, of applications for asylum, visa and residence permits and associated complaints with regard to the objective to establish the eligibility of the natural persons applying for a status, for the purpose of detecting, recognising or identifying natural persons in the context of migration, asylum and border control management, with the exception of verification of travel documents. AI systems in the area of migration, asylum and border control management covered by this Regulation should comply with the relevant procedural requirements set by the Regulation (EC) No 810/2009 of the European Parliament and of the Council (32), the Directive 2013/32/EU of the European Parliament and of the Council (33), and other relevant Union law. The use of AI systems in migration, asylum and border control management should, in no circumstances, be used by Member States or Union institutions, bodies, offices or agencies as a means to circumvent their international obligations under the UN Convention relating to the Status of Refugees done at Geneva on 28 July 1951 as amended by the Protocol of 31 January 1967. Nor should they be used to in any way infringe on the principle of non-refoulement, or to deny safe and effective legal avenues into the territory of the Union, including the right to international protection.
(60)
Системите с ИИ, използвани в управлението на миграцията, убежището и граничния контрол, засягат лица, които често са в особено уязвимо положение и които зависят от резултата от действията на компетентните публични органи. Поради това точността, недискриминационният характер и прозрачността на системите с ИИ, използвани в тези ситуации, са особено важни, за да се гарантира зачитането на основните права на засегнатите лица, по-специално правото им на свободно движение, недискриминация, защита на личния живот и личните данни, международна закрила и добра администрация. Поради това е целесъобразно, доколкото използването им е разрешено съгласно съответното право на Съюза и национално право, да бъдат класифицирани като високорискови системите с ИИ, предназначени да бъдат използвани от или от името на компетентните публични органи или от институции, органи, служби или агенции на Съюза, натоварени със задачи в областта на управлението на миграцията, убежището и граничния контрол, например полиграфи и подобни инструменти, за оценка на определени рискове, произтичащи от физически лица, които влизат на територията на държава членка или подават молба за виза или убежище, за подпомагане на компетентните публични органи при разглеждането, включително свързаната с това оценка на надеждността на доказателствата, на молби за убежище, визи и разрешения за пребиваване и свързаните с тях жалби по отношение на целта за установяване на допустимостта на физическите лица, кандидатстващи за статут, с цел откриване, разпознаване или установяване на самоличността на физически лица в контекста на управлението на миграцията, убежището и граничния контрол, с изключение на проверка на документите за пътуване. Системите с ИИ в областта на управлението на миграцията, убежището и граничния контрол, обхванати от настоящия регламент, следва да съответстват на съответните процедурни изисквания, установени в Регламент (ЕО) № 810/2009 на Европейския парламент и на Съвета (32), Директива 2013/32/ЕС на Европейския парламент и на Съвета (33) и друго съответно право на Съюза. Системите с ИИ в контекста на управлението на миграцията, убежището и граничния контрол не следва при никакви обстоятелства да се използват от държавите членки или институциите, органите, службите или агенциите на Съюза като средство за заобикаляне на техните международни задължения съгласно Конвенцията на Организацията на обединените нации за статута на бежанците, съставена в Женева на 28 юли 1951 г. и изменена с Протокола от 31 януари 1967 г. Те не следва да се използват и за нарушаване по какъвто и да било начин на принципа на забрана за връщане или за отказ във връзка с безопасни и ефективни законни възможности за достъп до територията на Съюза, включително правото на международна закрила.
(61)
Certain AI systems intended for the administration of justice and democratic processes should be classified as high-risk, considering their potentially significant impact on democracy, the rule of law, individual freedoms as well as the right to an effective remedy and to a fair trial. In particular, to address the risks of potential biases, errors and opacity, it is appropriate to qualify as high-risk AI systems intended to be used by a judicial authority or on its behalf to assist judicial authorities in researching and interpreting facts and the law and in applying the law to a concrete set of facts. AI systems intended to be used by alternative dispute resolution bodies for those purposes should also be considered to be high-risk when the outcomes of the alternative dispute resolution proceedings produce legal effects for the parties. The use of AI tools can support the decision-making power of judges or judicial independence, but should not replace it: the final decision-making must remain a human-driven activity. The classification of AI systems as high-risk should not, however, extend to AI systems intended for purely ancillary administrative activities that do not affect the actual administration of justice in individual cases, such as anonymisation or pseudonymisation of judicial decisions, documents or data, communication between personnel, administrative tasks.
(61)
Някои системи с ИИ, предназначени за използване в правораздаването и при демократичните процеси, следва да бъдат класифицирани като високорискови, като се има предвид потенциално значителното им въздействие върху демокрацията, принципите на правовата държава, индивидуалните свободи, както и правото на ефективни правни средства за защита и на справедлив съдебен процес. По-специално, за да се преодолеят рисковете от възможна предубеденост, грешки и непрозрачност, е целесъобразно да се класифицират като високорискови системите с ИИ, предназначени да бъдат използвани от орган на съдебна власт или от негово име, за да подпомагат органите на съдебна власт при проучването и тълкуването на фактите и правото и при прилагането на правото към конкретен набор от факти. Системите с ИИ, предназначени да бъдат използвани от органите за алтернативно разрешаване на спорове за тези цели, също следва да се считат за високорискови, когато резултатите от производството по алтернативно разрешаване на спорове пораждат правни последици за страните. Използването на инструменти с ИИ може да подпомогне, но не следва да заменя правомощията на съда за вземане на решения или независимостта на съдебната власт; окончателното вземане на решение трябва да продължи да бъде ръководено от човека. Класификацията на системите с ИИ като високорискови не следва обаче да обхваща системите с ИИ, предназначени за чисто спомагателни административни дейности, които не засягат самото правораздаване по отделните дела, като например анонимизиране или псевдонимизиране на съдебни решения, документи или данни, комуникация между персонала и административни задачи.
(62)
Without prejudice to the rules provided for in Regulation (EU) 2024/900 of the European Parliament and of the Council (34), and in order to address the risks of undue external interference with the right to vote enshrined in Article 39 of the Charter, and of adverse effects on democracy and the rule of law, AI systems intended to be used to influence the outcome of an election or referendum or the voting behaviour of natural persons in the exercise of their vote in elections or referenda should be classified as high-risk AI systems with the exception of AI systems whose output natural persons are not directly exposed to, such as tools used to organise, optimise and structure political campaigns from an administrative and logistical point of view.
(62)
Без да се засягат правилата, предвидени в Регламент (ЕС) 2024/900 на Европейския парламент и на Съвета (34), и с цел да се преодолеят рисковете от неправомерна външна намеса в упражняването на правото на глас, залегнало в член 39 от Хартата, и от неблагоприятните последици за демокрацията и принципите на правовата държава, системите с ИИ, предназначени да се използват за оказване на влияние върху резултата от избори или референдум или върху поведението на физическите лица при упражняване на правото им на глас в избори или референдум, следва да се класифицират като високорискови системи с ИИ, с изключение на системите с ИИ, на чиито резултати физическите лица не са пряко изложени, като например инструменти, използвани за организиране, оптимизиране и структуриране на политически кампании от административна и логистична гледна точка.
(63)
The fact that an AI system is classified as a high-risk AI system under this Regulation should not be interpreted as indicating that the use of the system is lawful under other acts of Union law or under national law compatible with Union law, such as on the protection of personal data, on the use of polygraphs and similar tools or other systems to detect the emotional state of natural persons. Any such use should continue to occur solely in accordance with the applicable requirements resulting from the Charter and from the applicable acts of secondary Union law and national law. This Regulation should not be understood as providing for the legal ground for processing of personal data, including special categories of personal data, where relevant, unless it is specifically otherwise provided for in this Regulation.
(63)
Фактът, че дадена система с ИИ е класифицирана като високорискова система с ИИ съгласно настоящия регламент, не следва да се тълкува като указване, че използването на системата е законосъобразно съгласно други актове на правото на Съюза или съгласно националното право, съвместимо с правото на Съюза, като например относно защитата на личните данни и използването на полиграфи и подобни инструменти или други системи за разпознаване на емоционалното състояние на физическите лица. Всяко такова използване следва да продължи да се извършва единствено в съответствие с приложимите изисквания, произтичащи от Хартата и от приложимите актове на вторичното право на Съюза и националното право. Настоящият регламент не следва да се тълкува като предоставящ правно основание за обработването на лични данни, включително, ако е приложимо, на специални категории лични данни, освен когато в него изрично е предвидено друго.
(64)
To mitigate the risks from high-risk AI systems placed on the market or put into service and to ensure a high level of trustworthiness, certain mandatory requirements should apply to high-risk AI systems, taking into account the intended purpose and the context of use of the AI system and according to the risk-management system to be established by the provider. The measures adopted by the providers to comply with the mandatory requirements of this Regulation should take into account the generally acknowledged state of the art on AI, be proportionate and effective to meet the objectives of this Regulation. Based on the New Legislative Framework, as clarified in Commission notice ‘The “Blue Guide” on the implementation of EU product rules 2022’, the general rule is that more than one legal act of Union harmonisation legislation may be applicable to one product, since the making available or putting into service can take place only when the product complies with all applicable Union harmonisation legislation. The hazards of AI systems covered by the requirements of this Regulation concern different aspects than the existing Union harmonisation legislation and therefore the requirements of this Regulation would complement the existing body of the Union harmonisation legislation. For example, machinery or medical devices products incorporating an AI system might present risks not addressed by the essential health and safety requirements set out in the relevant Union harmonised legislation, as that sectoral law does not deal with risks specific to AI systems. This calls for a simultaneous and complementary application of the various legislative acts. To ensure consistency and to avoid an unnecessary administrative burden and unnecessary costs, providers of a product that contains one or more high-risk AI system, to which the requirements of this Regulation and of the Union harmonisation legislation based on the New Legislative Framework and listed in an annex to this Regulation apply, should have flexibility with regard to operational decisions on how to ensure compliance of a product that contains one or more AI systems with all the applicable requirements of that Union harmonised legislation in an optimal manner. That flexibility could mean, for example a decision by the provider to integrate a part of the necessary testing and reporting processes, information and documentation required under this Regulation into already existing documentation and procedures required under existing Union harmonisation legislation based on the New Legislative Framework and listed in an annex to this Regulation. This should not, in any way, undermine the obligation of the provider to comply with all the applicable requirements.
(64)
За да се ограничат рисковете, произтичащи от високорискови системи с ИИ, пуснати на пазара или пуснати в действие, и за да се гарантира високо равнище на надеждност, за високорисковите системи с ИИ следва да се прилагат някои задължителни изисквания, при които се вземат предвид предназначението и контекстът на използване на системата с ИИ и които са съобразени със системата за управление на риска, която ще бъде създадена от доставчика. Мерките, предприети от доставчиците за спазване на задължителните изисквания на настоящия регламент, следва да са съобразени с общопризнатите съвременни технически постижения в областта на ИИ и да бъдат пропорционални и ефективни за постигане на целите на настоящия регламент. Въз основа на новата законодателна рамка, съгласно обясненията в известието на Комисията „Синьото ръководство“ за прилагане на правилата на ЕС относно продуктите – 2022 г., общото правило е, че повече от един правен акт от законодателството на Съюза за хармонизация може да е приложим за един продукт, тъй като предоставянето на пазара или пускането в действие може да се извърши само когато продуктът е в съответствие с цялото приложимо законодателство на Съюза за хармонизация. Опасностите, свързани със системите с ИИ, обхванати от изискванията на настоящия регламент, се отнасят до аспекти, различни от действащото законодателство на Съюза за хармонизация, поради което изискванията на настоящия регламент ще допълнят действащото законодателство на Съюза за хармонизация. Например машините или медицинските изделия, включващи система с ИИ, могат да представляват рискове, които не са обхванати от съществените изисквания, свързани със здравето и безопасността, установени в съответното законодателство на Съюза за хармонизация, тъй като в това секторно право не се уреждат рисковете, присъщи за системите с ИИ. Поради това е необходимо едновременно и допълващо се прилагане на различните законодателни актове. За да се гарантира съгласуваност и да се избегнат ненужна административна тежест и ненужни разходи, доставчиците на продукт, който съдържа една или повече високорискови системи с ИИ, за които се прилагат изискванията на настоящия регламент и на законодателството на Съюза за хармонизация въз основа на новата законодателна рамка, което е посочено в приложение към настоящия регламент, следва да разполагат с гъвкавост по отношение на оперативните решения за това как да се гарантира оптимално съответствие на продукт, който съдържа една или повече системи с ИИ, с всички приложими изисквания на това законодателство на Съюза за хармонизация. Тази гъвкавост би могла да означава например решение на доставчика да интегрира част от необходимите процеси на изпитване и докладване, информация и документация, изисквани съгласно настоящия регламент, във вече съществуваща документация и процедури, изисквани съгласно съществуващото законодателство на Съюза за хармонизация въз основа на новата законодателна рамка, посочено в приложение към настоящия регламент. Това по никакъв начин не следва да засяга задължението на доставчика да спазва всички приложими изисквания.
(65)
The risk-management system should consist of a continuous, iterative process that is planned and run throughout the entire lifecycle of a high-risk AI system. That process should be aimed at identifying and mitigating the relevant risks of AI systems on health, safety and fundamental rights. The risk-management system should be regularly reviewed and updated to ensure its continuing effectiveness, as well as justification and documentation of any significant decisions and actions taken subject to this Regulation. This process should ensure that the provider identifies risks or adverse impacts and implements mitigation measures for the known and reasonably foreseeable risks of AI systems to the health, safety and fundamental rights in light of their intended purpose and reasonably foreseeable misuse, including the possible risks arising from the interaction between the AI system and the environment within which it operates. The risk-management system should adopt the most appropriate risk-management measures in light of the state of the art in AI. When identifying the most appropriate risk-management measures, the provider should document and explain the choices made and, when relevant, involve experts and external stakeholders. In identifying the reasonably foreseeable misuse of high-risk AI systems, the provider should cover uses of AI systems which, while not directly covered by the intended purpose and provided for in the instruction for use may nevertheless be reasonably expected to result from readily predictable human behaviour in the context of the specific characteristics and use of a particular AI system. Any known or foreseeable circumstances related to the use of the high-risk AI system in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, which may lead to risks to the health and safety or fundamental rights should be included in the instructions for use that are provided by the provider. This is to ensure that the deployer is aware and takes them into account when using the high-risk AI system. Identifying and implementing risk mitigation measures for foreseeable misuse under this Regulation should not require specific additional training for the high-risk AI system by the provider to address foreseeable misuse. The providers however are encouraged to consider such additional training measures to mitigate reasonable foreseeable misuses as necessary and appropriate.
(65)
Системата за управление на риска следва да се състои от непрекъснат цикличен процес, който се планира и протича през целия жизнен цикъл на високорисковата система с ИИ. Този процес следва да бъде насочен към установяване и ограничаване на съответните рискове, произтичащи от системите с ИИ, за здравето, безопасността и основните права. Системата за управление на риска следва да подлежи на редовен преглед и за бъде актуализирана, за да се гарантира непрекъснатата ѝ ефективност, както и обосновката и документирането на всички важни решения и действия, предприети съгласно настоящия регламент. Този процес следва да гарантира, че доставчикът установява рисковете или неблагоприятните въздействия и прилага мерки за ограничаване на известните и разумно предвидими рискове, произтичащи от системите с ИИ, за здравето, безопасността и основните права с оглед на тяхното предназначение и разумно предвидима неправилна експлоатация, включително възможните рискове, произтичащи от взаимодействието между системата с ИИ и средата, в която тя работи. Системата за управление на риска следва да предприема най-подходящите мерки за управление на риска с оглед на съвременните технически постижения в областта на ИИ. При определянето на най-подходящите мерки за управление на риска доставчикът следва да документира и обясни направения избор и, когато е целесъобразно, да включи експерти и външни заинтересовани страни. При установяването на разумно предвидима неправилна експлоатация на високорискови системи с ИИ доставчикът следва да обхване използването на системите с ИИ, които, макар и да не са пряко обхванати от предназначението и предвидени в инструкциите за употреба, може все пак да се очаква, че са резултат от лесно предвидимо човешко поведение в контекста на специфичните характеристики и използване на конкретна система с ИИ. Всички известни или предвидими обстоятелства, свързани с използването на високорисковата система с ИИ в съответствие с предназначението ѝ или в условия на разумно предвидима неправилна експлоатация, които могат да породят рискове за здравето и безопасността или за основните права, следва да бъдат включени в инструкциите за употреба, предоставени от доставчика. Целта е да се гарантира, че внедрителят е запознат с тях и ги взема предвид при използването на високорисковата система с ИИ. Определянето и прилагането на мерки за ограничаване на риска в случаи на предвидима неправилна експлоатация съгласно настоящия регламент не следва да изискват осигуряването на конкретно допълнително обучение за високорисковата система с ИИ от страна на доставчика с цел намиране на решение във връзка с предвидимата неправилна експлоатация. Доставчиците обаче се насърчават да обмислят такива допълнителни мерки за обучение с цел ограничаване на случаи на разумно предвидима неправилна експлоатация, когато това е необходимо и целесъобразно.
(66)
Requirements should apply to high-risk AI systems as regards risk management, the quality and relevance of data sets used, technical documentation and record-keeping, transparency and the provision of information to deployers, human oversight, and robustness, accuracy and cybersecurity. Those requirements are necessary to effectively mitigate the risks for health, safety and fundamental rights. As no other less trade restrictive measures are reasonably available those requirements are not unjustified restrictions to trade.
(66)
По отношение на високорисковите системи с ИИ следва да се прилагат изисквания за управлението на риска, качеството и целесъобразността на използваните набори от данни, техническата документация и поддържането на регистри, прозрачността и предоставянето на информация на внедрителите, човешкия контрол, надеждността, точността и киберсигурността. Тези изисквания са необходими за ефективно ограничаване на рисковете за здравето, безопасността и основните права. Тъй като не съществуват други разумни, по-малко ограничителни мерки за търговията, тези изисквания не представляват необосновани ограничения на търговията.
(67)
High-quality data and access to high-quality data plays a vital role in providing structure and in ensuring the performance of many AI systems, especially when techniques involving the training of models are used, with a view to ensure that the high-risk AI system performs as intended and safely and it does not become a source of discrimination prohibited by Union law. High-quality data sets for training, validation and testing require the implementation of appropriate data governance and management practices. Data sets for training, validation and testing, including the labels, should be relevant, sufficiently representative, and to the best extent possible free of errors and complete in view of the intended purpose of the system. In order to facilitate compliance with Union data protection law, such as Regulation (EU) 2016/679, data governance and management practices should include, in the case of personal data, transparency about the original purpose of the data collection. The data sets should also have the appropriate statistical properties, including as regards the persons or groups of persons in relation to whom the high-risk AI system is intended to be used, with specific attention to the mitigation of possible biases in the data sets, that are likely to affect the health and safety of persons, have a negative impact on fundamental rights or lead to discrimination prohibited under Union law, especially where data outputs influence inputs for future operations (feedback loops). Biases can for example be inherent in underlying data sets, especially when historical data is being used, or generated when the systems are implemented in real world settings. Results provided by AI systems could be influenced by such inherent biases that are inclined to gradually increase and thereby perpetuate and amplify existing discrimination, in particular for persons belonging to certain vulnerable groups, including racial or ethnic groups. The requirement for the data sets to be to the best extent possible complete and free of errors should not affect the use of privacy-preserving techniques in the context of the development and testing of AI systems. In particular, data sets should take into account, to the extent required by their intended purpose, the features, characteristics or elements that are particular to the specific geographical, contextual, behavioural or functional setting which the AI system is intended to be used. The requirements related to data governance can be complied with by having recourse to third parties that offer certified compliance services including verification of data governance, data set integrity, and data training, validation and testing practices, as far as compliance with the data requirements of this Regulation are ensured.
(67)
Висококачествените данни и достъпът до тях имат жизненоважна роля за осигуряването на структура и за гарантирането на функционирането на много системи с ИИ, особено когато се използват техники, включващи обучение на модели, с цел да се гарантира, че високорисковата система с ИИ функционира по предназначение и по безопасен начин и не води до дискриминация, забранена от правото на Съюза. Висококачествените набори от обучителни, валидационни и изпитвателни данни изискват прилагането на подходящи практики за администриране и управление на данни. Наборите от обучителни, валидационни и изпитвателни данни, включително обозначенията, следва да бъдат подходящи, достатъчно представителни и във възможно най-голяма степен пълни и без грешки с оглед на предназначението на системата. За да се улесни спазването на правото на Съюза в областта на защитата на данните, като например Регламент (ЕС) 2016/679, практиките за администриране и управление на данни следва да включват, в случай на лични данни, прозрачност по отношение на първоначалната цел на събирането на данните. Наборите от данни следва също така да имат подходящи статистически свойства, включително по отношение на лицата или групите лица, във връзка с които е предназначена да се използва високорисковата система с ИИ, като се обръща специално внимание на намаляването на възможна предубеденост в наборите от данни, която има вероятност да засегне здравето и безопасността на хората, да окаже отрицателно въздействие върху основните права или да доведе до дискриминация, забранена съгласно правото на Съюза, особено когато резултатите от данните оказват влияние върху входящите данни за бъдещи операции (обратни връзки). Предубедеността може например да бъде присъща за основните набори от данни, особено при използването или генерирането на исторически данни, когато системите се внедряват в реални условия. Резултатите, предоставени от системи с ИИ, могат да се повлияват от такава присъща предубеденост, при която съществува тенденция постепенно да се увеличава и по този начин да затвърждава и засилва съществуващата дискриминация, по-специално по отношение на лица, принадлежащи към определени уязвими групи, включително расови или етнически групи. Изискването наборите от данни да бъдат във възможно най-голяма степен пълни и без грешки не следва да засяга използването на техники за опазване на неприкосновеността на личния живот в контекста на разработването и изпитването на системи с ИИ. По-специално, наборите от данни следва да са съобразени, доколкото това се изисква с оглед на предназначението им, с особеностите, характеристиките или елементите, характерни за конкретната географска, контекстуална, поведенческа или функционална среда, в която системата с ИИ е предназначена да бъде използвана. Изискванията, свързани с администрирането на данни, могат да бъдат спазени чрез използване на услугите на трети лица, които предлагат сертифицирани услуги за осигуряване на съответствие, включително проверка на администрирането на данните, целостта на наборите от данни и практиките за обучение, валидиране и изпитване на данните, доколкото се гарантира спазването на изискванията за данните по настоящия регламент.
(68)
For the development and assessment of high-risk AI systems, certain actors, such as providers, notified bodies and other relevant entities, such as European Digital Innovation Hubs, testing experimentation facilities and researchers, should be able to access and use high-quality data sets within the fields of activities of those actors which are related to this Regulation. European common data spaces established by the Commission and the facilitation of data sharing between businesses and with government in the public interest will be instrumental to provide trustful, accountable and non-discriminatory access to high-quality data for the training, validation and testing of AI systems. For example, in health, the European health data space will facilitate non-discriminatory access to health data and the training of AI algorithms on those data sets, in a privacy-preserving, secure, timely, transparent and trustworthy manner, and with an appropriate institutional governance. Relevant competent authorities, including sectoral ones, providing or supporting the access to data may also support the provision of high-quality data for the training, validation and testing of AI systems.
(68)
За разработването и оценката на високорискови системи с ИИ определени участници, като например доставчици, нотифицирани органи и други съответни субекти, например европейски цифрови иновационни центрове, структури за експериментиране и изпитване и научни работници, следва да имат достъп до и да използват висококачествени набори от данни в областите на дейност на тези участници, които са свързани с настоящия регламент. Общите европейски пространства на данни, създадени от Комисията, и улесняването на обмена на данни между предприятията и с държавните органи в името на обществения интерес ще бъдат от основно значение за осигуряването на надежден, отговорен и недискриминационен достъп до висококачествени данни за обучението, валидирането и изпитването на системите с ИИ. Например в областта на здравеопазването европейското пространство на здравни данни ще улесни недискриминационния достъп до здравни данни и обучението на алгоритми на ИИ въз основа на тези набори от данни по сигурен, навременен, прозрачен и надежден начин, при който се запазва неприкосновеността на личния живот, и при подходящо институционално управление. Съответните компетентни органи, включително секторните органи, които предоставят или подпомагат достъпа до данни, могат също така да подкрепят предоставянето на висококачествени данни за обучението, валидирането и изпитването на системите с ИИ.
(69)
The right to privacy and to protection of personal data must be guaranteed throughout the entire lifecycle of the AI system. In this regard, the principles of data minimisation and data protection by design and by default, as set out in Union data protection law, are applicable when personal data are processed. Measures taken by providers to ensure compliance with those principles may include not only anonymisation and encryption, but also the use of technology that permits algorithms to be brought to the data and allows training of AI systems without the transmission between parties or copying of the raw or structured data themselves, without prejudice to the requirements on data governance provided for in this Regulation.
(69)
Правото на неприкосновеност на личния живот и на защита на личните данни трябва да бъде гарантирано през целия жизнен цикъл на системата с ИИ. В това отношение принципите на свеждане на данните до минимум и на защита на данните при проектирането и по подразбиране, определени в правото на Съюза в областта на защитата на данните, са приложими при обработването на лични данни. Мерките, предприети от доставчиците за гарантиране на спазването на тези принципи, могат да включват не само анонимизиране и криптиране, но и използване на технологии, които позволяват въвеждането на алгоритми в данните и позволяват обучение на системи с ИИ без предаване между страните или копиране на самите необработени или структурирани данни, без да се засягат изискванията за администриране на данните, предвидени в настоящия регламент.
(70)
In order to protect the right of others from the discrimination that might result from the bias in AI systems, the providers should, exceptionally, to the extent that it is strictly necessary for the purpose of ensuring bias detection and correction in relation to the high-risk AI systems, subject to appropriate safeguards for the fundamental rights and freedoms of natural persons and following the application of all applicable conditions laid down under this Regulation in addition to the conditions laid down in Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, be able to process also special categories of personal data, as a matter of substantial public interest within the meaning of Article 9(2), point (g) of Regulation (EU) 2016/679 and Article 10(2), point (g) of Regulation (EU) 2018/1725.
(70)
За да се защитят правата на други лица от дискриминацията, която може да произтича от предубеденост в системите с ИИ, доставчиците следва по изключение, доколкото това е строго необходимо за целите на осигуряването на откриване и коригиране на предубедеността във високорисковите системи с ИИ, при спазване на подходящи гаранции за основните права и свободи на физическите лица и след прилагането на всички приложими условия, установени в настоящия регламент, в допълнение към условията, установени в регламенти (ЕС) 2016/679 и (ЕС) 2018/1725 и в Директива (ЕС) 2016/680, да могат да обработват и специални категории лични данни като въпрос от важен обществен интерес по смисъла на член 9, параграф 2, буква ж) от Регламент (ЕС) 2016/679 и член 10, параграф 2, буква ж) от Регламент (ЕС) 2018/1725.
(71)
Having comprehensible information on how high-risk AI systems have been developed and how they perform throughout their lifetime is essential to enable traceability of those systems, verify compliance with the requirements under this Regulation, as well as monitoring of their operations and post market monitoring. This requires keeping records and the availability of technical documentation, containing information which is necessary to assess the compliance of the AI system with the relevant requirements and facilitate post market monitoring. Such information should include the general characteristics, capabilities and limitations of the system, algorithms, data, training, testing and validation processes used as well as documentation on the relevant risk-management system and drawn in a clear and comprehensive form. The technical documentation should be kept up to date, appropriately throughout the lifetime of the AI system. Furthermore, high-risk AI systems should technically allow for the automatic recording of events, by means of logs, over the duration of the lifetime of the system.
(71)
Наличието на разбираема информация за начина на разработване на високорисковите системи с ИИ и начина на функционирането им през целия срок на експлоатация е от съществено значение, за да се даде възможност за проследимост на тези системи, проверка на съответствието с изискванията съгласно настоящия регламент, както и мониторинг на тяхното функциониране и мониторинг след пускането на пазара. Това изисква поддържането на регистри и наличието на техническа документация, съдържаща информация, която е необходима за оценяване на съответствието на системата с ИИ с приложимите изисквания и за улесняване на мониторинга след пускането на пазара. Тази информация следва да включва общите характеристики, способностите и ограниченията на системата, използваните алгоритми, данни и процеси на обучение, изпитване и валидиране, както и документация за съответната система за управление на риска, и следва да се изготвя в ясна и разбираема форма. Техническата документация следва да се актуализира по подходящ начин през целия срок на експлоатация на системата с ИИ. Освен това високорисковите системи с ИИ следва технически да позволяват автоматично записване на събития посредством записи по време на срока на експлоатация на системата.
(72)
To address concerns related to opacity and complexity of certain AI systems and help deployers to fulfil their obligations under this Regulation, transparency should be required for high-risk AI systems before they are placed on the market or put it into service. High-risk AI systems should be designed in a manner to enable deployers to understand how the AI system works, evaluate its functionality, and comprehend its strengths and limitations. High-risk AI systems should be accompanied by appropriate information in the form of instructions of use. Such information should include the characteristics, capabilities and limitations of performance of the AI system. Those would cover information on possible known and foreseeable circumstances related to the use of the high-risk AI system, including deployer action that may influence system behaviour and performance, under which the AI system can lead to risks to health, safety, and fundamental rights, on the changes that have been pre-determined and assessed for conformity by the provider and on the relevant human oversight measures, including the measures to facilitate the interpretation of the outputs of the AI system by the deployers. Transparency, including the accompanying instructions for use, should assist deployers in the use of the system and support informed decision making by them. Deployers should, inter alia, be in a better position to make the correct choice of the system that they intend to use in light of the obligations applicable to them, be educated about the intended and precluded uses, and use the AI system correctly and as appropriate. In order to enhance legibility and accessibility of the information included in the instructions of use, where appropriate, illustrative examples, for instance on the limitations and on the intended and precluded uses of the AI system, should be included. Providers should ensure that all documentation, including the instructions for use, contains meaningful, comprehensive, accessible and understandable information, taking into account the needs and foreseeable knowledge of the target deployers. Instructions for use should be made available in a language which can be easily understood by target deployers, as determined by the Member State concerned.
(72)
За да се отговори на опасенията, свързани с непрозрачността и сложността на някои системи с ИИ, и да се помогне на внедрителите да изпълняват задълженията си съгласно настоящия регламент, следва да се изисква прозрачност за високорисковите системи с ИИ преди пускането им на пазара или пускането им в действие. Високорисковите системи с ИИ следва да бъдат проектирани по начин, който позволява на внедрителите да разберат как функционира системата с ИИ, да оценят нейната функционалност и да разберат нейните силни страни и ограничения. Високорисковите системи с ИИ следва да се придружават от подходяща информация под формата на инструкции за употреба. Тази информация следва да включва характеристиките, способностите и ограниченията на действието на системата с ИИ. Те ще обхващат информация относно възможните известни и предвидими обстоятелства, свързани с използването на високорисковата система с ИИ, включително действия от страна на внедрителя, които могат да повлияят на поведението и работата на системата и в рамките на които системата с ИИ може да породи рискове за здравето, безопасността и основните права, относно промените, които са предварително определени и чието съответствие е оценено от доставчика, както и относно съответните мерки за човешки контрол, включително мерките за улесняване на тълкуването на резултатите от системата с ИИ от внедрителите. Прозрачността, включително придружаващите инструкции за употреба, следва да подпомага внедрителите при използването на системата, както и при вземането на информирани решения. Внедрителите следва, наред с другото, да разполагат с по-добра възможност да направят правилния избор за системата, която възнамеряват да използват с оглед на приложимите за тях задължения, да бъдат запознати с предвиденото и неразрешеното използване и да използват системата с ИИ правилно и целесъобразно. За да се подобри разбираемостта и достъпността на информацията, включена в инструкциите за употреба, когато е целесъобразно следва да бъдат включени илюстративни примери, например относно ограниченията и относно предвиденото и неразрешеното използване на системата с ИИ. Доставчиците следва да гарантират, че цялата документация, включително инструкциите за употреба, съдържа съдържателна, изчерпателна, достъпна и разбираема информация, като се вземат предвид нуждите и предвидимите познания на внедрителите, за които е предназначена. Инструкциите за употреба следва да се предоставят на език, лесно разбираем за внедрителите, за които са предназначени, който е определен от съответната държава членка.
(73)
High-risk AI systems should be designed and developed in such a way that natural persons can oversee their functioning, ensure that they are used as intended and that their impacts are addressed over the system’s lifecycle. To that end, appropriate human oversight measures should be identified by the provider of the system before its placing on the market or putting into service. In particular, where appropriate, such measures should guarantee that the system is subject to in-built operational constraints that cannot be overridden by the system itself and is responsive to the human operator, and that the natural persons to whom human oversight has been assigned have the necessary competence, training and authority to carry out that role. It is also essential, as appropriate, to ensure that high-risk AI systems include mechanisms to guide and inform a natural person to whom human oversight has been assigned to make informed decisions if, when and how to intervene in order to avoid negative consequences or risks, or stop the system if it does not perform as intended. Considering the significant consequences for persons in the case of an incorrect match by certain biometric identification systems, it is appropriate to provide for an enhanced human oversight requirement for those systems so that no action or decision may be taken by the deployer on the basis of the identification resulting from the system unless this has been separately verified and confirmed by at least two natural persons. Those persons could be from one or more entities and include the person operating or using the system. This requirement should not pose unnecessary burden or delays and it could be sufficient that the separate verifications by the different persons are automatically recorded in the logs generated by the system. Given the specificities of the areas of law enforcement, migration, border control and asylum, this requirement should not apply where Union or national law considers the application of that requirement to be disproportionate.
(73)
Високорисковите системи с ИИ следва да бъдат проектирани и разработени по такъв начин, че физическите лица да могат да следят тяхното функциониране, да гарантират, че те се използват по предназначение и че въздействието им се взема предвид през целия жизнен цикъл на системата. За тази цел доставчикът на системата следва да определи подходящи мерки за човешки контрол преди пускането ѝ на пазара или пускането ѝ в действие. По-специално, когато е целесъобразно, тези мерки следва да гарантират, че за системата се прилагат вградени оперативни ограничения, които не могат да бъдат заобиколени от самата система, и че тя отговаря на човека оператор, както и че физическите лица, на които е възложен човешкият контрол, разполагат с необходимата компетентност, обучение и авторитет за изпълнение на тази роля. Освен това е от съществено значение, когато е целесъобразно, да се гарантира, че високорисковите системи с ИИ включват механизми за даване на насоки и информация на дадено физическо лице, на което е възложен човешки контрол, за да взема информирани решения дали, кога и как да се намеси, за да се избегнат отрицателни последици или рискове, или да се спре системата, ако тя не функционира по предназначение. Предвид сериозните последици за хората в случай на неточно съвпадение, генерирано от някои системи за биометрична идентификация, е целесъобразно да се предвиди изискване за засилен човешки контрол над тези системи, така че внедрителят да не може да предприеме действие или да вземе решение въз основа на установена от системата самоличност, без това да е било проверено и потвърдено най-малко от две физически лица поотделно. Тези лица могат да се числят към един или повече образувания и да включват лицето, което управлява или използва системата. Това изискване не следва да поражда ненужна тежест или да води до забавяне; автоматичното вписване на отделните проверки, извършени от различните лица, в генерираните от системата записи би могло да е достатъчно. Като се имат предвид особеностите на правоохранителната област и областите на миграцията, граничния контрол и убежището, това изискване не следва да се прилага, когато според правото на Съюза или националното право се счита, че прилагането на това изискване е непропорционално.
(74)
High-risk AI systems should perform consistently throughout their lifecycle and meet an appropriate level of accuracy, robustness and cybersecurity, in light of their intended purpose and in accordance with the generally acknowledged state of the art. The Commission and relevant organisations and stakeholders are encouraged to take due consideration of the mitigation of risks and the negative impacts of the AI system. The expected level of performance metrics should be declared in the accompanying instructions of use. Providers are urged to communicate that information to deployers in a clear and easily understandable way, free of misunderstandings or misleading statements. Union law on legal metrology, including Directives 2014/31/EU (35) and 2014/32/EU (36) of the European Parliament and of the Council, aims to ensure the accuracy of measurements and to help the transparency and fairness of commercial transactions. In that context, in cooperation with relevant stakeholders and organisation, such as metrology and benchmarking authorities, the Commission should encourage, as appropriate, the development of benchmarks and measurement methodologies for AI systems. In doing so, the Commission should take note and collaborate with international partners working on metrology and relevant measurement indicators relating to AI.
(74)
Високорисковите системи с ИИ следва да функционират стабилно през целия си жизнен цикъл и да съответстват на подходящо ниво на точност, надеждност и киберсигурност, с оглед на тяхното предназначение и в съответствие с общопризнатите съвременни технически постижения. Комисията и съответните организации и заинтересовани страни се насърчават да вземат надлежно предвид ограничаването на рисковете и отрицателното въздействие на системата с ИИ. Очакваното ниво на показателите за ефективност следва да бъде обявено в придружаващите инструкции за употреба. Доставчиците се приканват да съобщават тази информация на внедрителите по ясен и лесно разбираем начин, без възможности за недоразумения или подвеждащи твърдения. Правото на Съюза в областта на законовата метрология, включително директиви 2014/31/ЕС (35) и 2014/32/ЕС (36) на Европейския парламент и на Съвета, има за цел да гарантира точността на измерванията и да спомогне за прозрачността и почтеността на търговските сделки. В този контекст, в сътрудничество със съответните заинтересовани страни и организации, като например органите по метрология и сравнителен анализ, Комисията следва да насърчава, когато е целесъобразно, разработването на сравнителни показатели и методики за измерване за системите с ИИ. При това Комисията следва да вземе под внимание и да си сътрудничи с международните партньори, работещи в областта на метрологията и съответните показатели за измерване, свързани с ИИ.
(75)
Technical robustness is a key requirement for high-risk AI systems. They should be resilient in relation to harmful or otherwise undesirable behaviour that may result from limitations within the systems or the environment in which the systems operate (e.g. errors, faults, inconsistencies, unexpected situations). Therefore, technical and organisational measures should be taken to ensure robustness of high-risk AI systems, for example by designing and developing appropriate technical solutions to prevent or minimise harmful or otherwise undesirable behaviour. Those technical solution may include for instance mechanisms enabling the system to safely interrupt its operation (fail-safe plans) in the presence of certain anomalies or when operation takes place outside certain predetermined boundaries. Failure to protect against these risks could lead to safety impacts or negatively affect the fundamental rights, for example due to erroneous decisions or wrong or biased outputs generated by the AI system.
(75)
Техническата надеждност е ключово изискване за високорисковите системи с ИИ. Те следва да бъдат устойчиви на вредно или друго нежелателно поведение, което може да се прояви в резултат на ограничения в системите или средата, в която те работят (например грешки, дефекти, несъответствия, неочаквани ситуации). Поради това следва да се предприемат технически и организационни мерки, за да се гарантира надеждността на високорисковите системи с ИИ, например чрез проектиране и разработване на подходящи технически решения за предотвратяване или свеждане до минимум на вредното или друго нежелано поведение. Тези технически решения могат да включват например механизми, позволяващи на системата безопасно да прекъсне работата си (аварийни планове) при наличието на определени аномалии или когато работата се извършва извън предварително определени граници. Липсата на защита срещу тези рискове може да повлияе на безопасността или да се отрази отрицателно на основните права, например поради неправилни решения или погрешни или опорочени от предубеденост резултати, генерирани от системата с ИИ.
(76)
Cybersecurity plays a crucial role in ensuring that AI systems are resilient against attempts to alter their use, behaviour, performance or compromise their security properties by malicious third parties exploiting the system’s vulnerabilities. Cyberattacks against AI systems can leverage AI specific assets, such as training data sets (e.g. data poisoning) or trained models (e.g. adversarial attacks or membership inference), or exploit vulnerabilities in the AI system’s digital assets or the underlying ICT infrastructure. To ensure a level of cybersecurity appropriate to the risks, suitable measures, such as security controls, should therefore be taken by the providers of high-risk AI systems, also taking into account as appropriate the underlying ICT infrastructure.
(76)
Киберсигурността има решаващо значение, за да се гарантира, че системите с ИИ са устойчиви на опити за промяна на тяхното използване, поведение или ефективност или за засягане на техните свойства, свързани със сигурността, от недобросъвестни трети лица, които се възползват от уязвимостта на системата. Кибератаките срещу системи с ИИ могат да засегнат специфични за ИИ ресурси, като например набори от обучителни данни (например чрез „отравяне на данните“) или обучени модели (например чрез враждебни атаки или изводи за принадлежност), или да използват уязвимите места в цифровите ресурси на системата с ИИ или в основната ИКТ инфраструктура. За да се гарантира ниво на киберсигурност, съобразено с рисковете, доставчиците на високорискови системи с ИИ следва да предприемат подходящи мерки, например проверки на сигурността, като отчитат надлежно и основната ИКТ инфраструктура.
(77)
Without prejudice to the requirements related to robustness and accuracy set out in this Regulation, high-risk AI systems which fall within the scope of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, in accordance with that regulation may demonstrate compliance with the cybersecurity requirements of this Regulation by fulfilling the essential cybersecurity requirements set out in that regulation. When high-risk AI systems fulfil the essential requirements of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, they should be deemed compliant with the cybersecurity requirements set out in this Regulation in so far as the achievement of those requirements is demonstrated in the EU declaration of conformity or parts thereof issued under that regulation. To that end, the assessment of the cybersecurity risks, associated to a product with digital elements classified as high-risk AI system according to this Regulation, carried out under a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, should consider risks to the cyber resilience of an AI system as regards attempts by unauthorised third parties to alter its use, behaviour or performance, including AI specific vulnerabilities such as data poisoning or adversarial attacks, as well as, as relevant, risks to fundamental rights as required by this Regulation.
(77)
Без да се засягат изискванията, свързани с надеждността и точността, установени в настоящия регламент, при високорисковите системи с ИИ, които попадат в обхвата на регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи, в съответствие с посочения регламент, може да се докаже съответствие с изискванията за киберсигурност на настоящия регламент, като се изпълнят съществените изисквания за киберсигурност, установени в посочения регламент. Когато високорисковите системи с ИИ съответстват на съществените изисквания на регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи, те следва да се считат за съответстващи на изискванията за киберсигурност, установени в настоящия регламент, доколкото изпълнението на тези изисквания е доказано в ЕС декларацията за съответствие или части от нея, изготвена съгласно посочения регламент. За тази цел при оценката на рисковете за киберсигурността, свързани с продукт с цифрови елементи, класифициран като високорискова система с ИИ съгласно настоящия регламент, извършена съгласно регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи, следва да се вземат предвид рисковете за киберустойчивостта на дадена система с ИИ по отношение на опитите на неоправомощени трети лица да променят нейното използване, поведение или работа, включително специфичните за ИИ уязвими места, като например „отравяне на данни“ или враждебни атаки, както и, ако е целесъобразно, рисковете за основните права, както се изисква в настоящия регламент.
(78)
The conformity assessment procedure provided by this Regulation should apply in relation to the essential cybersecurity requirements of a product with digital elements covered by a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements and classified as a high-risk AI system under this Regulation. However, this rule should not result in reducing the necessary level of assurance for critical products with digital elements covered by a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements. Therefore, by way of derogation from this rule, high-risk AI systems that fall within the scope of this Regulation and are also qualified as important and critical products with digital elements pursuant to a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements and to which the conformity assessment procedure based on internal control set out in an annex to this Regulation applies, are subject to the conformity assessment provisions of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements insofar as the essential cybersecurity requirements of that regulation are concerned. In this case, for all the other aspects covered by this Regulation the respective provisions on conformity assessment based on internal control set out in an annex to this Regulation should apply. Building on the knowledge and expertise of ENISA on the cybersecurity policy and tasks assigned to ENISA under the Regulation (EU) 2019/881 of the European Parliament and of the Council (37), the Commission should cooperate with ENISA on issues related to cybersecurity of AI systems.
(78)
Процедурата за оценяване на съответствието, предвидена в настоящия регламент, следва да се прилага по отношение на съществените изисквания за киберсигурност на даден продукт с цифрови елементи, попадащ в обхвата на регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи и класифициран като високорискова система с ИИ съгласно настоящия регламент. Това правило обаче не следва да води до намаляване на необходимото ниво на увереност за критичните продукти с цифрови елементи, обхванати от регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи. Поради това, чрез дерогация от това правило, за високорисковите системи с ИИ, които попадат в обхвата на настоящия регламент и които също така са определени като важни и критични продукти с цифрови елементи съгласно регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи, и за които се прилага процедурата за оценяване на съответствието въз основа на вътрешен контрол, посочена в приложение към настоящия регламент, се прилагат разпоредбите за оценяване на съответствието, съдържащи се в регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи, доколкото това се отнася до съществените изисквания за киберсигурност, установени в посочения регламент. В този случай за всички останали аспекти, обхванати от настоящия регламент, следва да се прилагат съответните разпоредби относно оценяването на съответствието въз основа на вътрешен контрол, установени в приложение към настоящия регламент. Въз основа на знанията и експертния опит на Агенцията на Европейския съюз за киберсигурност (ENISA) относно политиката в областта на киберсигурността и задачите, възложени на ENISA съгласно Регламент (ЕС) 2019/881 на Европейския парламент и на Съвета (37), Комисията следва да си сътрудничи с ENISA по въпроси, свързани с киберсигурността на системите с ИИ.
(79)
It is appropriate that a specific natural or legal person, defined as the provider, takes responsibility for the placing on the market or the putting into service of a high-risk AI system, regardless of whether that natural or legal person is the person who designed or developed the system.
(79)
Целесъобразно е конкретно физическо или юридическо лице, определено като доставчик, да поеме отговорността за пускането на пазара или пускането в действие на дадена високорискова система с ИИ, независимо дали това физическо или юридическо лице е проектирало или разработило системата.
(80)
As signatories to the United Nations Convention on the Rights of Persons with Disabilities, the Union and the Member States are legally obliged to protect persons with disabilities from discrimination and promote their equality, to ensure that persons with disabilities have access, on an equal basis with others, to information and communications technologies and systems, and to ensure respect for privacy for persons with disabilities. Given the growing importance and use of AI systems, the application of universal design principles to all new technologies and services should ensure full and equal access for everyone potentially affected by or using AI technologies, including persons with disabilities, in a way that takes full account of their inherent dignity and diversity. It is therefore essential that providers ensure full compliance with accessibility requirements, including Directive (EU) 2016/2102 of the European Parliament and of the Council (38) and Directive (EU) 2019/882. Providers should ensure compliance with these requirements by design. Therefore, the necessary measures should be integrated as much as possible into the design of the high-risk AI system.
(80)
Като страни по Конвенцията на Организацията на обединените нации за правата на хората с увреждания Съюзът и държавите членки са правно задължени да защитават хората с увреждания от дискриминация и да насърчават тяхното равенство, да гарантират, че хората с увреждания имат достъп на равна основа с всички останали до информационни и комуникационни технологии и системи, и да гарантират зачитане на неприкосновеността на личния живот на хората с увреждания. Предвид нарастващото значение и използване на системи с ИИ прилагането на принципите за универсален дизайн за всички нови технологии и услуги следва да гарантира пълен и равен достъп на всички, които е възможно да бъдат засегнати от технологиите за ИИ или които ги използват, включително хората с увреждания, по начин, който изцяло отчита присъщото им достойнство и многообразие. Следователно е от съществено значение доставчиците да осигурят пълно съответствие с изискванията за достъпност, включително с Директива (ЕС) 2016/2102 на Европейския парламент и на Съвета (38) и Директива (ЕС) 2019/882. Доставчиците следва да осигурят съответствието с тези изисквания при проектирането. Поради това необходимите мерки следва да бъдат интегрирани във възможно най-голяма степен в проектирането на високорисковата система с ИИ.
(81)
The provider should establish a sound quality management system, ensure the accomplishment of the required conformity assessment procedure, draw up the relevant documentation and establish a robust post-market monitoring system. Providers of high-risk AI systems that are subject to obligations regarding quality management systems under relevant sectoral Union law should have the possibility to include the elements of the quality management system provided for in this Regulation as part of the existing quality management system provided for in that other sectoral Union law. The complementarity between this Regulation and existing sectoral Union law should also be taken into account in future standardisation activities or guidance adopted by the Commission. Public authorities which put into service high-risk AI systems for their own use may adopt and implement the rules for the quality management system as part of the quality management system adopted at a national or regional level, as appropriate, taking into account the specificities of the sector and the competences and organisation of the public authority concerned.
(81)
Доставчикът следва да създаде стабилна система за управление на качеството, да гарантира изпълнението на изискваната процедура за оценяване на съответствието, да изготви съответната документация и да създаде надеждна система за мониторинг след пускането на пазара. Доставчиците на високорискови системи с ИИ, които имат задължения по отношение на системите за управление на качеството съгласно съответното секторно право на Съюза, следва да имат възможност да включат елементите на системата за управление на качеството, предвидена в настоящия регламент, като част от съществуващата система за управление на качеството, предвидена в посоченото друго секторно право на Съюза. Взаимното допълване между настоящия регламент и действащото секторно право на Съюза също следва да бъде взето предвид в бъдещите дейности по стандартизация или в насоките, приемани от Комисията. Публичните органи, които пускат в действие високорискови системи с ИИ за свое собствено ползване, могат да приемат и прилагат правилата за системата за управление на качеството като част от приетата на национално или регионално равнище система за управление на качеството, когато е целесъобразно, като вземат предвид особеностите на сектора и компетентността и организацията на съответния публичен орган.
(82)
To enable enforcement of this Regulation and create a level playing field for operators, and, taking into account the different forms of making available of digital products, it is important to ensure that, under all circumstances, a person established in the Union can provide authorities with all the necessary information on the compliance of an AI system. Therefore, prior to making their AI systems available in the Union, providers established in third countries should, by written mandate, appoint an authorised representative established in the Union. This authorised representative plays a pivotal role in ensuring the compliance of the high-risk AI systems placed on the market or put into service in the Union by those providers who are not established in the Union and in serving as their contact person established in the Union.
(82)
За да се даде възможност за прилагането на настоящия регламент и за да се създадат условия на равнопоставеност за операторите, както и предвид различните форми на предоставяне на цифрови продукти, е важно да се гарантира, че при всички обстоятелства установено в Съюза лице може да предостави на органите цялата необходима информация относно съответствието на дадена система с ИИ. Следователно преди да се предоставят техните системи на пазара на Съюза, доставчиците, установени в трети държави, следва да определят с писмено пълномощно упълномощен представител, който е установен в Съюза. Този упълномощен представител има ключово значение за осигуряване на съответствието на високорисковите системи с ИИ, пуснати на пазара или пуснати в действие в Съюза от тези доставчици, които не са установени в Съюза, както и за изпълнение на функциите на лице за връзка, установено в Съюза.
(83)
In light of the nature and complexity of the value chain for AI systems and in line with the New Legislative Framework, it is essential to ensure legal certainty and facilitate the compliance with this Regulation. Therefore, it is necessary to clarify the role and the specific obligations of relevant operators along that value chain, such as importers and distributors who may contribute to the development of AI systems. In certain situations those operators could act in more than one role at the same time and should therefore fulfil cumulatively all relevant obligations associated with those roles. For example, an operator could act as a distributor and an importer at the same time.
(83)
С оглед на естеството и сложността на веригата за създаване на стойност за системите с ИИ и в съответствие с новата законодателна рамка, е от съществено значение да се гарантира правна сигурност и да се улесни спазването на настоящия регламент. Поради това е необходимо да се изяснят функциите и конкретните задължения на съответните оператори по веригата за създаване на стойност, като например вносителите и дистрибуторите, които могат да допринесат за разработването на системи с ИИ. В определени ситуации тези оператори биха могли да имат едновременно повече от една функция и поради това следва кумулативно да изпълняват всички съответни задължения, свързани с тези функции. Например даден оператор може да действа едновременно като дистрибутор и вносител.
(84)
To ensure legal certainty, it is necessary to clarify that, under certain specific conditions, any distributor, importer, deployer or other third-party should be considered to be a provider of a high-risk AI system and therefore assume all the relevant obligations. This would be the case if that party puts its name or trademark on a high-risk AI system already placed on the market or put into service, without prejudice to contractual arrangements stipulating that the obligations are allocated otherwise. This would also be the case if that party makes a substantial modification to a high-risk AI system that has already been placed on the market or has already been put into service in a way that it remains a high-risk AI system in accordance with this Regulation, or if it modifies the intended purpose of an AI system, including a general-purpose AI system, which has not been classified as high-risk and has already been placed on the market or put into service, in a way that the AI system becomes a high-risk AI system in accordance with this Regulation. Those provisions should apply without prejudice to more specific provisions established in certain Union harmonisation legislation based on the New Legislative Framework, together with which this Regulation should apply. For example, Article 16(2) of Regulation (EU) 2017/745, establishing that certain changes should not be considered to be modifications of a device that could affect its compliance with the applicable requirements, should continue to apply to high-risk AI systems that are medical devices within the meaning of that Regulation.
(84)
За да се гарантира правна сигурност, е необходимо да се поясни, че при определени специфични условия всеки дистрибутор, вносител, внедрител или друго трето лице следва да се счита за доставчик на високорискова система с ИИ и следователно да поеме всички съответни задължения. Такъв би бил случаят, ако това лице постави името или търговската си марка върху високорискова система с ИИ, която вече е пусната на пазара или пусната в действие, без да се засягат споразумения, предвиждащи, че задълженията се разпределят по друг начин. Такъв би бил и случаят, ако това лице внесе съществено изменение във високорискова система с ИИ, която вече е пусната на пазара или пусната в действие, по такъв начин, че тя да продължи да бъде високорискова система с ИИ в съответствие с настоящия регламент, или ако измени предназначението на система с ИИ, включително система с ИИ с общо предназначение, която не е класифицирана като високорискова и вече е пусната на пазара или пусната в действие, по такъв начин, че системата с ИИ да стане високорискова система с ИИ в съответствие с настоящия регламент. Тези разпоредби следва да се прилагат, без да се засягат специалните разпоредби, установени в някои секторни законодателни актове на Съюза за хармонизация въз основа на новата законодателна рамка, заедно с които следва да се прилага настоящият регламент. Например член 16, параграф 2 от Регламент (ЕС) 745/2017, съгласно който определени изменения не следва да се считат за промени на изделие, които могат да се отразят на съответствието му с приложимите изисквания, следва да продължи да се прилага за високорисковите системи с ИИ, които са медицински изделия по смисъла на посочения регламент.
(85)
General-purpose AI systems may be used as high-risk AI systems by themselves or be components of other high-risk AI systems. Therefore, due to their particular nature and in order to ensure a fair sharing of responsibilities along the AI value chain, the providers of such systems should, irrespective of whether they may be used as high-risk AI systems as such by other providers or as components of high-risk AI systems and unless provided otherwise under this Regulation, closely cooperate with the providers of the relevant high-risk AI systems to enable their compliance with the relevant obligations under this Regulation and with the competent authorities established under this Regulation.
(85)
Системите с ИИ с общо предназначение могат да се използват като високорискови системи с ИИ сами по себе си или да бъдат компоненти на други високорискови системи с ИИ. Ето защо поради специфичното си естество и за да се гарантира справедливо разпределяне на отговорността по веригата за създаване на стойност в областта на ИИ, доставчиците на такива системи, независимо дали те могат да се използват сами по себе си като високорискови системи с ИИ от други доставчици, или като компоненти на високорискови системи с ИИ, и освен ако не е предвидено друго съгласно настоящия регламент, следва да си сътрудничат тясно с доставчиците на съответните високорискови системи с ИИ, за да им се даде възможност да спазват съответните задължения съгласно настоящия регламент, както и с компетентните органи, създадени съгласно настоящия регламент.
(86)
Where, under the conditions laid down in this Regulation, the provider that initially placed the AI system on the market or put it into service should no longer be considered to be the provider for the purposes of this Regulation, and when that provider has not expressly excluded the change of the AI system into a high-risk AI system, the former provider should nonetheless closely cooperate and make available the necessary information and provide the reasonably expected technical access and other assistance that are required for the fulfilment of the obligations set out in this Regulation, in particular regarding the compliance with the conformity assessment of high-risk AI systems.
(86)
Когато съгласно условията, предвидени в настоящия регламент, доставчикът, който първоначално е пуснал на пазара системата с ИИ или я е пуснал в действие, вече не следва да се счита за доставчик за целите на настоящия регламент и когато този доставчик не е изключил изрично промяната на системата с ИИ във високорискова система с ИИ, първоначалният доставчик следва въпреки това да си сътрудничи тясно и да предостави необходимата информация, както и да осигури разумно очакваните технически достъп и друга помощ, които са необходими за изпълнението на задълженията, установени в настоящия регламент, по-специално по отношение на спазването на оценката на съответствието на високорисковите системи с ИИ.
(87)
In addition, where a high-risk AI system that is a safety component of a product which falls within the scope of Union harmonisation legislation based on the New Legislative Framework is not placed on the market or put into service independently from the product, the product manufacturer defined in that legislation should comply with the obligations of the provider established in this Regulation and should, in particular, ensure that the AI system embedded in the final product complies with the requirements of this Regulation.
(87)
Освен това когато високорискова система с ИИ, която е защѝтен елемент на продукт, попадащ в обхвата на законодателството на Съюза за хармонизация въз основа на новата законодателна рамка, не е пусната на пазара или пусната в действие независимо от продукта, производителят на продукта съгласно определението в съответното законодателство, следва да спазва задълженията на доставчика, установени в настоящия регламент, и следва по-специално да гарантира, че системата с ИИ, вградена в крайния продукт, съответства на изискванията на настоящия регламент.
(88)
Along the AI value chain multiple parties often supply AI systems, tools and services but also components or processes that are incorporated by the provider into the AI system with various objectives, including the model training, model retraining, model testing and evaluation, integration into software, or other aspects of model development. Those parties have an important role to play in the value chain towards the provider of the high-risk AI system into which their AI systems, tools, services, components or processes are integrated, and should provide by written agreement this provider with the necessary information, capabilities, technical access and other assistance based on the generally acknowledged state of the art, in order to enable the provider to fully comply with the obligations set out in this Regulation, without compromising their own intellectual property rights or trade secrets.
(88)
В рамките на веригата за създаване на стойност в областта на ИИ множество лица често доставят системи, инструменти и услуги с ИИ, но също така и компоненти или процеси, които са интегрирани от доставчика в системата с ИИ с различни цели, включително обучение и повторно обучение на модели и изпитване и оценка на модели, интегриране в софтуера или други аспекти на разработването на модели. Тези лица заемат важно място във веригата за създаване на стойност по отношение на доставчика на високорисковата система с ИИ, в която са интегрирани техните системи, инструменти, услуги, компоненти или процеси с ИИ, и следва да предоставят чрез писмено споразумение на този доставчик необходимата информация, капацитет, технически достъп и друга помощ въз основа на общопризнатите съвременни технически постижения, за да се даде възможност на доставчика да изпълни изцяло задълженията, установени в настоящия регламент, без да се излагат на риск собствените им права върху интелектуалната собственост или търговски тайни.
(89)
Third parties making accessible to the public tools, services, processes, or AI components other than general-purpose AI models, should not be mandated to comply with requirements targeting the responsibilities along the AI value chain, in particular towards the provider that has used or integrated them, when those tools, services, processes, or AI components are made accessible under a free and open-source licence. Developers of free and open-source tools, services, processes, or AI components other than general-purpose AI models should be encouraged to implement widely adopted documentation practices, such as model cards and data sheets, as a way to accelerate information sharing along the AI value chain, allowing the promotion of trustworthy AI systems in the Union.
(89)
Трети лица, които предоставят публичен достъп до инструменти, услуги, процеси или компоненти с ИИ, различни от модели на ИИ с общо предназначение, не следва да са задължени да спазват изискванията, насочени към отговорността по веригата за създаване на стойност в областта на ИИ, по-специално по отношение на доставчика, който ги е използвал или интегрирал, когато тези инструменти, услуги, процеси или компоненти с ИИ са достъпни в рамките на безплатен лиценз с отворен код. Разработчиците на безплатни инструменти, услуги, процеси или компоненти с ИИ с отворен код, различни от модели на ИИ с общо предназначение, следва да се насърчават да прилагат широко възприети практики за документиране, например карти за модели и информационни фишове, като начин за ускоряване на обмена на информация по веригата за създаване на стойност в областта на ИИ, което ще даде възможност да се популяризират надеждни системи с ИИ в Съюза.
(90)
The Commission could develop and recommend voluntary model contractual terms between providers of high-risk AI systems and third parties that supply tools, services, components or processes that are used or integrated in high-risk AI systems, to facilitate the cooperation along the value chain. When developing voluntary model contractual terms, the Commission should also take into account possible contractual requirements applicable in specific sectors or business cases.
(90)
Комисията би могла да разработи и препоръча незадължителни примерни договорни условия между доставчиците на високорискови системи с ИИ и трети лица, които доставят инструменти, услуги, компоненти или процеси, използвани или интегрирани във високорискови системи с ИИ, за да се улесни сътрудничеството по веригата за създаване на стойност. При разработването на незадължителни примерни договорни условия Комисията следва също така да взема предвид възможните договорни изисквания, приложими в конкретни сектори или стопански дейности.
(91)
Given the nature of AI systems and the risks to safety and fundamental rights possibly associated with their use, including as regards the need to ensure proper monitoring of the performance of an AI system in a real-life setting, it is appropriate to set specific responsibilities for deployers. Deployers should in particular take appropriate technical and organisational measures to ensure they use high-risk AI systems in accordance with the instructions of use and certain other obligations should be provided for with regard to monitoring of the functioning of the AI systems and with regard to record-keeping, as appropriate. Furthermore, deployers should ensure that the persons assigned to implement the instructions for use and human oversight as set out in this Regulation have the necessary competence, in particular an adequate level of AI literacy, training and authority to properly fulfil those tasks. Those obligations should be without prejudice to other deployer obligations in relation to high-risk AI systems under Union or national law.
(91)
Предвид естеството на системите с ИИ и евентуалните рискове за безопасността и основните права, свързани с тяхното използване, включително по отношение на необходимостта да се гарантира подходящ мониторинг на работата на дадена система с ИИ в реални условия, е целесъобразно да се определят конкретни отговорности за внедрителите. Внедрителите следва по-специално да предприемат подходящи технически и организационни мерки, за да гарантират, че използват високорискови системи с ИИ в съответствие с инструкциите за употреба, а също така следва да се предвидят някои други задължения по отношение на мониторинга на функционирането на системите с ИИ и по отношение на поддържането на регистри, когато е целесъобразно. Освен това внедрителите следва да гарантират, че лицата, на които е възложено да изпълняват инструкциите за употреба и човешкия контрол съгласно настоящия регламент, притежават необходимата компетентност, по-специално подходящо ниво на грамотност, обучение и авторитет в областта на ИИ, за да изпълняват правилно тези задачи. Тези задължения не следва да засягат други задължения на внедрителите във връзка с високорискови системи с ИИ съгласно правото на Съюза или националното право.
(92)
This Regulation is without prejudice to obligations for employers to inform or to inform and consult workers or their representatives under Union or national law and practice, including Directive 2002/14/EC of the European Parliament and of the Council (39), on decisions to put into service or use AI systems. It remains necessary to ensure information of workers and their representatives on the planned deployment of high-risk AI systems at the workplace where the conditions for those information or information and consultation obligations in other legal instruments are not fulfilled. Moreover, such information right is ancillary and necessary to the objective of protecting fundamental rights that underlies this Regulation. Therefore, an information requirement to that effect should be laid down in this Regulation, without affecting any existing rights of workers.
(92)
Настоящият регламент не засяга задълженията на работодателите да информират или да информират и консултират работниците или техните представители съгласно правото и практиката на Съюза или националното право и практика, включително Директива 2002/14/ЕО на Европейския парламент и на Съвета (39), относно решения за пускане в действие или използване на системи с ИИ. Продължава да е необходимо да се гарантира предоставянето на информация на работниците и техните представители относно планираното внедряване на високорискови системи с ИИ на работното място, когато не са изпълнени условията за тези задължения за информиране или информиране и консултиране, предвидени в други правни актове. Освен това подобно право на информиране допълва и е необходимо за постигането на целта за защита на основните права, залегнала в основата на настоящия регламент. Поради това в настоящия регламент следва да бъде предвидено изискване за информиране в този смисъл, без да се засягат съществуващите права на работниците.
(93)
Whilst risks related to AI systems can result from the way such systems are designed, risks can as well stem from how such AI systems are used. Deployers of high-risk AI system therefore play a critical role in ensuring that fundamental rights are protected, complementing the obligations of the provider when developing the AI system. Deployers are best placed to understand how the high-risk AI system will be used concretely and can therefore identify potential significant risks that were not foreseen in the development phase, due to a more precise knowledge of the context of use, the persons or groups of persons likely to be affected, including vulnerable groups. Deployers of high-risk AI systems listed in an annex to this Regulation also play a critical role in informing natural persons and should, when they make decisions or assist in making decisions related to natural persons, where applicable, inform the natural persons that they are subject to the use of the high-risk AI system. This information should include the intended purpose and the type of decisions it makes. The deployer should also inform the natural persons about their right to an explanation provided under this Regulation. With regard to high-risk AI systems used for law enforcement purposes, that obligation should be implemented in accordance with Article 13 of Directive (EU) 2016/680.
(93)
Рисковете, свързани със системите с ИИ, могат да произтичат от начина, по който са проектирани тези системи, но могат да се дължат и на начина, по който се използват тези системи с ИИ. По тази причина внедрителите на високорискова система с ИИ имат решаващо значение за гарантиране на защитата на основните права, като допълват задълженията на доставчика при разработването на системата с ИИ. Внедрителите могат най-добре да разберат как конкретно ще бъде използвана високорисковата система с ИИ и следователно могат да установят потенциални значителни рискове, които не са били предвидени на етапа на разработване, тъй като разполагат с по-точни знания за контекста на използване и лицата или групите лица, които има вероятност да бъдат засегнати, включително уязвимите групи. Внедрителите на високорискови системи с ИИ, изброени в приложение към настоящия регламент, също имат решаващо значение за информирането на физическите лица и следва, когато вземат решения или подпомагат вземането на решения, свързани с физическите лица, когато е приложимо, да ги информират, че спрямо тях се използва високорискова система с ИИ. Тази информация следва да включва предназначението и вида на решенията, които се вземат. Внедрителят следва също така да информира физическите лица за правото им да получат обяснение, предвидено в настоящия регламент. По отношение на високорисковите системи с ИИ, използвани за правоохранителни цели, това задължение следва да се прилага в съответствие с член 13 от Директива (ЕС) 2016/680.
(94)
Any processing of biometric data involved in the use of AI systems for biometric identification for the purpose of law enforcement needs to comply with Article 10 of Directive (EU) 2016/680, that allows such processing only where strictly necessary, subject to appropriate safeguards for the rights and freedoms of the data subject, and where authorised by Union or Member State law. Such use, when authorised, also needs to respect the principles laid down in Article 4 (1) of Directive (EU) 2016/680 including lawfulness, fairness and transparency, purpose limitation, accuracy and storage limitation.
(94)
Всяко обработване на биометрични данни, свързано с използването на системи с ИИ за биометрична идентификация за правоохранителни цели, трябва да бъде в съответствие с член 10 от Директива (ЕС) 2016/680, който позволява такова обработване само когато това е строго необходимо, при спазване на подходящи гаранции за правата и свободите на субекта на данните, и когато това е разрешено от правото на Съюза или правото на държава членка. При такова разрешено използване трябва също така да се спазват принципите, установени в член 4, параграф 1 от Директива (ЕС) 2016/680, включително законосъобразност, добросъвестност и прозрачност, ограничаване в рамките на целта, точност и ограничаване на съхранението.
(95)
Without prejudice to applicable Union law, in particular Regulation (EU) 2016/679 and Directive (EU) 2016/680, considering the intrusive nature of post-remote biometric identification systems, the use of post-remote biometric identification systems should be subject to safeguards. Post-remote biometric identification systems should always be used in a way that is proportionate, legitimate and strictly necessary, and thus targeted, in terms of the individuals to be identified, the location, temporal scope and based on a closed data set of legally acquired video footage. In any case, post-remote biometric identification systems should not be used in the framework of law enforcement to lead to indiscriminate surveillance. The conditions for post-remote biometric identification should in any case not provide a basis to circumvent the conditions of the prohibition and strict exceptions for real time remote biometric identification.
(95)
Без да се засяга приложимото право на Съюза, по-специално Регламент (ЕС) 2016/679 и Директива (ЕС) 2016/680, като се има предвид инвазивният характер на системите за последваща дистанционна биометрична идентификация, използването на тези системи следва да е придружено с гаранции. Системите за последваща дистанционна биометрична идентификация следва винаги да се използват по начин, който е пропорционален, законосъобразен и строго необходим, и следователно конкретизиран, по отношение на лицата, които трябва да бъдат идентифицирани, местоположението и времевия обхват, и въз основа на затворен набор от данни от законно придобити видеозаписи. Във всеки случай системите за последваща дистанционна биометрична идентификация не следва да се използват в правоохранителен контекст с цел неизбирателно наблюдение. Условията за последващата дистанционна биометрична идентификация не следва в никакъв случай да предоставят основание за заобикаляне на условията на забраната и строгите изключения по отношение на дистанционната биометрична идентификация в реално време.
(96)
In order to efficiently ensure that fundamental rights are protected, deployers of high-risk AI systems that are bodies governed by public law, or private entities providing public services and deployers of certain high-risk AI systems listed in an annex to this Regulation, such as banking or insurance entities, should carry out a fundamental rights impact assessment prior to putting it into use. Services important for individuals that are of public nature may also be provided by private entities. Private entities providing such public services are linked to tasks in the public interest such as in the areas of education, healthcare, social services, housing, administration of justice. The aim of the fundamental rights impact assessment is for the deployer to identify the specific risks to the rights of individuals or groups of individuals likely to be affected, identify measures to be taken in the case of a materialisation of those risks. The impact assessment should be performed prior to deploying the high-risk AI system, and should be updated when the deployer considers that any of the relevant factors have changed. The impact assessment should identify the deployer’s relevant processes in which the high-risk AI system will be used in line with its intended purpose, and should include a description of the period of time and frequency in which the system is intended to be used as well as of specific categories of natural persons and groups who are likely to be affected in the specific context of use. The assessment should also include the identification of specific risks of harm likely to have an impact on the fundamental rights of those persons or groups. While performing this assessment, the deployer should take into account information relevant to a proper assessment of the impact, including but not limited to the information given by the provider of the high-risk AI system in the instructions for use. In light of the risks identified, deployers should determine measures to be taken in the case of a materialisation of those risks, including for example governance arrangements in that specific context of use, such as arrangements for human oversight according to the instructions of use or, complaint handling and redress procedures, as they could be instrumental in mitigating risks to fundamental rights in concrete use-cases. After performing that impact assessment, the deployer should notify the relevant market surveillance authority. Where appropriate, to collect relevant information necessary to perform the impact assessment, deployers of high-risk AI system, in particular when AI systems are used in the public sector, could involve relevant stakeholders, including the representatives of groups of persons likely to be affected by the AI system, independent experts, and civil society organisations in conducting such impact assessments and designing measures to be taken in the case of materialisation of the risks. The European Artificial Intelligence Office (AI Office) should develop a template for a questionnaire in order to facilitate compliance and reduce the administrative burden for deployers.
(96)
За да се гарантира по ефективен начин защитата на основните права, внедрителите на високорискови системи с ИИ, които са публични органи, или частните субекти, предоставящи публични услуги, както и внедрителите на някои високорискови системи с ИИ, изброени в приложение към настоящия регламент, като например банкови институции или застрахователи, следва да извършват оценка на въздействието върху основните права преди пускането в действие. Услуги от обществен характер, които са от значение за физическите лица, могат да се предоставят и от частни субекти. Частните субекти, предоставящи такива публични услуги, са свързани с изпълнението на задачи от обществен интерес, например в областите на образованието, здравеопазването, социалните услуги, жилищното настаняване и правораздаването. Целта на оценката на въздействието върху основните права е внедрителят да установи конкретните рискове за правата на лицата или групите лица, които е вероятно да бъдат засегнати, и да набележи мерките, които да бъдат предприети при настъпване на тези рискове. Оценката на въздействието следва да се извърши преди внедряването на високорисковата система с ИИ и следва да се актуализира, когато внедрителят счете, че някой от съответните фактори се е променил. В оценката на въздействието следва да се определят съответните процеси на внедрителя, в рамките на които високорисковата система с ИИ ще бъде използвана в съответствие с нейното предназначение, и следва да се посочи срокът, в който системата е предназначена да се използва, и честотата, с която тя е предназначена да се използва, както и конкретните категории физически лица и групи, които е вероятно да бъдат засегнати в конкретния контекст на използване. Оценката следва да включва и установяването на конкретните рискове от настъпване на вреди, които е вероятно да окажат въздействие върху основните права на тези лица или групи. При извършването на тази оценка внедрителят следва да вземе предвид информацията, която е от значение за правилната оценка на въздействието, включително, но не само, информацията, предоставена от доставчика на високорисковата система с ИИ в инструкциите за употреба. С оглед на установените рискове внедрителите следва да определят мерките, които да бъдат предприети при настъпване на тези рискове, включително например правила за управление в този конкретен контекст на използване, като например механизми за човешки контрол в съответствие с инструкциите за употреба или процедури за разглеждане на жалби и правна защита, тъй като те биха могли да бъдат от основно значение за ограничаване на рисковете за основните права в конкретни случаи на използване. След извършването на тази оценка на въздействието внедрителят следва да уведоми съответния орган за надзор на пазара. Когато е целесъобразно, за да се събере съответната информация, необходима за извършване на оценката на въздействието, внедрителите на високорискова система с ИИ, по-специално когато системите с ИИ се използват в публичния сектор, биха могли да включат съответните заинтересовани страни, включително представители на групи лица, които е вероятно да бъдат засегнати от системата с ИИ, независими експерти и организации на гражданското общество, в извършването на такива оценки на въздействието и разработването на мерки, които да бъдат предприети в случай на настъпване на рисковете. Европейската служба по изкуствен интелект (наричана по-долу „Службата по ИИ“) следва да разработи образец на въпросник, за да се улесни спазването на изискванията и да се намали административната тежест за внедрителите.
(97)
The notion of general-purpose AI models should be clearly defined and set apart from the notion of AI systems to enable legal certainty. The definition should be based on the key functional characteristics of a general-purpose AI model, in particular the generality and the capability to competently perform a wide range of distinct tasks. These models are typically trained on large amounts of data, through various methods, such as self-supervised, unsupervised or reinforcement learning. General-purpose AI models may be placed on the market in various ways, including through libraries, application programming interfaces (APIs), as direct download, or as physical copy. These models may be further modified or fine-tuned into new models. Although AI models are essential components of AI systems, they do not constitute AI systems on their own. AI models require the addition of further components, such as for example a user interface, to become AI systems. AI models are typically integrated into and form part of AI systems. This Regulation provides specific rules for general-purpose AI models and for general-purpose AI models that pose systemic risks, which should apply also when these models are integrated or form part of an AI system. It should be understood that the obligations for the providers of general-purpose AI models should apply once the general-purpose AI models are placed on the market. When the provider of a general-purpose AI model integrates an own model into its own AI system that is made available on the market or put into service, that model should be considered to be placed on the market and, therefore, the obligations in this Regulation for models should continue to apply in addition to those for AI systems. The obligations laid down for models should in any case not apply when an own model is used for purely internal processes that are not essential for providing a product or a service to third parties and the rights of natural persons are not affected. Considering their potential significantly negative effects, the general-purpose AI models with systemic risk should always be subject to the relevant obligations under this Regulation. The definition should not cover AI models used before their placing on the market for the sole purpose of research, development and prototyping activities. This is without prejudice to the obligation to comply with this Regulation when, following such activities, a model is placed on the market.
(97)
Понятието „модели на ИИ с общо предназначение“ следва да бъде ясно определено и разграничено от понятието „системи с ИИ“, за да се гарантира правна сигурност. Определението следва да се основава на ключовите функционални характеристики на модел на ИИ с общо предназначение, по-специално общ характер и способност за компетентно изпълнение на широк набор от отделни задачи. Тези модели обикновено се обучават въз основа на голямо количество данни чрез различни методи, като например обучение (самообучение) със и без надзор и обучение с утвърждение. Моделите на ИИ с общо предназначение могат да бъдат пускани на пазара по различни начини, включително чрез библиотеки, приложно-програмни интерфейси (API), за директно изтегляне или с физическо копие. Тези модели могат да бъдат допълнително изменени или усъвършенствани в нови модели. Въпреки че моделите на ИИ са основни компоненти на системите с ИИ, сами по себе си те не представляват системи с ИИ. Моделите на ИИ изискват добавянето на допълнителни компоненти, като например потребителски интерфейс, за да се превърнат в системи с ИИ. Моделите на ИИ обикновено са интегрирани в системите с ИИ и са част от тях. В настоящия регламент се предвиждат специални правила за моделите на ИИ с общо предназначение и за моделите на ИИ с общо предназначение, пораждащи системни рискове, които следва да се прилагат и когато тези модели са интегрирани в система с ИИ или са част от нея. Приема се, че задълженията на доставчиците на модели на ИИ с общо предназначение следва да се прилагат след пускането на тези модели на пазара. Когато доставчикът на модел на ИИ с общо предназначение интегрира собствен модел в своя собствена система с ИИ, която се предоставя на пазара или се пуска в действие, този модел следва да се счита за пуснат на пазара и поради това задълженията, установени в настоящия регламент по отношение на моделите, следва да продължат да се прилагат в допълнение към задълженията за системите с ИИ. Задълженията, установени за моделите, във всички случаи не следва да се прилагат, когато собствен модел се използва за чисто вътрешни процеси, които не са от съществено значение за предоставянето на продукт или услуга на трети лица, и когато правата на физическите лица не са засегнати. Като се има предвид възможното им значително отрицателно въздействие, за моделите на ИИ с общо предназначение, пораждащи системен риск, следва винаги да се прилагат съответните задължения съгласно настоящия регламент. Определението не следва да обхваща модели на ИИ, използвани преди пускането им на пазара единствено с цел научноизследователска и развойна дейност и дейности по създаване на прототипи. Това не засяга задължението за спазване на настоящия регламент, когато след такива дейности на пазара се пуска модел.
(98)
Whereas the generality of a model could, inter alia, also be determined by a number of parameters, models with at least a billion of parameters and trained with a large amount of data using self-supervision at scale should be considered to display significant generality and to competently perform a wide range of distinctive tasks.
(98)
Въпреки че общият характер на даден модел би могъл, наред с другото, да се определя и от редица параметри, следва да се счита, че модели с поне един милиард параметри, обучени с голямо количество данни и проявяващи в голяма степен самонадзор, се отличават със значителна степен на общ характер и компетентно изпълняват широк набор от отделни задачи.
(99)
Large generative AI models are a typical example for a general-purpose AI model, given that they allow for flexible generation of content, such as in the form of text, audio, images or video, that can readily accommodate a wide range of distinctive tasks.
(99)
Големите генеративни модели на ИИ са типичен пример за модел на ИИ с общо предназначение, като се има предвид, че те дават възможност за гъвкаво генериране на съдържание, например под формата на текст, аудиоматериали, изображения или видеоматериали, което лесно може да покрие широк спектър от отделни задачи.
(100)
When a general-purpose AI model is integrated into or forms part of an AI system, this system should be considered to be general-purpose AI system when, due to this integration, this system has the capability to serve a variety of purposes. A general-purpose AI system can be used directly, or it may be integrated into other AI systems.
(100)
Когато модел на ИИ с общо предназначение е интегриран в система с ИИ или е част от нея, тази система следва да се счита за система с ИИ с общо предназначение, когато поради тази интеграция системата е в състояние да обслужва най-различни цели. Системата с ИИ с общо предназначение може да бъде използвана пряко или може да бъде интегрирана в други системи с ИИ.
(101)
Providers of general-purpose AI models have a particular role and responsibility along the AI value chain, as the models they provide may form the basis for a range of downstream systems, often provided by downstream providers that necessitate a good understanding of the models and their capabilities, both to enable the integration of such models into their products, and to fulfil their obligations under this or other regulations. Therefore, proportionate transparency measures should be laid down, including the drawing up and keeping up to date of documentation, and the provision of information on the general-purpose AI model for its usage by the downstream providers. Technical documentation should be prepared and kept up to date by the general-purpose AI model provider for the purpose of making it available, upon request, to the AI Office and the national competent authorities. The minimal set of elements to be included in such documentation should be set out in specific annexes to this Regulation. The Commission should be empowered to amend those annexes by means of delegated acts in light of evolving technological developments.
(101)
Доставчиците на модели на ИИ с общо предназначение имат особено значение и отговорност по веригата за създаване на стойност в областта на ИИ, тъй като моделите, които предоставят, могат да бъдат основа за набор от системи надолу по веригата, често предоставяни от доставчици надолу по веригата, които трябва добре да разбират моделите и техните способности, както за да могат да интегрират такива модели в своите продукти, така и за да изпълняват задълженията си съгласно настоящия или други регламенти. Поради това следва да се определят пропорционални мерки за прозрачност, включително изготвяне и актуализиране на документацията и предоставяне на информация относно модела на ИИ с общо предназначение за използването му от доставчиците надолу по веригата. Техническата документация следва да се изготвя и актуализира от доставчика на модели на ИИ с общо предназначение с цел предоставянето ѝ при поискване на Службата по ИИ и на националните компетентни органи. Минималният набор от елементи, които трябва да бъдат включени в тази документация, следва да бъде посочен в конкретни приложения към настоящия регламент. На Комисията следва да бъде предоставено правомощието да изменя тези приложения чрез делегирани актове с оглед на технологичното развитие.
(102)
Software and data, including models, released under a free and open-source licence that allows them to be openly shared and where users can freely access, use, modify and redistribute them or modified versions thereof, can contribute to research and innovation in the market and can provide significant growth opportunities for the Union economy. General-purpose AI models released under free and open-source licences should be considered to ensure high levels of transparency and openness if their parameters, including the weights, the information on the model architecture, and the information on model usage are made publicly available. The licence should be considered to be free and open-source also when it allows users to run, copy, distribute, study, change and improve software and data, including models under the condition that the original provider of the model is credited, the identical or comparable terms of distribution are respected.
(102)
Софтуер и данни, включително модели, предоставени с безплатен лиценз с отворен код, който им позволява да бъдат споделяни свободно и чрез който ползвателите могат свободно да ги достъпват, използват, променят и разпространяват в променен или непроменен вид, могат да допринесат за научните изследвания и иновациите на пазара и да осигурят значителни възможности за растеж на икономиката на Съюза. Следва да се обмисли използването на модели на ИИ с общо предназначение, представени с безплатни лицензи с отворен код, за да се гарантират високи равнища на прозрачност и отвореност, ако техните параметри, включително теглата, информацията за архитектурата на модела и информацията за използването на модела са публично достъпни. Лицензът следва да се счита за безплатен и с отворен код и когато дава възможност на ползвателите да използват, копират, разпространяват, изучават, променят и подобряват софтуер и данни, включително модели, при условие че се посочва първоначалният доставчик на модела и се спазват еднакви или сходни условия на разпространение.
(103)
Free and open-source AI components covers the software and data, including models and general-purpose AI models, tools, services or processes of an AI system. Free and open-source AI components can be provided through different channels, including their development on open repositories. For the purposes of this Regulation, AI components that are provided against a price or otherwise monetised, including through the provision of technical support or other services, including through a software platform, related to the AI component, or the use of personal data for reasons other than exclusively for improving the security, compatibility or interoperability of the software, with the exception of transactions between microenterprises, should not benefit from the exceptions provided to free and open-source AI components. The fact of making AI components available through open repositories should not, in itself, constitute a monetisation.
(103)
Безплатните компоненти с ИИ с отворен код обхващат софтуера и данните, включително модели и модели, инструменти, услуги или процеси с ИИ с общо предназначение на дадена система с ИИ. Безплатните компоненти с ИИ с отворен код могат да бъдат предоставяни по различни начини, включително чрез разработването им в хранилища със свободен достъп. За целите на настоящия регламент компонентите с ИИ, които се предоставят срещу заплащане или се възмездяват по друг начин, включително чрез предоставянето на техническа поддръжка или други услуги, включително чрез софтуерна платформа, свързани с компонента с ИИ, или използването на лични данни по причини, различни от изключителната цел за подобряване на сигурността, съвместимостта или оперативната съвместимост на софтуера, с изключение на сделките между микропредприятия, не следва да се ползват от изключенията, предвидени за безплатните компоненти с ИИ с отворен код. Предоставянето на компоненти с ИИ чрез хранилища със свободен достъп не следва само по себе си да представлява възмездяване.
(104)
The providers of general-purpose AI models that are released under a free and open-source licence, and whose parameters, including the weights, the information on the model architecture, and the information on model usage, are made publicly available should be subject to exceptions as regards the transparency-related requirements imposed on general-purpose AI models, unless they can be considered to present a systemic risk, in which case the circumstance that the model is transparent and accompanied by an open-source license should not be considered to be a sufficient reason to exclude compliance with the obligations under this Regulation. In any case, given that the release of general-purpose AI models under free and open-source licence does not necessarily reveal substantial information on the data set used for the training or fine-tuning of the model and on how compliance of copyright law was thereby ensured, the exception provided for general-purpose AI models from compliance with the transparency-related requirements should not concern the obligation to produce a summary about the content used for model training and the obligation to put in place a policy to comply with Union copyright law, in particular to identify and comply with the reservation of rights pursuant to Article 4(3) of Directive (EU) 2019/790 of the European Parliament and of the Council (40).
(104)
За доставчиците на модели на ИИ с общо предназначение, които са предоставени с безплатен лиценз с отворен код и чиито параметри, включително теглата, информацията за архитектурата на модела и информацията за използването на модела, са публично достъпни, следва да се прилагат изключения по отношение на свързаните с прозрачността изисквания, наложени на моделите на ИИ с общо предназначение, освен когато може да се счита, че те пораждат системен риск, като в този случай обстоятелството, че моделът е прозрачен и придружен от лиценз с отворен код, не следва да се счита за достатъчна причина за изключване на спазването на задълженията съгласно настоящия регламент. Във всеки случай, като се има предвид, че предоставянето на модели на ИИ с общо предназначение с безплатен лиценз с отворен код не разкрива непременно съществена информация относно набора от данни, използван за обучението или финото регулиране на модела, и относно това как по този начин се гарантира спазването на авторското право, предвиденото за моделите на ИИ с общо предназначение изключение от съответствието с изискванията, свързани с прозрачността, не следва да се отнася до задължението за изготвяне на обобщение на съдържанието, използвано за обучение на модели, и задължението за въвеждане на политика за спазване на правото на Съюза в областта на авторското право, по-специално за установяване и съблюдаване на запазването на права съгласно член 4, параграф 3 от Директива (ЕС) 2019/790 на Европейския парламент и на Съвета (40).
(105)
General-purpose AI models, in particular large generative AI models, capable of generating text, images, and other content, present unique innovation opportunities but also challenges to artists, authors, and other creators and the way their creative content is created, distributed, used and consumed. The development and training of such models require access to vast amounts of text, images, videos and other data. Text and data mining techniques may be used extensively in this context for the retrieval and analysis of such content, which may be protected by copyright and related rights. Any use of copyright protected content requires the authorisation of the rightsholder concerned unless relevant copyright exceptions and limitations apply. Directive (EU) 2019/790 introduced exceptions and limitations allowing reproductions and extractions of works or other subject matter, for the purpose of text and data mining, under certain conditions. Under these rules, rightsholders may choose to reserve their rights over their works or other subject matter to prevent text and data mining, unless this is done for the purposes of scientific research. Where the rights to opt out has been expressly reserved in an appropriate manner, providers of general-purpose AI models need to obtain an authorisation from rightsholders if they want to carry out text and data mining over such works.
(105)
Моделите на ИИ с общо предназначение, по-специално големите генеративни модели на ИИ, способни да генерират текст, изображения и друго съдържание, представляват уникални възможности за иновации, но също така са свързани и с трудности за хората на изкуството, авторите и другите творци, както и за начина, по който тяхното творческо съдържание се създава, разпространява, използва и потребява. Разработването и обучението на такива модели изисква достъп до големи количества текст, изображения, видеоматериали и други данни. Техниките за извличане на информация от текст и данни могат да се използват широко в този контекст за извличане и анализ на такова съдържание, което може да бъде защитено с авторско право и сродните му права. Всяко използване на защитено с авторско право съдържание изисква разрешение от съответните носители на права, освен ако не се прилагат съответните изключения и ограничения, свързани с авторското право. С Директива (ЕС) 2019/790 бяха въведени изключения и ограничения, които позволяват възпроизвеждането и извличането на откъси от произведения или други обекти за целите на извличането на информация от текст и данни при определени условия. Съгласно тези правила носителите на права могат да изберат да запазят правата си върху своите произведения или други обекти, за да предотвратят извличането на информация от текст и данни, освен ако това не се извършва за целите на научни изследвания. Когато правото на отказ е изрично запазено по подходящ начин, доставчиците на модели на ИИ с общо предназначение трябва да получат разрешение от носителите на права, ако желаят да извършват извличане на информация от текст и данни за такива произведения.
(106)
Providers that place general-purpose AI models on the Union market should ensure compliance with the relevant obligations in this Regulation. To that end, providers of general-purpose AI models should put in place a policy to comply with Union law on copyright and related rights, in particular to identify and comply with the reservation of rights expressed by rightsholders pursuant to Article 4(3) of Directive (EU) 2019/790. Any provider placing a general-purpose AI model on the Union market should comply with this obligation, regardless of the jurisdiction in which the copyright-relevant acts underpinning the training of those general-purpose AI models take place. This is necessary to ensure a level playing field among providers of general-purpose AI models where no provider should be able to gain a competitive advantage in the Union market by applying lower copyright standards than those provided in the Union.
(106)
Доставчиците, които пускат на пазара на Съюза модели на ИИ с общо предназначение, следва да гарантират спазването на съответните задължения, установени в настоящия регламент. За тази цел доставчиците на модели на ИИ с общо предназначение следва да въведат политика за спазване на правото на Съюза в областта на авторското право и сродните му права, по-специално за установяване и съблюдаване на запазването на права, изразено от носителите на права съгласно член 4, параграф 3 от Директива (ЕС) 2019/790. Всеки доставчик, който пуска на пазара на Съюза модел на ИИ с общо предназначение, следва да спазва това задължение, независимо от юрисдикцията, в която се извършват действията, свързани с авторското право, които са в основата на обучението на тези модели на ИИ с общо предназначение. Това е необходимо, за да се гарантира равнопоставеност на доставчиците на модели на ИИ с общо предназначение, при което нито един доставчик не следва да може да получи конкурентно предимство на пазара на Съюза чрез прилагане на по-ниски стандарти в областта на авторското право от предвидените в Съюза.
(107)
In order to increase transparency on the data that is used in the pre-training and training of general-purpose AI models, including text and data protected by copyright law, it is adequate that providers of such models draw up and make publicly available a sufficiently detailed summary of the content used for training the general-purpose AI model. While taking into due account the need to protect trade secrets and confidential business information, this summary should be generally comprehensive in its scope instead of technically detailed to facilitate parties with legitimate interests, including copyright holders, to exercise and enforce their rights under Union law, for example by listing the main data collections or sets that went into training the model, such as large private or public databases or data archives, and by providing a narrative explanation about other data sources used. It is appropriate for the AI Office to provide a template for the summary, which should be simple, effective, and allow the provider to provide the required summary in narrative form.
(107)
За да се повиши прозрачността по отношение на данните, които се използват при предварителното обучение и обучението на модели на ИИ с общо предназначение, включително текст и данни, защитени от правото в областта на авторското право, е целесъобразно доставчиците на такива модели да изготвят и оповестяват публично достатъчно подробно обобщение на съдържанието, използвано за обучение на модела на ИИ с общо предназначение. Като се отчита надлежно необходимостта от защита на търговските тайни и поверителната търговска информация, това обобщение следва като цяло да бъде изчерпателно по своя обхват, а не технически подробно, за да улесни лицата със законни интереси, включително носителите на авторски права, да упражняват и прилагат правата си съгласно правото на Съюза, например чрез изброяване на основните събрани данни или набори от данни, които са използвани при обучението по модела, като например големи частни или публични бази данни или архиви с данни, и чрез предоставяне на описателно разяснение за други използвани източници на данни. Целесъобразно е Службата по ИИ да осигури образец на обобщението, който следва да бъде опростен, ефективен и да позволява на доставчика да предостави изискваното обобщение в описателна форма.
(108)
With regard to the obligations imposed on providers of general-purpose AI models to put in place a policy to comply with Union copyright law and make publicly available a summary of the content used for the training, the AI Office should monitor whether the provider has fulfilled those obligations without verifying or proceeding to a work-by-work assessment of the training data in terms of copyright compliance. This Regulation does not affect the enforcement of copyright rules as provided for under Union law.
(108)
По отношение на задълженията, наложени на доставчиците на модели на ИИ с общо предназначение, да въведат политика за спазване на правото на Съюза в областта на авторското право и да оповестят публично обобщение на съдържанието, използвано за обучението, Службата по ИИ следва да следи дали доставчикът е изпълнил тези задължения, без да проверява или да извършва оценка на обучителните данни за всяко отделно произведение от гледна точка на спазването на авторското право. Настоящият регламент не засяга прилагането на правилата в областта на авторското право, предвидени в правото на Съюза.
(109)
Compliance with the obligations applicable to the providers of general-purpose AI models should be commensurate and proportionate to the type of model provider, excluding the need for compliance for persons who develop or use models for non-professional or scientific research purposes, who should nevertheless be encouraged to voluntarily comply with these requirements. Without prejudice to Union copyright law, compliance with those obligations should take due account of the size of the provider and allow simplified ways of compliance for SMEs, including start-ups, that should not represent an excessive cost and not discourage the use of such models. In the case of a modification or fine-tuning of a model, the obligations for providers of general-purpose AI models should be limited to that modification or fine-tuning, for example by complementing the already existing technical documentation with information on the modifications, including new training data sources, as a means to comply with the value chain obligations provided in this Regulation.
(109)
Спазването на задълженията, приложими за доставчиците на модели на ИИ с общо предназначение, следва да бъде съизмеримо и пропорционално на вида доставчик на модели, като се изключва необходимостта от спазването им за лицата, които разработват или използват модели за непрофесионални или научноизследователски цели, които въпреки това следва да бъдат насърчавани да спазват тези изисквания на доброволна основа. Без да се засяга правото на Съюза в областта на авторското право, спазването на тези задължения следва да е надлежно съобразено с размера на доставчика и да дава възможност за опростени начини за постигане на съответствие за МСП, включително новосъздадени предприятия, които не следва да представляват прекомерни разходи и да не възпират използването на такива модели. В случай на изменение или фино регулиране на даден модел задълженията на доставчиците на модели на ИИ с общо предназначение следва да бъдат ограничени до това изменение или фино регулиране, например чрез допълване на вече съществуващата техническа документация с информация за измененията, включително нови източници на обучителни данни, като начин да се гарантира спазването на задълженията по веригата за създаване на стойност, предвидени в настоящия регламент.
(110)
General-purpose AI models could pose systemic risks which include, but are not limited to, any actual or reasonably foreseeable negative effects in relation to major accidents, disruptions of critical sectors and serious consequences to public health and safety; any actual or reasonably foreseeable negative effects on democratic processes, public and economic security; the dissemination of illegal, false, or discriminatory content. Systemic risks should be understood to increase with model capabilities and model reach, can arise along the entire lifecycle of the model, and are influenced by conditions of misuse, model reliability, model fairness and model security, the level of autonomy of the model, its access to tools, novel or combined modalities, release and distribution strategies, the potential to remove guardrails and other factors. In particular, international approaches have so far identified the need to pay attention to risks from potential intentional misuse or unintended issues of control relating to alignment with human intent; chemical, biological, radiological, and nuclear risks, such as the ways in which barriers to entry can be lowered, including for weapons development, design acquisition, or use; offensive cyber capabilities, such as the ways in vulnerability discovery, exploitation, or operational use can be enabled; the effects of interaction and tool use, including for example the capacity to control physical systems and interfere with critical infrastructure; risks from models of making copies of themselves or ‘self-replicating’ or training other models; the ways in which models can give rise to harmful bias and discrimination with risks to individuals, communities or societies; the facilitation of disinformation or harming privacy with threats to democratic values and human rights; risk that a particular event could lead to a chain reaction with considerable negative effects that could affect up to an entire city, an entire domain activity or an entire community.
(110)
Моделите на ИИ с общо предназначение биха могли да породят системни рискове, които включват, но не се ограничават до действителни или разумно предвидими отрицателни последици във връзка с големи аварии, смущения в критични сектори и сериозни последици за общественото здраве и безопасност; действителни или разумно предвидими отрицателни последици за демократичните процеси, обществената и икономическата сигурност; разпространението на незаконно, невярно или дискриминационно съдържание. Следва да се приеме, че системните рискове нарастват заедно със способностите и обхвата на модела, могат да възникнат по време на целия жизнен цикъл на модела и се влияят от условията на неправилна експлоатация, надеждността, добросъвестността и сигурността на модела, степента на автономност на модела, неговия достъп до инструменти, новите или комбинираните условия, стратегиите за предоставяне и разпространение, възможността за премахване на предпазните механизми и други фактори. По-специално, досега международните подходи са установили необходимостта да се обърне внимание на рисковете, произтичащи от възможна умишлена неправилна експлоатация или непреднамерени проблеми с контрола, свързан с привеждането в съответствие с човешките намерения; химичните, биологичните, радиологичните и ядрените рискове, като например начините, по които могат да бъдат намалени пречките за достъп, включително за разработване, придобиване на дизайн или използване на оръжия; офанзивните киберспособности, като например средствата, позволяващи откриване, експлоатация или оперативно използване на уязвими места; последиците от взаимодействието и използването на инструменти, включително например капацитета за контрол на физическите системи и за намеса в критичната инфраструктура; рисковете, свързани с възможността моделите да изготвят свои собствени копия, да се самовъзпроизвеждат или да обучават други модели; начините, по които моделите могат да доведат до вредна предубеденост и дискриминация с рискове за физически лица, общности или общества; улесняването на дезинформацията или накърняването на неприкосновеността на личния живот чрез заплахи за демократичните ценности и правата на човека; риска дадено събитие да доведе до верижна реакция със значителни отрицателни последици, които биха могли да засегнат цял град, цяла област на дейност или цяла общност.
(111)
It is appropriate to establish a methodology for the classification of general-purpose AI models as general-purpose AI model with systemic risks. Since systemic risks result from particularly high capabilities, a general-purpose AI model should be considered to present systemic risks if it has high-impact capabilities, evaluated on the basis of appropriate technical tools and methodologies, or significant impact on the internal market due to its reach. High-impact capabilities in general-purpose AI models means capabilities that match or exceed the capabilities recorded in the most advanced general-purpose AI models. The full range of capabilities in a model could be better understood after its placing on the market or when deployers interact with the model. According to the state of the art at the time of entry into force of this Regulation, the cumulative amount of computation used for the training of the general-purpose AI model measured in floating point operations is one of the relevant approximations for model capabilities. The cumulative amount of computation used for training includes the computation used across the activities and methods that are intended to enhance the capabilities of the model prior to deployment, such as pre-training, synthetic data generation and fine-tuning. Therefore, an initial threshold of floating point operations should be set, which, if met by a general-purpose AI model, leads to a presumption that the model is a general-purpose AI model with systemic risks. This threshold should be adjusted over time to reflect technological and industrial changes, such as algorithmic improvements or increased hardware efficiency, and should be supplemented with benchmarks and indicators for model capability. To inform this, the AI Office should engage with the scientific community, industry, civil society and other experts. Thresholds, as well as tools and benchmarks for the assessment of high-impact capabilities, should be strong predictors of generality, its capabilities and associated systemic risk of general-purpose AI models, and could take into account the way the model will be placed on the market or the number of users it may affect. To complement this system, there should be a possibility for the Commission to take individual decisions designating a general-purpose AI model as a general-purpose AI model with systemic risk if it is found that such model has capabilities or an impact equivalent to those captured by the set threshold. That decision should be taken on the basis of an overall assessment of the criteria for the designation of a general-purpose AI model with systemic risk set out in an annex to this Regulation, such as quality or size of the training data set, number of business and end users, its input and output modalities, its level of autonomy and scalability, or the tools it has access to. Upon a reasoned request of a provider whose model has been designated as a general-purpose AI model with systemic risk, the Commission should take the request into account and may decide to reassess whether the general-purpose AI model can still be considered to present systemic risks.
(111)
Целесъобразно е да се създаде методика за класифициране на моделите на ИИ с общо предназначение като модели на ИИ с общо предназначение, пораждащи системен риск. Тъй като системните рискове произтичат от особено големи способности, следва да се счита, че моделът на ИИ с общо предназначение поражда системни рискове, ако има способности с висока степен на въздействие, оценени въз основа на подходящи технически инструменти и методики, или значително въздействие върху вътрешния пазар поради своя обхват. Способностите с висока степен на въздействие при моделите на ИИ с общо предназначение означава способности, които съответстват на или надхвърлят способностите, регистрирани в най-напредналите модели на ИИ с общо предназначение. Пълният набор от способности на даден модел би могъл да бъде по-добре разбран след пускането му на пазара или при взаимодействието на внедрителите с модела. В зависимост от съвременните технически постижения към момента на влизане в сила на настоящия регламент общото количество изчисления, използвани за обучението на модела на ИИ с общо предназначение, измерено при операции с плаваща запетая, е една от значимите приблизителни стойности за способностите на модела. Общото количество изчисления, използвано за обучение, включва изчисленията, използвани за всички дейности и методи, които са предназначени да подобрят способностите на модела преди внедряването, като например предварително обучение, генериране на синтетични данни и фино регулиране. Поради това следва да се определи първоначален праг за операции с плаваща запетая, който, ако бъде достигнат от даден модел на ИИ с общо предназначение, води до презумпцията, че това е модел на ИИ с общо предназначение, пораждащ системен риск. Този праг следва да бъде коригиран с течение на времето, за да отразява технологичните и промишлените промени, като например подобрения в алгоритмите или повишена ефективност на хардуера, и следва да бъде допълван с референтни стойности и показатели за способностите на модела. За тази цел Службата по ИИ следва да работи с научната общност, стопанския сектор, гражданското общество и други експерти. Праговете, както и инструментите и референтните показатели за оценка на способностите с висока степен на въздействие следва да бъдат добри прогнозни фактори за общия характер, способностите и свързания системен риск на моделите на ИИ с общо предназначение и биха могли да вземат предвид начина, по който моделът ще бъде пуснат на пазара, или броя на ползвателите, които той може да засегне. За да се допълни тази система, Комисията следва да има възможност да взема индивидуални решения за определяне на модел на ИИ с общо предназначение като модел на ИИ с общо предназначение, пораждащ системен риск, ако се установи, че този модел има способности или въздействие, равностойни на тези, обхванати от определения праг. Това решение следва да се вземе въз основа на цялостна оценка на критериите за определяне на модели на ИИ с общо предназначение, пораждащи системен риск, посочени в приложение към настоящия регламент, като например качество или размер на набора от обучителни данни, брой на бизнес ползвателите и крайните ползватели, свързаните с него условия за входящи данни и резултати, степен на автономност и възможности за увеличаване на мащаба или инструментите, до които той има достъп. При обосновано искане от доставчик, чийто модел е определен като модел на ИИ с общо предназначение, пораждащ системен риск, Комисията следва да вземе предвид искането и може да реши да направи нова преценка дали все още може да се счита, че моделът на ИИ с общо предназначение поражда системни рискове.
(112)
It is also necessary to clarify a procedure for the classification of a general-purpose AI model with systemic risks. A general-purpose AI model that meets the applicable threshold for high-impact capabilities should be presumed to be a general-purpose AI models with systemic risk. The provider should notify the AI Office at the latest two weeks after the requirements are met or it becomes known that a general-purpose AI model will meet the requirements that lead to the presumption. This is especially relevant in relation to the threshold of floating point operations because training of general-purpose AI models takes considerable planning which includes the upfront allocation of compute resources and, therefore, providers of general-purpose AI models are able to know if their model would meet the threshold before the training is completed. In the context of that notification, the provider should be able to demonstrate that, because of its specific characteristics, a general-purpose AI model exceptionally does not present systemic risks, and that it thus should not be classified as a general-purpose AI model with systemic risks. That information is valuable for the AI Office to anticipate the placing on the market of general-purpose AI models with systemic risks and the providers can start to engage with the AI Office early on. That information is especially important with regard to general-purpose AI models that are planned to be released as open-source, given that, after the open-source model release, necessary measures to ensure compliance with the obligations under this Regulation may be more difficult to implement.
(112)
Необходимо е също така да се изясни процедурата за класифициране на модел на ИИ с общо предназначение, пораждащ системен риск. Модел на ИИ с общо предназначение, който отговаря на приложимия праг за способности с висока степен на въздействие, следва да се счита за модел на ИИ с общо предназначение, пораждащ системен риск. Доставчикът следва да уведоми Службата по ИИ най-късно две седмици след като бъдат изпълнени изискванията или стане известно, че даден модел на ИИ с общо предназначение ще отговаря на изискванията, свързани с презумпцията. Това е от особено значение във връзка с прага на операции с плаваща запетая, тъй като обучението на модели на ИИ с общо предназначение преминава през значително планиране, което включва предварително разпределяне на изчислителните ресурси, и следователно доставчиците на модели на ИИ с общо предназначение са в състояние да знаят дали техният модел би достигнал прага преди завършване на обучението. В контекста на това уведомяване доставчикът следва да може да докаже, че поради конкретните си характеристики даден модел на ИИ с общо предназначение по изключение не поражда системни рискове и че поради това не следва да бъде класифициран като модел на ИИ с общо предназначение, пораждащ системен риск. Тази информация е ценна, за да даде възможност на Службата по ИИ да предвиди пускането на пазара на модели на ИИ с общо предназначение, пораждащи системен риск, а на доставчиците да могат да започнат работа със Службата по ИИ на ранен етап. Информацията е особено важна по отношение на модели на ИИ с общо предназначение, за които се планира да бъдат пуснати с отворен код, като се има предвид, че след пускането на модел с отворен код може да е по-трудно да се приложат необходимите мерки за гарантиране на спазването на задълженията съгласно настоящия регламент.
(113)
If the Commission becomes aware of the fact that a general-purpose AI model meets the requirements to classify as a general-purpose AI model with systemic risk, which previously had either not been known or of which the relevant provider has failed to notify the Commission, the Commission should be empowered to designate it so. A system of qualified alerts should ensure that the AI Office is made aware by the scientific panel of general-purpose AI models that should possibly be classified as general-purpose AI models with systemic risk, in addition to the monitoring activities of the AI Office.
(113)
Ако на Комисията стане известен фактът, че даден модел на ИИ с общо предназначение отговаря на изискванията за класифициране като модел ИИ с общо предназначение, пораждащ системен риск, който преди това не е бил известен или за който съответният доставчик не е уведомил Комисията, на Комисията следва да бъде предоставено правомощието да го определи като такъв. Системата за приоритетни сигнали следва да гарантира, че Службата по ИИ е информирана от експертната група за модели на ИИ с общо предназначение, които евентуално следва да бъдат класифицирани като модели на ИИ с общо предназначение, пораждащи системен риск, в допълнение към дейностите по мониторинг на Службата по ИИ.
(114)
The providers of general-purpose AI models presenting systemic risks should be subject, in addition to the obligations provided for providers of general-purpose AI models, to obligations aimed at identifying and mitigating those risks and ensuring an adequate level of cybersecurity protection, regardless of whether it is provided as a standalone model or embedded in an AI system or a product. To achieve those objectives, this Regulation should require providers to perform the necessary model evaluations, in particular prior to its first placing on the market, including conducting and documenting adversarial testing of models, also, as appropriate, through internal or independent external testing. In addition, providers of general-purpose AI models with systemic risks should continuously assess and mitigate systemic risks, including for example by putting in place risk-management policies, such as accountability and governance processes, implementing post-market monitoring, taking appropriate measures along the entire model’s lifecycle and cooperating with relevant actors along the AI value chain.
(114)
За доставчиците на модели на ИИ с общо предназначение, пораждащи системни рискове, следва да се прилагат, в допълнение към задълженията, предвидени за доставчиците на модели на ИИ с общо предназначение, задължения, насочени към установяване и ограничаване на тези рискове и осигуряване на подходящо равнище на защита на киберсигурността, независимо дали тези модели се предоставят като самостоятелни модели, или са вградени в система с ИИ или продукт. За постигането на тези цели настоящият регламент следва да изисква от доставчиците да извършват необходимите оценки на модела, по-специално преди първото му пускане на пазара, включително провеждане и документиране на конкурентно изпитване на модели, когато е целесъобразно и чрез вътрешни или независими външни изпитвания. Освен това доставчиците на модели на ИИ с общо предназначение, пораждащи системен риск, следва непрекъснато да оценяват и ограничават системните рискове, включително например чрез въвеждане на политики за управление на риска, като например процеси на отчетност и администриране, проследяване след пускането на пазара, предприемане на подходящи мерки през целия жизнен цикъл на модела и сътрудничество със съответните участници по веригата за създаване на стойност в областта на ИИ.
(115)
Providers of general-purpose AI models with systemic risks should assess and mitigate possible systemic risks. If, despite efforts to identify and prevent risks related to a general-purpose AI model that may present systemic risks, the development or use of the model causes a serious incident, the general-purpose AI model provider should without undue delay keep track of the incident and report any relevant information and possible corrective measures to the Commission and national competent authorities. Furthermore, providers should ensure an adequate level of cybersecurity protection for the model and its physical infrastructure, if appropriate, along the entire model lifecycle. Cybersecurity protection related to systemic risks associated with malicious use or attacks should duly consider accidental model leakage, unauthorised releases, circumvention of safety measures, and defence against cyberattacks, unauthorised access or model theft. That protection could be facilitated by securing model weights, algorithms, servers, and data sets, such as through operational security measures for information security, specific cybersecurity policies, adequate technical and established solutions, and cyber and physical access controls, appropriate to the relevant circumstances and the risks involved.
(115)
Доставчиците на модели на ИИ с общо предназначение, пораждащи системен риск, следва да оценяват и ограничават възможните системни рискове. Ако въпреки усилията за установяване и предотвратяване на рискове, свързани с модел на ИИ с общо предназначение, който може да поражда системни рискове, разработването или използването на модела причини сериозен инцидент, доставчикът на модел на ИИ с общо предназначение следва без ненужно забавяне да проследи инцидента и да докладва на Комисията и на националните компетентни органи за всяка съответна информация и възможни коригиращи действия. Освен това доставчиците следва да гарантират подходящо равнище на защита на киберсигурността на модела и неговата физическа инфраструктура, ако е целесъобразно, през целия жизнен цикъл на модела. Защитата на киберсигурността от системни рискове, свързани с недобросъвестно използване или атаки, следва надлежно да отчита случайни фактори като изтичане на модел, неразрешено предоставяне, заобикаляне на мерките за безопасност и защита срещу кибератаки, неразрешен достъп или кражба на модел. Тази защита може да бъде улеснена чрез осигуряване на тегла на моделите, алгоритми, сървъри и набори от данни, например чрез оперативни мерки за информационна сигурност, специфични политики за киберсигурност, подходящи технически и изпитани решения и контрол на кибердостъпа и физическия достъп, съобразени със съответните обстоятелства и рискове.
(116)
The AI Office should encourage and facilitate the drawing up, review and adaptation of codes of practice, taking into account international approaches. All providers of general-purpose AI models could be invited to participate. To ensure that the codes of practice reflect the state of the art and duly take into account a diverse set of perspectives, the AI Office should collaborate with relevant national competent authorities, and could, where appropriate, consult with civil society organisations and other relevant stakeholders and experts, including the Scientific Panel, for the drawing up of such codes. Codes of practice should cover obligations for providers of general-purpose AI models and of general-purpose AI models presenting systemic risks. In addition, as regards systemic risks, codes of practice should help to establish a risk taxonomy of the type and nature of the systemic risks at Union level, including their sources. Codes of practice should also be focused on specific risk assessment and mitigation measures.
(116)
Службата по ИИ следва да насърчава и улеснява изготвянето, прегледа и адаптирането на кодекси за добри практики, като взема предвид международните подходи. Всички доставчици на модели на ИИ с общо предназначение биха могли да бъдат поканени да участват. За да се гарантира, че кодексите за добри практики отразяват съвременните технически постижения и са надлежно съобразени с набор от различни гледни точки, Службата по ИИ следва да си сътрудничи със съответните национални компетентни органи и би могла, когато е целесъобразно, да се консултира с организации на гражданското общество и други съответни заинтересовани страни и експерти, включително експертната група, за изготвянето на такива кодекси. Кодексите за добри практики следва да включват задълженията на доставчиците на модели на ИИ с общо предназначение и на модели на ИИ с общо предназначение, пораждащи системен риск. Освен това, по отношение на системните рискове, кодексите за добри практики следва да спомогнат за установяването на таксономия на вида и естеството на системните рискове на равнището на Съюза, включително техните източници. Кодексите за добри практики следва също така да бъдат съсредоточени върху конкретни мерки за оценка и ограничаване на риска.
(117)
The codes of practice should represent a central tool for the proper compliance with the obligations provided for under this Regulation for providers of general-purpose AI models. Providers should be able to rely on codes of practice to demonstrate compliance with the obligations. By means of implementing acts, the Commission may decide to approve a code of practice and give it a general validity within the Union, or, alternatively, to provide common rules for the implementation of the relevant obligations, if, by the time this Regulation becomes applicable, a code of practice cannot be finalised or is not deemed adequate by the AI Office. Once a harmonised standard is published and assessed as suitable to cover the relevant obligations by the AI Office, compliance with a European harmonised standard should grant providers the presumption of conformity. Providers of general-purpose AI models should furthermore be able to demonstrate compliance using alternative adequate means, if codes of practice or harmonised standards are not available, or they choose not to rely on those.
(117)
Кодексите за добри практики следва да представляват основен инструмент за правилното спазване на задълженията, предвидени в настоящия регламент за доставчиците на модели на ИИ с общо предназначение. Доставчиците следва да могат да се основават на кодекси за добри практики, за да докажат спазването на задълженията. Комисията може да реши да одобри чрез акт за изпълнение кодекс за добри практики и да осигури общата му приложимост в рамките на Съюза или, като друга възможност, да предвиди общи правила за изпълнението на съответните задължения, ако до началото на прилагането на настоящия регламент даден кодекс за добри практики не може да бъде подготвен или не се счита за подходящ от Службата по ИИ. След като даден хармонизиран стандарт бъде публикуван и оценен като подходящ за покриване на съответните задължения от Службата по ИИ, съответствието с европейски хармонизиран стандарт следва да дава на доставчиците презумпция за съответствие. Освен това доставчиците на модели на ИИ с общо предназначение следва да могат да докажат съответствие, като използват други подходящи средства, ако няма кодекси за добри практики или хармонизирани стандарти или ако решат да не разчитат на тях.
(118)
This Regulation regulates AI systems and AI models by imposing certain requirements and obligations for relevant market actors that are placing them on the market, putting into service or use in the Union, thereby complementing obligations for providers of intermediary services that embed such systems or models into their services regulated by Regulation (EU) 2022/2065. To the extent that such systems or models are embedded into designated very large online platforms or very large online search engines, they are subject to the risk-management framework provided for in Regulation (EU) 2022/2065. Consequently, the corresponding obligations of this Regulation should be presumed to be fulfilled, unless significant systemic risks not covered by Regulation (EU) 2022/2065 emerge and are identified in such models. Within this framework, providers of very large online platforms and very large online search engines are obliged to assess potential systemic risks stemming from the design, functioning and use of their services, including how the design of algorithmic systems used in the service may contribute to such risks, as well as systemic risks stemming from potential misuses. Those providers are also obliged to take appropriate mitigating measures in observance of fundamental rights.
(118)
С настоящия регламент се уреждат системите с ИИ и моделите на ИИ, като се налагат определени изисквания и задължения за съответните пазарни участници, които ги пускат на пазара, пускат в действие или използват в Съюза, като по този начин се допълват задълженията на доставчиците на посреднически услуги, които интегрират такива системи или модели в своите услуги, които се уреждат от Регламент (ЕС) 2022/2065. Доколкото тези системи или модели са вградени в определени много големи онлайн платформи или много големи онлайн търсачки, за тях се прилага рамката за управление на риска, предвидена в Регламент (ЕС) 2022/2065. Следователно съответните задължения съгласно настоящия регламент следва да се считат за изпълнени, освен ако в такива модели не възникнат и се установят значителни системни рискове, които не са обхванати от Регламент (ЕС) 2022/2065. В тази контекст от доставчиците на много големи онлайн платформи и много големи онлайн търсачки се изисква да оценяват потенциалните системни рискове, произтичащи от проектирането, функционирането и използването на техните услуги, включително начина, по който проектирането на алгоритмични системи, използвани в услугата, може да допринесе за появата на такива рискове, както и системните рискове, произтичащи от еветуална неправилна експлоатация. Тези доставчици са длъжни също така да предприемат подходящи мерки за ограничаване при спазване на основните права.
(119)
Considering the quick pace of innovation and the technological evolution of digital services in scope of different instruments of Union law in particular having in mind the usage and the perception of their recipients, the AI systems subject to this Regulation may be provided as intermediary services or parts thereof within the meaning of Regulation (EU) 2022/2065, which should be interpreted in a technology-neutral manner. For example, AI systems may be used to provide online search engines, in particular, to the extent that an AI system such as an online chatbot performs searches of, in principle, all websites, then incorporates the results into its existing knowledge and uses the updated knowledge to generate a single output that combines different sources of information.
(119)
Предвид бързия темп на иновациите и технологичното развитие на цифровите услуги, попадащи в обхвата на различните инструменти на правото на Съюза, по-специално като се има предвид използването и възприемането им от страна на техните получатели, системите с ИИ, които са предмет на настоящия регламент, могат да бъдат предоставяни като посреднически услуги или части от тях по смисъла на Регламент (ЕС) 2022/2065, който следва да се тълкува по технологично неутрален начин. Например системите с ИИ могат да се използват за предоставяне на онлайн търсачки, по-специално доколкото дадена система с ИИ, като например онлайн чатбот, извършва търсене по принцип на всички уебсайтове, след това интегрира резултатите в съществуващите си знания и използва актуализираните знания, за да генерира единен резултат, който съчетава различни източници на информация.
(120)
Furthermore, obligations placed on providers and deployers of certain AI systems in this Regulation to enable the detection and disclosure that the outputs of those systems are artificially generated or manipulated are particularly relevant to facilitate the effective implementation of Regulation (EU) 2022/2065. This applies in particular as regards the obligations of providers of very large online platforms or very large online search engines to identify and mitigate systemic risks that may arise from the dissemination of content that has been artificially generated or manipulated, in particular risk of the actual or foreseeable negative effects on democratic processes, civic discourse and electoral processes, including through disinformation.
(120)
Освен това задълженията, наложени с настоящия регламент на доставчиците и внедрителите на някои системи с ИИ с цел откриване и оповестяване, че резултатите от тези системи са изкуствено генерирани или обработени, са от особено значение с оглед на ефективното прилагане на Регламент (ЕС) 2022/2065. Това се отнася по-специално за задълженията на доставчиците на много големи онлайн платформи или много големи онлайн търсачки да установяват и ограничават системните рискове, които могат да възникнат поради разпространението на съдържание, което е било изкуствено генерирано или обработено, и по-специално риска от действителни или предвидими отрицателни последици за демократичните процеси, гражданския дебат и изборните процеси, включително чрез дезинформация.
(121)
Standardisation should play a key role to provide technical solutions to providers to ensure compliance with this Regulation, in line with the state of the art, to promote innovation as well as competitiveness and growth in the single market. Compliance with harmonised standards as defined in Article 2, point (1)(c), of Regulation (EU) No 1025/2012 of the European Parliament and of the Council (41), which are normally expected to reflect the state of the art, should be a means for providers to demonstrate conformity with the requirements of this Regulation. A balanced representation of interests involving all relevant stakeholders in the development of standards, in particular SMEs, consumer organisations and environmental and social stakeholders in accordance with Articles 5 and 6 of Regulation (EU) No 1025/2012 should therefore be encouraged. In order to facilitate compliance, the standardisation requests should be issued by the Commission without undue delay. When preparing the standardisation request, the Commission should consult the advisory forum and the Board in order to collect relevant expertise. However, in the absence of relevant references to harmonised standards, the Commission should be able to establish, via implementing acts, and after consultation of the advisory forum, common specifications for certain requirements under this Regulation. The common specification should be an exceptional fall back solution to facilitate the provider’s obligation to comply with the requirements of this Regulation, when the standardisation request has not been accepted by any of the European standardisation organisations, or when the relevant harmonised standards insufficiently address fundamental rights concerns, or when the harmonised standards do not comply with the request, or when there are delays in the adoption of an appropriate harmonised standard. Where such a delay in the adoption of a harmonised standard is due to the technical complexity of that standard, this should be considered by the Commission before contemplating the establishment of common specifications. When developing common specifications, the Commission is encouraged to cooperate with international partners and international standardisation bodies.
(121)
Стандартизацията следва да заема ключово място за осигуряването на технически решения на доставчиците, за да се гарантира спазването на настоящия регламент, съобразно съвременните технически постижения, с цел да се насърчат иновациите, както и конкурентоспособността и растежът на единния пазар. Съответствието с хармонизираните стандарти по смисъла на определението в член 2, точка 1, буква в) от Регламент (ЕС) № 1025/2012 на Европейския парламент и на Съвета (41), които обикновено се очаква да отразяват съвременните технически постижения, следва да бъде средство за доказване на спазването на изискванията на настоящия регламент от доставчиците. Поради това следва да се насърчава балансирано представителство на интереси с участието в разработването на стандарти на всички съответни заинтересовани страни, по-специално МСП, организации на потребители и представляващите екологични и социални интереси заинтересовани страни в съответствие с членове 5 и 6 от Регламент (ЕС) № 1025/2012. За да се улесни съответствието, исканията за стандартизация следва да се отправят от Комисията без ненужно забавяне. При изготвянето на искането за стандартизация Комисията следва да се консултира с консултативния форум и със Съвета по ИИ, за да събере съответния експертен опит. При липсата на съответни позовавания на хармонизирани стандарти обаче Комисията следва да може да установява, чрез актове за изпълнение и след консултация с консултативния форум, общи спецификации за някои изисквания съгласно настоящия регламент. Общата спецификация следва да бъде извънредно алтернативно решение, за да се улесни изпълнението на задължението на доставчика да спазва изискванията на настоящия регламент, когато искането за стандартизация не е било прието от някоя от европейските организации за стандартизация или когато съответните хармонизирани стандарти не отразяват в достатъчна степен опасенията, свързани с основните права, или когато хармонизираните стандарти не отговарят на искането, или когато има забавяне в приемането на подходящ хармонизиран стандарт. Когато това забавяне в приемането на хармонизиран стандарт се дължи на техническата сложност на стандарта, това следва да се вземе предвид от Комисията, преди да се разгледа възможността за установяване на общи спецификации. При разработването на общи спецификации Комисията се насърчава да си сътрудничи с международни партньори и международни органи за стандартизация.
(122)
It is appropriate that, without prejudice to the use of harmonised standards and common specifications, providers of a high-risk AI system that has been trained and tested on data reflecting the specific geographical, behavioural, contextual or functional setting within which the AI system is intended to be used, should be presumed to comply with the relevant measure provided for under the requirement on data governance set out in this Regulation. Without prejudice to the requirements related to robustness and accuracy set out in this Regulation, in accordance with Article 54(3) of Regulation (EU) 2019/881, high-risk AI systems that have been certified or for which a statement of conformity has been issued under a cybersecurity scheme pursuant to that Regulation and the references of which have been published in the Official Journal of the European Union should be presumed to comply with the cybersecurity requirement of this Regulation in so far as the cybersecurity certificate or statement of conformity or parts thereof cover the cybersecurity requirement of this Regulation. This remains without prejudice to the voluntary nature of that cybersecurity scheme.
(122)
Без да се засяга използването на хармонизирани стандарти и общи спецификации, е целесъобразно да се счита, че доставчиците на високорискова система с ИИ, която е била обучена и изпитана въз основа на данни, отразяващи конкретната географска, контекстуална, поведенческа или функционална среда, в която системата с ИИ е предназначена да бъде използвана, съответстват на съответната мярка, предвидена съгласно изискването за администриране на данни, определено в настоящия регламент. Без да се засягат изискванията, свързани с надеждността и точността, установени в настоящия регламент, в съответствие с член 54, параграф 3 от Регламент (ЕС) 2019/881 високорисковите системи с ИИ, които са сертифицирани или за които е издадена декларация за съответствие по схема за киберсигурност съгласно посочения регламент и данните за които са били публикувани в Официален вестник на Европейския съюз, следва да се считат за съответстващи на изискването за киберсигурност съгласно настоящия регламент, доколкото сертификатът за киберсигурност или декларацията за съответствие, или части от тях включват изискването за киберсигурност съгласно настоящия регламент. Това не засяга доброволния характер на тази схема за киберсигурност.
(123)
In order to ensure a high level of trustworthiness of high-risk AI systems, those systems should be subject to a conformity assessment prior to their placing on the market or putting into service.
(123)
За да се гарантира високо ниво на надеждност на високорисковите системи с ИИ, те следва да подлежат на оценяване на съответствието преди пускането им на пазара или пускането им в действие.
(124)
It is appropriate that, in order to minimise the burden on operators and avoid any possible duplication, for high-risk AI systems related to products which are covered by existing Union harmonisation legislation based on the New Legislative Framework, the compliance of those AI systems with the requirements of this Regulation should be assessed as part of the conformity assessment already provided for in that law. The applicability of the requirements of this Regulation should thus not affect the specific logic, methodology or general structure of conformity assessment under the relevant Union harmonisation legislation.
(124)
За да се сведе до минимум тежестта за операторите и да се избегне всякакво възможно дублиране, за високорисковите системи с ИИ, свързани с продукти, които са обхванати от съществуващото законодателство на Съюза за хармонизация въз основа на новата законодателна рамка, е целесъобразно съответствието на тези системи с ИИ с изискванията на настоящия регламент да се оценява като част от оценяването на съответствието, което вече е предвидено съгласно посоченото право. Следователно приложимостта на изискванията на настоящия регламент не следва да засяга специфичната логика, методика или обща структура за оценяване на съответствието съгласно съответното законодателство на Съюза за хармонизация.
(125)
Given the complexity of high-risk AI systems and the risks that are associated with them, it is important to develop an adequate conformity assessment procedure for high-risk AI systems involving notified bodies, so-called third party conformity assessment. However, given the current experience of professional pre-market certifiers in the field of product safety and the different nature of risks involved, it is appropriate to limit, at least in an initial phase of application of this Regulation, the scope of application of third-party conformity assessment for high-risk AI systems other than those related to products. Therefore, the conformity assessment of such systems should be carried out as a general rule by the provider under its own responsibility, with the only exception of AI systems intended to be used for biometrics.
(125)
С оглед на сложността на високорисковите системи с ИИ и свързаните с тях рискове, е важно да се разработи подходяща процедура за оценяване на съответствието за високорискови системи с ИИ, включваща нотифицирани органи, т.нар. оценяване на съответствието от трето лице. Като се има предвид обаче настоящият опит в областта на безопасността на продуктите на професионалните сертифициращи органи преди пускането на пазара, както и различното естество на свързаните с тези продукти рискове, е целесъобразно да се ограничи, поне в началната фаза на прилагане на настоящия регламент, приложното поле на оценяването на съответствието от трето лице за високорисковите системи с ИИ, различни от свързаните с продукти. Поради това оценяването на съответствието на такива системи следва като общо правило да се извършва от доставчика на негова отговорност, като единствено изключение са системите с ИИ, предназначени да се използват за биометрични цели.
(126)
In order to carry out third-party conformity assessments when so required, notified bodies should be notified under this Regulation by the national competent authorities, provided that they comply with a set of requirements, in particular on independence, competence, absence of conflicts of interests and suitable cybersecurity requirements. Notification of those bodies should be sent by national competent authorities to the Commission and the other Member States by means of the electronic notification tool developed and managed by the Commission pursuant to Article R23 of Annex I to Decision No 768/2008/EC.
(126)
С цел извършване на оценяване на съответствието от трето лице, когато това се изисква, националните компетентни органи следва да нотифицират съгласно настоящия регламент нотифицираните органи, при условие че последните отговарят на набор от изисквания, по-специално относно независимостта, компетентността и отсъствието на конфликти на интереси и на подходящи изисквания за киберсигурност. Националните компетентни органи следва да изпращат нотификацията за тези органи до Комисията и другите държави членки чрез средството за електронно нотифициране, разработено и управлявано от Комисията съгласно член R23 от приложение I към Решение № 768/2008/ЕО.
(127)
In line with Union commitments under the World Trade Organization Agreement on Technical Barriers to Trade, it is adequate to facilitate the mutual recognition of conformity assessment results produced by competent conformity assessment bodies, independent of the territory in which they are established, provided that those conformity assessment bodies established under the law of a third country meet the applicable requirements of this Regulation and the Union has concluded an agreement to that extent. In this context, the Commission should actively explore possible international instruments for that purpose and in particular pursue the conclusion of mutual recognition agreements with third countries.
(127)
В съответствие с ангажиментите на Съюза съгласно Споразумението на Световната търговска организация за техническите пречки пред търговията е целесъобразно да се улесни взаимното признаване на резултатите от оценяването на съответствието, получени от компетентни органи за оценяване на съответствието, независимо от територията, на която са създадени, при условие че тези органи за оценяване на съответствието, създадени съгласно правото на трета държава, отговарят на приложимите изисквания на настоящия регламент и че Съюзът е сключил споразумение в това отношение. В този контекст Комисията следва активно да проучи възможните международни инструменти за тази цел и по-специално да се стреми към сключване на споразумения за взаимно признаване с трети държави.
(128)
In line with the commonly established notion of substantial modification for products regulated by Union harmonisation legislation, it is appropriate that whenever a change occurs which may affect the compliance of a high-risk AI system with this Regulation (e.g. change of operating system or software architecture), or when the intended purpose of the system changes, that AI system should be considered to be a new AI system which should undergo a new conformity assessment. However, changes occurring to the algorithm and the performance of AI systems which continue to ‘learn’ after being placed on the market or put into service, namely automatically adapting how functions are carried out, should not constitute a substantial modification, provided that those changes have been pre-determined by the provider and assessed at the moment of the conformity assessment.
(128)
В съответствие с общоприетото понятие за съществено изменение за продукти, регулирани от законодателството на Съюза за хармонизация, е целесъобразно дадена система с ИИ да се счита за нова система с ИИ, която следва да бъде подложена на ново оценяване на съответствието всеки път, когато настъпи промяна, която може да засегне съответствието на високорискова система с ИИ с настоящия регламент (например промяна на операционната система или на софтуерната архитектура), или когато предназначението на системата се промени. Въпреки това промените на алгоритъма или на действието на системи с ИИ, които продължават да се обучават след пускането им на пазара или пускането им в действие, а именно автоматично адаптират начина, по който се изпълняват функциите, не следва да се смятат за съществено изменение, при условие че тези промени са били предварително определени от доставчика и оценени към момента на оценяването на съответствието.
(129)
High-risk AI systems should bear the CE marking to indicate their conformity with this Regulation so that they can move freely within the internal market. For high-risk AI systems embedded in a product, a physical CE marking should be affixed, and may be complemented by a digital CE marking. For high-risk AI systems only provided digitally, a digital CE marking should be used. Member States should not create unjustified obstacles to the placing on the market or the putting into service of high-risk AI systems that comply with the requirements laid down in this Regulation and bear the CE marking.
(129)
Високорисковите системи с ИИ следва да носят маркировката „СЕ“, указваща тяхното съответствие с настоящия регламент с цел свободно движение в рамките на вътрешния пазар. За високорисковите системи с ИИ, вградени в продукт, следва да се постави физическа маркировка „СЕ“, която може да бъде допълнена с цифрова маркировка „СЕ“. За високорисковите системи с ИИ, предоставяни само в цифров вид, следва да се използва цифрова маркировка „CE“. Държавите членки не следва да създават необосновани пречки пред пускането на пазара или пускането в действие на високорискови системи с ИИ, които съответстват на изискванията, предвидени в настоящия регламент, и носят маркировката „СЕ“.
(130)
Under certain conditions, rapid availability of innovative technologies may be crucial for health and safety of persons, the protection of the environment and climate change and for society as a whole. It is thus appropriate that under exceptional reasons of public security or protection of life and health of natural persons, environmental protection and the protection of key industrial and infrastructural assets, market surveillance authorities could authorise the placing on the market or the putting into service of AI systems which have not undergone a conformity assessment. In duly justified situations, as provided for in this Regulation, law enforcement authorities or civil protection authorities may put a specific high-risk AI system into service without the authorisation of the market surveillance authority, provided that such authorisation is requested during or after the use without undue delay.
(130)
При определени условия бързото осигуряване на иновативни технологии може да бъде от решаващо значение за здравето и безопасността на хората, опазването на околната среда и изменението на климата, както и за обществото като цяло. Поради това е целесъобразно по извънредни причини, свързани с обществената сигурност или защитата на живота и здравето на физическите лица, опазването на околната среда и защитата на ключови промишлени и инфраструктурни активи, органите за надзор на пазара да могат да разрешават пускането на пазара или пускането в действие на системи с ИИ, които не са преминали оценяване на съответствието. В надлежно обосновани случаи, предвидени в настоящия регламент, правоохранителните органи или органите за гражданска защита могат да пуснат в действие конкретна високорискова система с ИИ без разрешението на органа за надзор на пазара, при условие че такова разрешение е поискано без ненужно забавяне по време на използването или след него.
(131)
In order to facilitate the work of the Commission and the Member States in the AI field as well as to increase the transparency towards the public, providers of high-risk AI systems other than those related to products falling within the scope of relevant existing Union harmonisation legislation, as well as providers who consider that an AI system listed in the high-risk use cases in an annex to this Regulation is not high-risk on the basis of a derogation, should be required to register themselves and information about their AI system in an EU database, to be established and managed by the Commission. Before using an AI system listed in the high-risk use cases in an annex to this Regulation, deployers of high-risk AI systems that are public authorities, agencies or bodies, should register themselves in such database and select the system that they envisage to use. Other deployers should be entitled to do so voluntarily. This section of the EU database should be publicly accessible, free of charge, the information should be easily navigable, understandable and machine-readable. The EU database should also be user-friendly, for example by providing search functionalities, including through keywords, allowing the general public to find relevant information to be submitted upon the registration of high-risk AI systems and on the use case of high-risk AI systems, set out in an annex to this Regulation, to which the high-risk AI systems correspond. Any substantial modification of high-risk AI systems should also be registered in the EU database. For high-risk AI systems in the area of law enforcement, migration, asylum and border control management, the registration obligations should be fulfilled in a secure non-public section of the EU database. Access to the secure non-public section should be strictly limited to the Commission as well as to market surveillance authorities with regard to their national section of that database. High-risk AI systems in the area of critical infrastructure should only be registered at national level. The Commission should be the controller of the EU database, in accordance with Regulation (EU) 2018/1725. In order to ensure the full functionality of the EU database, when deployed, the procedure for setting the database should include the development of functional specifications by the Commission and an independent audit report. The Commission should take into account cybersecurity risks when carrying out its tasks as data controller on the EU database. In order to maximise the availability and use of the EU database by the public, the EU database, including the information made available through it, should comply with requirements under the Directive (EU) 2019/882.
(131)
С цел да се улесни работата на Комисията и на държавите членки в областта на ИИ, както и за да се повиши прозрачността пред обществеността, от доставчиците на високорискови системи с ИИ, различни от свързаните с продукти, попадащи в обхвата на съответното действащо законодателство на Съюза за хармонизация, както и от доставчиците, които считат, че дадена система с ИИ, включена в случаите на високорискова употреба, посочени в приложение към настоящия регламент, не е високорискова въз основа на дерогация, следва да се изисква да се регистрират и да впишат информацията за своята система с ИИ в база данни на ЕС, която да бъде създадена и управлявана от Комисията. Преди да използват такава система с ИИ, включена в случаите на високорискова употреба в приложение към настоящия регламент, внедрителите на високорискови системи с ИИ, които са публични органи, агенции или структури, следва да се регистрират в тази база данни и да изберат системата, която възнамеряват да използват. Останалите внедрители следва да имат право да направят това на доброволна основа. Този раздел на базата данни на ЕС следва да бъде публично достъпен, безплатен, а информацията следва да бъде лесна за навигация, разбираема и машинночетима. Базата данни на ЕС следва също така да бъде лесна за ползване, например като осигурява функции за търсене, включително чрез ключови думи, за да се даде възможност на широката общественост да намери съответната информация, която трябва да бъде предоставена при регистрацията на високорискови системи с ИИ, както и информация за случаите на употреба на високорисковите системи с ИИ, посочени в приложение към настоящия регламент, на които отговарят високорисковите системи с ИИ. Всяко съществено изменение на високорискови системи с ИИ също следва да се регистрира в базата данни на ЕС. За високорисковите системи с ИИ в правоохранителната област и в областта на управлението на миграцията, убежището и граничния контрол задълженията за регистрация следва да се изпълняват в защитен непубличен раздел на базата данни на ЕС. Достъпът до защитения непубличен раздел следва да бъде строго ограничен до Комисията, както и до органите за надзор на пазара по отношение на техния национален раздел на тази база данни. Високорисковите системи с ИИ в областта на критичната инфраструктура следва да се регистрират само на национално равнище. Комисията следва да бъде администратор на базата данни на ЕС в съответствие с Регламент (ЕС) 2018/1725. За да се гарантира цялостна готовност на базата данни при нейното въвеждане, процедурата по създаване на базата данни на ЕС следва да включва разработването на функционални спецификации от Комисията и независим одитен доклад. Комисията следва да вземе предвид рисковете, свързани с киберсигурността, когато изпълнява задачите си като администратор на данни по отношение на базата данни на ЕС. За да се увеличи максимално достъпността и използването на базата данни на ЕС от обществеността, базата данни на ЕС, включително информацията, предоставяна чрез нея, следва да отговаря на изискванията на Директива (ЕС) 2019/882.
(132)
Certain AI systems intended to interact with natural persons or to generate content may pose specific risks of impersonation or deception irrespective of whether they qualify as high-risk or not. In certain circumstances, the use of these systems should therefore be subject to specific transparency obligations without prejudice to the requirements and obligations for high-risk AI systems and subject to targeted exceptions to take into account the special need of law enforcement. In particular, natural persons should be notified that they are interacting with an AI system, unless this is obvious from the point of view of a natural person who is reasonably well-informed, observant and circumspect taking into account the circumstances and the context of use. When implementing that obligation, the characteristics of natural persons belonging to vulnerable groups due to their age or disability should be taken into account to the extent the AI system is intended to interact with those groups as well. Moreover, natural persons should be notified when they are exposed to AI systems that, by processing their biometric data, can identify or infer the emotions or intentions of those persons or assign them to specific categories. Such specific categories can relate to aspects such as sex, age, hair colour, eye colour, tattoos, personal traits, ethnic origin, personal preferences and interests. Such information and notifications should be provided in accessible formats for persons with disabilities.
(132)
Някои системи с ИИ, предназначени да взаимодействат с физически лица или да генерират съдържание, могат да породят особени рискове от измама на основата на прилика или заблуда, независимо дали отговарят на критериите за високорискови системи, или не. Поради това при определени обстоятелства при използването на тези системи следва да се прилагат специални задължения за прозрачност, без да се засягат изискванията и задълженията за високорискови системи с ИИ и при прилагане на целеви изключения с цел да се вземат предвид особените правоохранителни нужди. По-специално, физическите лица следва да бъдат уведомявани, че взаимодействат със система с ИИ, освен ако това не е очевидно от гледна точка на физическо лице, което е в разумни граници осведомено, наблюдателно и съобразително предвид обстоятелствата и контекста на използване. При изпълнението на това задължение следва да се вземат предвид характеристиките на физическите лица, принадлежащи към уязвими групи поради своята възраст или увреждане, доколкото системата с ИИ е предназначена да взаимодейства и с тези групи. Наред с това, физическите лица следва да бъдат уведомявани, когато са изложени на системи с ИИ, които чрез обработване на биометричните им данни могат да определят или да направят изводи за емоциите или намеренията на тези лица или да ги отнесат към конкретни категории. Подобни конкретни категории може да са свързани с аспекти като пол, възраст, цвят на косата, цвят на очите, татуировки, личностни черти, етнически произход, лични предпочитания и интереси. Тази информация и уведомленията следва да се предоставят в достъпни формати за хората с увреждания.
(133)
A variety of AI systems can generate large quantities of synthetic content that becomes increasingly hard for humans to distinguish from human-generated and authentic content. The wide availability and increasing capabilities of those systems have a significant impact on the integrity and trust in the information ecosystem, raising new risks of misinformation and manipulation at scale, fraud, impersonation and consumer deception. In light of those impacts, the fast technological pace and the need for new methods and techniques to trace origin of information, it is appropriate to require providers of those systems to embed technical solutions that enable marking in a machine readable format and detection that the output has been generated or manipulated by an AI system and not a human. Such techniques and methods should be sufficiently reliable, interoperable, effective and robust as far as this is technically feasible, taking into account available techniques or a combination of such techniques, such as watermarks, metadata identifications, cryptographic methods for proving provenance and authenticity of content, logging methods, fingerprints or other techniques, as may be appropriate. When implementing this obligation, providers should also take into account the specificities and the limitations of the different types of content and the relevant technological and market developments in the field, as reflected in the generally acknowledged state of the art. Such techniques and methods can be implemented at the level of the AI system or at the level of the AI model, including general-purpose AI models generating content, thereby facilitating fulfilment of this obligation by the downstream provider of the AI system. To remain proportionate, it is appropriate to envisage that this marking obligation should not cover AI systems performing primarily an assistive function for standard editing or AI systems not substantially altering the input data provided by the deployer or the semantics thereof.
(133)
Различни системи с ИИ могат да генерират големи количества синтетично съдържание, което хората все по-трудно могат да разграничават от генерирано от човека и автентично съдържание. Широката наличност и нарастващият капацитет на тези системи оказват значително влияние върху почтеността и доверието в информационната екосистема, което поражда нови рискове от масивно навлизане на невярна информация и манипулиране, измами на основата на прилика и заблуда на потребителите. С оглед на това въздействие, бързия темп на развитие на технологиите и необходимостта от нови методи и техники за проследяване на произхода на информацията е целесъобразно да се изисква от доставчиците на тези системи да вграждат технически решения, позволяващи маркиране в машинночетим формат и разпознаване, че резултатът е генериран или обработен от система с ИИ, а не от човек. Тези техники и методи следва да бъдат достатъчно надеждни, оперативно съвместими, ефективни и сигурни, доколкото това е технически осъществимо, и да се основават на наличните техники или на комбинация от такива техники, например водни знаци, идентифициране на метаданни, криптографски методи за доказване на произхода и автентичността на съдържанието, методи за регистриране, пръстови отпечатъци или други техники, в зависимост от случая. При изпълнението на това задължение доставчиците следва също така да отчитат особеностите и ограниченията на различните видове съдържание и технологичното и пазарното развитие в тази област, които намират отражение в общопризнатото най-съвременно равнище на технологиите. Тези техники и методи могат да бъдат приложени на равнището на системата с ИИ или на равнището на модела на ИИ, включително при модели на ИИ с общо предназначение, генериращи съдържание, като по този начин се улеснява изпълнението на това задължение от доставчика надолу по веригата на системата с ИИ. За да бъде пропорционално това задължение за маркиране, е целесъобразно да се предвиди то да няма приложение при системи с ИИ, изпълняващи предимно помощна функция при стандартно редактиране, или за системи с ИИ, които не променят съществено входящите данни, въведени от внедрителя, или тяхната семантика.
(134)
Further to the technical solutions employed by the providers of the AI system, deployers who use an AI system to generate or manipulate image, audio or video content that appreciably resembles existing persons, objects, places, entities or events and would falsely appear to a person to be authentic or truthful (deep fakes), should also clearly and distinguishably disclose that the content has been artificially created or manipulated by labelling the AI output accordingly and disclosing its artificial origin. Compliance with this transparency obligation should not be interpreted as indicating that the use of the AI system or its output impedes the right to freedom of expression and the right to freedom of the arts and sciences guaranteed in the Charter, in particular where the content is part of an evidently creative, satirical, artistic, fictional or analogous work or programme, subject to appropriate safeguards for the rights and freedoms of third parties. In those cases, the transparency obligation for deep fakes set out in this Regulation is limited to disclosure of the existence of such generated or manipulated content in an appropriate manner that does not hamper the display or enjoyment of the work, including its normal exploitation and use, while maintaining the utility and quality of the work. In addition, it is also appropriate to envisage a similar disclosure obligation in relation to AI-generated or manipulated text to the extent it is published with the purpose of informing the public on matters of public interest unless the AI-generated content has undergone a process of human review or editorial control and a natural or legal person holds editorial responsibility for the publication of the content.
(134)
Освен техническите решения, приложени от доставчиците на системата с ИИ, и внедрителите, които използват система с ИИ за генериране или обработване на изображения, аудио или видео съдържание, наподобяващи до голяма степен съществуващи лица, предмети, места, субекти или събития, които е вероятно някой да приеме за истински или достоверни (т.нар. „убедителни фалшификати“), следва също по ясен и разпознаваем начин да оповестят обстоятелството, че съдържанието е било изкуствено генерирано или обработено, като обозначат по подходящ начин продукта от работата на ИИ и разкрият неговия изкуствен произход. Спазването на това задължение за прозрачност не следва да се тълкува в смисъл, че използването на системата с ИИ или резултатите от нея възпрепятства правото на свобода на изразяване на мнение и правото на свобода на изкуствата и науките, гарантирани от Хартата, по-специално когато съдържанието е част от произведение или програма, които имат очевиден творчески, сатиричен, артистичен, художествен или подобен характер, при прилагане на подходящи гаранции за правата и свободите на трети лица. В тези случаи задължението за прозрачност по отношение на убедителните фалшификати, предвидено в настоящия регламент, се ограничава до оповестяване на наличието на такова генерирано или обработено съдържание по подходящ начин, който не възпрепятства показването или използването на произведението, включително нормалната му експлоатация и употреба, като същевременно се запазват полезността и качеството на произведението. Освен това е целесъобразно да се предвиди подобно задължение за оповестяване във връзка с текст, който е генериран или обработен от ИИ, доколкото той е публикуван с цел информиране на обществеността по въпроси от обществен интерес, освен ако генерираното от ИИ съдържание не е преминало преглед от човек или подложено на редакторски контрол и редакционната отговорност за публикуването му се носи от физическо или юридическо лице.
(135)
Without prejudice to the mandatory nature and full applicability of the transparency obligations, the Commission may also encourage and facilitate the drawing up of codes of practice at Union level to facilitate the effective implementation of the obligations regarding the detection and labelling of artificially generated or manipulated content, including to support practical arrangements for making, as appropriate, the detection mechanisms accessible and facilitating cooperation with other actors along the value chain, disseminating content or checking its authenticity and provenance to enable the public to effectively distinguish AI-generated content.
(135)
Без да се засягат задължителният характер и пълната приложимост на задълженията за прозрачност, Комисията може също да насърчава и улеснява изготвянето на кодекси за добри практики на равнището на Съюза с цел да се допринесе за ефективното изпълнение на задълженията за откриване и обозначаване на изкуствено генерирано или обработено съдържание, включително да се съдейства във връзка с практически правила, които да осигурят при необходимост достъпност на механизмите за откриване и да подпомагат сътрудничеството с други участници по веригата за създаване на стойност, разпространение на съдържание или проверка на неговата автентичност и произход, за да се даде възможност на обществеността действително да разпознава генерираното от ИИ съдържание.
(136)
The obligations placed on providers and deployers of certain AI systems in this Regulation to enable the detection and disclosure that the outputs of those systems are artificially generated or manipulated are particularly relevant to facilitate the effective implementation of Regulation (EU) 2022/2065. This applies in particular as regards the obligations of providers of very large online platforms or very large online search engines to identify and mitigate systemic risks that may arise from the dissemination of content that has been artificially generated or manipulated, in particular the risk of the actual or foreseeable negative effects on democratic processes, civic discourse and electoral processes, including through disinformation. The requirement to label content generated by AI systems under this Regulation is without prejudice to the obligation in Article 16(6) of Regulation (EU) 2022/2065 for providers of hosting services to process notices on illegal content received pursuant to Article 16(1) of that Regulation and should not influence the assessment and the decision on the illegality of the specific content. That assessment should be performed solely with reference to the rules governing the legality of the content.
(136)
Задълженията, наложени в настоящия регламент на доставчиците и внедрителите на някои системи с ИИ с цел откриване и обозначаване, че резултатите от тези системи са изкуствено генерирани или обработени, са от особено значение с оглед на ефективното прилагане на Регламент (ЕС) 2022/2065. Това се отнася по-специално за задълженията на доставчиците на много големи онлайн платформи или много големи онлайн търсачки да установяват и ограничават системните рискове, които могат да възникнат поради разпространението на съдържание, което е било изкуствено генерирано или обработено, и по-специално риска от действителни или предвидими отрицателни последици за демократичните процеси, гражданския дебат и изборните процеси, включително чрез дезинформация. Изискването съгласно настоящия регламент за обозначаване на съдържание, генерирано от системи с ИИ, не засяга задължението по член 16, параграф 6 от Регламент (ЕС) 2022/2065 на доставчиците на хостинг услуги да обработват уведомления за незаконно съдържание, получени съгласно член 16, параграф 1 от посочения регламент, и не следва да влияе на оценката и решението относно незаконния характер на конкретното съдържание. Тази преценка следва да се извършва единствено с оглед на правилата, уреждащи законосъобразността на съдържанието.
(137)
Compliance with the transparency obligations for the AI systems covered by this Regulation should not be interpreted as indicating that the use of the AI system or its output is lawful under this Regulation or other Union and Member State law and should be without prejudice to other transparency obligations for deployers of AI systems laid down in Union or national law.
(137)
Спазването на задълженията за прозрачност относно системите с ИИ, обхванати от настоящия регламент, не следва да се тълкува като знак, че използването на системата с ИИ или на резултатите от нея е законосъобразно съгласно настоящия регламент или друго законодателство на Съюза и на държава членка, и не следва да засяга други задължения за прозрачност за внедрители на системи с ИИ, предвидени в правото на Съюза или в националното право.
(138)
AI is a rapidly developing family of technologies that requires regulatory oversight and a safe and controlled space for experimentation, while ensuring responsible innovation and integration of appropriate safeguards and risk mitigation measures. To ensure a legal framework that promotes innovation, is future-proof and resilient to disruption, Member States should ensure that their national competent authorities establish at least one AI regulatory sandbox at national level to facilitate the development and testing of innovative AI systems under strict regulatory oversight before these systems are placed on the market or otherwise put into service. Member States could also fulfil this obligation through participating in already existing regulatory sandboxes or establishing jointly a sandbox with one or more Member States’ competent authorities, insofar as this participation provides equivalent level of national coverage for the participating Member States. AI regulatory sandboxes could be established in physical, digital or hybrid form and may accommodate physical as well as digital products. Establishing authorities should also ensure that the AI regulatory sandboxes have the adequate resources for their functioning, including financial and human resources.
(138)
ИИ е бързо развиваща се съвкупност от технологии, която изисква регулаторен надзор и безопасно и контролирано пространство за експериментиране, като същевременно се гарантира отговорното новаторство и интегрирането на подходящи предпазни мерки и мерки за ограничаване на риска. За да се гарантира благоприятна за иновациите, ориентирана към бъдещето и устойчива на смущения правна рамка, държавите членки следва да гарантират, че националните им компетентни органи създават най-малко една регулаторна лаборатория в областта на ИИ на национално равнище, за да се улесни разработването и изпитването на иновативни системи с ИИ под строг регулаторен надзор, преди тези системи да бъдат пуснати на пазара или пуснати в действие по друг начин. Държавите членки биха могли да изпълнят това задължение и чрез участие във вече съществуващи регулаторни лаборатории или съвместно създаване на лаборатория с компетентните органи на една или повече държави членки, доколкото това участие осигурява равностойно национално покритие за участващите държави членки. Регулаторните лаборатории в областта на ИИ могат да бъдат създадени във физическа, цифрова или хибридна форма и да включват както физически, така и цифрови продукти. Създаващите ги органи следва също така да гарантират, че регулаторните лаборатории в областта на ИИ разполагат с подходящи ресурси за функционирането си, включително финансови и човешки ресурси.
(139)
The objectives of the AI regulatory sandboxes should be to foster AI innovation by establishing a controlled experimentation and testing environment in the development and pre-marketing phase with a view to ensuring compliance of the innovative AI systems with this Regulation and other relevant Union and national law. Moreover, the AI regulatory sandboxes should aim to enhance legal certainty for innovators and the competent authorities’ oversight and understanding of the opportunities, emerging risks and the impacts of AI use, to facilitate regulatory learning for authorities and undertakings, including with a view to future adaptions of the legal framework, to support cooperation and the sharing of best practices with the authorities involved in the AI regulatory sandbox, and to accelerate access to markets, including by removing barriers for SMEs, including start-ups. AI regulatory sandboxes should be widely available throughout the Union, and particular attention should be given to their accessibility for SMEs, including start-ups. The participation in the AI regulatory sandbox should focus on issues that raise legal uncertainty for providers and prospective providers to innovate, experiment with AI in the Union and contribute to evidence-based regulatory learning. The supervision of the AI systems in the AI regulatory sandbox should therefore cover their development, training, testing and validation before the systems are placed on the market or put into service, as well as the notion and occurrence of substantial modification that may require a new conformity assessment procedure. Any significant risks identified during the development and testing of such AI systems should result in adequate mitigation and, failing that, in the suspension of the development and testing process. Where appropriate, national competent authorities establishing AI regulatory sandboxes should cooperate with other relevant authorities, including those supervising the protection of fundamental rights, and could allow for the involvement of other actors within the AI ecosystem such as national or European standardisation organisations, notified bodies, testing and experimentation facilities, research and experimentation labs, European Digital Innovation Hubs and relevant stakeholder and civil society organisations. To ensure uniform implementation across the Union and economies of scale, it is appropriate to establish common rules for the AI regulatory sandboxes’ implementation and a framework for cooperation between the relevant authorities involved in the supervision of the sandboxes. AI regulatory sandboxes established under this Regulation should be without prejudice to other law allowing for the establishment of other sandboxes aiming to ensure compliance with law other than this Regulation. Where appropriate, relevant competent authorities in charge of those other regulatory sandboxes should consider the benefits of using those sandboxes also for the purpose of ensuring compliance of AI systems with this Regulation. Upon agreement between the national competent authorities and the participants in the AI regulatory sandbox, testing in real world conditions may also be operated and supervised in the framework of the AI regulatory sandbox.
(139)
Целите на регулаторните лаборатории в областта на ИИ следва да бъдат: насърчаване на иновациите в областта на ИИ чрез създаване на контролирана среда за експериментиране и изпитване във фазата на разработване и преди пускането на пазара с цел да се гарантира съответствието на иновативните системи с ИИ с настоящия регламент и друго съответно право на Съюза и национално право. В допълнение регулаторните лаборатории в областта на ИИ следва да имат за цел подобряване на правната сигурност за новаторите и надзора и разбирането от страна на компетентните органи на възможностите, нововъзникващите рискове и въздействието на използването на ИИ, улесняване на натрупването на регулаторен опит от страна на органите и предприятията, включително с оглед на бъдещи изменения на правната рамка, подкрепа за сътрудничеството и обмена на най-добри практики с органите, участващи в регулаторната лаборатория в областта на ИИ, както и ускоряване на достъпа до пазарите, включително чрез премахване на пречките пред МСП, включително новосъздадените предприятия. Следва да се предостави широк достъп до регулаторните лаборатории в областта на ИИ на територията на Съюза, като се обърне специално внимание на достъпността им за МСП, включително новосъздадените предприятия. Участието в регулаторните лаборатории в областта на ИИ следва да е насочено към въпроси, които пораждат правна несигурност за доставчиците и потенциалните доставчици при въвеждането на иновации и експериментирането с ИИ в Съюза и да допринася за основан на факти регулаторен опит. Поради това надзорът върху системите с ИИ в регулаторните лаборатории в областта на ИИ следва да обхваща тяхното разработване, обучение, изпитване и валидиране, преди системите да бъдат пуснати на пазара или пуснати в действие, както и концепцията за и настъпването на съществено изменение, което може да изисква провеждането на нова процедура за оценяване на съответствието. Всички значителни рискове, установени по време на разработването и изпитването на такива системи с ИИ, следва да водят до адекватни ограничителни мерки, а при липса на такива — до спиране на процеса на разработване и изпитване. Когато е целесъобразно, националните компетентни органи, които създават регулаторни лаборатории в областта на ИИ, следва да си сътрудничат с други съответни органи, включително упражняващите надзор върху защитата на основните права, и биха могли да позволят привличането на други участници в екосистемата на ИИ, като например национални или европейски организации за стандартизация, нотифицирани органи, структури за изпитване и експериментиране, лаборатории за научни изследвания и експерименти, европейски цифрови иновационни центрове и съответни заинтересовани страни и организации на гражданското общество. За да се гарантират еднакво прилагане в целия Съюз и икономии на мащаба, е целесъобразно да се установят общи правила за създаването на регулаторните лаборатории в областта на ИИ и рамка за сътрудничество между съответните органи, участващи в надзора на лабораториите. Регулаторните лаборатории в областта на ИИ, създадени съгласно настоящия регламент, не следва да засягат друго право, допускащо създаването на други лаборатории и чиято цел е да се гарантира спазването на правни норми извън настоящия регламент. Когато е целесъобразно, съответните компетентни органи, които отговарят за други регулаторни лаборатории, следва да преценят доколко би било полезно използването им и с цел осигуряване на съответствието на системите с ИИ с настоящия регламент. По споразумение между националните компетентни органи и участниците в регулаторната лаборатория в областта на ИИ в такава лаборатория също така може да се извършва изпитване в реални условия и върху него да се осъществява надзор.
(140)
This Regulation should provide the legal basis for the providers and prospective providers in the AI regulatory sandbox to use personal data collected for other purposes for developing certain AI systems in the public interest within the AI regulatory sandbox, only under specified conditions, in accordance with Article 6(4) and Article 9(2), point (g), of Regulation (EU) 2016/679, and Articles 5, 6 and 10 of Regulation (EU) 2018/1725, and without prejudice to Article 4(2) and Article 10 of Directive (EU) 2016/680. All other obligations of data controllers and rights of data subjects under Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680 remain applicable. In particular, this Regulation should not provide a legal basis in the meaning of Article 22(2), point (b) of Regulation (EU) 2016/679 and Article 24(2), point (b) of Regulation (EU) 2018/1725. Providers and prospective providers in the AI regulatory sandbox should ensure appropriate safeguards and cooperate with the competent authorities, including by following their guidance and acting expeditiously and in good faith to adequately mitigate any identified significant risks to safety, health, and fundamental rights that may arise during the development, testing and experimentation in that sandbox.
(140)
В съответствие с член 6, параграф 4 и член 9, параграф 2, буква ж) от Регламент (ЕС) 2016/679 и членове 5, 6 и 10 от Регламент (ЕС) 2018/1725 и без да се засягат член 4, параграф 2 и член 10 от Директива (ЕС) 2016/680, настоящият регламент следва да предостави на доставчиците и потенциалните доставчици в регулаторните лаборатории в областта на ИИ правното основание за използването, само при определени условия, на лични данни, събирани за други цели, с оглед на разработването на определени системи с ИИ в обществен интерес в рамките на регулаторната лаборатория в областта на ИИ. Всички други задължения на администраторите на данни и правата на субектите на данни съгласно регламенти (ЕС) 2016/679 и (ЕС) 2018/1725 и Директива (ЕС) 2016/680 остават приложими. По-специално настоящият регламент не следва да предоставя правно основание по смисъла на член 22, параграф 2, буква б) от Регламент (ЕС) 2016/679 и член 24, параграф 2, буква б) от Регламент (ЕС) 2018/1725. Доставчиците и потенциалните доставчици в регулаторната лаборатория в областта на ИИ следва да осигурят подходящи гаранции и да си сътрудничат с компетентните органи, включително като следват техните насоки и действат бързо и добросъвестно, за да ограничат по подходящ начин всички установени значителни рискове за безопасността, здравето и основните права, които могат да се проявят по време на разработването, изпитването и експериментирането в лабораторията.
(141)
In order to accelerate the process of development and the placing on the market of the high-risk AI systems listed in an annex to this Regulation, it is important that providers or prospective providers of such systems may also benefit from a specific regime for testing those systems in real world conditions, without participating in an AI regulatory sandbox. However, in such cases, taking into account the possible consequences of such testing on individuals, it should be ensured that appropriate and sufficient guarantees and conditions are introduced by this Regulation for providers or prospective providers. Such guarantees should include, inter alia, requesting informed consent of natural persons to participate in testing in real world conditions, with the exception of law enforcement where the seeking of informed consent would prevent the AI system from being tested. Consent of subjects to participate in such testing under this Regulation is distinct from, and without prejudice to, consent of data subjects for the processing of their personal data under the relevant data protection law. It is also important to minimise the risks and enable oversight by competent authorities and therefore require prospective providers to have a real-world testing plan submitted to competent market surveillance authority, register the testing in dedicated sections in the EU database subject to some limited exceptions, set limitations on the period for which the testing can be done and require additional safeguards for persons belonging to certain vulnerable groups, as well as a written agreement defining the roles and responsibilities of prospective providers and deployers and effective oversight by competent personnel involved in the real world testing. Furthermore, it is appropriate to envisage additional safeguards to ensure that the predictions, recommendations or decisions of the AI system can be effectively reversed and disregarded and that personal data is protected and is deleted when the subjects have withdrawn their consent to participate in the testing without prejudice to their rights as data subjects under the Union data protection law. As regards transfer of data, it is also appropriate to envisage that data collected and processed for the purpose of testing in real-world conditions should be transferred to third countries only where appropriate and applicable safeguards under Union law are implemented, in particular in accordance with bases for transfer of personal data under Union law on data protection, while for non-personal data appropriate safeguards are put in place in accordance with Union law, such as Regulations (EU) 2022/868 (42) and (EU) 2023/2854 (43) of the European Parliament and of the Council.
(141)
За да се ускори процесът на разработване и пускане на пазара на високорисковите системи с ИИ, чийто списък се съдържа в приложение към настоящия регламент, е важно доставчиците или потенциалните доставчици на такива системи да могат да ползват специален режим за изпитване на тези системи в реални условия и без да участват в регулаторна лаборатория в областта на ИИ. В такива случаи обаче, предвид евентуалните последици, които това изпитване може да има върху хората, следва да се гарантира, че настоящият регламент въвежда подходящи и достатъчни гаранции и условия по отношение на доставчиците или потенциалните доставчици. Тези гаранции следва да включват, наред с другото, искането на информирано съгласие от физическите лица за участие в изпитвания в реални условия, освен в правоохранителната област, когато искането на информирано съгласие би попречило на изпитването на системата с ИИ. Съгласието на субектите на данни да участват в такива изпитвания в съответствие с настоящия регламент е различно от съгласието на субектите на данни личните им данни да бъдат обработвани съгласно съответното законодателство за защита на данните и не засяга това съгласие. Важно е също така рисковете да бъдат сведени до минимум и компетентните органи да могат да упражняват надзор, във връзка с което да се въведат изисквания потенциалните доставчици да представят на компетентния орган за надзор на пазара план за изпитване в реални условия, да регистрират изпитването в специални раздели на базата данни на ЕС с ограничен брой изключения, да определят ограничения на срока, в който може да се извърши изпитването, както и да се изискват допълнителни гаранции за лица, принадлежащи към определени уязвими групи, и писмено споразумение, в което се установяват функциите и отговорностите на потенциалните доставчици и внедрителите и ефективен надзор от страна на компетентния персонал, участващ в изпитванията в реални условия. Освен това е целесъобразно да се предвидят допълнителни гаранции, за да се гарантира, че прогнозите, препоръките или решенията на дадена система с ИИ могат ефективно да се отменят и пренебрегнат, както и че личните данни са защитени и се заличават, след като субектите в изпитването са оттеглили съгласието си за участие в изпитването, без да се засягат правата им като субекти на данни съгласно правото на Съюза в областта на защитата на данните. По отношение на предаването на данни е целесъобразно също така да се предвиди, че данните, събирани и обработвани за целите на изпитването в реални условия, следва да се предават на трети държави само при прилагане на подходящи и приложими гаранции съгласно правото на Съюза, по-специално в съответствие с основанията за предаване на лични данни съгласно правото на Съюза относно защитата на данните, докато по отношение на неличните данни се прилагат подходящи гаранции в съответствие с правото на Съюза, като например регламенти (ЕС) 2022/868 (42) и (ЕС) 2023/2854 (43) на Европейския парламент и на Съвета.
(142)
To ensure that AI leads to socially and environmentally beneficial outcomes, Member States are encouraged to support and promote research and development of AI solutions in support of socially and environmentally beneficial outcomes, such as AI-based solutions to increase accessibility for persons with disabilities, tackle socio-economic inequalities, or meet environmental targets, by allocating sufficient resources, including public and Union funding, and, where appropriate and provided that the eligibility and selection criteria are fulfilled, considering in particular projects which pursue such objectives. Such projects should be based on the principle of interdisciplinary cooperation between AI developers, experts on inequality and non-discrimination, accessibility, consumer, environmental, and digital rights, as well as academics.
(142)
За да се гарантира, че ИИ води до благоприятни за обществото и околната среда резултати, държавите членки се насърчават да подкрепят и поощряват научните изследвания и разработването на решения в областта на ИИ, способстващи за постигането на такива резултати — например основани на ИИ решения за увеличаване на достъпността за хората с увреждания, противодействие на социално-икономическите неравенства или постигане на екологичните цели, чрез разпределяне на достатъчно ресурси, включително публично финансиране и финансиране от Съюза, и когато е целесъобразно и при условие че са изпълнени критериите за допустимост и подбор, разглеждане на проекти, които преследват тези цели. Такива проекти следва да се основават на принципа на интердисциплинарното сътрудничество между разработчици на ИИ, експерти по въпросите на неравенството и недискриминацията, достъпността, правата на потребителите, правата, свързани с околната среда, и цифровите права, както и академичните среди.
(143)
In order to promote and protect innovation, it is important that the interests of SMEs, including start-ups, that are providers or deployers of AI systems are taken into particular account. To that end, Member States should develop initiatives, which are targeted at those operators, including on awareness raising and information communication. Member States should provide SMEs, including start-ups, that have a registered office or a branch in the Union, with priority access to the AI regulatory sandboxes provided that they fulfil the eligibility conditions and selection criteria and without precluding other providers and prospective providers to access the sandboxes provided the same conditions and criteria are fulfilled. Member States should utilise existing channels and where appropriate, establish new dedicated channels for communication with SMEs, including start-ups, deployers, other innovators and, as appropriate, local public authorities, to support SMEs throughout their development path by providing guidance and responding to queries about the implementation of this Regulation. Where appropriate, these channels should work together to create synergies and ensure homogeneity in their guidance to SMEs, including start-ups, and deployers. Additionally, Member States should facilitate the participation of SMEs and other relevant stakeholders in the standardisation development processes. Moreover, the specific interests and needs of providers that are SMEs, including start-ups, should be taken into account when notified bodies set conformity assessment fees. The Commission should regularly assess the certification and compliance costs for SMEs, including start-ups, through transparent consultations and should work with Member States to lower such costs. For example, translation costs related to mandatory documentation and communication with authorities may constitute a significant cost for providers and other operators, in particular those of a smaller scale. Member States should possibly ensure that one of the languages determined and accepted by them for relevant providers’ documentation and for communication with operators is one which is broadly understood by the largest possible number of cross-border deployers. In order to address the specific needs of SMEs, including start-ups, the Commission should provide standardised templates for the areas covered by this Regulation, upon request of the Board. Additionally, the Commission should complement Member States’ efforts by providing a single information platform with easy-to-use information with regards to this Regulation for all providers and deployers, by organising appropriate communication campaigns to raise awareness about the obligations arising from this Regulation, and by evaluating and promoting the convergence of best practices in public procurement procedures in relation to AI systems. Medium-sized enterprises which until recently qualified as small enterprises within the meaning of the Annex to Commission Recommendation 2003/361/EC (44) should have access to those support measures, as those new medium-sized enterprises may sometimes lack the legal resources and training necessary to ensure proper understanding of, and compliance with, this Regulation.
(143)
С цел насърчаване и защита на иновациите е важно да се обърне специално внимание на интересите на МСП, включително новосъздадените предприятия, които са доставчици или внедрители на системи с ИИ. За тази цел държавите членки следва да разработят инициативи, насочени към тези оператори, включително за повишаване на осведомеността и съобщаването на информация. Държавите членки следва да осигуряват на МСП, включително новосъздадените предприятия, които имат седалище или клон в Съюза, приоритетен достъп до регулаторните лаборатории в областта на ИИ, при условие че те отговарят на условията за допустимост и на критериите за подбор, без да се възпрепятства достъпът на други доставчици и потенциални доставчици до лабораториите, при условие че са изпълнени същите условия и критерии. Държавите членки следва да използват наличните, а когато е целесъобразно - да създават нови, специални канали за комуникация с МСП, новосъздадени предприятия, внедрители, други новатори и - в зависимост от случая - органи на местна власт, с цел да подпомагат МСП по пътя им на развитие чрез даване на насоки и отговаряне на запитвания във връзка с прилагането на настоящия регламент. Когато е целесъобразно, тези канали следва да работят заедно, за да се създадат полезни взаимодействия и да се гарантира еднообразност на насоките за МСП, включително новосъздадените предприятия, и внедрителите. Наред с това държавите членки следва да улесняват участието на МСП и на други заинтересовани страни в процесите на разработване на стандарти. Освен това, при определянето на таксите за оценяване на съответствието нотифицираните органи следва да вземат предвид особените интереси и нужди на доставчиците, които са МСП, включително новосъздадени предприятия. Комисията следва да оценява редовно разходите на МСП, включително новосъздадените предприятия, за сертифициране и привеждане в съответствие чрез прозрачни консултации и следва да работи с държавите членки за понижаването на тези разходи. Така например разходите за превод, свързани със задължителната документация и комуникацията с органите, могат да представляват значителни разходи за доставчиците и другите оператори, по-специално за по-малките. Държавите членки следва по възможност да гарантират, че един от езиците, определени и приети от тях за съответната документация на доставчиците и за комуникация с операторите, е език, които в значителна степен се разбира от възможно най-голям брой трансгранични внедрители. За да се отговори на специфичните нужди на МСП, включително новосъздадените предприятия, Комисията следва да осигури стандартизирани образци за областите, обхванати от настоящия регламент, по искане на Съвета по ИИ. Освен това Комисията следва да допълни усилията на държавите членки, като осигури единна информационна платформа с лесна за ползване информация относно настоящия регламент, предназначена за всички доставчици и внедрители, като организира подходящи комуникационни кампании за повишаване на осведомеността относно задълженията, произтичащи от настоящия регламент, и като оценява и насърчава сближаването на най-добрите практики, прилагани в рамките на процедурите за възлагане на обществени поръчки във връзка със системите с ИИ. Средните предприятия, които доскоро са съответствали на критериите за малки предприятия по смисъла на приложението към Препоръка 2003/361/ЕО на Комисията (44), следва да имат достъп до тези мерки за подкрепа, тъй като е възможно тези нови средни предприятия да не разполагат с правните ресурси и обучението, необходими, за да се гарантира правилното разбиране и спазване на настоящия регламент.
(144)
In order to promote and protect innovation, the AI-on-demand platform, all relevant Union funding programmes and projects, such as Digital Europe Programme, Horizon Europe, implemented by the Commission and the Member States at Union or national level should, as appropriate, contribute to the achievement of the objectives of this Regulation.
(144)
С цел насърчаване и защита на иновациите платформата за ИИ по заявка, всички съответни програми и проекти на Съюза за финансиране, като например програмите „Цифрова Европа“ и „Хоризонт Европа“, изпълнявани от Комисията и държавите членки на национално равнище или на равнището на Съюза, следва, когато е целесъобразно, да допринасят за постигането на целите на настоящия регламент.
(145)
In order to minimise the risks to implementation resulting from lack of knowledge and expertise in the market as well as to facilitate compliance of providers, in particular SMEs, including start-ups, and notified bodies with their obligations under this Regulation, the AI-on-demand platform, the European Digital Innovation Hubs and the testing and experimentation facilities established by the Commission and the Member States at Union or national level should contribute to the implementation of this Regulation. Within their respective mission and fields of competence, the AI-on-demand platform, the European Digital Innovation Hubs and the testing and experimentation Facilities are able to provide in particular technical and scientific support to providers and notified bodies.
(145)
За да се сведат до минимум рисковете за правоприлагането, произтичащи от липсата на знания и експертен опит на пазара, както и за да се улесни спазването на задълженията по настоящия регламент от страна на доставчиците, по-специално МСП, включително новосъздадените предприятия, и нотифицираните органи, платформата за ИИ по заявка, европейските цифрови иновационни центрове и структурите за изпитване и експериментиране, създадени от Комисията и държавите членки на национално равнище или на равнището на Съюза, следва да допринасят за прилагането на настоящия регламент. В рамките на своята мисия и области на компетентност платформата за ИИ по заявка, европейските цифрови иновационни центрове и структурите за изпитване и експериментиране могат да предоставят по-специално техническа и научна подкрепа на доставчиците и нотифицираните органи.
(146)
Moreover, in light of the very small size of some operators and in order to ensure proportionality regarding costs of innovation, it is appropriate to allow microenterprises to fulfil one of the most costly obligations, namely to establish a quality management system, in a simplified manner which would reduce the administrative burden and the costs for those enterprises without affecting the level of protection and the need for compliance with the requirements for high-risk AI systems. The Commission should develop guidelines to specify the elements of the quality management system to be fulfilled in this simplified manner by microenterprises.
(146)
Освен това, предвид твърде малкия размер на някои оператори и с цел да се гарантира пропорционалност по отношение на разходите за иновации, е целесъобразно да се даде възможност на микропредприятията да изпълнят едно от най-скъпо струващите задължения, а именно създаването на система за управление на качеството, по опростен начин, което би намалило административната тежест и разходите за тези предприятия, без да се засягат равнището на защита и необходимостта от съответствие с изискванията за високорисковите системи с ИИ. Комисията следва да разработи насоки с цел да се определят елементите на системата за управление на качеството, които трябва да бъдат изпълнени по този опростен начин от микропредприятията.
(147)
It is appropriate that the Commission facilitates, to the extent possible, access to testing and experimentation facilities to bodies, groups or laboratories established or accredited pursuant to any relevant Union harmonisation legislation and which fulfil tasks in the context of conformity assessment of products or devices covered by that Union harmonisation legislation. This is, in particular, the case as regards expert panels, expert laboratories and reference laboratories in the field of medical devices pursuant to Regulations (EU) 2017/745 and (EU) 2017/746.
(147)
Целесъобразно е Комисията да улеснява, доколкото е възможно, достъпа до структури за изпитване и експериментиране на органи, групи или лаборатории, създадени или акредитирани съгласно съответното законодателство на Съюза за хармонизация, които изпълняват задачи в контекста на оценяването на съответствието на продукти или изделия, попадащи в обхвата на посоченото законодателство на Съюза за хармонизация. Такъв е по-специално случаят с експертните групи, специализираните лаборатории и референтните лаборатории в областта на медицинските изделия съгласно регламенти (ЕС) 2017/745 и (ЕС) 2017/746.
(148)
This Regulation should establish a governance framework that both allows to coordinate and support the application of this Regulation at national level, as well as build capabilities at Union level and integrate stakeholders in the field of AI. The effective implementation and enforcement of this Regulation require a governance framework that allows to coordinate and build up central expertise at Union level. The AI Office was established by Commission Decision (45) and has as its mission to develop Union expertise and capabilities in the field of AI and to contribute to the implementation of Union law on AI. Member States should facilitate the tasks of the AI Office with a view to support the development of Union expertise and capabilities at Union level and to strengthen the functioning of the digital single market. Furthermore, a Board composed of representatives of the Member States, a scientific panel to integrate the scientific community and an advisory forum to contribute stakeholder input to the implementation of this Regulation, at Union and national level, should be established. The development of Union expertise and capabilities should also include making use of existing resources and expertise, in particular through synergies with structures built up in the context of the Union level enforcement of other law and synergies with related initiatives at Union level, such as the EuroHPC Joint Undertaking and the AI testing and experimentation facilities under the Digital Europe Programme.
(148)
С настоящия регламент следва да се създаде рамка за управление, която да позволява координация и подкрепа при прилагането на настоящия регламент на национално равнище, както и изграждане на капацитет на равнището на Съюза и включване на заинтересованите страни в областта на изкуствения интелект. Ефективното изпълнение и прилагане на настоящия регламент изискват рамка за управление, която да дава възможност за координация и изграждане на експертен опит на централно ниво, на равнището на Съюза. Службата по ИИ беше създадена с решение на Комисията (45) с мисията да развива експертния опит и способностите на Съюза в областта на ИИ и да допринася за прилагането на правото на Съюза в областта на ИИ. Държавите членки следва да улесняват изпълнението на задачите на Службата по ИИ с цел да се подпомогне развитието на експертния опит на Съюза и на способностите на равнището на Съюза и да се укрепи функционирането на цифровия единен пазар. Наред с това следва да бъдат създадени Съвет по ИИ, съставен от представители на държавите членки, експертна група, с която да се привлече научната общност, и консултативен форум, чрез който заинтересованите страни да допринасят за прилагането на настоящия регламент както на национално равнище, така и на равнището на Съюза. Развитието на експертния опит и способностите на Съюза следва да включва също така използването на съществуващите ресурси и експертен опит, по-специално чрез полезни взаимодействия със структури, изградени в контекста на прилагането в рамките на Съюза на друго законодателство, както и полезни взаимодействия със свързани инициативи на равнището на Съюза, например Съвместното предприятие за европейски високопроизводителни изчисления (EuroHPC) и съоръженията за изпитване и експериментиране с ИИ в рамките на програмата „Цифрова Европа“.
(149)
In order to facilitate a smooth, effective and harmonised implementation of this Regulation a Board should be established. The Board should reflect the various interests of the AI eco-system and be composed of representatives of the Member States. The Board should be responsible for a number of advisory tasks, including issuing opinions, recommendations, advice or contributing to guidance on matters related to the implementation of this Regulation, including on enforcement matters, technical specifications or existing standards regarding the requirements established in this Regulation and providing advice to the Commission and the Member States and their national competent authorities on specific questions related to AI. In order to give some flexibility to Member States in the designation of their representatives in the Board, such representatives may be any persons belonging to public entities who should have the relevant competences and powers to facilitate coordination at national level and contribute to the achievement of the Board’s tasks. The Board should establish two standing sub-groups to provide a platform for cooperation and exchange among market surveillance authorities and notifying authorities on issues related, respectively, to market surveillance and notified bodies. The standing subgroup for market surveillance should act as the administrative cooperation group (ADCO) for this Regulation within the meaning of Article 30 of Regulation (EU) 2019/1020. In accordance with Article 33 of that Regulation, the Commission should support the activities of the standing subgroup for market surveillance by undertaking market evaluations or studies, in particular with a view to identifying aspects of this Regulation requiring specific and urgent coordination among market surveillance authorities. The Board may establish other standing or temporary sub-groups as appropriate for the purpose of examining specific issues. The Board should also cooperate, as appropriate, with relevant Union bodies, experts groups and networks active in the context of relevant Union law, including in particular those active under relevant Union law on data, digital products and services.
(149)
С цел подпомагане на безпрепятственото, ефективно и хармонизирано прилагане на настоящия регламент следва да бъде създаден Съвет по ИИ. Той следва да отразява различните интереси в рамките на екосистемата на ИИ и да се състои от представители на държавите членки. Съветът по ИИ следва да отговаря за изпълнението на редица консултативни задачи, включително да приема становища, препоръки, съвети или да допринася за приемането на насоки по въпроси, свързани с изпълнението на настоящия регламент, включително по въпроси на прилагането, техническите спецификации или съществуващите стандарти във връзка с изискванията, установени в настоящия регламент, и да консултира Комисията и държавите членки и техните национални компетентни органи по конкретни въпроси, свързани с ИИ. За да се осигури известна гъвкавост за държавите членки при определянето на техните представители в Съвета по ИИ, представители могат да бъдат всички лица, принадлежащи към публични субекти, които следва да разполагат със съответните компетентност и правомощия да улесняват координацията на национално равнище и да допринасят за изпълнението на задачите на Съвета по ИИ. Съветът по ИИ следва да създаде две постоянни подгрупи, които да осигуряват платформа за сътрудничество и обмен между органите за надзор на пазара и нотифициращите органи по въпроси, свързани съответно с надзора на пазара и нотифицираните органи. Постоянната подгрупа за надзор на пазара следва да действа като група за административно сътрудничество (ADCO група) за настоящия регламент по смисъла на член 30 от Регламент (ЕС) 2019/1020. В съответствие с член 33 от същия регламент Комисията следва да подпомага дейностите на постоянната подгрупа за надзор на пазара чрез извършване на оценки или проучвания на пазара, по-специално с цел да се установят аспекти на настоящия регламент, изискващи специфична и спешна координация между органите за надзор на пазара. Съветът по ИИ може да създаде други постоянни или временни подгрупи, когато това е целесъобразно за разглеждането на конкретни въпроси. Съветът по ИИ следва също така да си сътрудничи, когато е целесъобразно, със съответните органи, експертни групи и мрежи на Съюза, извършващи дейност в контекста на съответното право на Съюза, включително по-специално извършващите дейност съгласно правото на Съюза в областта на данните и цифровите продукти и услуги.
(150)
With a view to ensuring the involvement of stakeholders in the implementation and application of this Regulation, an advisory forum should be established to advise and provide technical expertise to the Board and the Commission. To ensure a varied and balanced stakeholder representation between commercial and non-commercial interest and, within the category of commercial interests, with regards to SMEs and other undertakings, the advisory forum should comprise inter alia industry, start-ups, SMEs, academia, civil society, including the social partners, as well as the Fundamental Rights Agency, ENISA, the European Committee for Standardization (CEN), the European Committee for Electrotechnical Standardization (CENELEC) and the European Telecommunications Standards Institute (ETSI).
(150)
За да се гарантира участието на заинтересованите страни в изпълнението и прилагането на настоящия регламент, следва да се създаде консултативен форум, който да консултира и да предоставя технически експертни становища на Съвета по ИИ и на Комисията. За да се гарантира разнообразно и балансирано представителство на заинтересованите страни, свързани с търговски и нетърговски интереси и, в рамките на категорията на търговските интереси, на МСП и други предприятия, консултативният форум следва да включва, наред с другото, стопанския сектор, новосъздадените предприятия, МСП, академичните среди, гражданското общество, включително социалните партньори, както и Агенцията за основните права, ENISA, Европейския комитет по стандартизация (CEN), Европейския комитет за стандартизация в електротехниката (CENELEC) и Европейския институт за стандарти в далекосъобщенията (ETSI).
(151)
To support the implementation and enforcement of this Regulation, in particular the monitoring activities of the AI Office as regards general-purpose AI models, a scientific panel of independent experts should be established. The independent experts constituting the scientific panel should be selected on the basis of up-to-date scientific or technical expertise in the field of AI and should perform their tasks with impartiality, objectivity and ensure the confidentiality of information and data obtained in carrying out their tasks and activities. To allow the reinforcement of national capacities necessary for the effective enforcement of this Regulation, Member States should be able to request support from the pool of experts constituting the scientific panel for their enforcement activities.
(151)
За да се подпомогне изпълнението и прилагането на настоящия регламент, и по-специално дейностите по мониторинг на Службата по ИИ по отношение на моделите на ИИ с общо предназначение, следва да се създаде експертна група, съставена от независими експерти. Независимите експерти, които влизат в състава на експертната група, следва да бъдат подбрани въз основа на актуални научни или технически експертни познания в областта на ИИ, да изпълняват задачите си безпристрастно и обективно и да гарантират поверителността на информацията и данните, получени при изпълнението на задачите и дейностите си. За да се даде възможност за укрепване на националния капацитет, необходим за ефективното прилагане на настоящия регламент, държавите членки следва да могат да искат съдействие от експертите, влизащи в състава на експертната група, във връзка с дейностите си по прилагане на регламента.
(152)
In order to support adequate enforcement as regards AI systems and reinforce the capacities of the Member States, Union AI testing support structures should be established and made available to the Member States.
(152)
С цел да се допринесе за адекватното правоприлагане по отношение на системите с ИИ и да се укрепи капацитетът на държавите членки, следва да се създадат структури на Съюза за подкрепа на изпитванията в областта на ИИ, които да бъдат на разположение на държавите членки.
(153)
Member States hold a key role in the application and enforcement of this Regulation. In that respect, each Member State should designate at least one notifying authority and at least one market surveillance authority as national competent authorities for the purpose of supervising the application and implementation of this Regulation. Member States may decide to appoint any kind of public entity to perform the tasks of the national competent authorities within the meaning of this Regulation, in accordance with their specific national organisational characteristics and needs. In order to increase organisation efficiency on the side of Member States and to set a single point of contact vis-à-vis the public and other counterparts at Member State and Union levels, each Member State should designate a market surveillance authority to act as a single point of contact.
(153)
Държавите членки заемат ключово място в прилагането и изпълнението на настоящия регламент. Във връзка с това всяка държава членка следва да определи най-малко един нотифициращ орган и най-малко един орган за надзор на пазара в качеството им на национални компетентни органи за целите на надзора върху прилагането и изпълнението на настоящия регламент. Държавите членки могат да решат да определят всякакъв вид публичен субект да изпълнява задачите на националните компетентни органи по смисъла на настоящия регламент, в съответствие със своите конкретни национални организационни характеристики и нужди. С цел да се повиши ефективността на организацията от страна на държавите членки и да се създаде единно звено за контакт с обществеността и други партньори на равнището на държавите членки и на Съюза, всяка държава членка следва да определи орган за надзор на пазара, който да изпълнява функциите на единно звено за контакт.
(154)
The national competent authorities should exercise their powers independently, impartially and without bias, so as to safeguard the principles of objectivity of their activities and tasks and to ensure the application and implementation of this Regulation. The members of these authorities should refrain from any action incompatible with their duties and should be subject to confidentiality rules under this Regulation.
(154)
Националните компетентни органи следва да упражняват правомощията си независимо, безпристрастно и непредубедено, за да бъдат спазени принципите за обективност в дейностите и задачите им и да се гарантира прилагането и изпълнението на настоящия регламент. Членовете на тези органи следва да се въздържат от всякакви действия, несъвместими с техните задължения, и да спазват правилата за поверителност съгласно настоящия регламент.
(155)
In order to ensure that providers of high-risk AI systems can take into account the experience on the use of high-risk AI systems for improving their systems and the design and development process or can take any possible corrective action in a timely manner, all providers should have a post-market monitoring system in place. Where relevant, post-market monitoring should include an analysis of the interaction with other AI systems including other devices and software. Post-market monitoring should not cover sensitive operational data of deployers which are law enforcement authorities. This system is also key to ensure that the possible risks emerging from AI systems which continue to ‘learn’ after being placed on the market or put into service can be more efficiently and timely addressed. In this context, providers should also be required to have a system in place to report to the relevant authorities any serious incidents resulting from the use of their AI systems, meaning incident or malfunctioning leading to death or serious damage to health, serious and irreversible disruption of the management and operation of critical infrastructure, infringements of obligations under Union law intended to protect fundamental rights or serious damage to property or the environment.
(155)
За да се гарантира, че доставчиците на високорискови системи с ИИ могат да вземат предвид опита от използването на високорискови системи с ИИ с цел да подобряват своите системи и процеса на проектиране и разработване, или че могат своевременно да предприемат евентуални коригиращи действия, всички доставчици следва да разполагат със система за мониторинг след пускането на пазара. Когато е целесъобразно, мониторингът след пускането на пазара следва да включва анализ на взаимодействието с други системи с ИИ, включително други устройства и софтуер. Мониторингът след пускането на пазара не следва да обхваща чувствителни оперативни данни на внедрители, които са правоохранителни органи. Тази система е от ключово значение и с оглед на това да се гарантира, че възможните рискове, произтичащи от системите с ИИ, които продължават да се обучават след пускането им на пазара или пускането им в действие, могат да бъдат преодолени по-ефикасно и своевременно. В този контекст от доставчиците следва също да се изисква да разполагат със система за докладване до съответните органи за всякакви сериозни инциденти, които произтичат от използването на техните системи с ИИ и представляват инцидент или неизправност, водещ(а) до смърт или сериозно увреждане на здравето, сериозно и необратимо нарушаване на управлението и експлоатацията на критична инфраструктура, нарушения на задължения съгласно правото на Съюза, имащо за цел да защитава основните права, или сериозно увреждане на имущество или на околната среда.
(156)
In order to ensure an appropriate and effective enforcement of the requirements and obligations set out by this Regulation, which is Union harmonisation legislation, the system of market surveillance and compliance of products established by Regulation (EU) 2019/1020 should apply in its entirety. Market surveillance authorities designated pursuant to this Regulation should have all enforcement powers laid down in this Regulation and in Regulation (EU) 2019/1020 and should exercise their powers and carry out their duties independently, impartially and without bias. Although the majority of AI systems are not subject to specific requirements and obligations under this Regulation, market surveillance authorities may take measures in relation to all AI systems when they present a risk in accordance with this Regulation. Due to the specific nature of Union institutions, agencies and bodies falling within the scope of this Regulation, it is appropriate to designate the European Data Protection Supervisor as a competent market surveillance authority for them. This should be without prejudice to the designation of national competent authorities by the Member States. Market surveillance activities should not affect the ability of the supervised entities to carry out their tasks independently, when such independence is required by Union law.
(156)
С оглед да се гарантира подходящо и ефективно прилагане на изискванията и задълженията, установени с настоящия регламент, който е част от законодателството на Съюза за хармонизация, системата за надзор на пазара и съответствие на продуктите, установена с Регламент (ЕС) 2019/1020, следва да се прилага в своята цялост. Органите за надзор на пазара, определени съгласно настоящия регламент, следва да разполагат с всички правомощия за осигуряване на спазването, установени съгласно настоящия регламент и Регламент (ЕС) 2019/1020, и следва да упражняват своите правомощия и да изпълняват своите задължения независимо, безпристрастно и непредубедено. Въпреки че за по-голямата част от системите с ИИ не се прилагат специални изисквания и задължения съгласно настоящия регламент, органите за надзор на пазара могат да предприемат мерки по отношение на всички системи с ИИ, когато те представляват риск в съответствие с настоящия регламент. Поради особеното естество на институциите, агенциите и органите на Съюза, попадащи в обхвата на настоящия регламент, е целесъобразно Европейският надзорен орган по защита на данните да бъде определен за компетентен орган за надзор на пазара по отношение на тях. Това не следва да засяга определянето на национални компетентни органи от държавите членки. Дейностите по надзор на пазара не следва да засягат способността на поднадзорните субекти да изпълняват задачите си по независим начин, когато тази независимост се изисква от правото на Съюза.
(157)
This Regulation is without prejudice to the competences, tasks, powers and independence of relevant national public authorities or bodies which supervise the application of Union law protecting fundamental rights, including equality bodies and data protection authorities. Where necessary for their mandate, those national public authorities or bodies should also have access to any documentation created under this Regulation. A specific safeguard procedure should be set for ensuring adequate and timely enforcement against AI systems presenting a risk to health, safety and fundamental rights. The procedure for such AI systems presenting a risk should be applied to high-risk AI systems presenting a risk, prohibited systems which have been placed on the market, put into service or used in violation of the prohibited practices laid down in this Regulation and AI systems which have been made available in violation of the transparency requirements laid down in this Regulation and present a risk.
(157)
Настоящият регламент не засяга компетентността, задачите, правомощията и независимостта на съответните национални публични органи или структури, които упражняват надзор върху прилагането на правото на Съюза за защита на основните права, включително органите по въпросите на равенството и органите за защита на данните. Когато това е необходимо за упражняването на техните правомощия, тези национални публични органи или структури следва също така да имат достъп до всяка документация, изготвена съгласно настоящия регламент. Следва да се установи специална предпазна процедура, за да се гарантира адекватното и навременно осигуряване на спазването по отношение на системите с ИИ, които представляват риск за здравето, безопасността и основните права. Процедурата за такива системи с ИИ, представляващи риск, следва да се прилага за високорисковите системи с ИИ, представляващи риск, забранените системи, които са били пуснати на пазара, пуснати в действие или използвани в нарушение на определените в настоящия регламент забранени практики, и системите с ИИ, които са били предоставени в нарушение на установените в настоящия регламент изисквания за прозрачност и представляващи риск.
(158)
Union financial services law includes internal governance and risk-management rules and requirements which are applicable to regulated financial institutions in the course of provision of those services, including when they make use of AI systems. In order to ensure coherent application and enforcement of the obligations under this Regulation and relevant rules and requirements of the Union financial services legal acts, the competent authorities for the supervision and enforcement of those legal acts, in particular competent authorities as defined in Regulation (EU) No 575/2013 of the European Parliament and of the Council (46) and Directives 2008/48/EC (47), 2009/138/EC (48), 2013/36/EU (49), 2014/17/EU (50) and (EU) 2016/97 (51) of the European Parliament and of the Council, should be designated, within their respective competences, as competent authorities for the purpose of supervising the implementation of this Regulation, including for market surveillance activities, as regards AI systems provided or used by regulated and supervised financial institutions unless Member States decide to designate another authority to fulfil these market surveillance tasks. Those competent authorities should have all powers under this Regulation and Regulation (EU) 2019/1020 to enforce the requirements and obligations of this Regulation, including powers to carry our ex post market surveillance activities that can be integrated, as appropriate, into their existing supervisory mechanisms and procedures under the relevant Union financial services law. It is appropriate to envisage that, when acting as market surveillance authorities under this Regulation, the national authorities responsible for the supervision of credit institutions regulated under Directive 2013/36/EU, which are participating in the Single Supervisory Mechanism established by Council Regulation (EU) No 1024/2013 (52), should report, without delay, to the European Central Bank any information identified in the course of their market surveillance activities that may be of potential interest for the European Central Bank’s prudential supervisory tasks as specified in that Regulation. To further enhance the consistency between this Regulation and the rules applicable to credit institutions regulated under Directive 2013/36/EU, it is also appropriate to integrate some of the providers’ procedural obligations in relation to risk management, post marketing monitoring and documentation into the existing obligations and procedures under Directive 2013/36/EU. In order to avoid overlaps, limited derogations should also be envisaged in relation to the quality management system of providers and the monitoring obligation placed on deployers of high-risk AI systems to the extent that these apply to credit institutions regulated by Directive 2013/36/EU. The same regime should apply to insurance and re-insurance undertakings and insurance holding companies under Directive 2009/138/EC and the insurance intermediaries under Directive (EU) 2016/97 and other types of financial institutions subject to requirements regarding internal governance, arrangements or processes established pursuant to the relevant Union financial services law to ensure consistency and equal treatment in the financial sector.
(158)
Правото на Съюза в областта на финансовите услуги включва правила и изисквания за вътрешно управление и управление на риска, които са приложими за регулираните финансови институции в процеса на предоставяне на тези услуги, включително когато те използват системи с ИИ. За да се гарантира съгласувано изпълнение и прилагане на задълженията по настоящия регламент и на съответните правила и изисквания съгласно правните актове на Съюза в областта на финансовите услуги, органите, компетентни за надзора и прилагането съгласно тези правни актове, и по-специално компетентните органи по смисъла на Регламент (ЕС) 575/2013 на Европейския парламент и на Съвета (46) и директиви 2008/48/ЕО (47), 2009/138/ЕО (48), 2013/36/ЕС (49), 2014/17/ЕС (50) и (ЕС) 2016/97 (51) на Европейския парламент и на Съвета, следва да бъдат определени, в рамките на съответната им компетентност, за компетентни органи за целите на надзора на прилагането на настоящия регламент, включително за дейностите по надзор на пазара по отношение на системите с ИИ, предоставяни или използвани от регулирани и поднадзорни финансови институции, освен ако държавите членки не решат да определят друг орган, който да изпълнява тези задачи по надзор на пазара. Тези компетентни органи следва да разполагат с всички правомощия съгласно настоящия регламент и Регламент (ЕС) 2019/1020 за налагане на изпълнението на изискванията и задълженията по настоящия регламент, включително правомощия за извършване на дейности по надзор след пускане на пазара, които могат да бъдат включени, когато е целесъобразно, в техните налични надзорни механизми и процедури съгласно съответното право на Съюза в областта на финансовите услуги. Целесъобразно е да се предвиди, че когато действат като органи за надзор на пазара съгласно настоящия регламент, националните органи, отговорни за надзора над кредитните институции, регулирани съгласно Директива 2013/36/ЕС, които участват в единния надзорен механизъм, създаден с Регламент (ЕС) № 1024/2013 на Съвета (52), следва незабавно да докладват на Европейската централна банка всяка информация, установена в хода на дейностите им по надзор на пазара, която може да представлява потенциален интерес във връзка със задачите на Европейската централна банка по упражняване на пруденциален надзор, определени в посочения регламент. За да се подобри още повече съгласуваността между настоящия регламент и правилата, приложими за кредитните институции, регулирани съгласно Директива 2013/36/ЕС, е целесъобразно също така някои от процедурните задължения на доставчиците във връзка с управлението на риска, мониторинга след пускането на пазара и документирането да бъдат включени в съществуващите задължения и процедури съгласно Директива 2013/36/ЕС. За да се избегне припокриване, следва да се предвидят и ограничени дерогации във връзка със системата за управление на качеството на доставчиците и задължението за мониторинг, наложено на внедрителите на високорискови системи с ИИ, доколкото те се прилагат за кредитни институции, регулирани с Директива 2013/36/ЕС. Същият режим следва да се прилага за застрахователните и презастрахователните предприятия и застрахователните холдинги съгласно Директива 2009/138/ЕО и за застрахователните посредници съгласно Директива (ЕС) 2016/97, както и за други видове финансови институции, за които се прилагат изискванията по отношение на вътрешното управление, механизмите или процесите, установени съгласно съответното право на Съюза в областта на финансовите услуги, с цел да се гарантира последователност и равно третиране във финансовия сектор.
(159)
Each market surveillance authority for high-risk AI systems in the area of biometrics, as listed in an annex to this Regulation insofar as those systems are used for the purposes of law enforcement, migration, asylum and border control management, or the administration of justice and democratic processes, should have effective investigative and corrective powers, including at least the power to obtain access to all personal data that are being processed and to all information necessary for the performance of its tasks. The market surveillance authorities should be able to exercise their powers by acting with complete independence. Any limitations of their access to sensitive operational data under this Regulation should be without prejudice to the powers conferred to them by Directive (EU) 2016/680. No exclusion on disclosing data to national data protection authorities under this Regulation should affect the current or future powers of those authorities beyond the scope of this Regulation.
(159)
Всеки орган за надзор на пазара на високорисковите системи с ИИ в областта на биометричните данни, чийто списък се съдържа в приложение към настоящия регламент — доколкото системите се използват за правоохранителни цели или за целите на миграцията, убежището, управлението на граничния контрол или правораздаването и демократичните процеси — следва да разполага с ефективни правомощия за разследване и с коригиращи правомощия, включително най-малко правомощието да получава достъп до всички лични данни, които се обработват, и до цялата информация, необходима за изпълнението на неговите задачи. Органите за надзор на пазара следва да могат да упражняват правомощията си, като действат напълно независимо. Ограниченията на достъпа им до чувствителни оперативни данни съгласно настоящия регламент не следва да засягат правомощията, предоставени им с Директива (ЕС) 2016/680. Случаите, в които се изключва разкриването на данни пред националните органи за защита на данните съгласно настоящия регламент, не следва да засягат настоящите или бъдещите правомощия на тези органи извън обхвата на настоящия регламент.
(160)
The market surveillance authorities and the Commission should be able to propose joint activities, including joint investigations, to be conducted by market surveillance authorities or market surveillance authorities jointly with the Commission, that have the aim of promoting compliance, identifying non-compliance, raising awareness and providing guidance in relation to this Regulation with respect to specific categories of high-risk AI systems that are found to present a serious risk across two or more Member States. Joint activities to promote compliance should be carried out in accordance with Article 9 of Regulation (EU) 2019/1020. The AI Office should provide coordination support for joint investigations.
(160)
Органите за надзор на пазара и Комисията следва да могат да предлагат съвместни дейности, включително съвместни разследвания, които да се провеждат от органите за надзор на пазара или от органите за надзор на пазара съвместно с Комисията, и да имат за цел насърчаване на постигането на съответствие, установяване на несъответствие, повишаване на осведомеността и осигуряване на насоки във връзка с настоящия регламент по отношение на конкретни категории високорискови системи с ИИ, за които е установено, че представляват сериозен риск в две или повече държави членки. Съвместни дейности за насърчаване на постигането на съответствие следва да се извършват съгласно член 9 от Регламент (ЕС) 2019/1020. Службата по ИИ следва да предоставя координационна подкрепа за съвместни разследвания.
(161)
It is necessary to clarify the responsibilities and competences at Union and national level as regards AI systems that are built on general-purpose AI models. To avoid overlapping competences, where an AI system is based on a general-purpose AI model and the model and system are provided by the same provider, the supervision should take place at Union level through the AI Office, which should have the powers of a market surveillance authority within the meaning of Regulation (EU) 2019/1020 for this purpose. In all other cases, national market surveillance authorities remain responsible for the supervision of AI systems. However, for general-purpose AI systems that can be used directly by deployers for at least one purpose that is classified as high-risk, market surveillance authorities should cooperate with the AI Office to carry out evaluations of compliance and inform the Board and other market surveillance authorities accordingly. Furthermore, market surveillance authorities should be able to request assistance from the AI Office where the market surveillance authority is unable to conclude an investigation on a high-risk AI system because of its inability to access certain information related to the general-purpose AI model on which the high-risk AI system is built. In such cases, the procedure regarding mutual assistance in cross-border cases in Chapter VI of Regulation (EU) 2019/1020 should apply mutatis mutandis.
(161)
Необходимо е да се изяснят отговорностите и компетентността на равнището на Съюза и на национално равнище по отношение на системите с ИИ, изградени въз основа на модели на ИИ с общо предназначение. За да се избегне припокриването на компетентност, когато дадена система с ИИ се основава на модел на ИИ с общо предназначение и моделът и системата се предоставят от един и същи доставчик, надзорът следва да се извършва на равнището на Съюза чрез Службата по ИИ, която следва да разполага с правомощията на орган за надзор на пазара по смисъла на Регламент (ЕС) 2019/1020 за тази цел. Във всички останали случаи националните органи за надзор на пазара продължават да носят отговорност за надзора на системите с ИИ. За системите с ИИ с общо предназначение обаче, които могат да се използват пряко от внедрителите с най-малко едно предназначение, класифицирано като високорисково, органите за надзор на пазара следва да си сътрудничат със Службата по ИИ, за да извършат оценки на съответствието, и да информират съответно Съвета по ИИ и другите органи за надзор на пазара. Освен това органите за надзор на пазара следва да могат да искат съдействие от Службата по ИИ, когато органът за надзор на пазара не е в състояние да приключи дадено разследване на високорискова система с ИИ поради невъзможност да получи достъп до определена информация, свързана с модела на ИИ с общо предназначение, въз основа на който е изградена високорисковата система с ИИ. В такива случаи следва да се прилага mutatis mutandis процедурата за трансгранична взаимопомощ, предвидена в глава VI от Регламент (ЕС) 2019/1020.
(162)
To make best use of the centralised Union expertise and synergies at Union level, the powers of supervision and enforcement of the obligations on providers of general-purpose AI models should be a competence of the Commission. The AI Office should be able to carry out all necessary actions to monitor the effective implementation of this Regulation as regards general-purpose AI models. It should be able to investigate possible infringements of the rules on providers of general-purpose AI models both on its own initiative, following the results of its monitoring activities, or upon request from market surveillance authorities in line with the conditions set out in this Regulation. To support effective monitoring of the AI Office, it should provide for the possibility that downstream providers lodge complaints about possible infringements of the rules on providers of general-purpose AI models and systems.
(162)
За да се използват по най-добрия начин централизираният експертен опит на Съюза и полезните взаимодействия на равнището на Съюза, правомощията за надзор и осигуряване на спазване по отношение на задълженията на доставчиците на модели на ИИ с общо предназначение следва да бъдат от компетентността на Комисията. Службата по ИИ следва да може да извършва всички необходими действия за мониторинг на ефективното прилагане на настоящия регламент по отношение на моделите на ИИ с общо предназначение. Тя следва да може да разследва евентуални нарушения на правилата относно доставчиците на модели на ИИ с общо предназначение както по собствена инициатива, на основание на резултатите от своите дейности по мониторинг, така и по искане на органите за надзор на пазара, в съответствие с условията, установени в настоящия регламент. За да се допринесе за извършването на ефективен мониторинг от страна на Службата по ИИ, следва да се предвиди възможността доставчиците надолу по веригата да подават жалби във връзка с евентуални нарушения на правилата относно доставчиците на модели на ИИ с общо предназначение и системи с ИИ с общо предназначение.
(163)
With a view to complementing the governance systems for general-purpose AI models, the scientific panel should support the monitoring activities of the AI Office and may, in certain cases, provide qualified alerts to the AI Office which trigger follow-ups, such as investigations. This should be the case where the scientific panel has reason to suspect that a general-purpose AI model poses a concrete and identifiable risk at Union level. Furthermore, this should be the case where the scientific panel has reason to suspect that a general-purpose AI model meets the criteria that would lead to a classification as general-purpose AI model with systemic risk. To equip the scientific panel with the information necessary for the performance of those tasks, there should be a mechanism whereby the scientific panel can request the Commission to require documentation or information from a provider.
(163)
С цел допълване на системите за управление на моделите на ИИ с общо предназначение, експертната група следва да подпомага дейностите по мониторинг на Службата по ИИ и да може в определени случаи да отправя приоритетни сигнали до Службата по ИИ, които да водят до последващи действия, например разследвания. Такъв следва да бъде случаят, когато експертната група има основания да предполага, че даден модел на ИИ с общо предназначение представлява конкретен и установим риск на равнището на Съюза. Освен това такъв следва да бъде случаят, когато експертната група има основания да предполага, че даден модел на ИИ с общо предназначение отговаря на критериите, които биха довели до класифицирането му като модел на ИИ с общо предназначение, пораждащ системен риск. За да може експертната група да разполага с информацията, необходима за изпълнението на тези задачи, следва да има механизъм, чрез който експертната група да може да отправи искане към Комисията с цел да бъде изискана документация или информация от даден доставчик.
(164)
The AI Office should be able to take the necessary actions to monitor the effective implementation of and compliance with the obligations for providers of general-purpose AI models laid down in this Regulation. The AI Office should be able to investigate possible infringements in accordance with the powers provided for in this Regulation, including by requesting documentation and information, by conducting evaluations, as well as by requesting measures from providers of general-purpose AI models. When conducting evaluations, in order to make use of independent expertise, the AI Office should be able to involve independent experts to carry out the evaluations on its behalf. Compliance with the obligations should be enforceable, inter alia, through requests to take appropriate measures, including risk mitigation measures in the case of identified systemic risks as well as restricting the making available on the market, withdrawing or recalling the model. As a safeguard, where needed beyond the procedural rights provided for in this Regulation, providers of general-purpose AI models should have the procedural rights provided for in Article 18 of Regulation (EU) 2019/1020, which should apply mutatis mutandis, without prejudice to more specific procedural rights provided for by this Regulation.
(164)
Службата по ИИ следва да може да предприема необходимите действия за мониторинг на ефективното изпълнение и спазване на установените в настоящия регламент задължения на доставчиците на модели на ИИ с общо предназначение. Службата за ИИ следва да може да разследва евентуални нарушения в съответствие с правомощията, предвидени в настоящия регламент, включително като изисква документация и информация, като извършва оценки, както и като изисква предприемането на мерки от доставчиците на модели на ИИ с общо предназначение. При извършването на оценките, с цел да използва независим експертен опит, Службата по ИИ следва да може да привлича независими експерти, които да извършват оценките от нейно име. Спазването на задълженията следва да бъде осигурено, наред с другото, чрез искания за предприемане на подходящи мерки, включително мерки за ограничаване на риска в случай на установени системни рискове, както и чрез ограничаване на предоставянето на пазара на даден модел, неговото изтегляне или изземване. Като гаранция в случай на необходимост, освен процесуалните права, предвидени в настоящия регламент, доставчиците на модели на ИИ с общо предназначение следва да разполагат с процесуалните права съгласно член 18 от Регламент (ЕС) 2019/1020, които следва да се прилагат, mutatis mutandis, без да се засягат специалните процесуални права, предвидени в настоящия регламент.
(165)
The development of AI systems other than high-risk AI systems in accordance with the requirements of this Regulation may lead to a larger uptake of ethical and trustworthy AI in the Union. Providers of AI systems that are not high-risk should be encouraged to create codes of conduct, including related governance mechanisms, intended to foster the voluntary application of some or all of the mandatory requirements applicable to high-risk AI systems, adapted in light of the intended purpose of the systems and the lower risk involved and taking into account the available technical solutions and industry best practices such as model and data cards. Providers and, as appropriate, deployers of all AI systems, high-risk or not, and AI models should also be encouraged to apply on a voluntary basis additional requirements related, for example, to the elements of the Union’s Ethics Guidelines for Trustworthy AI, environmental sustainability, AI literacy measures, inclusive and diverse design and development of AI systems, including attention to vulnerable persons and accessibility to persons with disability, stakeholders’ participation with the involvement, as appropriate, of relevant stakeholders such as business and civil society organisations, academia, research organisations, trade unions and consumer protection organisations in the design and development of AI systems, and diversity of the development teams, including gender balance. To ensure that the voluntary codes of conduct are effective, they should be based on clear objectives and key performance indicators to measure the achievement of those objectives. They should also be developed in an inclusive way, as appropriate, with the involvement of relevant stakeholders such as business and civil society organisations, academia, research organisations, trade unions and consumer protection organisation. The Commission may develop initiatives, including of a sectoral nature, to facilitate the lowering of technical barriers hindering cross-border exchange of data for AI development, including on data access infrastructure, semantic and technical interoperability of different types of data.
(165)
Разработването на системи с ИИ, различни от високорискови системи с ИИ, в съответствие с изискванията на настоящия регламент може да доведе до по-широко внедряване на етичен и надежден ИИ в Съюза. Доставчиците на системи с ИИ, които не са високорискови, следва да бъдат насърчавани да изготвят кодекси за поведение, включително свързани с тях управленски механизми, предназначени да поощряват прилагането на доброволна основа на някои или на всички задължителни изисквания, приложими за високорисковите системи с ИИ и адаптирани с оглед на предназначението на системите и по-ниския риск, като вземат предвид наличните технически решения и най-добрите практики в сектора, например карти за модели и данни. Доставчиците и, когато е целесъобразно, внедрителите на всички системи с ИИ — високорискови или не, както и на всички модели с ИИ, следва също да бъдат насърчавани да прилагат на доброволна основа допълнителни изисквания, свързани например с елементи на Насоките на Съюза относно етичните аспекти за надежден ИИ, екологичната устойчивост, мерките относно грамотността в областта на ИИ, приобщаващия характер и многообразието при проектирането и разработването на системи с ИИ, включително повишеното внимание към уязвимите лица и достъпността за хора с увреждания, участието на заинтересованите страни чрез привличане, когато е целесъобразно, на заинтересовани страни като професионални организации и организации на гражданското общество, академични среди, научноизследователски организации, синдикати и организации за защита на потребителите, в проектирането и разработването на системи с ИИ, както и многообразието на екипите от разработчици, включително баланса между половете. За да се гарантира, че незадължителните кодекси за поведение са ефективни, те следва да се основават на ясни цели и ключови показатели за ефективност, за да може да бъде оценено постигането на тези цели. Те следва също така да бъдат разработени по приобщаващ начин, когато е целесъобразно - с участието на съответните заинтересовани страни, като професионални организации и организации на гражданското общество, академични среди, научноизследователски организации, синдикати и организации за защита на потребителите. Комисията може да разработва инициативи, включително от секторен характер, за да улесни преодоляването на техническите пречки пред трансграничния обмен на данни за разработването на ИИ, включително свързаните с инфраструктурата за достъп до данни и семантичната и техническата оперативна съвместимост на различните видове данни.
(166)
It is important that AI systems related to products that are not high-risk in accordance with this Regulation and thus are not required to comply with the requirements set out for high-risk AI systems are nevertheless safe when placed on the market or put into service. To contribute to this objective, Regulation (EU) 2023/988 of the European Parliament and of the Council (53) would apply as a safety net.
(166)
Важно е системите с ИИ, свързани с продукти, които не са високорискови в съответствие с настоящия регламент и поради това не е задължително да отговарят на изискванията, установени за високорисковите системи с ИИ, да бъдат въпреки това безопасни при пускането им на пазара или пускането им в действие. За да се допринесе за постигането на тази цел, допълнителна гаранция ще представлява възможността за прилагане на Регламент (ЕС) 2023/988 на Европейския парламент и на Съвета (53).
(167)
In order to ensure trustful and constructive cooperation of competent authorities on Union and national level, all parties involved in the application of this Regulation should respect the confidentiality of information and data obtained in carrying out their tasks, in accordance with Union or national law. They should carry out their tasks and activities in such a manner as to protect, in particular, intellectual property rights, confidential business information and trade secrets, the effective implementation of this Regulation, public and national security interests, the integrity of criminal and administrative proceedings, and the integrity of classified information.
(167)
За да се гарантира надеждно и конструктивно сътрудничество между компетентните органи на равнището на Съюза и на национално равнище, всички страни, участващи в прилагането на настоящия регламент, следва да зачитат поверителността на информацията и данните, получавани при изпълнението на техните задачи, в съответствие с правото на Съюза и националното право. Те следва да изпълняват задачите и дейностите си по такъв начин, че да закрилят по-специално правата върху интелектуалната собственост, поверителната търговска информация и търговските тайни, ефективното прилагане на настоящия регламент, обществените интереси и националната сигурност, независимостта на наказателните или административните производства и неприкосновеността на класифицираната информация.
(168)
Compliance with this Regulation should be enforceable by means of the imposition of penalties and other enforcement measures. Member States should take all necessary measures to ensure that the provisions of this Regulation are implemented, including by laying down effective, proportionate and dissuasive penalties for their infringement, and to respect the ne bis in idem principle. In order to strengthen and harmonise administrative penalties for infringement of this Regulation, the upper limits for setting the administrative fines for certain specific infringements should be laid down. When assessing the amount of the fines, Member States should, in each individual case, take into account all relevant circumstances of the specific situation, with due regard in particular to the nature, gravity and duration of the infringement and of its consequences and to the size of the provider, in particular if the provider is an SME, including a start-up. The European Data Protection Supervisor should have the power to impose fines on Union institutions, agencies and bodies falling within the scope of this Regulation.
(168)
Спазването на настоящия регламент следва да може да се гарантира чрез налагането на санкции и други мерки за изпълнение. Държавите членки следва да предприемат всички необходими мерки, за да гарантират прилагането на разпоредбите на настоящия регламент, включително чрез установяването на ефективни, пропорционални и възпиращи санкции за тяхното нарушаване, за да осигурят зачитането на принципа non bis in idem. С цел подсилване и хармонизиране на административните санкции за нарушения на настоящия регламент, следва да се установят горните граници за определяне на административните глоби и имуществени санкции за някои конкретни нарушения. При определянето на размера на глобите и имуществените санкции държавите членки следва във всеки отделен случай да вземат предвид всички обстоятелства на конкретния случай, като надлежно отчитат по-специално естеството, тежестта и продължителността на нарушението и неговите последици, както и размера на доставчика, по-специално ако доставчикът е МСП, включително новосъздадено предприятие. Европейският надзорен орган по защита на данните следва да има правомощията да налага глоби на институциите, агенциите и органите на Съюза, попадащи в обхвата на настоящия регламент.
(169)
Compliance with the obligations on providers of general-purpose AI models imposed under this Regulation should be enforceable, inter alia, by means of fines. To that end, appropriate levels of fines should also be laid down for infringement of those obligations, including the failure to comply with measures requested by the Commission in accordance with this Regulation, subject to appropriate limitation periods in accordance with the principle of proportionality. All decisions taken by the Commission under this Regulation are subject to review by the Court of Justice of the European Union in accordance with the TFEU, including the unlimited jurisdiction of the Court of Justice with regard to penalties pursuant to Article 261 TFEU.
(169)
Спазването на задълженията на доставчиците на модели на ИИ с общо предназначение, наложени с настоящия регламент, следва да може да се гарантира, наред с другото, чрез глоби. За тази цел следва да се определят и подходящи размери на глобите за нарушение на тези задължения, включително неизпълнението на мерките, изисквани от Комисията в съответствие с настоящия регламент, при прилагане на подходящи давностни срокове в съответствие с принципа на пропорционалност. Всички решения, приемани от Комисията съгласно настоящия регламент, подлежат на контрол от Съда на Европейския съюз в съответствие с ДФЕС, включително на пълната юрисдикция на Съда във връзка със санкциите съгласно член 261 ДФЕС.
(170)
Union and national law already provide effective remedies to natural and legal persons whose rights and freedoms are adversely affected by the use of AI systems. Without prejudice to those remedies, any natural or legal person that has grounds to consider that there has been an infringement of this Regulation should be entitled to lodge a complaint to the relevant market surveillance authority.
(170)
В правото на Съюза и националното право вече са предвидени ефективни правни средства за защита на физическите и юридическите лица, чиито права и свободи са неблагоприятно засегнати от използването на системи с ИИ. Без да се засягат тези правни средства за защита, всяко физическо или юридическо лице, което има основания да счита, че е налице нарушение на настоящия регламент, следва да има правото да подаде жалба до съответния орган за надзор на пазара.
(171)
Affected persons should have the right to obtain an explanation where a deployer’s decision is based mainly upon the output from certain high-risk AI systems that fall within the scope of this Regulation and where that decision produces legal effects or similarly significantly affects those persons in a way that they consider to have an adverse impact on their health, safety or fundamental rights. That explanation should be clear and meaningful and should provide a basis on which the affected persons are able to exercise their rights. The right to obtain an explanation should not apply to the use of AI systems for which exceptions or restrictions follow from Union or national law and should apply only to the extent this right is not already provided for under Union law.
(171)
Засегнатите лица следва да имат правото да получат обяснение, в случай че дадено решение, взето от внедрител преди всичко въз основа на резултата от работата на определени високорискови системи с ИИ, попадащи в обхвата на настоящия регламент, поражда правни последици за тях или по сходен начин ги засяга в значителна степен по начин, който според тях оказва неблагоприятно въздействие върху тяхното здраве, безопасност или основни права. Това обяснение следва да бъде ясно и изчерпателно и да дава основание на засегнатите лица да упражнят правата си. Правото на получаване на обяснение не следва да се прилага относно използването на системи с ИИ, по отношение на които от правото на Съюза или от националното право произтичат изключения или ограничения, и следва да се прилага само доколкото това право все още не е предвидено в законодателството на Съюза.
(172)
Persons acting as whistleblowers on the infringements of this Regulation should be protected under the Union law. Directive (EU) 2019/1937 of the European Parliament and of the Council (54) should therefore apply to the reporting of infringements of this Regulation and the protection of persons reporting such infringements.
(172)
Лица, сигнализиращи за нередности във връзка с нарушения на настоящия регламент, следва да бъдат защитени в съответствие с правото на Съюза. Поради това по отношение на подаването на сигнали за нарушения на настоящия регламент и защитата на лицата, които подават сигнали за такива нарушения, следва да се прилага Директива (ЕС) 2019/1937 на Европейския парламент и на Съвета (54).
(173)
In order to ensure that the regulatory framework can be adapted where necessary, the power to adopt acts in accordance with Article 290 TFEU should be delegated to the Commission to amend the conditions under which an AI system is not to be considered to be high-risk, the list of high-risk AI systems, the provisions regarding technical documentation, the content of the EU declaration of conformity the provisions regarding the conformity assessment procedures, the provisions establishing the high-risk AI systems to which the conformity assessment procedure based on assessment of the quality management system and assessment of the technical documentation should apply, the threshold, benchmarks and indicators, including by supplementing those benchmarks and indicators, in the rules for the classification of general-purpose AI models with systemic risk, the criteria for the designation of general-purpose AI models with systemic risk, the technical documentation for providers of general-purpose AI models and the transparency information for providers of general-purpose AI models. It is of particular importance that the Commission carry out appropriate consultations during its preparatory work, including at expert level, and that those consultations be conducted in accordance with the principles laid down in the Interinstitutional Agreement of 13 April 2016 on Better Law-Making (55). In particular, to ensure equal participation in the preparation of delegated acts, the European Parliament and the Council receive all documents at the same time as Member States’ experts, and their experts systematically have access to meetings of Commission expert groups dealing with the preparation of delegated acts.
(173)
С цел да се гарантира, че регулаторната рамка може да бъде адаптирана при необходимост, на Комисията следва да бъде делегирано правомощието да приема актове в съответствие с член 290 ДФЕС за изменение на условията, при които дадена система с ИИ не се смята за високорискова, списъка на високорисковите системи с ИИ, разпоредбите относно техническата документация, съдържанието на ЕС декларацията за съответствие, разпоредбите относно процедурите за оценяване на съответствието, разпоредбите за определяне на високорисковите системи с ИИ, за които се прилага процедурата за оценяване на съответствието въз основа на оценката на системата за управление на качеството и оценката на техническата документация, праговете, референтните стойности и показателите, включително чрез допълване на тези референтни стойности и показатели, в правилата за класифициране на моделите на ИИ с общо предназначение, пораждащи системен риск, критериите за определяне на моделите на ИИ с общо предназначение, пораждащи системен риск, техническата документация за доставчиците на модели на ИИ с общо предназначение и информацията с цел прозрачност за доставчиците на модели на ИИ с общо предназначение. От особена важност е по време на подготвителната си работа Комисията да проведе подходящи консултации, включително на експертно равнище, и тези консултации да бъдат проведени в съответствие с принципите, заложени в Междуинституционалното споразумение от 13 април 2016 г. за по-добро законотворчество (55). По-специално, с цел осигуряване на равно участие при подготовката на делегираните актове, Европейският парламент и Съветът получават всички документи едновременно с експертите от държавите членки, като техните експерти получават систематично достъп до заседанията на експертните групи на Комисията, занимаващи се с подготовката на делегираните актове.
(174)
Given the rapid technological developments and the technical expertise required to effectively apply this Regulation, the Commission should evaluate and review this Regulation by 2 August 2029 and every four years thereafter and report to the European Parliament and the Council. In addition, taking into account the implications for the scope of this Regulation, the Commission should carry out an assessment of the need to amend the list of high-risk AI systems and the list of prohibited practices once a year. Moreover, by 2 August 2028 and every four years thereafter, the Commission should evaluate and report to the European Parliament and to the Council on the need to amend the list of high-risk areas headings in the annex to this Regulation, the AI systems within the scope of the transparency obligations, the effectiveness of the supervision and governance system and the progress on the development of standardisation deliverables on energy efficient development of general-purpose AI models, including the need for further measures or actions. Finally, by 2 August 2028 and every three years thereafter, the Commission should evaluate the impact and effectiveness of voluntary codes of conduct to foster the application of the requirements provided for high-risk AI systems in the case of AI systems other than high-risk AI systems and possibly other additional requirements for such AI systems.
(174)
Предвид бързото технологично развитие и техническия експертен опит, необходим за ефективното прилагане на настоящия регламент, Комисията следва да направи оценка и преглед на настоящия регламент до 2 август 2029 г. и на всеки четири години след това, и да докладва на Европейския парламент и на Съвета. Освен това, с оглед на последиците за обхвата на настоящия регламент, Комисията следва веднъж годишно да прави оценка на необходимостта от изменение на списъка на високорисковите системи с ИИ и на списъка на забранените практики. Наред с това, до 2 август 2028 г. и на всеки четири години след това Комисията следва да оценява и да докладва на Европейския парламент и на Съвета за необходимостта от изменение на наименованията на високорисковите области в приложението към настоящия регламент, системите с ИИ, попадащи в обхвата на задълженията за прозрачност, ефективността на системата за надзор и управление и напредъка по разработването на стандартизационни документи за енергийно ефективно разработване на модели на ИИ с общо предназначение, включително за необходимостта от допълнителни мерки или действия. И на последно място, до 2 август 2028 г. и на всеки три години след това Комисията следва да оценява въздействието и ефективността на незадължителните кодекси за поведение с цел да се насърчи прилагането на изискванията, предвидени за високорисковите системи с ИИ, по отношение на системи, различни от високорискови системи с ИИ, и евентуално на други допълнителни изисквания за такива системи с ИИ.
(175)
In order to ensure uniform conditions for the implementation of this Regulation, implementing powers should be conferred on the Commission. Those powers should be exercised in accordance with Regulation (EU) No 182/2011 of the European Parliament and of the Council (56).
(175)
За да се гарантират еднакви условия за изпълнение на настоящия регламент, на Комисията следва да бъдат предоставени изпълнителни правомощия. Тези правомощия следва да бъдат упражнявани в съответствие с Регламент (ЕС) № 182/2011 на Европейския парламент и на Съвета (56).
(176)
Since the objective of this Regulation, namely to improve the functioning of the internal market and to promote the uptake of human centric and trustworthy AI, while ensuring a high level of protection of health, safety, fundamental rights enshrined in the Charter, including democracy, the rule of law and environmental protection against harmful effects of AI systems in the Union and supporting innovation, cannot be sufficiently achieved by the Member States and can rather, by reason of the scale or effects of the action, be better achieved at Union level, the Union may adopt measures in accordance with the principle of subsidiarity as set out in Article 5 TEU. In accordance with the principle of proportionality as set out in that Article, this Regulation does not go beyond what is necessary in order to achieve that objective.
(176)
Доколкото целта на настоящия регламент, а именно да се подобри функционирането на вътрешния пазар и да се насърчи навлизането на ориентиран към човека и надежден ИИ, като същевременно се гарантира високо равнище на защита на здравето, безопасността, основните права, залегнали в Хартата, включително демокрацията, принципите на правовата държава и опазването на околната среда, срещу вредното въздействие на системите с ИИ в Съюза и да се подкрепят иновациите, не може да бъде постигната в достатъчна степен от държавите членки, а поради мащаба или последиците на действието може да бъде по-добре постигната на равнището на Съюза, Съюзът може да приеме мерки в съответствие с принципа на субсидиарност, уреден в член 5 от Договора за Европейския съюз. В съответствие с принципа на пропорционалност, уреден в същия член, настоящият регламент не надхвърля необходимото за постигането на тази цел.
(177)
In order to ensure legal certainty, ensure an appropriate adaptation period for operators and avoid disruption to the market, including by ensuring continuity of the use of AI systems, it is appropriate that this Regulation applies to the high-risk AI systems that have been placed on the market or put into service before the general date of application thereof, only if, from that date, those systems are subject to significant changes in their design or intended purpose. It is appropriate to clarify that, in this respect, the concept of significant change should be understood as equivalent in substance to the notion of substantial modification, which is used with regard only to high-risk AI systems pursuant to this Regulation. On an exceptional basis and in light of public accountability, operators of AI systems which are components of the large-scale IT systems established by the legal acts listed in an annex to this Regulation and operators of high-risk AI systems that are intended to be used by public authorities should, respectively, take the necessary steps to comply with the requirements of this Regulation by end of 2030 and by 2 August 2030.
(177)
С цел да се гарантира правна сигурност, да се осигури подходящ срок за адаптация за операторите и да се избегнат смущения на пазара, включително чрез осигуряване на непрекъснатост в използването на системите с ИИ, е целесъобразно настоящият регламент да се прилага за високорисковите системи с ИИ, които са били пуснати на пазара или пуснати в действие преди общата начална дата на прилагането му, само в случай че след тази дата бъдат извършени значителни промени в проекта или предназначението на тези системи. Следва да се поясни, че в този контекст понятието „значителна промяна“ следва да се разбира като равностойно по същество на понятието „съществено изменение“, което се използва само по отношение на високорисковите системи с ИИ съгласно определението в настоящия регламент. По изключение и с оглед на публичната отчетност операторите на системи с ИИ, които са компоненти на широкомащабните информационни системи, създадени с правните актове, чийто списък е приложен към настоящия регламент, и операторите на високорискови системи с ИИ, предназначени да бъдат използвани от публични органи, следва да предприемат мерките, необходими, за да се съобразят с изискванията на настоящия регламент, съответно до края на 2030 г. и в срок до 2 август 2030 г.
(178)
Providers of high-risk AI systems are encouraged to start to comply, on a voluntary basis, with the relevant obligations of this Regulation already during the transitional period.
(178)
Доставчиците на високорискови системи с ИИ се насърчават да започнат да спазват на доброволна основа съответните задължения, предвидени съгласно настоящия регламент, още по време на преходния период.
(179)
This Regulation should apply from 2 August 2026. However, taking into account the unacceptable risk associated with the use of AI in certain ways, the prohibitions as well as the general provisions of this Regulation should already apply from 2 February 2025. While the full effect of those prohibitions follows with the establishment of the governance and enforcement of this Regulation, anticipating the application of the prohibitions is important to take account of unacceptable risks and to have an effect on other procedures, such as in civil law. Moreover, the infrastructure related to the governance and the conformity assessment system should be operational before 2 August 2026, therefore the provisions on notified bodies and governance structure should apply from 2 August 2025. Given the rapid pace of technological advancements and adoption of general-purpose AI models, obligations for providers of general-purpose AI models should apply from 2 August 2025. Codes of practice should be ready by 2 May 2025 in view of enabling providers to demonstrate compliance on time. The AI Office should ensure that classification rules and procedures are up to date in light of technological developments. In addition, Member States should lay down and notify to the Commission the rules on penalties, including administrative fines, and ensure that they are properly and effectively implemented by the date of application of this Regulation. Therefore the provisions on penalties should apply from 2 August 2025.
(179)
Настоящият регламент следва да се прилага от 2 август 2026 г. Същевременно, като се има предвид неприемливият риск, свързан с използването на ИИ по определени начини, забраните, както и общите разпоредби на настоящия регламент следва да се прилагат още от 2 февруари 2025 г. Въпреки че тези забрани ще влязат напълно в действие, след като бъде установено управлението и прилагането на настоящия регламент, предварителното им прилагане е важно с оглед да се вземе предвид неприемливият риск и да се въздейства върху други процедури, например в гражданското право. Наред с това, инфраструктурата, свързана с управлението и системата за оценяване на съответствието, следва да започне да функционира преди 2 август 2026 г., поради което разпоредбите относно нотифицираните органи и структурата на управление следва да се прилагат от 2 август 2025 г. Като се има предвид бързият темп на технологичния напредък и възприемането на модели на ИИ с общо предназначение, задълженията на доставчиците на модели на ИИ с общо предназначение следва да се прилагат от 2 август 2025 г. Кодексите за добри практики следва да бъдат готови в срок до 2 май 2025 г., за да се даде възможност на доставчиците своевременно да докажат спазването им. Службата по ИИ следва да гарантира, че правилата и процедурите за класифициране са актуални с оглед на технологичното развитие. Освен това държавите членки следва да установят и изпратят до Комисията правилата относно санкциите, включително административните глоби и имуществени санкции, и да гарантират, че те се прилагат правилно и ефективно към началната дата на прилагане на настоящия регламент. Поради това разпоредбите относно санкциите следва да се прилагат от 2 август 2025 г.
(180)
The European Data Protection Supervisor and the European Data Protection Board were consulted in accordance with Article 42(1) and (2) of Regulation (EU) 2018/1725 and delivered their joint opinion on 18 June 2021,
(180)
В съответствие с член 42, параграфи 1 и 2 от Регламент (ЕС) 2018/1725 беше проведена консултация с Европейския надзорен орган по защита на данните и Европейския комитет по защита на данните, които представиха съвместното си становище на 18 юни 2021 г.,
HAVE ADOPTED THIS REGULATION:
ПРИЕХА НАСТОЯЩИЯ РЕГЛАМЕНТ:
CHAPTER I
ГЛАВА I
GENERAL PROVISIONS
ОБЩИ РАЗПОРЕДБИ
Article 1
Член 1
Subject matter`
Предмет
1. The purpose of this Regulation is to improve the functioning of the internal market and promote the uptake of human-centric and trustworthy artificial intelligence (AI), while ensuring a high level of protection of health, safety, fundamental rights enshrined in the Charter, including democracy, the rule of law and environmental protection, against the harmful effects of AI systems in the Union and supporting innovation.
1. Целта на настоящия регламент е да се подобри функционирането на вътрешния пазар и да се насърчи навлизането на ориентиран към човека и надежден изкуствен интелект (ИИ), като същевременно се осигурява високо равнище на защита на здравето, безопасността, основните права, залегнали в Хартата, включително демокрацията, принципите на правовата държава и опазването на околната среда, от вредните въздействия на системите с ИИ в Съюза, както и да се подкрепят иновациите.
2. This Regulation lays down:
2. С настоящия регламент се установяват:
(a)
harmonised rules for the placing on the market, the putting into service, and the use of AI systems in the Union;
a)
хармонизирани правила за пускането на пазара, пускането в действие и използването на системи с ИИ в Съюза;
(b)
prohibitions of certain AI practices;
б)
забрани на определени практики в областта на ИИ;
(c)
specific requirements for high-risk AI systems and obligations for operators of such systems;
в)
особени изисквания за високорисковите системи с ИИ и задължения за операторите на такива системи;
(d)
harmonised transparency rules for certain AI systems;
г)
хармонизирани правила за прозрачност за определени системи с ИИ;
(e)
harmonised rules for the placing on the market of general-purpose AI models;
д)
хармонизирани правила за пускането на пазара на модели на ИИ с общо предназначение;
(f)
rules on market monitoring, market surveillance, governance and enforcement;
е)
правила за мониторинг на пазара, надзор на пазара, управление и осигуряване на спазването;
(g)
measures to support innovation, with a particular focus on SMEs, including start-ups.
ж)
мерки в подкрепа на иновациите с особено внимание към МСП, включително новосъздадените предприятия.
Article 2
Член 2
Scope
Обхват
1. This Regulation applies to:
1. Настоящият регламент се прилага по отношение на:
(a)
providers placing on the market or putting into service AI systems or placing on the market general-purpose AI models in the Union, irrespective of whether those providers are established or located within the Union or in a third country;
a)
доставчици, които пускат на пазара или пускат в действие системи с ИИ или пускат на пазара модели на ИИ с общо предназначение в Съюза, независимо дали тези доставчици са установени или се намират на територията на Съюза или в трета държава;
(b)
deployers of AI systems that have their place of establishment or are located within the Union;
б)
внедрители на системи с ИИ, чието място на установяване е на територията на Съюза или които се намират на територията на Съюза;
(c)
providers and deployers of AI systems that have their place of establishment or are located in a third country, where the output produced by the AI system is used in the Union;
в)
доставчици и внедрители на системи с ИИ, чието място на установяване е в трета държава или които се намират в трета държава, когато резултатът, получен от системата с ИИ, се използва в Съюза;
(d)
importers and distributors of AI systems;
г)
вносители и дистрибутори на системи с ИИ;
(e)
product manufacturers placing on the market or putting into service an AI system together with their product and under their own name or trademark;
д)
производители на продукти, които пускат на пазара или пускат в действие система с ИИ заедно със своя продукт и със своето име или търговска марка;
(f)
authorised representatives of providers, which are not established in the Union;
е)
упълномощени представители на доставчици, които не са установени в Съюза;
(g)
affected persons that are located in the Union.
ж)
засегнати лица, които се намират в Съюза.
2. For AI systems classified as high-risk AI systems in accordance with Article 6(1) related to products covered by the Union harmonisation legislation listed in Section B of Annex I, only Article 6(1), Articles 102 to 109 and Article 112 apply. Article 57 applies only in so far as the requirements for high-risk AI systems under this Regulation have been integrated in that Union harmonisation legislation.
2. За системи с ИИ, които са класифицирани като високорискови системи с ИИ в съответствие с член 6, параграф 1, които са свързани с продукти, обхванати от законодателството на Съюза за хармонизация, посочено в раздел Б от приложение I, се прилагат само член 6, параграф 1 и членове 102 – 109 и 112. Член 57 се прилага само доколкото изискванията за високорисковите системи с ИИ съгласно настоящия регламент са били включени в това законодателство на Съюза за хармонизация.
3. This Regulation does not apply to areas outside the scope of Union law, and shall not, in any event, affect the competences of the Member States concerning national security, regardless of the type of entity entrusted by the Member States with carrying out tasks in relation to those competences.
3. Настоящият регламент не се прилага в области извън обхвата на правото на Съюза и не засяга компетентността на държавите членки по отношение на националната сигурност, независимо от вида на субекта, на който държавите членки са възложили изпълнението на задачите във връзка с тази компетентност.
This Regulation does not apply to AI systems where and in so far they are placed on the market, put into service, or used with or without modification exclusively for military, defence or national security purposes, regardless of the type of entity carrying out those activities.
Настоящият регламент не се прилага за системи с ИИ, ако и доколкото те са пуснати на пазара, пуснати в действие или използвани със или без изменение на тези системи изключително за военни цели и цели, свързани с отбраната или националната сигурност, независимо от вида на субекта, който извършва тези дейности.
This Regulation does not apply to AI systems which are not placed on the market or put into service in the Union, where the output is used in the Union exclusively for military, defence or national security purposes, regardless of the type of entity carrying out those activities.
Настоящият регламент не се прилага за системи с ИИ, които не са пуснати на пазара или пуснати в действие в Съюза, когато резултатите се използват в Съюза изключително за военни цели и цели, свързани с отбраната или националната сигурност, независимо от вида на субекта, който извършва тези дейности.
4. This Regulation applies neither to public authorities in a third country nor to international organisations falling within the scope of this Regulation pursuant to paragraph 1, where those authorities or organisations use AI systems in the framework of international cooperation or agreements for law enforcement and judicial cooperation with the Union or with one or more Member States, provided that such a third country or international organisation provides adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals.
4. Настоящият регламент не се прилага за публични органи в трета държава, нито за международни организации, попадащи в обхвата на настоящия регламент съгласно параграф 1, когато тези органи или организации използват системи с ИИ в рамките на международно сътрудничество или споразумения за правоприлагане и съдебно сътрудничество със Съюза или с една или повече държави членки, при условие че тази трета държава или международна организация осигурява подходящи гаранции по отношение на защитата на основните права и свободи на физическите лица.
5. This Regulation shall not affect the application of the provisions on the liability of providers of intermediary services as set out in Chapter II of Regulation (EU) 2022/2065.
5. Настоящият регламент не засяга прилагането на разпоредбите относно отговорността на доставчиците на посреднически услуги, установени в глава II от Регламент (ЕС) 2022/2065.
6. This Regulation does not apply to AI systems or AI models, including their output, specifically developed and put into service for the sole purpose of scientific research and development.
6. Настоящият регламент не се прилага за системите с ИИ или моделите на ИИ, които са специално разработени и пуснати в действие единствено с цел научноизследователска и развойна дейност, включително за техните резултати.
7. Union law on the protection of personal data, privacy and the confidentiality of communications applies to personal data processed in connection with the rights and obligations laid down in this Regulation. This Regulation shall not affect Regulation (EU) 2016/679 or (EU) 2018/1725, or Directive 2002/58/EC or (EU) 2016/680, without prejudice to Article 10(5) and Article 59 of this Regulation.
7. Правото на Съюза относно защитата на личните данни, неприкосновеността на личния живот и поверителността на съобщенията се прилага за личните данни, обработвани във връзка с правата и задълженията, предвидени в настоящия регламент. Настоящият регламент не засяга регламенти (ЕС) 2016/679 и (ЕС) 2018/1725, нито директиви 2002/58/ЕО и (ЕС) 2016/680, без да се засягат член 10, параграф 5 и член 59 от настоящия регламент.
8. This Regulation does not apply to any research, testing or development activity regarding AI systems or AI models prior to their being placed on the market or put into service. Such activities shall be conducted in accordance with applicable Union law. Testing in real world conditions shall not be covered by that exclusion.
8. Настоящият регламент не се прилага за научноизследователски дейности, изпитвания или развойни дейности по отношение на системи с ИИ или модели на ИИ преди пускането на пазара или пускането в действие на тези системи или модели. Тези дейности се извършват в съответствие с приложимото право на Съюза. Изпитването в реални условия не попада в обхвата на това изключение.
9. This Regulation is without prejudice to the rules laid down by other Union legal acts related to consumer protection and product safety.
9. Настоящият регламент не засяга правилата, установени в други правни актове на Съюза, свързани със защитата на потребителите и безопасността на продуктите.
10. This Regulation does not apply to obligations of deployers who are natural persons using AI systems in the course of a purely personal non-professional activity.
10. Настоящият регламент не се прилага за задълженията на внедрители, които са физически лица, използващи системи с ИИ в рамките на изцяло лична непрофесионална дейност.
11. This Regulation does not preclude the Union or Member States from maintaining or introducing laws, regulations or administrative provisions which are more favourable to workers in terms of protecting their rights in respect of the use of AI systems by employers, or from encouraging or allowing the application of collective agreements which are more favourable to workers.
11. Настоящият регламент не e пречка Съюзът или държавите членки да запазят или въведат законови, подзаконови или административни разпоредби, които са по-благоприятни за работниците по отношение на защитата на правата им във връзка с използването от работодателите на системи с ИИ, нито да насърчават или разрешават прилагането на колективни трудови договори, които са по-благоприятни за работниците.
12. This Regulation does not apply to AI systems released under free and open-source licences, unless they are placed on the market or put into service as high-risk AI systems or as an AI system that falls under Article 5 or 50.
12. Настоящият регламент не се прилага за системи с ИИ, предоставени с безплатен лиценз с отворен код, освен ако не са пуснати на пазара или пуснати в действие като високорискови системи с ИИ или като система с ИИ, попадаща в обхвата на член 5 или 50.
Article 3
Член 3
Definitions
Определения
For the purposes of this Regulation, the following definitions apply:
За целите на настоящия регламент се прилагат следните определения:
(1)
‘AI system’ means a machine-based system that is designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment, and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments;
1)
„система с ИИ“ означава машинно базирана система, която е проектирана да работи с различни нива на автономност и която може да прояви адаптивност след внедряването си, и която, с явна или подразбираща се цел, въз основа на въведените в нея входящи данни, извежда начина на генериране на резултати като прогнози, съдържание, препоръки или решения, които могат да окажат влияние върху физическа или виртуална среда;
(2)
‘risk’ means the combination of the probability of an occurrence of harm and the severity of that harm;
2)
„риск“ означава съчетанието от вероятността за възникване на дадена вреда и тежестта на тази вреда;
(3)
‘provider’ means a natural or legal person, public authority, agency or other body that develops an AI system or a general-purpose AI model or that has an AI system or a general-purpose AI model developed and places it on the market or puts the AI system into service under its own name or trademark, whether for payment or free of charge;
3)
„доставчик“ означава физическо или юридическо лице, публичен орган, агенция или друга организация, които разработват система с ИИ или модел на ИИ с общо предназначение или възлагат разработването на система с ИИ или на модел на ИИ с общо предназначение и ги пускат на пазара, или пускат в действие системата с ИИ със своето име или търговска марка, срещу заплащане или безплатно;
(4)
‘deployer’ means a natural or legal person, public authority, agency or other body using an AI system under its authority except where the AI system is used in the course of a personal non-professional activity;
4)
„внедрител“ означава физическо или юридическо лице, публичен орган, агенция или друга организация, които използват система с ИИ, по отношение на която упражняват контрол, с изключение на случаите, когато системата с ИИ се използва в процеса на лична непрофесионална дейност;
(5)
‘authorised representative’ means a natural or legal person located or established in the Union who has received and accepted a written mandate from a provider of an AI system or a general-purpose AI model to, respectively, perform and carry out on its behalf the obligations and procedures established by this Regulation;
5)
„упълномощен представител“ означава физическо или юридическо лице, намиращо се или установено в Съюза, което е получило и приело писмено пълномощно от доставчик на система с ИИ или на модел на ИИ с общо предназначение съответно да изпълнява и извършва от негово име задълженията и процедурите, установени в настоящия регламент;
(6)
‘importer’ means a natural or legal person located or established in the Union that places on the market an AI system that bears the name or trademark of a natural or legal person established in a third country;
6)
„вносител“ означава физическо или юридическо лице, намиращо се или установено в Съюза, което пуска на пазара система с ИИ, носеща името или търговската марка на физическо или юридическо лице, установено в трета държава;
(7)
‘distributor’ means a natural or legal person in the supply chain, other than the provider or the importer, that makes an AI system available on the Union market;
7)
„дистрибутор“ означава физическо или юридическо лице във веригата на доставки, различно от доставчика или вносителя, което предоставя система с ИИ на пазара на Съюза;
(8)
‘operator’ means a provider, product manufacturer, deployer, authorised representative, importer or distributor;
8)
„оператор“ означава доставчик, производител на продукти, внедрител, упълномощен представител, вносител или дистрибутор;
(9)
‘placing on the market’ means the first making available of an AI system or a general-purpose AI model on the Union market;
9)
„пускане на пазара“ означава предоставянето на система с ИИ или на модел на ИИ с общо предназначение на пазара на Съюза за първи път;
(10)
‘making available on the market’ means the supply of an AI system or a general-purpose AI model for distribution or use on the Union market in the course of a commercial activity, whether in return for payment or free of charge;
10)
„предоставяне на пазара“ означава всяка доставка на система с ИИ или на модел на ИИ с общо предназначение за дистрибуция или използване на пазара на Съюза в процеса на търговска дейност, срещу заплащане или безплатно;
(11)
‘putting into service’ means the supply of an AI system for first use directly to the deployer or for own use in the Union for its intended purpose;
11)
„пускане в действие“ означава доставката на система с ИИ за първо използване пряко на внедрителя или за собствено ползване в Съюза в съответствие с нейното предназначение;
(12)
‘intended purpose’ means the use for which an AI system is intended by the provider, including the specific context and conditions of use, as specified in the information supplied by the provider in the instructions for use, promotional or sales materials and statements, as well as in the technical documentation;
12)
„предназначение“ означава използването, за което е предназначена една система с ИИ от доставчика, включително конкретният контекст и условия на използване, посочени в информацията, предоставена от доставчика в инструкциите за употреба, рекламните или търговските материали и твърдения, както и в техническата документация;
(13)
‘reasonably foreseeable misuse’ means the use of an AI system in a way that is not in accordance with its intended purpose, but which may result from reasonably foreseeable human behaviour or interaction with other systems, including other AI systems;
13)
„разумно предвидима неправилна експлоатация“ означава използването на система с ИИ по начин, който не е в съответствие с нейното предназначение, но е възможно да бъде резултат от разумно предвидимо човешко поведение или от взаимодействие с други системи, включително други системи с ИИ;
(14)
‘safety component’ means a component of a product or of an AI system which fulfils a safety function for that product or AI system, or the failure or malfunctioning of which endangers the health and safety of persons or property;
14)
„защѝтен елемент“ означава компонент на продукт или система с ИИ, който осигурява функция, свързана с безопасността, за този продукт или тази система с ИИ или чиято неизправност или лошо функциониране поставя в опасност здравето и безопасността на хора или имущество;
(15)
‘instructions for use’ means the information provided by the provider to inform the deployer of, in particular, an AI system’s intended purpose and proper use;
15)
„инструкции за употреба“ означава информацията, която доставчикът предоставя с цел да информира внедрителя по-специално за предназначението и правилното използване на дадена система с ИИ;
(16)
‘recall of an AI system’ means any measure aiming to achieve the return to the provider or taking out of service or disabling the use of an AI system made available to deployers;
16)
„изземване на система с ИИ“ означава всяка мярка, целяща да постигне връщане на доставчика, извеждане от действие или блокиране на използването на система с ИИ, която е предоставена на внедрителите;
(17)
‘withdrawal of an AI system’ means any measure aiming to prevent an AI system in the supply chain being made available on the market;
17)
„изтегляне на система с ИИ“ означава всяка мярка, целяща да предотврати предоставянето на пазара на система с ИИ, която е във веригата на доставки;
(18)
‘performance of an AI system’ means the ability of an AI system to achieve its intended purpose;
18)
„действие на система с ИИ“ означава способността на дадена система с ИИ да изпълнява предназначението си;
(19)
‘notifying authority’ means the national authority responsible for setting up and carrying out the necessary procedures for the assessment, designation and notification of conformity assessment bodies and for their monitoring;
19)
„нотифициращ орган“ означава националният орган, отговорен за въвеждането и извършването на процедурите, необходими за оценката, определянето и нотифицирането на органи за оценяване на съответствието и за провеждането на мониторинг по отношение на тях;
(20)
‘conformity assessment’ means the process of demonstrating whether the requirements set out in Chapter III, Section 2 relating to a high-risk AI system have been fulfilled;
20)
„оценяване на съответствието“ означава процесът на доказване дали са изпълнени изискванията, установени в глава III, раздел 2 по отношение на дадена високорискова система с ИИ;
(21)
‘conformity assessment body’ means a body that performs third-party conformity assessment activities, including testing, certification and inspection;
21)
„орган за оценяване на съответствието“ означава орган, който осъществява дейности по оценяване на съответствието от трето лице, включително изпитване, сертификация и контрол;
(22)
‘notified body’ means a conformity assessment body notified in accordance with this Regulation and other relevant Union harmonisation legislation;
22)
„нотифициран орган“ означава орган за оценяване на съответствието, нотифициран съгласно настоящия регламент и друго приложимо законодателство на Съюза за хармонизация;
(23)
‘substantial modification’ means a change to an AI system after its placing on the market or putting into service which is not foreseen or planned in the initial conformity assessment carried out by the provider and as a result of which the compliance of the AI system with the requirements set out in Chapter III, Section 2 is affected or results in a modification to the intended purpose for which the AI system has been assessed;
23)
„съществено изменение“ означава промяна в дадена система с ИИ след пускането ѝ на пазара или пускането ѝ в действие, която не е предвидена или планирана в първоначалното оценяване на съответствието от доставчика и в резултат на която се засяга съответствието на системата с ИИ с изискванията, установени в глава III, раздел 2, или която води до изменение на предназначението, за което е била оценена системата с ИИ;
(24)
‘CE marking’ means a marking by which a provider indicates that an AI system is in conformity with the requirements set out in Chapter III, Section 2 and other applicable Union harmonisation legislation providing for its affixing;
24)
„маркировка „СЕ““ означава маркировка, чрез която доставчикът указва, че дадена система с ИИ е в съответствие с изискванията, установени в глава III, раздел 2 от настоящия регламент и в друго приложимо законодателство на Съюза за хармонизация, предвиждащо нанасянето на тази маркировка;
(25)
‘post-market monitoring system’ means all activities carried out by providers of AI systems to collect and review experience gained from the use of AI systems they place on the market or put into service for the purpose of identifying any need to immediately apply any necessary corrective or preventive actions;
25)
„система за мониторинг след пускането на пазара“ означава всички дейности, извършвани от доставчиците на системи с ИИ с цел събиране и преглед на опита, натрупан при използването на системите с ИИ, които са пуснали на пазара или пуснали в действие, с оглед на установяване на евентуална необходимост от незабавно прилагане на всякакви необходими коригиращи или превантивни действия;
(26)
‘market surveillance authority’ means the national authority carrying out the activities and taking the measures pursuant to Regulation (EU) 2019/1020;
26)
„орган за надзор на пазара“ означава националният орган, който извършва дейностите и предприема мерките съгласно Регламент (ЕС) 2019/1020;
(27)
‘harmonised standard’ means a harmonised standard as defined in Article 2(1), point (c), of Regulation (EU) No 1025/2012;
27)
„хармонизиран стандарт“ означава хармонизиран стандарт съгласно определението в член 2, параграф 1, буква в) от Регламент (ЕС) № 1025/2012;
(28)
‘common specification’ means a set of technical specifications as defined in Article 2, point (4) of Regulation (EU) No 1025/2012, providing means to comply with certain requirements established under this Regulation;
28)
„обща спецификация“ означава набор от технически спецификации съгласно определението в член 2, точка 4 от Регламент (ЕС) № 1025/2012, даващи възможност да се постигне съответствие с определени изисквания, установени съгласно настоящия регламент;
(29)
‘training data’ means data used for training an AI system through fitting its learnable parameters;
29)
„обучителни данни“ означава данни, използвани за обучение на система с ИИ чрез настройка на нейните обучавани параметри;
(30)
‘validation data’ means data used for providing an evaluation of the trained AI system and for tuning its non-learnable parameters and its learning process in order, inter alia, to prevent underfitting or overfitting;
30)
„валидационни данни“ означава данни, използвани за осигуряване на оценка на обучената система с ИИ и за настройка на нейните необучавани параметри и на обучителния ѝ процес с цел, наред с другото, да се предотврати недостатъчно или прекомерно настройване;
(31)
‘validation data set’ means a separate data set or part of the training data set, either as a fixed or variable split;
31)
„набор от валидационни данни“ означава отделен набор от данни или част от набора обучителни данни под формата на фиксирано или променливо разделяне на данните;
(32)
‘testing data’ means data used for providing an independent evaluation of the AI system in order to confirm the expected performance of that system before its placing on the market or putting into service;
32)
„изпитвателни данни“ означава данни, използвани за извършване на независима оценка на системата с ИИ с цел потвърждаване на очакваното действие на тази система преди пускането ѝ на пазара или пускането й в действие;
(33)
‘input data’ means data provided to or directly acquired by an AI system on the basis of which the system produces an output;
33)
„входящи данни“ означава данни, предоставяни на система с ИИ или пряко придобивани от нея, въз основа на които системата произвежда резултат;
(34)
‘biometric data’ means personal data resulting from specific technical processing relating to the physical, physiological or behavioural characteristics of a natural person, such as facial images or dactyloscopic data;
34)
„биометрични данни“ означава лични данни, получени в резултат на специфично техническо обработване, които са свързани с физическите, физиологичните или поведенческите характеристики на дадено физическо лице, например лицеви изображения или дактилоскопични данни;
(35)
‘biometric identification’ means the automated recognition of physical, physiological, behavioural, or psychological human features for the purpose of establishing the identity of a natural person by comparing biometric data of that individual to biometric data of individuals stored in a database;
35)
„биометрична идентификация“ означава автоматизирано разпознаване на физически, физиологични, поведенчески и психологически човешки характеристики с цел установяване на самоличността на дадено физическо лице чрез съпоставяне на биометрични данни на това лице с биометрични данни на лица, съхранявани в база данни;
(36)
‘biometric verification’ means the automated, one-to-one verification, including authentication, of the identity of natural persons by comparing their biometric data to previously provided biometric data;
36)
„биометрична проверка“ означава автоматизирана проверка „едно към едно“, включително удостоверяване, на самоличността на физически лица чрез съпоставяне на техните биометрични данни с предварително предоставени биометрични данни;
(37)
‘special categories of personal data’ means the categories of personal data referred to in Article 9(1) of Regulation (EU) 2016/679, Article 10 of Directive (EU) 2016/680 and Article 10(1) of Regulation (EU) 2018/1725;
37)
„специални категории лични данни“ означава категориите лични данни, посочени в член 9, параграф 1 от Регламент (ЕС) 2016/679, член 10 от Директива (ЕС) 2016/680 и член 10, параграф 1 от Регламент (ЕС) 2018/1725;
(38)
‘sensitive operational data’ means operational data related to activities of prevention, detection, investigation or prosecution of criminal offences, the disclosure of which could jeopardise the integrity of criminal proceedings;
38)
„чувствителни оперативни данни“ означава оперативни данни, свързани с дейности по предотвратяване, откриване, разследване и наказателно преследване на престъпления, разкриването на които може да застраши независимостта на наказателните производства;
(39)
‘emotion recognition system’ means an AI system for the purpose of identifying or inferring emotions or intentions of natural persons on the basis of their biometric data;
39)
„система за разпознаване на емоции“ означава система с ИИ, чието предназначение е да определя или да прави заключения за емоциите или намеренията на физически лица на базата на техните биометрични данни;
(40)
‘biometric categorisation system’ means an AI system for the purpose of assigning natural persons to specific categories on the basis of their biometric data, unless it is ancillary to another commercial service and strictly necessary for objective technical reasons;
40)
„система за биометрично категоризиране“ означава система с ИИ, предназначена да отнася физически лица към конкретни категории въз основа на техните биометрични данни, освен когато тази система е чисто спомагателна по отношение на друга търговска услуга и е строго необходима по обективни технически причини;
(41)
‘remote biometric identification system’ means an AI system for the purpose of identifying natural persons, without their active involvement, typically at a distance through the comparison of a person’s biometric data with the biometric data contained in a reference database;
41)
„система за дистанционна биометрична идентификация“ означава система с ИИ, предназначена да идентифицира физически лица обикновено от разстояние, без тяхното активно участие, чрез съпоставяне на биометричните данни на дадено лице с биометричните данни, съдържащи се в референтно хранилище на данни;
(42)
‘real-time remote biometric identification system’ means a remote biometric identification system, whereby the capturing of biometric data, the comparison and the identification all occur without a significant delay, comprising not only instant identification, but also limited short delays in order to avoid circumvention;
42)
„система за дистанционна биометрична идентификация в реално време“ означава система за дистанционна биометрична идентификация, при която снемането на биометрични данни, съпоставянето и идентификацията се осъществяват без значително забавяне, включваща не само незабавното идентифициране, но и ограничени кратки забавяния с цел предотвратяване на заобикаляне на системата;
(43)
‘post-remote biometric identification system’ means a remote biometric identification system other than a real-time remote biometric identification system;
43)
„система за последваща дистанционна биометрична идентификация“ означава система за дистанционна биометрична идентификация, различна от система за дистанционна биометрична идентификация в реално време;
(44)
‘publicly accessible space’ means any publicly or privately owned physical place accessible to an undetermined number of natural persons, regardless of whether certain conditions for access may apply, and regardless of the potential capacity restrictions;
44)
„обществено достъпно място“ означава всяко физическо място, което е публична или частна собственост и е достъпно за неопределен брой физически лица, независимо от прилагането на определени условия за достъп и независимо от евентуални ограничения на капацитета;
(45)
‘law enforcement authority’ means:
45)
„правоохранителен орган“ означава:
(a)
any public authority competent for the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, including the safeguarding against and the prevention of threats to public security; or
a)
всеки публичен орган, който има правомощия за предотвратяване, разследване, откриване или наказателно преследване на престъпления или за изпълнение на наказателноправни санкции, включително за предпазване от заплахи за обществената сигурност и тяхното предотвратяване; или
(b)
any other body or entity entrusted by Member State law to exercise public authority and public powers for the purposes of the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, including the safeguarding against and the prevention of threats to public security;
б)
всяка друга организация или субект, на която или на който съгласно правото на държава членка е възложено да упражнява публична власт и публични правомощия за целите на предотвратяването, разследването, откриването или наказателното преследване на престъпления или изпълнението на наказателноправни санкции, включително предпазването от заплахи за обществената сигурност и тяхното предотвратяване;
(46)
‘law enforcement’ means activities carried out by law enforcement authorities or on their behalf for the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, including safeguarding against and preventing threats to public security;
46)
„правоохранителна дейност“ означава действия, извършвани от правоохранителните органи или от тяхно име за предотвратяване, разследване, откриване или наказателно преследване на престъпления или за изпълнение на наказателноправни санкции, включително за предпазване от заплахи за обществената сигурност и тяхното предотвратяване;
(47)
‘AI Office’ means the Commission’s function of contributing to the implementation, monitoring and supervision of AI systems and general-purpose AI models, and AI governance, provided for in Commission Decision of 24 January 2024; references in this Regulation to the AI Office shall be construed as references to the Commission;
47)
„Служба по ИИ“ означава функцията на Комисията да допринася за прилагането, мониторинга и надзора на системите с ИИ и моделите на ИИ с общо предназначение и управлението на ИИ, предвидена в Решение на Комисията от 24 януари 2024 г.; позоваванията на Службата по ИИ в настоящия регламент се разбират като позовавания на Комисията;
(48)
‘national competent authority’ means a notifying authority or a market surveillance authority; as regards AI systems put into service or used by Union institutions, agencies, offices and bodies, references to national competent authorities or market surveillance authorities in this Regulation shall be construed as references to the European Data Protection Supervisor;
48)
„национален компетентен орган“ означава нотифициращ орган или орган за надзор на пазара; по отношение на системите с ИИ, пуснати в действие или използвани от институциите, агенциите, службите и органите на Съюза, всяко позоваване на националните компетентни органи или органите за надзор на пазара в настоящия регламент се тълкува като позоваване на Европейския надзорен орган по защита на данните;
(49)
‘serious incident’ means an incident or malfunctioning of an AI system that directly or indirectly leads to any of the following:
49)
„сериозен инцидент“ означава всеки инцидент или неизправност на система с ИИ, който или която пряко или косвено води до някоя от следните последици:
(a)
the death of a person, or serious harm to a person’s health;
a)
смъртта на човек или сериозно увреждане на здравето на човек;
(b)
a serious and irreversible disruption of the management or operation of critical infrastructure;
б)
сериозно и необратимо нарушаване на управлението и експлоатацията на критична инфраструктура;
(c)
the infringement of obligations under Union law intended to protect fundamental rights;
в)
нарушение на задължения съгласно правото на Съюза, имащи за цел да защитава основните права;
(d)
serious harm to property or the environment;
г)
сериозно увреждане на имущество или на околната среда;
(50)
‘personal data’ means personal data as defined in Article 4, point (1), of Regulation (EU) 2016/679;
50)
„лични данни“ означава лични данни съгласно определението в член 4, точка 1 от Регламент (EС) 2016/679;
(51)
‘non-personal data’ means data other than personal data as defined in Article 4, point (1), of Regulation (EU) 2016/679;
51)
„нелични данни“ означава данни, различни от личните данни съгласно определението в член 4, точка 1 от Регламент (ЕС) 2016/679;
(52)
‘profiling’ means profiling as defined in Article 4, point (4), of Regulation (EU) 2016/679;
52)
„профилиране“ означава профилиране съгласно определението в член 4, точка 4 от Регламент (ЕС) 2016/679;
(53)
‘real-world testing plan’ means a document that describes the objectives, methodology, geographical, population and temporal scope, monitoring, organisation and conduct of testing in real-world conditions;
53)
„план за изпитване в реални условия“ означава документ, в който се описват целите, методиката, териториалният, демографският и времевият обхват, мониторингът, организацията и провеждането на изпитвания в реални условия;
(54)
‘sandbox plan’ means a document agreed between the participating provider and the competent authority describing the objectives, conditions, timeframe, methodology and requirements for the activities carried out within the sandbox;
54)
„план за лабораторията“ означава документ, договорен между участващия доставчик и компетентния орган, в който се описват целите, условията, графикът, методиката и изискванията по отношение на дейностите, извършвани в рамките на лабораторията;
(55)
‘AI regulatory sandbox’ means a controlled framework set up by a competent authority which offers providers or prospective providers of AI systems the possibility to develop, train, validate and test, where appropriate in real-world conditions, an innovative AI system, pursuant to a sandbox plan for a limited time under regulatory supervision;
55)
„регулаторна лаборатория в областта на ИИ“ означава контролирана рамка, създадена от компетентен орган, която осигурява на доставчиците или потенциалните доставчици на системи с ИИ възможност да разработват, обучават, валидират и изпитват, когато е целесъобразно в реални условия, иновативна система с ИИ, съгласно плана за лабораторията и в рамките на ограничен срок под регулаторен надзор;
(56)
‘AI literacy’ means skills, knowledge and understanding that allow providers, deployers and affected persons, taking into account their respective rights and obligations in the context of this Regulation, to make an informed deployment of AI systems, as well as to gain awareness about the opportunities and risks of AI and possible harm it can cause;
56)
„грамотност в областта на ИИ“ означава уменията, знанията и разбирането, благодарение на които доставчиците, внедрителите и засегнатите лица — като се отчитат съответните им права и задължения в контекста на настоящия регламент — могат да внедряват системи с ИИ по информиран начин, както и да се осведомяват за възможностите и рисковете, свързани с ИИ, и за евентуалните вреди, които той може да причини;
(57)
‘testing in real-world conditions’ means the temporary testing of an AI system for its intended purpose in real-world conditions outside a laboratory or otherwise simulated environment, with a view to gathering reliable and robust data and to assessing and verifying the conformity of the AI system with the requirements of this Regulation and it does not qualify as placing the AI system on the market or putting it into service within the meaning of this Regulation, provided that all the conditions laid down in Article 57 or 60 are fulfilled;
57)
„изпитване в реални условия“ означава временното изпитване на система с ИИ в съответствие с нейното предназначение в реални условия извън лаборатория или симулирана по друг начин среда с цел събиране на надеждни и солидни данни и оценяване и проверка на съответствието на системата с ИИ с изискванията на настоящия регламент, като това не се счита за пускане на системата с ИИ на пазара или за пускането ѝ в действие по смисъла на настоящия регламент, при условие че са изпълнени всички условия, посочени в член 57 или 60;
(58)
‘subject’, for the purpose of real-world testing, means a natural person who participates in testing in real-world conditions;
58)
„субект в изпитване“ за целите на изпитването в реални условия означава физическо лице, което участва в изпитване в реални условия;
(59)
‘informed consent’ means a subject’s freely given, specific, unambiguous and voluntary expression of his or her willingness to participate in a particular testing in real-world conditions, after having been informed of all aspects of the testing that are relevant to the subject’s decision to participate;
59)
„информирано съгласие“ означава свободно, конкретно, недвусмислено и доброволно изразяване от страна на даден субект в изпитване на готовността му да участва в определено изпитване в реални условия, след като е бил информиран за всички аспекти на изпитването, които са от значение за решението за участие на субекта в изпитването;
(60)
‘deep fake’ means AI-generated or manipulated image, audio or video content that resembles existing persons, objects, places, entities or events and would falsely appear to a person to be authentic or truthful;
60)
„убедителен фалшификат“ означава генерирано или обработено изображение, аудио- или видео съдържание, което наподобява съществуващи лица, предмети, места, субекти или събития и създава погрешно впечатление у дадено лице, че е автентично или достоверно;
(61)
‘widespread infringement’ means any act or omission contrary to Union law protecting the interest of individuals, which:
61)
„широко разпространено нарушение“ означава всяко действие или бездействие, което е в разрез с правото на Съюза за защита на интересите на физическите лица и което:
(a)
has harmed or is likely to harm the collective interests of individuals residing in at least two Member States other than the Member State in which:
a)
е увредило или има вероятност да увреди колективните интереси на физически лица, пребиваващи в най-малко две държави членки, различни от държавата членка, в която:
(i)
the act or omission originated or took place;
i)
е започнало или е извършено действието или бездействието;
(ii)
the provider concerned, or, where applicable, its authorised representative is located or established; or
ii)
е установен или се намира съответният доставчик или, когато е приложимо, неговият упълномощен представител; или
(iii)
the deployer is established, when the infringement is committed by the deployer;
iii)
е установен внедрителят, когато нарушението е извършено от внедрителя;
(b)
has caused, causes or is likely to cause harm to the collective interests of individuals and has common features, including the same unlawful practice or the same interest being infringed, and is occurring concurrently, committed by the same operator, in at least three Member States;
б)
е увредило, уврежда или има вероятност да увреди колективните интереси на физически лица, има общи характеристики, включително едни и същи незаконни практики или нарушаване на едни и същи интереси, и се проявява едновременно, като се извършва от един и същи оператор в най-малко три държави членки;
(62)
‘critical infrastructure’ means critical infrastructure as defined in Article 2, point (4), of Directive (EU) 2022/2557;
62)
„критична инфраструктура“ означава критична инфраструктура съгласно определението в член 2, точка 4 от Директива (ЕС) 2022/2557;
(63)
‘general-purpose AI model’ means an AI model, including where such an AI model is trained with a large amount of data using self-supervision at scale, that displays significant generality and is capable of competently performing a wide range of distinct tasks regardless of the way the model is placed on the market and that can be integrated into a variety of downstream systems or applications, except AI models that are used for research, development or prototyping activities before they are placed on the market;
63)
„модел на ИИ с общо предназначение“ означава модел на ИИ, включително когато такъв модел е обучен с голямо количество данни, като се използва самонадзор в голям мащаб, който има до голяма степен общ характер и е в състояние компетентно да изпълнява широк набор от отделни задачи, независимо от начина на пускане на модела на пазара, и който може да бъде интегриран в различни системи или приложения надолу по веригата, с изключение на моделите на ИИ, използвани за научноизследователски и развойни дейности и като прототипи преди пускането им на пазара;
(64)
‘high-impact capabilities’ means capabilities that match or exceed the capabilities recorded in the most advanced general-purpose AI models;
64)
„способности с висока степен на въздействие“ означава способности, които съответстват на или надхвърлят способностите, регистрирани в най-напредналите модели на ИИ с общо предназначение;
(65)
‘systemic risk’ means a risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact on the Union market due to their reach, or due to actual or reasonably foreseeable negative effects on public health, safety, public security, fundamental rights, or the society as a whole, that can be propagated at scale across the value chain;
65)
„системен риск“ означава риск, присъщ за способностите с висока степен на въздействие на моделите на ИИ с общо предназначение, които оказват значително въздействие върху пазара на Съюза поради своя обхват или поради реалните си или разумно предвидими отрицателни последици върху общественото здраве, безопасността, обществената сигурност, основните права или обществото като цяло, който може да се разпространи в голям мащаб по цялата верига за създаване на стойност;
(66)
‘general-purpose AI system’ means an AI system which is based on a general-purpose AI model and which has the capability to serve a variety of purposes, both for direct use as well as for integration in other AI systems;
66)
„система с ИИ с общо предназначение“ означава система с ИИ, основана на модел на ИИ с общо предназначение, която може да служи за различни цели и може да се използва пряко, както и да се интегрира в други системи с ИИ;
(67)
‘floating-point operation’ means any mathematical operation or assignment involving floating-point numbers, which are a subset of the real numbers typically represented on computers by an integer of fixed precision scaled by an integer exponent of a fixed base;
67)
„операция с плаваща запетая“ означава всяка математическа операция или присвояване, включващи числа с плаваща запетая, които са подмножество на реалните числа и при компютрите обикновено се представят чрез цяло число с фиксирана точност, мащабирано с цял експонент с фиксирана основа;
(68)
‘downstream provider’ means a provider of an AI system, including a general-purpose AI system, which integrates an AI model, regardless of whether the AI model is provided by themselves and vertically integrated or provided by another entity based on contractual relations.
68)
„доставчик надолу по веригата“ означава доставчик на система с ИИ, включително на система с ИИ с общо предназначение, която включва модел на ИИ, независимо дали моделът на ИИ се предоставя от самия него и е вертикално интегриран, или се предоставя от друг субект въз основа на договорни отношения.
Article 4
Член 4
AI literacy
Грамотност в областта на ИИ
Providers and deployers of AI systems shall take measures to ensure, to their best extent, a sufficient level of AI literacy of their staff and other persons dealing with the operation and use of AI systems on their behalf, taking into account their technical knowledge, experience, education and training and the context the AI systems are to be used in, and considering the persons or groups of persons on whom the AI systems are to be used.
Доставчиците и внедрителите на системи с ИИ предприемат всички възможни мерки, за да гарантират достатъчно ниво на грамотност в областта на ИИ на техния персонал и другите лица, занимаващи се с функционирането и използването на системите с ИИ от тяхно име, като отчитат техните технически познания, опит, образование и обучение, както и контекста, в който ще се използват системите с ИИ, и вземат предвид лицата или групите лица, по отношение на които ще се използват системите с ИИ.
CHAPTER II
ГЛАВА II
PROHIBITED AI PRACTICES
ЗАБРАНЕНИ ПРАКТИКИ
Article 5
Член 5
Prohibited AI practices
Забранени практики в областта на ИИ
1. The following AI practices shall be prohibited:
1. Забраняват се следните практики в областта на ИИ:
(a)
the placing on the market, the putting into service or the use of an AI system that deploys subliminal techniques beyond a person’s consciousness or purposefully manipulative or deceptive techniques, with the objective, or the effect of materially distorting the behaviour of a person or a group of persons by appreciably impairing their ability to make an informed decision, thereby causing them to take a decision that they would not have otherwise taken in a manner that causes or is reasonably likely to cause that person, another person or group of persons significant harm;
a)
пускането на пазара, пускането в действие или използването на система с ИИ, която си служи със техники, действащи на подсъзнанието и отвъд рамките на съзнаваното от човека, или с умишлено манипулативни или измамни техники, с цел или последици, изразяващи се в съществено изменение на поведението на дадено лице или група лица чрез значително нарушаване на способността за вземане на информирано решение, като по този начин се подтиква да вземе решение, което в противен случай не би взело, по начин, който причинява или има разумна вероятност да причини значителни вреди на същото или на друго лице, или на група лица;
(b)
the placing on the market, the putting into service or the use of an AI system that exploits any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability or a specific social or economic situation, with the objective, or the effect, of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm;
б)
пускането на пазара, пускането в действие или използването на система с ИИ, която използва някое от уязвимите места на дадено физическо лице или на конкретна група лица, дължащи се на възраст, увреждане или конкретно социално или икономическо положение, с цел или последици, изразяващи се в съществено изменение на поведението на това лице или на лице, спадащо към тази група, по начин, който причинява или има разумна вероятност да причини значителни вреди на същото или на друго лице;
(c)
the placing on the market, the putting into service or the use of AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following:
в)
пускането на пазара, пускането в действие или използването на системи с ИИ с цел оценка или класифициране на физически лица или групи от лица през определен период от време въз основа на тяхното социално поведение или известни, изведени или предполагаеми лични или личностни характеристики, като социалната класация води до едната или и до двете посочени по-долу последици:
(i)
detrimental or unfavourable treatment of certain natural persons or groups of persons in social contexts that are unrelated to the contexts in which the data was originally generated or collected;
i)
увреждащо или неблагоприятно третиране на определени физически лица или на групи лица в социален контекст, който няма връзка с контекста, в който първоначално са били генерирани или събрани данните;
(ii)
detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity;
ii)
увреждащо или неблагоприятно третиране на определени физически лица или на групи лица, което е неоправдано или непропорционално с оглед на тяхното социално поведение или на тежестта, която му се отдава;
(d)
the placing on the market, the putting into service for this specific purpose, or the use of an AI system for making risk assessments of natural persons in order to assess or predict the risk of a natural person committing a criminal offence, based solely on the profiling of a natural person or on assessing their personality traits and characteristics; this prohibition shall not apply to AI systems used to support the human assessment of the involvement of a person in a criminal activity, which is already based on objective and verifiable facts directly linked to a criminal activity;
г)
пускането на пазара, пускането в действие с това конкретно предназначение или използването на система с ИИ за извършване на оценки на риска по отношение на физически лица с цел да се прецени или предвиди вероятността дадено физическо лице да извърши престъпление, въз основа единствено на профилирането на дадено физическо лице или на оценката на личностните му черти и характеристики; тази забрана не се прилага за системи с ИИ, използвани за подпомагане на извършването от човек на оценка на участието на дадено лице в престъпна дейност, която вече е изградена на основата на обективни и проверими факти, пряко свързани с престъпна дейност;
(e)
the placing on the market, the putting into service for this specific purpose, or the use of AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage;
д)
пускането на пазара, пускането в действие с това конкретно предназначение или използването на системи с ИИ, които създават или разширяват бази данни за разпознаване на лица чрез нецеленасочено извличане на лицеви изображения от интернет или записи от видеонаблюдение;
(f)
the placing on the market, the putting into service for this specific purpose, or the use of AI systems to infer emotions of a natural person in the areas of workplace and education institutions, except where the use of the AI system is intended to be put in place or into the market for medical or safety reasons;
е)
пускането на пазара, пускането в действие с това конкретно предназначение или използването на системи с ИИ с цел да се направят заключения за емоциите на дадено физическо лице на работното място или в образователните институции, освен в случаите, когато системата с ИИ е предназначена да бъде внедрена или пусната на пазара по медицински съображения или съображения, свързани с безопасността;
(g)
the placing on the market, the putting into service for this specific purpose, or the use of biometric categorisation systems that categorise individually natural persons based on their biometric data to deduce or infer their race, political opinions, trade union membership, religious or philosophical beliefs, sex life or sexual orientation; this prohibition does not cover any labelling or filtering of lawfully acquired biometric datasets, such as images, based on biometric data or categorizing of biometric data in the area of law enforcement;
ж)
пускането на пазара, пускането в действие с това конкретно предназначение или използването на системи за биометрично категоризиране, които категоризират по индивидуализиран начин физическите лица въз основа на техните биометрични данни с цел да се направят заключения или логически изводи за тяхната раса, политически възгледи, членство в синдикални организации, религиозни или философски убеждения, сексуален живот или сексуална ориентация; тази забрана не обхваща обозначаването или филтрирането на законно придобити набори от биометрични данни, например основани на биометрични данни изображения, или категоризиране на биометрични данни в правоохранителната област;
(h)
the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement, unless and in so far as such use is strictly necessary for one of the following objectives:
з)
използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели, освен ако и доколкото такова използване е строго необходимо за една от следните цели:
(i)
the targeted search for specific victims of abduction, trafficking in human beings or sexual exploitation of human beings, as well as the search for missing persons;
i)
целево издирване на конкретни жертви на отвличане, трафик на хора и сексуална експлоатация на хора, както и издирване на изчезнали лица;
(ii)
the prevention of a specific, substantial and imminent threat to the life or physical safety of natural persons or a genuine and present or genuine and foreseeable threat of a terrorist attack;
ii)
предотвратяване на конкретна, значителна и непосредствена заплаха за живота или физическата безопасност на физически лица или на действителна и настояща или действителна и предвидима заплаха от терористично нападение;
(iii)
the localisation or identification of a person suspected of having committed a criminal offence, for the purpose of conducting a criminal investigation or prosecution or executing a criminal penalty for offences referred to in Annex II and punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years.
iii)
установяване на местонахождението или самоличността на лице, заподозряно в извършването на престъпление, за целите на провеждането на разследване или наказателно преследване или на изпълнението на наказание за престъпления, посочени в приложение II и наказуеми в съответната държава членка с лишаване от свобода или мярка за задържане с максимален срок не по-малко от четири години.
Point (h) of the first subparagraph is without prejudice to Article 9 of Regulation (EU) 2016/679 for the processing of biometric data for purposes other than law enforcement.
Първа алинея, буква з) не засяга член 9 от Регламент (ЕС) 2016/679 за обработването на биометрични данни за цели, различни от правоохранителни цели.
2. The use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), shall be deployed for the purposes set out in that point only to confirm the identity of the specifically targeted individual, and it shall take into account the following elements:
2. Използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели за която и да е от целите, посочени в параграф 1, първа алинея, буква з), се извършва за целите, посочени в същата буква, само с оглед на потвърждаването на самоличността на конкретно лице и при отчитане на следните елементи:
(a)
the nature of the situation giving rise to the possible use, in particular the seriousness, probability and scale of the harm that would be caused if the system were not used;
a)
естеството на ситуацията, която води до евентуалното използване, и по-специално тежестта, вероятността от настъпването и мащабът на вредата, която би била причинена, ако системата не се използва;
(b)
the consequences of the use of the system for the rights and freedoms of all persons concerned, in particular the seriousness, probability and scale of those consequences.
б)
последиците от използването на системата за правата и свободите на всички засегнати лица, и по-специално тежестта, вероятността от настъпването и мащабът на тези последици.
In addition, the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), of this Article shall comply with necessary and proportionate safeguards and conditions in relation to the use in accordance with the national law authorising the use thereof, in particular as regards the temporal, geographic and personal limitations. The use of the ‘real-time’ remote biometric identification system in publicly accessible spaces shall be authorised only if the law enforcement authority has completed a fundamental rights impact assessment as provided for in Article 27 and has registered the system in the EU database according to Article 49. However, in duly justified cases of urgency, the use of such systems may be commenced without the registration in the EU database, provided that such registration is completed without undue delay.
Освен това използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели за някоя от целите, посочени в параграф 1, първа алинея, буква з) от настоящия член, трябва да съответства на необходимите и пропорционални гаранции и условия за използване в съответствие с националното право, което допуска такова използване, и по-специално по отношение на времевите, териториалните ограничения и ограниченията по отношение на лицата. Използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места се разрешава само ако правоохранителният орган е извършил оценката на въздействието върху основните права, посочена в член 27, и е регистрирал системата в базата данни на ЕС в съответствие с член 49. В надлежно обосновани спешни случаи обаче използването на тези системи може да започне без регистрация в базата данни на ЕС, при условие че регистрацията бъде извършена без ненужно забавяне.
3. For the purposes of paragraph 1, first subparagraph, point (h) and paragraph 2, each use for the purposes of law enforcement of a ‘real-time’ remote biometric identification system in publicly accessible spaces shall be subject to a prior authorisation granted by a judicial authority or an independent administrative authority whose decision is binding of the Member State in which the use is to take place, issued upon a reasoned request and in accordance with the detailed rules of national law referred to in paragraph 5. However, in a duly justified situation of urgency, the use of such system may be commenced without an authorisation provided that such authorisation is requested without undue delay, at the latest within 24 hours. If such authorisation is rejected, the use shall be stopped with immediate effect and all the data, as well as the results and outputs of that use shall be immediately discarded and deleted.
3. За целите на параграф 1, първа алинея, буква з) и параграф 2, за всяко използване за правоохранителни цели на система за дистанционна биометрична идентификация в реално време на обществено достъпни места се изисква предварително разрешение, което се издава от съдебен орган или от независим административен орган, чието решение е задължително, на държавата членка, в която ще се осъществи използването, след получаване на мотивирано искане и в съответствие с подробните правила на националното право, посочени в параграф 5. В надлежно обосновани спешни случаи обаче използването на системата може да започне без разрешение, при условие че такова разрешение се поиска без ненужно забавяне, най-късно в рамките на 24 часа. Ако искането за разрешение бъде отхвърлено, използването се прекратява незабавно и всички данни, както и резултатите от това използване, незабавно се премахват и заличават.
The competent judicial authority or an independent administrative authority whose decision is binding shall grant the authorisation only where it is satisfied, on the basis of objective evidence or clear indications presented to it, that the use of the ‘real-time’ remote biometric identification system concerned is necessary for, and proportionate to, achieving one of the objectives specified in paragraph 1, first subparagraph, point (h), as identified in the request and, in particular, remains limited to what is strictly necessary concerning the period of time as well as the geographic and personal scope. In deciding on the request, that authority shall take into account the elements referred to in paragraph 2. No decision that produces an adverse legal effect on a person may be taken based solely on the output of the ‘real-time’ remote biometric identification system.
Компетентният съдебен орган или независим административен орган, чието решение е задължително, издава разрешението само ако въз основа на обективни доказателства или данни за ясни признаци, които са му представени, се убеди, че използването на въпросната система за дистанционна биометрична идентификация в реално време е необходимо и пропорционално за постигането на една от целите, посочени в параграф 1, първа алинея, буква з), която се посочва в искането, и по-специално се ограничава до строго необходимото по отношение на времевия и териториалния обхват и обхвата по отношение на лицата. Когато взема решение по искането, този орган взема предвид елементите, посочени в параграф 2. Не може да бъде взето решение, пораждащо неблагоприятни правни последици за дадено лице, единствено въз основа на резултата от системата за дистанционна биометрична идентификация в реално време.
4. Without prejudice to paragraph 3, each use of a ‘real-time’ remote biometric identification system in publicly accessible spaces for law enforcement purposes shall be notified to the relevant market surveillance authority and the national data protection authority in accordance with the national rules referred to in paragraph 5. The notification shall, as a minimum, contain the information specified under paragraph 6 and shall not include sensitive operational data.
4. Без да се засяга параграф 3, за всяко използване на система за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели се уведомяват съответният орган за надзор на пазара и националният орган за защита на данните в съответствие с националните правила, посочени в параграф 5. Уведомлението съдържа най-малко информацията, посочена в параграф 6, и не включва чувствителни оперативни данни.
5. A Member State may decide to provide for the possibility to fully or partially authorise the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement within the limits and under the conditions listed in paragraph 1, first subparagraph, point (h), and paragraphs 2 and 3. Member States concerned shall lay down in their national law the necessary detailed rules for the request, issuance and exercise of, as well as supervision and reporting relating to, the authorisations referred to in paragraph 3. Those rules shall also specify in respect of which of the objectives listed in paragraph 1, first subparagraph, point (h), including which of the criminal offences referred to in point (h)(iii) thereof, the competent authorities may be authorised to use those systems for the purposes of law enforcement. Member States shall notify those rules to the Commission at the latest 30 days following the adoption thereof. Member States may introduce, in accordance with Union law, more restrictive laws on the use of remote biometric identification systems.
5. Държава членка може да реши да предвиди възможността за пълно или частично разрешаване на използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели в рамките на ограниченията и при условията, изброени в параграф 1, първа алинея, буква з) и в параграфи 2 и 3. Съответните държави членки установяват в националното си право необходимите подробни правила за подаване на искания за разрешенията, посочени в параграф 3, за тяхното издаване и изпълнение, както и за надзора и докладването по отношение на тях. В тези правила се конкретизира също така по отношение на кои от целите, посочени в параграф 1, първа алинея, буква з), включително по отношение на кои престъпления, посочени в буква з), точка iii) от същата разпоредба, на компетентните органи може да бъде разрешено да използват тези системи за правоохранителни цели. Държавите членки съобщават на Комисията тези правила най-късно 30 дни след приемането им. Държавите членки могат да въведат, в съответствие с правото на Съюза, по-ограничителни законови разпоредби относно използването на системи за дистанционна биометрична идентификация.
6. National market surveillance authorities and the national data protection authorities of Member States that have been notified of the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for law enforcement purposes pursuant to paragraph 4 shall submit to the Commission annual reports on such use. For that purpose, the Commission shall provide Member States and national market surveillance and data protection authorities with a template, including information on the number of the decisions taken by competent judicial authorities or an independent administrative authority whose decision is binding upon requests for authorisations in accordance with paragraph 3 and their result.
6. Националните органи за надзор на пазара и националните органи за защита на данните на държавите членки, които са били уведомени за използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели съгласно параграф 4, представят на Комисията годишни доклади относно това използване. За тази цел Комисията осигурява на държавите членки и на националните органи за надзор на пазара и за защита на данните образец, включващ информация за броя на решенията, взети от компетентните съдебни органи или от независим административен орган, чието решение е задължително, по отношение на искания за разрешения в съответствие с параграф 3 и за резултатите от тях.
7. The Commission shall publish annual reports on the use of real-time remote biometric identification systems in publicly accessible spaces for law enforcement purposes, based on aggregated data in Member States on the basis of the annual reports referred to in paragraph 6. Those annual reports shall not include sensitive operational data of the related law enforcement activities.
7. Комисията публикува годишни доклади относно използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели на базата на обобщени данни в държавите членки, основани на посочените в параграф 6 годишни доклади. Тези годишни доклади не съдържат чувствителни оперативни данни от съответните правоохранителни дейности.
8. This Article shall not affect the prohibitions that apply where an AI practice infringes other Union law.
8. Настоящият член не засяга забраните, които се прилагат, когато дадена практика в областта на ИИ нарушава друго право на Съюза.
CHAPTER III
ГЛАВА III
HIGH-RISK AI SYSTEMS
ВИСОКОРИСКОВИ СИСТЕМИ С ИИ
SECTION 1
РАЗДЕЛ 1
Classification of AI systems as high-risk
Класифициране на системи с ИИ като високорискови
Article 6
Член 6
Classification rules for high-risk AI systems
Правила за класифициране на системи с ИИ като високорискови
1. Irrespective of whether an AI system is placed on the market or put into service independently of the products referred to in points (a) and (b), that AI system shall be considered to be high-risk where both of the following conditions are fulfilled:
1. Без оглед на това дали дадена система с ИИ се пуска на пазара или се пуска в действие независимо от продуктите, посочени в букви а) и б), тази система с ИИ се счита за високорискова, когато са изпълнени следните две условия:
(a)
the AI system is intended to be used as a safety component of a product, or the AI system is itself a product, covered by the Union harmonisation legislation listed in Annex I;
a)
системата с ИИ е предназначена да се използва като защѝтен елемент на продукт или самата система с ИИ е продукт, попадащ в обхвата на законодателството на Съюза за хармонизация, посочено в приложение I;
(b)
the product whose safety component pursuant to point (a) is the AI system, or the AI system itself as a product, is required to undergo a third-party conformity assessment, with a view to the placing on the market or the putting into service of that product pursuant to the Union harmonisation legislation listed in Annex I.
б)
продуктът, чийто защѝтен елемент съгласно буква а) е системата с ИИ, или самата система с ИИ като продукт трябва да премине оценяване на съответствието от трето лице с оглед на пускането на пазара или пускането в действие на посочения продукт в съответствие със законодателството на Съюза за хармонизация, посочено в приложение I.
2. In addition to the high-risk AI systems referred to in paragraph 1, AI systems referred to in Annex III shall be considered to be high-risk.
2. В допълнение към високорисковите системи с ИИ, посочени в параграф 1, за високорискови се считат и системите с ИИ, посочени в приложение III.
3. By derogation from paragraph 2, an AI system referred to in Annex III shall not be considered to be high-risk where it does not pose a significant risk of harm to the health, safety or fundamental rights of natural persons, including by not materially influencing the outcome of decision making.
3. Чрез дерогация от параграф 2, система с ИИ, посочена в приложение III, не се счита за високорискова, ако не представлява значителен риск от увреждане на здравето, безопасността или основните права на физическите лица, включително като не оказва съществено влияние върху резултата от вземането на решения.
The first subparagraph shall apply where any of the following conditions is fulfilled:
Първа алинея се прилага, когато е изпълнено някое от следните условия:
(a)
the AI system is intended to perform a narrow procedural task;
a)
системата с ИИ е предназначена да изпълнява точно формулирана процедурна задача;
(b)
the AI system is intended to improve the result of a previously completed human activity;
б)
системата с ИИ е предназначена да подобри резултата от извършена преди това човешка дейност;
(c)
the AI system is intended to detect decision-making patterns or deviations from prior decision-making patterns and is not meant to replace or influence the previously completed human assessment, without proper human review; or
в)
системата с ИИ е предназначена да открива модели за вземане на решения или отклонения от предходни модели за вземане на решения и не е предназначена да замени или повлияе на направената преди това човешка оценка, без да бъде извършен подходящ преглед от човек; или
(d)
the AI system is intended to perform a preparatory task to an assessment relevant for the purposes of the use cases listed in Annex III.
г)
системата с ИИ е предназначена да изпълнява подготвителна задача с оглед на извършването на оценка, която е от значение за целите на случаите на използване, посочени в приложение III.
Notwithstanding the first subparagraph, an AI system referred to in Annex III shall always be considered to be high-risk where the AI system performs profiling of natural persons.
Независимо от първа алинея, система с ИИ, посочена в приложение III, винаги се счита за високорискова, когато извършва профилиране на физически лица.
4. A provider who considers that an AI system referred to in Annex III is not high-risk shall document its assessment before that system is placed on the market or put into service. Such provider shall be subject to the registration obligation set out in Article 49(2). Upon request of national competent authorities, the provider shall provide the documentation of the assessment.
4. Доставчик, който счита, че дадена система с ИИ, посочена в приложение III, не е високорискова, документира своята оценка, преди тази система да бъде пусната на пазара или пусната в действие. За такъм доставчик се прилага задължението за регистрация, установено в член 49, параграф 2. При поискване от националните компетентни органи доставчикът предоставя документацията за оценката.
5. The Commission shall, after consulting the European Artificial Intelligence Board (the ‘Board’), and no later than 2 February 2026, provide guidelines specifying the practical implementation of this Article in line with Article 96 together with a comprehensive list of practical examples of use cases of AI systems that are high-risk and not high-risk.
5. Комисията, след консултация с Европейския съвет по изкуствен интелект (наричан по-долу „Съветът по ИИ“) и не по-късно от 2 февруари 2026 г., дава насоки, с които конкретизира практическото прилагане на настоящия член в съответствие с член 96, заедно с изчерпателен списък с практически примери за случаи на употреба на системи с ИИ, които са високорискови, и такива, които не са високорискови.
6. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend paragraph 3, second subparagraph, of this Article by adding new conditions to those laid down therein, or by modifying them, where there is concrete and reliable evidence of the existence of AI systems that fall under the scope of Annex III, but do not pose a significant risk of harm to the health, safety or fundamental rights of natural persons.
6. На Комисията се предоставя правомощието да приема делегирани актове в съответствие с член 97 за изменение на параграф 3, втора алинея от настоящия член чрез добавяне на нови условия към установените в посочената разпоредба или за изменението им, когато има конкретни и достоверни доказателства за наличието на системи с ИИ, които попадат в обхвата на приложение III, но не пораждат значителен риск от увреждане на здравето, безопасността или основните права на физическите лица.
7. The Commission shall adopt delegated acts in accordance with Article 97 in order to amend paragraph 3, second subparagraph, of this Article by deleting any of the conditions laid down therein, where there is concrete and reliable evidence that this is necessary to maintain the level of protection of health, safety and fundamental rights provided for by this Regulation.
7. Комисията приема делегирани актове в съответствие с член 97 за изменение на параграф 3, втора алинея от настоящия член чрез заличаване на някое от условията, установени в посочената разпоредба, когато има конкретни и достоверни доказателства, че това е необходимо за поддържането на равнището на защита на здравето, безопасността и основните права, предвидено в настоящия регламент.
8. Any amendment to the conditions laid down in paragraph 3, second subparagraph, adopted in accordance with paragraphs 6 and 7 of this Article shall not decrease the overall level of protection of health, safety and fundamental rights provided for by this Regulation and shall ensure consistency with the delegated acts adopted pursuant to Article 7(1), and take account of market and technological developments.
8. Приетите в съответствие с параграфи 6 и 7 от настоящия член изменения на условията, установени в параграф 3, втора алинея, не може да намаляват общото равнище на защита на здравето, безопасността и основните права, предвидено в настоящия регламент, трябва да осигуряват съгласуваност с делегираните актове, приети съгласно член 7, параграф 1, и да са съобразени с пазарното и технологичното развитие.
Article 7
Член 7
Amendments to Annex III
Изменения на приложение III
1. The Commission is empowered to adopt delegated acts in accordance with Article 97 to amend Annex III by adding or modifying use-cases of high-risk AI systems where both of the following conditions are fulfilled:
1. На Комисията се предоставя правомощието да приема делегирани актове в съответствие с член 97 за изменение на приложение III чрез добавяне на нови или изменение на случаите на употреба на високорискови системи с ИИ, когато са изпълнени следните две условия:
(a)
the AI systems are intended to be used in any of the areas listed in Annex III;
a)
системите с ИИ са предназначени за използване в някоя от областите, посочени в приложение III;
(b)
the AI systems pose a risk of harm to health and safety, or an adverse impact on fundamental rights, and that risk is equivalent to, or greater than, the risk of harm or of adverse impact posed by the high-risk AI systems already referred to in Annex III.
б)
системите с ИИ пораждат риск от увреждане на здравето и безопасността или риск от неблагоприятно въздействие върху основните права и този риск е равностоен или по-голям от риска от увреждане или неблагоприятно въздействие, породен от високорисковите системи с ИИ, които вече са посочени в приложение III.
2. When assessing the condition under paragraph 1, point (b), the Commission shall take into account the following criteria:
2. При оценката във връзка с условието по параграф 1, буква б), Комисията взема предвид следните критерии:
(a)
the intended purpose of the AI system;
a)
предназначението на системата с ИИ;
(b)
the extent to which an AI system has been used or is likely to be used;
б)
степента, в която дадена система с ИИ е била използвана или е вероятно да бъде използвана;
(c)
the nature and amount of the data processed and used by the AI system, in particular whether special categories of personal data are processed;
в)
естеството и количеството на данните, обработвани и използвани от системата с ИИ, и по-специално дали се обработват специални категории лични данни;
(d)
the extent to which the AI system acts autonomously and the possibility for a human to override a decision or recommendations that may lead to potential harm;
г)
степента, в която системата с ИИ действа автономно, и възможността човек да отхвърли решение или препоръки, които могат да доведат до евентуална вреда;
(e)
the extent to which the use of an AI system has already caused harm to health and safety, has had an adverse impact on fundamental rights or has given rise to significant concerns in relation to the likelihood of such harm or adverse impact, as demonstrated, for example, by reports or documented allegations submitted to national competent authorities or by other reports, as appropriate;
д)
степента, в която използването на система с ИИ вече е причинило увреждане на здравето и безопасността или е оказало неблагоприятно въздействие върху основните права, или е породило значителни опасения във връзка с вероятността от такова увреждане или неблагоприятно въздействие, като за това свидетелстват например доклади или документирани твърдения, представени на националните компетентни органи, или други доклади, когато е приложимо;
(f)
the potential extent of such harm or such adverse impact, in particular in terms of its intensity and its ability to affect multiple persons or to disproportionately affect a particular group of persons;
е)
потенциалната степен на такова увреждане или неблагоприятно въздействие, по-специално по отношение на неговия интензитет и способността му да засегне множество лица или да засегне несъразмерно конкретна група лица;
(g)
the extent to which persons who are potentially harmed or suffer an adverse impact are dependent on the outcome produced with an AI system, in particular because for practical or legal reasons it is not reasonably possible to opt-out from that outcome;
ж)
степента, в която лицата, които може да бъдат засегнати от увреждане или неблагоприятно въздействие, зависят от резултата, получен от дадена система с ИИ, по-специално тъй като поради практически или правни причини не е възможно в разумна степен да не използват този резултат;
(h)
the extent to which there is an imbalance of power, or the persons who are potentially harmed or suffer an adverse impact are in a vulnerable position in relation to the deployer of an AI system, in particular due to status, authority, knowledge, economic or social circumstances, or age;
з)
степента, в която съществува властово неравновесие или в която лицата, които може да бъдат засегнати от увреждане или неблагоприятно въздействие, се намират в уязвимо положение по отношение на внедрителя на система с ИИ, по-специално поради статус, авторитет, познания, икономическо или социално положение или възраст;
(i)
the extent to which the outcome produced involving an AI system is easily corrigible or reversible, taking into account the technical solutions available to correct or reverse it, whereby outcomes having an adverse impact on health, safety or fundamental rights, shall not be considered to be easily corrigible or reversible;
и)
степента, в която резултатът, получен с използването на система с ИИ, е лесно поправим или обратим, предвид наличните технически решения за неговата поправка или отхвърляне, при които резултатите, оказващи неблагоприятно въздействие върху здравето, безопасността или основните права, не се считат за лесно поправими или обратими;
(j)
the magnitude and likelihood of benefit of the deployment of the AI system for individuals, groups, or society at large, including possible improvements in product safety;
й)
мащаба и вероятната полза от внедряването на системата с ИИ за отделни лица, групи или обществото като цяло, включително възможни подобрения на безопасността на продуктите;
(k)
the extent to which existing Union law provides for:
к)
степента, в която в действащото право на Съюза са предвидени:
(i)
effective measures of redress in relation to the risks posed by an AI system, with the exclusion of claims for damages;
i)
ефективни мерки за правна защита във връзка с рисковете, произтичащи от дадена система с ИИ, с изключение на искове за обезщетение;
(ii)
effective measures to prevent or substantially minimise those risks.
ii)
ефективни мерки за предотвратяване или значително намаляване на тези рискове.
3. The Commission is empowered to adopt delegated acts in accordance with Article 97 to amend the list in Annex III by removing high-risk AI systems where both of the following conditions are fulfilled:
3. На Комисията се предоставя правомощието да приема делегирани актове в съответствие с член 97 за изменение на списъка в приложение III чрез заличаване на високорискови системи с ИИ, когато са изпълнени следните две условия:
(a)
the high-risk AI system concerned no longer poses any significant risks to fundamental rights, health or safety, taking into account the criteria listed in paragraph 2;
a)
съответната високорискова система с ИИ или системи с ИИ вече не поражда(т) значителен риск за основните права, здравето или безопасността предвид критериите, изброени в параграф 2;
(b)
the deletion does not decrease the overall level of protection of health, safety and fundamental rights under Union law.
б)
заличаването не намалява общото равнище на защитата на здравето, безопасността и основните права съгласно правото на Съюза.
SECTION 2
РАЗДЕЛ 2
Requirements for high-risk AI systems
Изисквания по отношение на високорисковите системи с ИИ
Article 8
Член 8
Compliance with the requirements
Съответствие с изискванията
1. High-risk AI systems shall comply with the requirements laid down in this Section, taking into account their intended purpose as well as the generally acknowledged state of the art on AI and AI-related technologies. The risk management system referred to in Article 9 shall be taken into account when ensuring compliance with those requirements.
1. Високорисковите системи с ИИ трябва да съответстват на изискванията, установени в настоящия раздел, като се взема предвид тяхното предназначение, както и общоприетите съвременни технически постижения в областта на ИИ и свързаните с ИИ технологии. При осигуряването на съответствие с тези изисквания се взема предвид системата за управление на риска, посочена в член 9.
2. Where a product contains an AI system, to which the requirements of this Regulation as well as requirements of the Union harmonisation legislation listed in Section A of Annex I apply, providers shall be responsible for ensuring that their product is fully compliant with all applicable requirements under applicable Union harmonisation legislation. In ensuring the compliance of high-risk AI systems referred to in paragraph 1 with the requirements set out in this Section, and in order to ensure consistency, avoid duplication and minimise additional burdens, providers shall have a choice of integrating, as appropriate, the necessary testing and reporting processes, information and documentation they provide with regard to their product into documentation and procedures that already exist and are required under the Union harmonisation legislation listed in Section A of Annex I.
2. Когато даден продукт съдържа система с ИИ, за която се прилагат изискванията на настоящия регламент, както и изискванията на законодателството на Съюза за хармонизация, посочено в раздел А от приложение I, доставчиците носят отговорност за осигуряване на пълното съответствие на продукта с всички приложими изисквания съгласно приложимото законодателство на Съюза за хармонизация. С оглед на осигуряване на съответствието на високорисковите системи с ИИ, посочени в параграф 1, с изискванията, установени в настоящия раздел, и с цел да се осигури съгласуваност, да се избегне дублиране и да се сведе до минимум допълнителната тежест, доставчиците могат да изберат да включат, когато е целесъобразно, необходимите процеси на изпитване и докладване, информация и документация, които предоставят за своя продукт, във вече съществуваща документация и процедури, изисквани съгласно законодателството на Съюза за хармонизация, посочено в раздел А от приложение I.
Article 9
Член 9
Risk management system
Система за управление на риска
1. A risk management system shall be established, implemented, documented and maintained in relation to high-risk AI systems.
1. Във връзка с високорисковите системи с ИИ се създава, прилага, документира и поддържа система за управление на риска.
2. The risk management system shall be understood as a continuous iterative process planned and run throughout the entire lifecycle of a high-risk AI system, requiring regular systematic review and updating. It shall comprise the following steps:
2. Системата за управление на риска се разбира като непрекъснат цикличен процес, планиран и протичащ през целия жизнен цикъл на високорисковата система с ИИ и изискващ редовен и систематичен преглед и актуализиране. Тя включва следните стъпки:
(a)
the identification and analysis of the known and the reasonably foreseeable risks that the high-risk AI system can pose to health, safety or fundamental rights when the high-risk AI system is used in accordance with its intended purpose;
a)
установяване и анализ на известните и разумно предвидимите рискове, които високорисковата система с ИИ може да породи по отношение на здравето, безопасността и основните права, когато високорисковата система с ИИ се използва в съответствие с предназначението си;
(b)
the estimation and evaluation of the risks that may emerge when the high-risk AI system is used in accordance with its intended purpose, and under conditions of reasonably foreseeable misuse;
б)
прогноза и оценка на рисковете, които могат да възникнат, когато високорисковата система с ИИ се използва в съответствие с предназначението си и в условия на разумно предвидима неправилна експлоатация;
(c)
the evaluation of other risks possibly arising, based on the analysis of data gathered from the post-market monitoring system referred to in Article 72;
в)
оценка на други евентуално възникващи рискове въз основа на анализ на данните, събрани от системата за мониторинг след пускането на пазара, посочена в член 72;
(d)
the adoption of appropriate and targeted risk management measures designed to address the risks identified pursuant to point (a).
г)
приемане на подходящи и целенасочени мерки за управление на риска, разработени с цел преодоляване на рисковете, установени съгласно буква а).
3. The risks referred to in this Article shall concern only those which may be reasonably mitigated or eliminated through the development or design of the high-risk AI system, or the provision of adequate technical information.
3. Рисковете, посочени в настоящия член, се отнасят само до тези, които могат да бъдат разумно ограничени или отстранени при разработването или проектирането на високорисковата система с ИИ или чрез предоставянето на подходяща техническа информация.
4. The risk management measures referred to in paragraph 2, point (d), shall give due consideration to the effects and possible interaction resulting from the combined application of the requirements set out in this Section, with a view to minimising risks more effectively while achieving an appropriate balance in implementing the measures to fulfil those requirements.
4. Мерките за управление на риска, посочени в параграф 2, буква г), трябва да са надлежно съобразени с последиците и възможното взаимодействие в резултат на съчетаното прилагане на изискванията, установени в настоящия раздел, с цел по-ефективното свеждане до минимум на рисковете, като същевременно се постигне подходящ баланс при прилагането на мерките за изпълнение на тези изисквания.
5. The risk management measures referred to in paragraph 2, point (d), shall be such that the relevant residual risk associated with each hazard, as well as the overall residual risk of the high-risk AI systems is judged to be acceptable.
5. Мерките за управление на риска, посочени в параграф 2, буква г), трябва да са такива, че съответният остатъчен риск, свързан с всяка опасност, както и общият остатъчен риск на високорисковите системи с ИИ, да се считат за приемливи.
In identifying the most appropriate risk management measures, the following shall be ensured:
При определянето на най-подходящите мерки за управление на риска се гарантира следното:
(a)
elimination or reduction of risks identified and evaluated pursuant to paragraph 2 in as far as technically feasible through adequate design and development of the high-risk AI system;
a)
отстраняване или намаляване на рисковете, установени и оценени съгласно параграф 2, доколкото е технически осъществимо, чрез адекватно проектиране и разработване на високорисковата система с ИИ;
(b)
where appropriate, implementation of adequate mitigation and control measures addressing risks that cannot be eliminated;
б)
когато е целесъобразно, прилагане на адекватни мерки за ограничаване и контрол по отношение на рисковете, които не могат да бъдат отстранени;
(c)
provision of information required pursuant to Article 13 and, where appropriate, training to deployers.
в)
предоставяне на необходимата информация съгласно член 13 и, където е целесъобразно, обучение на внедрителите.
With a view to eliminating or reducing risks related to the use of the high-risk AI system, due consideration shall be given to the technical knowledge, experience, education, the training to be expected by the deployer, and the presumable context in which the system is intended to be used.
С оглед на отстраняването или намаляването на рисковете, свързани с използването на високорисковата система с ИИ, се отчитат надлежно техническите познания, опитът, образованието и обучението, които се очакват от внедрителя, и предполагаемият контекст, в който системата е предназначена да се използва.
6. High-risk AI systems shall be tested for the purpose of identifying the most appropriate and targeted risk management measures. Testing shall ensure that high-risk AI systems perform consistently for their intended purpose and that they are in compliance with the requirements set out in this Section.
6. Високорисковите системи с ИИ се изпитват с цел набелязване на най-подходящите и целенасочени мерки за управление на риска. Изпитванията трябва да гарантират, че високорисковите системи с ИИ функционират стабилно с оглед на предназначението си и че са в съответствие с изискванията, установени в настоящия раздел.
7. Testing procedures may include testing in real-world conditions in accordance with Article 60.
7. Процедурите за изпитване може да включват изпитване в реални условия в съответствие с член 60.
8. The testing of high-risk AI systems shall be performed, as appropriate, at any time throughout the development process, and, in any event, prior to their being placed on the market or put into service. Testing shall be carried out against prior defined metrics and probabilistic thresholds that are appropriate to the intended purpose of the high-risk AI system.
8. Изпитването на високорисковите системи с ИИ се извършва, когато е целесъобразно, във всеки момент от процеса на разработване и — при всички случаи — преди пускането им на пазара или пускането им в действие. Изпитването се извършва спрямо предварително определени показатели и вероятностни прагове, които са подходящи с оглед на предназначението на високорисковата система с ИИ.
9. When implementing the risk management system as provided for in paragraphs 1 to 7, providers shall give consideration to whether in view of its intended purpose the high-risk AI system is likely to have an adverse impact on persons under the age of 18 and, as appropriate, other vulnerable groups.
9. При прилагането на системата за управление на риска, предвидена в параграфи 1—7, доставчиците разглеждат въпроса дали, с оглед на предназначението на високорисковата система с ИИ, е вероятно тя да окаже неблагоприятно въздействие върху ненавършили 18 години лица и, в зависимост от случая, върху други уязвими групи.
10. For providers of high-risk AI systems that are subject to requirements regarding internal risk management processes under other relevant provisions of Union law, the aspects provided in paragraphs 1 to 9 may be part of, or combined with, the risk management procedures established pursuant to that law.
10. За доставчиците на високорискови системи с ИИ, спрямо които се прилагат изисквания по отношение на вътрешните процеси за управление на риска съгласно други относими разпоредби на правото на Съюза, аспектите, предвидени в параграфи 1—9, могат да бъдат част от процедурите за управление на риска, установени съгласно това право, или да се съчетават с тях.
Article 10
Член 10
Data and data governance
Данни и администриране на данните
1. High-risk AI systems which make use of techniques involving the training of AI models with data shall be developed on the basis of training, validation and testing data sets that meet the quality criteria referred to in paragraphs 2 to 5 whenever such data sets are used.
1. Високорисковите системи с ИИ, при които се използват техники, свързани с обучение с данни на модели с ИИ, се разработват въз основа на набори от обучителни, валидационни и изпитвателни данни, които отговарят на критериите за качество, посочени в параграфи 2—5, когато се използват такива набори от данни.
2. Training, validation and testing data sets shall be subject to data governance and management practices appropriate for the intended purpose of the high-risk AI system. Those practices shall concern in particular:
2. По отношение на наборите от обучителни, валидационни и изпитвателни данни се прилагат практики за администриране и управление на данните, подходящи с оглед на предназначението на системата с ИИ. Тези практики се отнасят по-специално до:
(a)
the relevant design choices;
a)
съответните проектантски решения;
(b)
data collection processes and the origin of data, and in the case of personal data, the original purpose of the data collection;
б)
процесите на събиране на данни и произхода на данните и в случай на лични данни — първоначалната цел на събирането на данните;
(c)
relevant data-preparation processing operations, such as annotation, labelling, cleaning, updating, enrichment and aggregation;
в)
съответните операции по подготовка на данните, като анотиране, обозначаване, изчистване, актуализиране, обогатяване и агрегиране;
(d)
the formulation of assumptions, in particular with respect to the information that the data are supposed to measure and represent;
г)
формулирането на допускания, по-специално по отношение на информацията, която данните следва да измерват и представят;
(e)
an assessment of the availability, quantity and suitability of the data sets that are needed;
д)
оценка на наличието, количеството и годността на необходимите набори от данни;
(f)
examination in view of possible biases that are likely to affect the health and safety of persons, have a negative impact on fundamental rights or lead to discrimination prohibited under Union law, especially where data outputs influence inputs for future operations;
е)
преглед с оглед на евентуална предубеденост, която има вероятност да засегне здравето и безопасността на хората, да окаже отрицателно въздействие върху основните права или да доведе до дискриминация, забранена съгласно правото на Съюза, по-специално когато резултатите от данните оказват влияние върху входящите данни за бъдещи операции;
(g)
appropriate measures to detect, prevent and mitigate possible biases identified according to point (f);
ж)
подходящи мерки за откриване, предотвратяване и смекчаване на евентуална предубеденост, установена съгласно буква е);
(h)
the identification of relevant data gaps or shortcomings that prevent compliance with this Regulation, and how those gaps and shortcomings can be addressed.
з)
откриване на съответни пропуски или недостатъци в данните, които възпрепятстват съответствието с настоящия регламент, и на начините за отстраняване на тези пропуски и недостатъци.
3. Training, validation and testing data sets shall be relevant, sufficiently representative, and to the best extent possible, free of errors and complete in view of the intended purpose. They shall have the appropriate statistical properties, including, where applicable, as regards the persons or groups of persons in relation to whom the high-risk AI system is intended to be used. Those characteristics of the data sets may be met at the level of individual data sets or at the level of a combination thereof.
3. Наборите от обучителни, валидационни и изпитвателни данни трябва да са подходящи, достатъчно представителни и във възможно най-голяма степен без грешки и пълни с оглед на предназначението на системата. Те трябва да притежават подходящите статистически свойства, включително, когато е приложимо, по отношение на лицата или групите лица, по отношение на които високорисковата система с ИИ е предназначена да се използва. Тези характеристики на наборите от данни могат да са налични на равнището на отделните набори от данни или по отношение на комбинация от тях.
4. Data sets shall take into account, to the extent required by the intended purpose, the characteristics or elements that are particular to the specific geographical, contextual, behavioural or functional setting within which the high-risk AI system is intended to be used.
4. Наборите от данни трябва да са съобразени — доколкото това е необходимо с оглед на предназначението — с характеристиките или елементите, характерни за конкретната географска, контекстуална, поведенческа или функционална среда, в която високорисковата система с ИИ е предназначена да бъде използвана.
5. To the extent that it is strictly necessary for the purpose of ensuring bias detection and correction in relation to the high-risk AI systems in accordance with paragraph (2), points (f) and (g) of this Article, the providers of such systems may exceptionally process special categories of personal data, subject to appropriate safeguards for the fundamental rights and freedoms of natural persons. In addition to the provisions set out in Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, all the following conditions must be met in order for such processing to occur:
5. Доколкото това е строго необходимо, за да се гарантира откриване и коригиране на предубеденост във високорисковите системи с ИИ в съответствие с параграф 2, букви е) и ж) от настоящия член, доставчиците на такива системи могат по изключение да обработват специални категории лични данни при спазването на подходящи гаранции за основните права и свободи на физическите лица. Освен разпоредбите, предвидени в регламенти (ЕС) 2016/679 и (ЕС) 2018/1725 и Директива (ЕС) 2016/680, за да може да се извърши такова обработване, трябва да бъдат изпълнени всички посочени по-долу условия:
(a)
the bias detection and correction cannot be effectively fulfilled by processing other data, including synthetic or anonymised data;
a)
откриването и коригирането на предубедеността не могат да се осъществят ефективно чрез обработването на други данни, включително синтетични или анонимизирани данни;
(b)
the special categories of personal data are subject to technical limitations on the re-use of the personal data, and state-of-the-art security and privacy-preserving measures, including pseudonymisation;
б)
по отношение на специалните категории лични данни се прилагат технически ограничения, свързани с повторното използване на личните данни, както и най-съвременни мерки за сигурност и опазване на неприкосновеността на личния живот, включително псевдонимизация;
(c)
the special categories of personal data are subject to measures to ensure that the personal data processed are secured, protected, subject to suitable safeguards, including strict controls and documentation of the access, to avoid misuse and ensure that only authorised persons have access to those personal data with appropriate confidentiality obligations;
в)
по отношение на специалните категории лични данни се прилагат мерки, с които се гарантира, че обработваните лични данни са обезопасени, защитени, спрямо тях се прилагат подходящи гаранции, включително строг контрол и документиране на достъпа, с цел да се избегне злоупотреба и да се гарантира, че само оправомощени лица имат достъп до тези лични данни със съответните задължения за спазване на поверителност;
(d)
the special categories of personal data are not to be transmitted, transferred or otherwise accessed by other parties;
г)
специалните категории лични данни не се предоставят, не се предават, нито достъпват по друг начин от други лица;
(e)
the special categories of personal data are deleted once the bias has been corrected or the personal data has reached the end of its retention period, whichever comes first;
д)
специалните категории лични данни се заличават, след като предубедеността бъде коригирана или личните данни достигнат края на срока си на съхранение, като се взема предвид по-рано настъпилото от двете събития;
(f)
the records of processing activities pursuant to Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680 include the reasons why the processing of special categories of personal data was strictly necessary to detect and correct biases, and why that objective could not be achieved by processing other data.
е)
записите за дейностите по обработване съгласно регламенти (ЕС) 2016/679 и (ЕС) 2018/1725 и Директива (ЕС) 2016/680 включват причините, поради които обработването на специални категории лични данни е било строго необходимо за откриване и коригиране на предубедеността и не било възможно тази цел да се постигне чрез обработване на други данни.
6. For the development of high-risk AI systems not using techniques involving the training of AI models, paragraphs 2 to 5 apply only to the testing data sets.
6. При разработването на високорискови системи с ИИ, които не използват техники, включващи обучение на модели с ИИ, параграфи 2—5 се прилагат само за наборите от изпитвателни данни.
Article 11
Член 11
Technical documentation
Техническа документация
1. The technical documentation of a high-risk AI system shall be drawn up before that system is placed on the market or put into service and shall be kept up-to date.
1. Техническата документация на дадена високорискова система с ИИ се изготвя, преди тя да бъде пусната на пазара или пусната в действие, и се поддържа актуална.
The technical documentation shall be drawn up in such a way as to demonstrate that the high-risk AI system complies with the requirements set out in this Section and to provide national competent authorities and notified bodies with the necessary information in a clear and comprehensive form to assess the compliance of the AI system with those requirements. It shall contain, at a minimum, the elements set out in Annex IV. SMEs, including start-ups, may provide the elements of the technical documentation specified in Annex IV in a simplified manner. To that end, the Commission shall establish a simplified technical documentation form targeted at the needs of small and microenterprises. Where an SME, including a start-up, opts to provide the information required in Annex IV in a simplified manner, it shall use the form referred to in this paragraph. Notified bodies shall accept the form for the purposes of the conformity assessment.
Техническата документация се изготвя по такъв начин, че да показва, че високорисковата система с ИИ съответства на изискванията, установени в настоящия раздел, и да предоставя на националните компетентни органи и нотифицираните органи цялата необходима информация в ясна и разбираема форма с цел оценяване на съответствието на системата с ИИ с посочените изисквания. Тя съдържа най-малко елементите, установени в приложение IV. МСП, включително новосъздадените предприятия, могат да предоставят по опростен начин елементите на техническата документация, посочени в приложение IV. За тази цел Комисията създава опростен формуляр за техническа документация, съобразен с нуждите на малките предприятия и микропредприятията. Когато МСП, включително новосъздадените предприятия, изберат да предоставят по опростен начин информацията, изисквана съгласно приложение IV, те използват формуляра, посочен в настоящия параграф. Нотифицираните органи приемат формуляра за целите на оценяването на съответствието.
2. Where a high-risk AI system related to a product covered by the Union harmonisation legislation listed in Section A of Annex I is placed on the market or put into service, a single set of technical documentation shall be drawn up containing all the information set out in paragraph 1, as well as the information required under those legal acts.
2. Когато се пуска на пазара или пуска в действие високорискова система с ИИ, свързана с продукт, обхванат от законодателството на Съюза за хармонизация, посочено в раздел А от приложение I, се изготвя един набор от техническа документация, съдържаща цялата посочена в параграф 1 информация, както и информацията, изисквана съгласно тези правни актове.
3. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annex IV, where necessary, to ensure that, in light of technical progress, the technical documentation provides all the information necessary to assess the compliance of the system with the requirements set out in this Section.
3. На Комисията се предоставя правомощието да приема делегирани актове в съответствие с член 97 за изменение на приложение IV, когато това е необходимо, за да се гарантира, че предвид техническия напредък техническата документация предоставя цялата информация, необходима за оценяване на съответствието на системата с установените в настоящия раздел изисквания.
Article 12
Член 12
Record-keeping
Поддържане на регистри
1. High-risk AI systems shall technically allow for the automatic recording of events (logs) over the lifetime of the system.
1. Високорисковите системи с ИИ технически позволяват автоматичното записване на събития (наричано по-долу „записи“) по време на срока на действие на системата.
2. In order to ensure a level of traceability of the functioning of a high-risk AI system that is appropriate to the intended purpose of the system, logging capabilities shall enable the recording of events relevant for:
2. С цел да се гарантира равнище на проследимост на функционирането на високорисковата система с ИИ, което е подходящо с оглед на нейното предназначение, възможностите за създаване на записи позволяват записване на събития, които са от значение за:
(a)
identifying situations that may result in the high-risk AI system presenting a risk within the meaning of Article 79(1) or in a substantial modification;
a)
идентифицирането на ситуации, които могат да доведат до това високорисковата система с ИИ да представлява риск по смисъла на член 79, параграф 1 или до съществено изменение;
(b)
facilitating the post-market monitoring referred to in Article 72; and
б)
улесняването на мониторинга след пускането на пазара, посочен в член 72; и
(c)
monitoring the operation of high-risk AI systems referred to in Article 26(5).
в)
мониторинга на функционирането на високорисковите системи с ИИ, посочен в член 26, параграф 5.
3. For high-risk AI systems referred to in point 1 (a), of Annex III, the logging capabilities shall provide, at a minimum:
3. За високорисковите системи с ИИ, посочени в точка 1, буква а) от приложение III, възможностите за създаване на записи осигуряват най-малко следното:
(a)
recording of the period of each use of the system (start date and time and end date and time of each use);
a)
записване на времето на всяко използване на системата (начална дата и час и крайна дата и час на всяко използване);
(b)
the reference database against which input data has been checked by the system;
б)
референтната база данни, спрямо която системата е проверявала входящите данни;
(c)
the input data for which the search has led to a match;
в)
входящите данни, за които търсенето е довело до съвпадение;
(d)
the identification of the natural persons involved in the verification of the results, as referred to in Article 14(5).
г)
посочване на самоличността на физическите лица, участвали в проверката на резултатите, посочена в член 14, параграф 5.
Article 13
Член 13
Transparency and provision of information to deployers
Прозрачност и предоставяне на информация на внедрителите
1. High-risk AI systems shall be designed and developed in such a way as to ensure that their operation is sufficiently transparent to enable deployers to interpret a system’s output and use it appropriately. An appropriate type and degree of transparency shall be ensured with a view to achieving compliance with the relevant obligations of the provider and deployer set out in Section 3.
1. Високорисковите системи с ИИ се проектират и разработват така, че да се гарантира, че функционирането им е достатъчно прозрачно, за да позволи на внедрителите да тълкуват резултатите, получени от системата, и да ги използват по подходящ начин. Осигурява се подходящ вид и степен на прозрачност с оглед изпълнение на приложимите задължения на доставчика и внедрителя, установени в раздел 3.
2. High-risk AI systems shall be accompanied by instructions for use in an appropriate digital format or otherwise that include concise, complete, correct and clear information that is relevant, accessible and comprehensible to deployers.
2. Високорисковите системи с ИИ се придружават от инструкции за употреба в подходящ цифров или друг формат, които включват кратка, пълна, вярна и ясна информация, която е относима, достъпна и разбираема за внедрителите.
3. The instructions for use shall contain at least the following information:
3. Инструкциите за употреба съдържат най-малко следната информация:
(a)
the identity and the contact details of the provider and, where applicable, of its authorised representative;
a)
идентификационните данни и данните за връзка с доставчика и когато е приложимо, същите данни за неговия упълномощен представител;
(b)
the characteristics, capabilities and limitations of performance of the high-risk AI system, including:
б)
характеристиките, способностите и ограниченията в действието на високорисковата система с ИИ, включително:
(i)
its intended purpose;
i)
нейното предназначение;
(ii)
the level of accuracy, including its metrics, robustness and cybersecurity referred to in Article 15 against which the high-risk AI system has been tested and validated and which can be expected, and any known and foreseeable circumstances that may have an impact on that expected level of accuracy, robustness and cybersecurity;
ii)
нивото на точност, включително използваните за него показатели, на надеждност и на киберсигурност, посочено в член 15, спрямо което е изпитана и валидирана високорисковата система с ИИ и което може да се очаква, както и всички известни или предвидими обстоятелства, които могат да окажат въздействие върху очакваното ниво на точност, надеждност и киберсигурност;
(iii)
any known or foreseeable circumstance, related to the use of the high-risk AI system in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, which may lead to risks to the health and safety or fundamental rights referred to in Article 9(2);
iii)
всички известни или предвидими обстоятелства, свързани с използването на високорисковата система с ИИ в съответствие с предназначението ѝ или в условия на разумно предвидима неправилна експлоатация, които могат да доведат до рискове за здравето и безопасността или за основните права, посочени в член 9, параграф 2;
(iv)
where applicable, the technical capabilities and characteristics of the high-risk AI system to provide information that is relevant to explain its output;
iv)
когато е приложимо, техническите способности и характеристики на високорисковата система с ИИ за предоставяне на информация, която е от значение, за да се обяснят резултатите от системата;
(v)
when appropriate, its performance regarding specific persons or groups of persons on which the system is intended to be used;
v)
когато е целесъобразно, действието ѝ по отношение на конкретни лица или групи лица, спрямо които системата е предназначена да се използва;
(vi)
when appropriate, specifications for the input data, or any other relevant information in terms of the training, validation and testing data sets used, taking into account the intended purpose of the high-risk AI system;
vi)
когато е целесъобразно, спецификациите на входящите данни или всякаква друга относима информация по отношение на използваните набори от обучителни, валидационни и изпитвателни данни, като се отчита предназначението на високорисковата система с ИИ;
(vii)
where applicable, information to enable deployers to interpret the output of the high-risk AI system and use it appropriately;
vii)
когато е приложимо, информация, която да позволи на внедрителите да тълкуват резултатите от високорисковата система с ИИ и да ги използват по подходящ начин;
(c)
the changes to the high-risk AI system and its performance which have been pre-determined by the provider at the moment of the initial conformity assessment, if any;
в)
промените във високорисковата система с ИИ и в нейното действие, които са били предварително определени от доставчика към момента на първоначалното оценяване на съответствието, ако има такива;
(d)
the human oversight measures referred to in Article 14, including the technical measures put in place to facilitate the interpretation of the outputs of the high-risk AI systems by the deployers;
г)
мерките за упражняване на човешки контрол, посочени в член 14, включително техническите мерки, въведени с цел улесняване на тълкуването от страна на внедрителите на резултатите от високорисковите системи с ИИ;
(e)
the computational and hardware resources needed, the expected lifetime of the high-risk AI system and any necessary maintenance and care measures, including their frequency, to ensure the proper functioning of that AI system, including as regards software updates;
д)
необходимите изчислителни и хардуерни ресурси, очаквания срок на експлоатация на високорисковата система с ИИ и евентуалните необходими мерки за поддръжка и обслужване, включително тяхната честота, с цел да се гарантира правилното функциониране на системата с ИИ, включително по отношение на актуализациите на софтуера;
(f)
where relevant, a description of the mechanisms included within the high-risk AI system that allows deployers to properly collect, store and interpret the logs in accordance with Article 12.
е)
когато е приложимо, описание на механизмите, включени във високорисковата система с ИИ, които позволяват на внедрителите правилно да събират, съхраняват и тълкуват записите в съответствие с член 12.
Article 14
Член 14
Human oversight
Човешки контрол
1. High-risk AI systems shall be designed and developed in such a way, including with appropriate human-machine interface tools, that they can be effectively overseen by natural persons during the period in which they are in use.
1. Високорисковите системи с ИИ се проектират и разработват — включително като се предвиждат подходящи инструменти за интерфейса човек–машина в тях — по такъв начин, че върху тях да може да бъде упражняван ефективен контрол от физически лица в периода, през който се използват.
2. Human oversight shall aim to prevent or minimise the risks to health, safety or fundamental rights that may emerge when a high-risk AI system is used in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, in particular where such risks persist despite the application of other requirements set out in this Section.
2. Човешкият контрол има за цел предотвратяването или свеждането до минимум на рисковете за здравето, безопасността или основните права, които могат да възникнат при използването на високорискова система с ИИ в съответствие с нейното предназначение или при условия на разумно предвидима неправилна експлоатация, по-специално когато тези рискове продължават да съществуват, независимо от прилагането на останалите изисквания, установени в настоящия раздел.
3. The oversight measures shall be commensurate with the risks, level of autonomy and context of use of the high-risk AI system, and shall be ensured through either one or both of the following types of measures:
3. Мерките за контрол трябва да са съразмерни спрямо рисковете, нивото на автономност и контекста на използване на високорисковата система с ИИ и да се осигуряват чрез единия или двата вида мерки, които са посочени по-долу:
(a)
measures identified and built, when technically feasible, into the high-risk AI system by the provider before it is placed on the market or put into service;
a)
мерки, които са набелязани и вградени, когато това е технически осъществимо, във високорисковата система с ИИ от доставчика преди пускането ѝ на пазара или пускането ѝ в действие;
(b)
measures identified by the provider before placing the high-risk AI system on the market or putting it into service and that are appropriate to be implemented by the deployer.
б)
мерки, които са набелязани от доставчика преди пускането на високорисковата система с ИИ на пазара или пускането ѝ в действие и които са подходящи за прилагане от страна на внедрителя.
4. For the purpose of implementing paragraphs 1, 2 and 3, the high-risk AI system shall be provided to the deployer in such a way that natural persons to whom human oversight is assigned are enabled, as appropriate and proportionate:
4. За целите на прилагането на параграфи 1, 2 и 3 високорисковата система с ИИ се предоставя на ползвателя по начин, който дава възможност на физическите лица, на които е възложено да упражняват човешки контрол, когато е целесъобразно и пропорционално:
(a)
to properly understand the relevant capacities and limitations of the high-risk AI system and be able to duly monitor its operation, including in view of detecting and addressing anomalies, dysfunctions and unexpected performance;
a)
да разбират добре съответните способности и ограничения на високорисковата система с ИИ и да могат надлежно да следят нейното функциониране, включително с оглед на откриването и справянето с аномалии, отклонения във функционирането и неочаквано действие;
(b)
to remain aware of the possible tendency of automatically relying or over-relying on the output produced by a high-risk AI system (automation bias), in particular for high-risk AI systems used to provide information or recommendations for decisions to be taken by natural persons;
б)
да осъзнават възможната тенденция автоматично да се разчита или в прекалено голяма степен да се разчита на резултатите, получени от високорискова система с ИИ (т.нар. „предубеденост в полза на автоматизираните решения“), по-специално при високорискови системи с ИИ, използвани за предоставяне на информация или препоръки във връзка с решения, които се вземат от физически лица;
(c)
to correctly interpret the high-risk AI system’s output, taking into account, for example, the interpretation tools and methods available;
в)
да тълкуват правилно резултатите от високорисковата система с ИИ, като вземат предвид например наличните инструменти и методи за тълкуване;
(d)
to decide, in any particular situation, not to use the high-risk AI system or to otherwise disregard, override or reverse the output of the high-risk AI system;
г)
да вземат решение — във всяка една конкретна ситуация — да не използват резултата от високорисковата система с ИИ или по друг начин да го пренебрегнат, отхвърлят или отменят;
(e)
to intervene in the operation of the high-risk AI system or interrupt the system through a ‘stop’ button or a similar procedure that allows the system to come to a halt in a safe state.
д)
да се намесят в работата на високорисковата система с ИИ или да прекъснат системата чрез бутон „стоп“ или подобна процедура, която позволява системата да спре в безопасно състояние.
5. For high-risk AI systems referred to in point 1(a) of Annex III, the measures referred to in paragraph 3 of this Article shall be such as to ensure that, in addition, no action or decision is taken by the deployer on the basis of the identification resulting from the system unless that identification has been separately verified and confirmed by at least two natural persons with the necessary competence, training and authority.
5. За високорисковите системи с ИИ, посочени в точка 1, буква а) от приложение III, мерките, посочени в параграф 3 от настоящия член, трябва да са такива, че освен това да гарантират, че внедрителят не предприема действия, нито взема решения въз основа на идентификацията, получена от системата, освен ако тази идентификация не е била отделно проверена и потвърдена от най-малко две физически лица, притежаващи необходимата компетентност и авторитет и преминали необходимото обучение.
The requirement for a separate verification by at least two natural persons shall not apply to high-risk AI systems used for the purposes of law enforcement, migration, border control or asylum, where Union or national law considers the application of this requirement to be disproportionate.
Изискването за отделна проверка от най-малко две физически лица не се прилага за високорискови системи с ИИ, използвани за правоохранителни цели или за целите на миграцията, граничния контрол или убежището, когато правото на Съюза или националното право счита прилагането на това изискване за непропорционално.
Article 15
Член 15
Accuracy, robustness and cybersecurity
Точност, надеждност и киберсигурност
1. High-risk AI systems shall be designed and developed in such a way that they achieve an appropriate level of accuracy, robustness, and cybersecurity, and that they perform consistently in those respects throughout their lifecycle.
1. Високорисковите системи с ИИ се проектират и разработват така, че да постигат подходящо ниво на точност, надеждност и киберсигурност и да функционират стабилно в това отношение в течение на жизнения си цикъл.
2. To address the technical aspects of how to measure the appropriate levels of accuracy and robustness set out in paragraph 1 and any other relevant performance metrics, the Commission shall, in cooperation with relevant stakeholders and organisations such as metrology and benchmarking authorities, encourage, as appropriate, the development of benchmarks and measurement methodologies.
2. Във връзка с техническите аспекти на измерването на подходящите равнища на точност и надеждност, посочени в параграф 1, както и на всички други показатели за ефективност, Комисията, в сътрудничество със съответните заинтересовани страни и организации, като например органите по метрология и сравнителен анализ, насърчава, когато е целесъобразно, разработването на сравнителни показатели и методики за измерване.
3. The levels of accuracy and the relevant accuracy metrics of high-risk AI systems shall be declared in the accompanying instructions of use.
3. Нивата на точност и съответните показатели за точност на високорисковите системи с ИИ се обявяват в придружаващите ги инструкции за употреба.
4. High-risk AI systems shall be as resilient as possible regarding errors, faults or inconsistencies that may occur within the system or the environment in which the system operates, in particular due to their interaction with natural persons or other systems. Technical and organisational measures shall be taken in this regard.
4. Високорисковите системи с ИИ трябва да са възможно най-устойчиви по отношение на грешки, недостатъци или несъответствия, които могат да възникнат в рамките на системата или в средата, в която тя работи, по-специално поради взаимодействието им с физически лица или други системи. За тази цел се предприемат технически и организационни мерки.
The robustness of high-risk AI systems may be achieved through technical redundancy solutions, which may include backup or fail-safe plans.
Надеждността на високорисковите системи с ИИ може да бъде постигната чрез решения за техническо дублиране, които могат да включват резервни или аварийни планове.
High-risk AI systems that continue to learn after being placed on the market or put into service shall be developed in such a way as to eliminate or reduce as far as possible the risk of possibly biased outputs influencing input for future operations (feedback loops), and as to ensure that any such feedback loops are duly addressed with appropriate mitigation measures.
Високорисковите системи с ИИ, които продължават да се обучават след пускането им на пазара или пускането им в действие, се разработват така, че да се отстрани или намали, доколкото е възможно, рискът от евентуално опорочени от предубеденост резултати, оказващи влияние върху входящите данни за бъдещи операции (наричани по-долу „обратни връзки“), и да се гарантира, че спрямо всякакви такива обратни връзки надлежно се вземат подходящи мерки за смекчаване на последиците.
5. High-risk AI systems shall be resilient against attempts by unauthorised third parties to alter their use, outputs or performance by exploiting system vulnerabilities.
5. Високорисковите системи с ИИ трябва да са устойчиви по отношение на опитите на неоправомощени трети лица да променят използването, резултатите или действието им, като използват уязвимите места на системата.
The technical solutions aiming to ensure the cybersecurity of high-risk AI systems shall be appropriate to the relevant circumstances and the risks.
Техническите решения, целящи да гарантират киберсигурността на високорисковите системи с ИИ, трябва да са съобразени със съответните обстоятелства и рискове.
The technical solutions to address AI specific vulnerabilities shall include, where appropriate, measures to prevent, detect, respond to, resolve and control for attacks trying to manipulate the training data set (data poisoning), or pre-trained components used in training (model poisoning), inputs designed to cause the AI model to make a mistake (adversarial examples or model evasion), confidentiality attacks or model flaws.
Техническите решения за преодоляване на характерните за ИИ уязвими места включват, когато е целесъобразно, мерки за предотвратяване, откриване, реакция, неутрализиране и контрол на атаки, целящи да манипулират набора от обучителни данни (т.нар. „отравяне на данните“) или предварително обучените компоненти, използвани за обучение (т.нар. „отравяне на моделите“), за предотвратяване на входящи данни, разработени с цел да накарат модела с ИИ да допусне грешка (т.нар. „враждебни примери“ или „заобикаляне на модела“), на атаки срещу поверителността или недостатъци на модела.
SECTION 3
РАЗДЕЛ 3
Obligations of providers and deployers of high-risk AI systems and other parties
Задължения на доставчиците и внедрителите на високорискови системи с ИИ и на други лица
Article 16
Член 16
Obligations of providers of high-risk AI systems
Задължения на доставчиците на високорискови системи с ИИ
Providers of high-risk AI systems shall:
Доставчиците на високорискови системи с ИИ:
(a)
ensure that their high-risk AI systems are compliant with the requirements set out in Section 2;
a)
гарантират, че техните високорискови системи с ИИ съответстват на изискванията, установени в раздел 2;
(b)
indicate on the high-risk AI system or, where that is not possible, on its packaging or its accompanying documentation, as applicable, their name, registered trade name or registered trade mark, the address at which they can be contacted;
б)
посочват върху високорисковата система с ИИ, или, когато това не е възможно — върху нейната опаковка или придружаваща документация, в зависимост от случая, своето име, регистрирано търговско наименование или регистрирана търговска марка и адреса си за връзка;
(c)
have a quality management system in place which complies with Article 17;
в)
разполагат със система за управление на качеството, която е в съответствие с член 17;
(d)
keep the documentation referred to in Article 18;
г)
съхраняват документацията, посочена в член 18;
(e)
when under their control, keep the logs automatically generated by their high-risk AI systems as referred to in Article 19;
д)
когато са под техен контрол, съхраняват записите, автоматично генерирани от техните високорискови системи с ИИ, посочени в член 19;
(f)
ensure that the high-risk AI system undergoes the relevant conformity assessment procedure as referred to in Article 43, prior to its being placed on the market or put into service;
е)
гарантират, че високорисковата система с ИИ преминава през съответната процедура за оценяване на съответствието, посочена в член 43, преди да бъде пусната на пазара или пусната в действие;
(g)
draw up an EU declaration of conformity in accordance with Article 47;
ж)
изготвят ЕС декларация за съответствие съгласно член 47;
(h)
affix the CE marking to the high-risk AI system or, where that is not possible, on its packaging or its accompanying documentation, to indicate conformity with this Regulation, in accordance with Article 48;
з)
поставят маркировката „CE“ върху високорисковата система с ИИ, или, когато това не е възможно — върху нейната опаковка или придружаваща документация, за да укажат съответствието с настоящия регламент, в съответствие с член 48;
(i)
comply with the registration obligations referred to in Article 49(1);
и)
изпълняват задълженията за регистрация, посочени в член 49, параграф 1;
(j)
take the necessary corrective actions and provide information as required in Article 20;
й)
предприемат необходимите коригиращи действия и предоставят информацията, изисквана съгласно член 20;
(k)
upon a reasoned request of a national competent authority, demonstrate the conformity of the high-risk AI system with the requirements set out in Section 2;
к)
при мотивирано искане на национален компетентен орган доказват съответствието на високорисковата система с ИИ с изискванията, установени в раздел 2;
(l)
ensure that the high-risk AI system complies with accessibility requirements in accordance with Directives (EU) 2016/2102 and (EU) 2019/882.
л)
гарантират, че високорисковата система с ИИ отговаря на изискванията за достъпност в съответствие с директиви (ЕС) 2016/2102 и (ЕС) 2019/882.
Article 17
Член 17
Quality management system
Система за управление на качеството
1. Providers of high-risk AI systems shall put a quality management system in place that ensures compliance with this Regulation. That system shall be documented in a systematic and orderly manner in the form of written policies, procedures and instructions, and shall include at least the following aspects:
1. Доставчиците на високорискови системи с ИИ въвеждат система за управление на качеството, която гарантира съответствие с настоящия регламент. Системата се документира системно и последователно чрез политики, процедури и инструкции в писмен вид и включва най-малко следните аспекти:
(a)
a strategy for regulatory compliance, including compliance with conformity assessment procedures and procedures for the management of modifications to the high-risk AI system;
a)
стратегия за регулаторно съответствие, включително съответствие с процедурите за оценяване на съответствието и с процедурите за управление на измененията на високорисковата система с ИИ;
(b)
techniques, procedures and systematic actions to be used for the design, design control and design verification of the high-risk AI system;
б)
техники, процедури и системни действия, които да се използват при проектирането, контрола и проверката на проекта на високорисковата система с ИИ;
(c)
techniques, procedures and systematic actions to be used for the development, quality control and quality assurance of the high-risk AI system;
в)
техники, процедури и системни действия, които да се използват за разработването, контрола на качеството и осигуряването на качеството на високорисковата система с ИИ;
(d)
examination, test and validation procedures to be carried out before, during and after the development of the high-risk AI system, and the frequency with which they have to be carried out;
г)
процедури за проверка, изпитване и валидиране, които да се извършват преди, по време и след разработването на високорисковата система с ИИ, и честотата, с която те трябва да се извършват;
(e)
technical specifications, including standards, to be applied and, where the relevant harmonised standards are not applied in full or do not cover all of the relevant requirements set out in Section 2, the means to be used to ensure that the high-risk AI system complies with those requirements;
д)
технически спецификации, включително стандарти, които да се прилагат и, когато съответните хармонизирани стандарти не са приложени изцяло или не включват всички съответни изисквания, установени в раздел 2 —средствата, които трябва да се използват с цел да се гарантира, че високорисковата система с ИИ съответства на тези изисквания;
(f)
systems and procedures for data management, including data acquisition, data collection, data analysis, data labelling, data storage, data filtration, data mining, data aggregation, data retention and any other operation regarding the data that is performed before and for the purpose of the placing on the market or the putting into service of high-risk AI systems;
е)
системи и процедури за управление на данни, включително придобиване, събиране, анализ, обозначаване, съхранение, филтриране, извличане, агрегиране, запазване на данни, както и за всякакви други операции по отношение на данните, които се извършват преди и за целите на пускането на пазара или пускането в действие на високорискови системи с ИИ;
(g)
the risk management system referred to in Article 9;
ж)
системата за управление на риска, посочена в член 9;
(h)
the setting-up, implementation and maintenance of a post-market monitoring system, in accordance with Article 72;
з)
създаването, въвеждането и поддържането на система за мониторинг след пускането на пазара в съответствие с член 72;
(i)
procedures related to the reporting of a serious incident in accordance with Article 73;
и)
процедури, свързани с докладването на сериозен инцидент в съответствие с член 73;
(j)
the handling of communication with national competent authorities, other relevant authorities, including those providing or supporting the access to data, notified bodies, other operators, customers or other interested parties;
й)
провеждането на комуникацията с националните компетентни органи, други съответни органи, включително тези, осигуряващи или съдействащи за достъпа до данни, нотифицираните органи, другите оператори, потребителите или други заинтересовани лица;
(k)
systems and procedures for record-keeping of all relevant documentation and information;
к)
системи и процедури за регистриране на цялата относима документация и информация;
(l)
resource management, including security-of-supply related measures;
л)
управление на ресурсите, включително мерки, свързани със сигурността на доставките;
(m)
an accountability framework setting out the responsibilities of the management and other staff with regard to all the aspects listed in this paragraph.
м)
рамка за отчетност, определяща отговорностите на ръководния състав и останалите служители по отношение на всички аспекти, посочени в настоящия параграф.
2. The implementation of the aspects referred to in paragraph 1 shall be proportionate to the size of the provider’s organisation. Providers shall, in any event, respect the degree of rigour and the level of protection required to ensure the compliance of their high-risk AI systems with this Regulation.
2. Прилагането на аспектите, посочени в параграф 1, трябва да е пропорционално на размера на организацията на доставчика. При всички случаи доставчиците спазват степента на взискателност и равнището на защита, необходими за осигуряване на съответствието на техните системи с ИИ с настоящия регламент.
3. Providers of high-risk AI systems that are subject to obligations regarding quality management systems or an equivalent function under relevant sectoral Union law may include the aspects listed in paragraph 1 as part of the quality management systems pursuant to that law.
3. За доставчиците на високорискови системи с ИИ, за които се прилагат задължения по отношение на системите за управление на качеството или равностойна функция съгласно съответното секторно право на Съюза, аспектите, посочени в параграф 1, могат да бъдат част от системите за управление на качеството съгласно това право.
4. For providers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law, the obligation to put in place a quality management system, with the exception of paragraph 1, points (g), (h) and (i) of this Article, shall be deemed to be fulfilled by complying with the rules on internal governance arrangements or processes pursuant to the relevant Union financial services law. To that end, any harmonised standards referred to in Article 40 shall be taken into account.
4. За доставчиците, които са финансови институции, за които се прилагат изисквания по отношение на тяхното вътрешно управление, мерки или процеси съгласно правото на Съюза в областта на финансовите услуги, задължението за въвеждане на система за управление на качеството, с изключение на параграф 1, букви ж), з) и и) от настоящия член, се счита за изпълнено при наличие на съответствие с правилата за вътрешно управление, мерки ил