EUROPESE COMMISSIE

Brussel, 21.4.2021

COM(2021) 206 final

2021/0106(COD)

Voorstel voor een

VERORDENING VAN HET EUROPEES PARLEMENT EN DE RAAD

TOT VASTSTELLING VAN GEHARMONISEERDE REGELS BETREFFENDE ARTIFICIËLE INTELLIGENTIE (WET OP DE ARTIFICIËLE INTELLIGENTIE) EN TOT WIJZIGING VAN BEPAALDE WETGEVINGSHANDELINGEN VAN DE UNIE

{SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}

TOELICHTING

1.ACHTERGROND VAN HET VOORSTEL

1.1.Motivering en doel van het voorstel

Deze toelichting hoort bij het voorstel voor een verordening tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie). Artificiële intelligentie (AI), ook wel kunstmatige intelligentie (KI) genoemd, is een snel evoluerende verzameling van technologieën die een brede waaier van economische en maatschappelijke voordelen kan opleveren in alle industrieën en sociale activiteiten. Door voorspellingen te verbeteren, verrichtingen en de toewijzing van middelen te optimaliseren en de dienstverlening te personaliseren kan het gebruik van artificiële intelligentie helpen om gunstige sociale en ecologische resultaten te behalen en belangrijke concurrentievoordelen op te leveren voor het bedrijfsleven en de Europese economie. Dergelijke maatregelen zijn vooral nodig in sectoren met een grote impact, zoals klimaatverandering, milieu en gezondheid, de overheidssector, financiën, mobiliteit, binnenlandse zaken en landbouw. Dezelfde elementen en technieken achter de sociaaleconomische voordelen van AI, kunnen echter ook nieuwe risico’s of negatieve gevolgen voor het individu of de samenleving met zich meebrengen. Gezien de snelheid van de technologische veranderingen en de mogelijke uitdagingen, is de EU vastbesloten te streven naar een evenwichtige aanpak. Het is in het belang van de EU om haar technologische leiderspositie te behouden en ervoor te zorgen dat Europeanen kunnen genieten van nieuwe technologieën, ontwikkeld en functionerend volgens de waarden, grondrechten en beginselen van de Unie.

Met dit voorstel komt voorzitter Von der Leyen de politieke verbintenis na die zij in haar politieke richtsnoeren voor de Commissie 2019-2024 “Een Unie die de lat hoger legt” 1 heeft aangekondigd, namelijk dat de Commissie wetgeving zal voorleggen voor een gecoördineerde Europese aanpak van de menselijke en ethische implicaties van AI. In aansluiting op die aankondiging heeft de Commissie op 19 februari 2020 het “Witboek over kunstmatige intelligentie — een Europese benadering op basis van excellentie en vertrouwen” 2 gepubliceerd. In het witboek worden beleidsopties uiteengezet om een tweeledige doelstelling te verwezenlijken, namelijk de invoering van AI bevorderen en de risico’s in verband met bepaalde toepassingen van dergelijke technologie aanpakken. Met het onderhavige voorstel wordt beoogd de tweede doelstelling voor de ontwikkeling van een ecosysteem van vertrouwen te verwezenlijken door een rechtskader voor betrouwbare AI voor te stellen. Het voorstel is gebaseerd op de waarden en grondrechten van de EU en heeft tot doel mensen en andere gebruikers het vertrouwen te geven om op AI gebaseerde oplossingen te omarmen en bedrijven aan te moedigen deze te ontwikkelen. AI moet een instrument zijn voor mensen en een positieve kracht in de samenleving, met als uiteindelijk doel het menselijk welbevinden te vergroten. De regels voor AI-toepassingen die op de markt van de Unie beschikbaar zijn of anderszins gevolgen hebben voor personen in de Unie, moeten dan ook mensgericht zijn, zodat de bevolking erop kan vertrouwen dat de technologie op een veilige manier wordt gebruikt, in overeenstemming met de wet en met respect voor de grondrechten. Na de bekendmaking van het witboek heeft de Commissie een brede raadpleging van belanghebbenden georganiseerd, die op grote belangstelling kon rekenen. De vele geïnteresseerde belanghebbenden bleken voorstander te zijn van regelgeving om de uitdagingen aan te pakken en de bezorgdheid over het toenemende gebruik van AI weg te nemen.

Dit voorstel is ook een reactie op de uitdrukkelijke verzoeken van het Europees Parlement (EP) en de Europese Raad, die herhaaldelijk hebben aangedrongen op wetgevingsmaatregelen voor een goed functionerende interne markt voor artificiële-intelligentiesystemen (“AI-systemen”) waarin zowel de voordelen als de risico’s van AI op het niveau van de Unie adequaat worden behandeld. Met dit voorstel wordt de doelstelling van de Unie gesteund om wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische artificiële intelligentie, zoals verklaard door de Europese Raad 3 , en de bescherming van ethische beginselen te waarborgen, zoals specifiek gevraagd door het Europees Parlement 4 . 

In 2017 heeft de Europese Raad verklaard dat “dringend moet worden ingespeeld op nieuwe trends”, met inbegrip van “vraagstukken als kunstmatige intelligentie (…) waarbij er tegelijkertijd een hoog niveau van gegevensbescherming, digitale rechten en ethische normen wordt gewaarborgd” 5 . In zijn conclusies van 2019 over het gecoördineerd plan inzake de ontwikkeling en het gebruik van kunstmatige intelligentie “made in Europe” 6 wees de Raad er voorts op hoe belangrijk het is dat de rechten van de Europese burgers ten volle worden geëerbiedigd. De Raad riep ook op tot een herziening van de bestaande wetgeving ter zake, zodat deze geschikt is voor de nieuwe kansen en uitdagingen die AI te bieden heeft. De Europese Raad heeft ook opgeroepen om een duidelijke definitie te geven aan AI-toepassingen met een hoog risico 7 .

In de meest recente conclusies van 21 oktober 2020 werd er voorts op aangedrongen de ondoorzichtigheid, complexiteit, vertekening (bias), een zekere mate van onvoorspelbaarheid en gedeeltelijk autonoom gedrag van bepaalde AI-systemen aan te pakken, zodat zij verenigbaar zijn met de grondrechten en om de handhaving van de wettelijke voorschriften te vergemakkelijken 8 .

Ook het Europees Parlement heeft al een aanzienlijke hoeveelheid werk verzet op het gebied van AI. In oktober 2020 heeft het een aantal resoluties over AI vastgesteld, onder meer over ethiek 9 , aansprakelijkheid 10 en auteursrecht 11 . In 2021 kwamen daar resoluties bij over AI in strafzaken 12 en in onderwijs, cultuur en de audiovisuele sector 13 . De resolutie van het EP over een kader voor ethische aspecten van artificiële intelligentie, robotica en aanverwante technologieën bevat een specifieke aanbeveling aan de Commissie om wetgevingsmaatregelen voor te stellen om de kansen en voordelen van AI te benutten, maar ook om de bescherming van ethische beginselen te waarborgen. De resolutie bevat een tekst van het wetgevingsvoorstel voor een verordening betreffende ethische beginselen voor de ontwikkeling, de uitrol en het gebruik van artificiële intelligentie, robotica en aanverwante technologieën. In lijn met de politieke verbintenis die Commissievoorzitter Von der Leyen in haar politieke richtsnoeren is aangegaan met betrekking tot de resoluties die het Europees Parlement op grond van artikel 225 VWEU heeft vastgesteld, wordt in dit voorstel rekening gehouden met bovengenoemde resolutie van het Europees Parlement, met volledige inachtneming van de beginselen van evenredigheid, subsidiariteit en betere regelgeving.

Tegen deze politieke achtergrond stelt de Commissie het regelgevingskader inzake artificiële intelligentie voor, met de volgende specifieke doelstellingen:

·ervoor zorgen dat AI-systemen die in de Unie in de handel worden gebracht en gebruikt, veilig zijn en de bestaande wetgeving inzake grondrechten en waarden van de Unie eerbiedigen;

·rechtszekerheid garanderen om investeringen en innovatie in AI te vergemakkelijken;

·het beheer en de doeltreffende handhaving van de bestaande wetgeving inzake grondrechten en veiligheidsvoorschriften die van toepassing zijn op AI-systemen, verbeteren;

·de ontwikkeling van een eengemaakte markt voor wettige, veilige en betrouwbare AI-toepassingen vergemakkelijken en marktversnippering voorkomen.

Om die doelstellingen te verwezenlijken, wordt in dit voorstel een evenwichtige en evenredige horizontale regelgevingsaanpak voor AI voorgesteld die beperkt blijft tot de noodzakelijke minimumvereisten om de risico’s en problemen in verband met AI aan te pakken, zonder de technologische ontwikkeling onnodig te beperken of te belemmeren of anderszins de kosten van het in de handel brengen van AI-oplossingen onevenredig te verhogen. Het voorstel voorziet in een robuust en flexibel rechtskader. Enerzijds is het alomvattend en toekomstbestendig in zijn fundamentele regelgevingskeuzen, met inbegrip van de op beginselen gebaseerde voorschriften waaraan AI-systemen moeten voldoen. Anderzijds wordt een evenredig regelgevingssysteem ingevoerd dat is gebaseerd op een welomschreven, risicogebaseerde regelgevingsaanpak die geen onnodige handelsbeperkingen oplegt, waarbij juridische interventies worden toegesneden op concrete situaties waarin er een gegronde reden tot bezorgdheid is of waarin een dergelijke bezorgdheid redelijkerwijs in de nabije toekomst kan worden verwacht. Tegelijkertijd omvat het rechtskader flexibele mechanismen zodat het dynamisch kan worden aangepast naarmate de technologie evolueert en zich nieuwe zorgwekkende situaties voordoen.

Het voorstel bevat geharmoniseerde regels voor de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen in de Unie volgens een evenredige, risicogebaseerde aanpak. Er wordt één toekomstbestendige definitie van AI voorgesteld. Bepaalde bijzonder schadelijke AI-praktijken worden verboden omdat zij strijdig zijn met de waarden van de Unie, terwijl specifieke beperkingen en waarborgen worden voorgesteld met betrekking tot bepaalde gebruiksvormen van biometrische systemen voor identificatie op afstand ten behoeve van de rechtshandhaving. Het voorstel bevat een robuuste risicomethodologie om AI-systemen te definiëren die een “hoog risico” voor de gezondheid en veiligheid of de grondrechten van personen met zich meebrengen. Die AI-systemen zullen moeten voldoen aan een reeks horizontale, dwingende voorschriften voor betrouwbare AI en zullen conformiteitsbeoordelingsprocedures moeten volgen voordat zij in de Unie in de handel kunnen worden gebracht. Voorspelbare, evenredige en duidelijke verplichtingen worden ook opgelegd aan de aanbieders en gebruikers van die systemen om de veiligheid en de naleving van de bestaande wetgeving ter bescherming van de grondrechten gedurende de hele levenscyclus van AI-systemen te waarborgen. Voor sommige specifieke AI-systemen worden alleen minimale transparantieverplichtingen voorgesteld, met name wanneer chatbots of “deep fakes” worden gebruikt.

De voorgestelde regels zullen worden gehandhaafd door middel van een governancesysteem op het niveau van de lidstaten, dat voortbouwt op reeds bestaande structuren, en een samenwerkingsmechanisme op het niveau van de Unie door de oprichting van een Europees Comité voor artificiële intelligentie. Er worden ook aanvullende maatregelen voorgesteld om innovatie te ondersteunen, met name door middel van AI-testomgevingen voor regelgeving en andere maatregelen om de regeldruk te verminderen en kleine en middelgrote ondernemingen (“kmo’s”) en startende ondernemingen te ondersteunen.

1.2.Verenigbaarheid met bestaande bepalingen op het beleidsterrein

Vanwege het horizontale karakter moet het voorstel volledig verenigbaar zijn met de bestaande Uniewetgeving die van toepassing is op sectoren waar reeds gebruik wordt gemaakt of in de nabije toekomst waarschijnlijk gebruik zal worden gemaakt van AI-systemen met een hoog risico.

Er wordt ook gezorgd voor verenigbaarheid met het Handvest van de grondrechten van de EU en de bestaande secundaire Uniewetgeving inzake gegevensbescherming, consumentenbescherming, non-discriminatie en gelijkheid van mannen en vrouwen. Het voorstel doet geen afbreuk aan en vormt een aanvulling op de algemene verordening gegevensbescherming (Verordening (EU) 2016/679) en de Richtlijn rechtshandhaving (Richtlijn (EU) 2016/680) met een reeks geharmoniseerde regels die van toepassing zijn op het ontwerp, de ontwikkeling en het gebruik van bepaalde AI-systemen met een hoog risico, en beperkingen op bepaalde toepassingen van biometrische systemen voor identificatie op afstand. Voorts vult het voorstel de bestaande Uniewetgeving inzake non-discriminatie aan met specifieke voorschriften die het risico op algoritmische discriminatie tot een minimum moeten beperken, met name wat betreft het ontwerp en de kwaliteit van datareeksen die voor de ontwikkeling van AI-systemen worden gebruikt, aangevuld met verplichtingen inzake tests, risicobeheer, documentatie en menselijk toezicht gedurende de hele levenscyclus van de AI-systemen. Het voorstel doet geen afbreuk aan de toepassing van het mededingingsrecht van de Unie.

Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten van producten zijn, zal dit voorstel in de bestaande sectorale veiligheidswetgeving worden geïntegreerd om de verenigbaarheid te garanderen, doublures te vermijden en de extra lasten tot een minimum te beperken. Met name wat betreft AI-systemen met een hoog risico die verband houden met producten die onder het nieuwe wetgevingskader (NWK) vallen (bv. machines, medische hulpmiddelen, speelgoed), zullen de in dit voorstel opgenomen voorschriften voor AI-systemen worden gecontroleerd in het kader van de bestaande overeenstemmingsbeoordelingen overeenkomstig de desbetreffende NWK-wetgeving. Wat de interactie tussen de eisen betreft, zullen de typische veiligheidsrisico’s van AI-systemen onder de eisen van dit voorstel vallen, terwijl de NWK-wetgeving tot doel heeft de algemene veiligheid van het eindproduct te waarborgen en bijgevolg specifieke eisen kan bevatten betreffende de veilige integratie van een AI-systeem in het eindproduct. Het voorstel voor een machineverordening, dat op dezelfde dag als dit voorstel wordt vastgesteld, sluit volledig aan bij deze aanpak. Het onderhavige voorstel zal niet direct van toepassing zijn op AI-systemen met een hoog risico die verband houden met producten die onder de relevante wetgeving “oude aanpak” vallen (bv. luchtvaart, auto’s). Met de in dit voorstel vervatte essentiële ex-antevereisten voor AI-systemen met een hoog risico zal evenwel rekening moeten worden gehouden bij de vaststelling van de desbetreffende uitvoerings- of gedelegeerde wetgeving uit hoofde van die handelingen.

AI-systemen die door gereguleerde kredietinstellingen beschikbaar worden gesteld of gebruikt, zullen onder de bevoegdheid vallen van de autoriteiten die verantwoordelijk zijn voor het toezicht op de Uniewetgeving inzake financiële diensten om na te gaan of de vereisten in dit voorstel worden nageleefd, teneinde een coherente handhaving van de verplichtingen uit hoofde van dit voorstel en de Uniewetgeving inzake financiële diensten te garanderen voor AI-systemen die tot op zekere hoogte impliciet zijn gereguleerd in het interne governancesysteem van kredietinstellingen. Om de verenigbaarheid verder te verbeteren, worden de conformiteitsbeoordeling en een aantal van de procedurele verplichtingen van de aanbieders in het kader van dit voorstel geïntegreerd in de procedures van Richtlijn 2013/36/EU betreffende toegang tot het bedrijf van kredietinstellingen en het prudentieel toezicht 14 .

Dit voorstel is ook verenigbaar met de toepasselijke Uniewetgeving inzake diensten, met inbegrip van diensten als tussenpersoon die worden gereguleerd door Richtlijn 2000/31/EG 15 inzake elektronische handel en het recente voorstel van de Commissie voor de wet inzake digitale diensten 16 .

Wat betreft AI-systemen die een onderdeel vormen van grootschalige IT-systemen op het gebied van vrijheid, veiligheid en recht, beheerd door het Agentschap van de Europese Unie voor het operationeel beheer van grootschalige IT-systemen (eu-LISA), is het voorstel niet van toepassing op AI-systemen die in de handel zijn gebracht of in bedrijf zijn gesteld vóór het verstrijken van een jaar na de datum van toepassing van deze verordening, tenzij de vervanging of wijziging van die rechtshandelingen tot een significante wijziging in het ontwerp of het beoogde doel van het betrokken AI-systeem of de betrokken AI-systemen leidt.

1.3.Verenigbaarheid met andere beleidsterreinen van de Unie

Het voorstel maakt deel uit van een breder pakket maatregelen om de problemen in verband met de ontwikkeling en het gebruik van AI aan te pakken, zoals onderzocht in het witboek over AI. Er wordt daarom gezorgd voor verenigbaarheid en complementariteit met andere lopende of geplande initiatieven van de Commissie die ook tot doel hebben deze problemen aan te pakken, met inbegrip van de herziening van de sectorale productwetgeving (bv. de machinerichtlijn, de richtlijn inzake algemene productveiligheid) en initiatieven die betrekking hebben op aansprakelijkheidskwesties in verband met nieuwe technologieën, waaronder AI-systemen. Deze initiatieven zijn een voortzetting van en vormen een aanvulling op dit voorstel, teneinde juridische duidelijkheid te scheppen en de ontwikkeling van een ecosysteem van vertrouwen in AI in Europa te bevorderen.

Het voorstel is ook in overeenstemming met de digitale strategie van de Commissie, in die zin dat het bijdraagt tot de bevordering van technologie die werkt voor de mensen, een van de drie belangrijkste pijlers van de beleidsoriëntatie en de doelstellingen die zijn aangekondigd in de mededeling “De digitale toekomst van Europa vormgeven” 17 . In het voorstel wordt een coherent, doeltreffend en evenredig kader vastgesteld zodat AI wordt ontwikkeld op een manier die de rechten van de mensen eerbiedigt en hun vertrouwen wint, zodat Europa klaar is voor het digitale tijdperk en we van de komende tien jaar het digitale decennium kunnen maken 18 .

Voorts is de bevordering van AI-gestuurde innovatie nauw verbonden met de datagovernanceverordening 19 , de richtlijn open data 20 en andere initiatieven in het kader van de EU-datastrategie 21 voor betrouwbare mechanismen en diensten om data die essentieel zijn voor de ontwikkeling van kwalitatief hoogstaande, datagestuurde AI-modellen te hergebruiken, te delen en te bundelen.

Met dit voorstel wordt ook de rol van de Unie om mee vorm te geven aan internationale normen en standaarden en om betrouwbare AI te bevorderen die strookt met de waarden en belangen van de Unie, aanzienlijk versterkt. Het verschaft de Unie een krachtige basis om met haar externe partners, met inbegrip van derde landen, en op internationale fora verder te onderhandelen over AI-aangelegenheden.

2.RECHTSGRONDSLAG, SUBSIDIARITEIT EN EVENREDIGHEID

2.1.Rechtsgrondslag

De rechtsgrondslag van het voorstel is in de eerste plaats artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU), dat voorziet in de vaststelling van maatregelen om de oprichting en werking van de interne markt te waarborgen.

Het onderhavige voorstel vormt een kernonderdeel van de EU-strategie voor een digitale eengemaakte markt. Het is in de eerste plaats bedoeld om de goede werking van de interne markt te waarborgen door geharmoniseerde regels vast te leggen, met name voor de ontwikkeling, het in de Unie in de handel brengen en het gebruik van producten en diensten die gebruikmaken van AI-technologieën of die als autonome AI-systemen worden aangeboden. In sommige lidstaten worden al nationale regels overwogen om ervoor te zorgen dat AI veilig is en wordt ontwikkeld en gebruikt met respect voor de verplichtingen inzake de grondrechten. Dit zal waarschijnlijk tot twee grote problemen leiden: i) een versnippering van de interne markt op essentiële punten, met name wat betreft de eisen voor AI-producten en -diensten, het in de handel brengen ervan en hun gebruik, de aansprakelijkheid en het toezicht door de overheid, en ii) een aanzienlijke vermindering van de rechtszekerheid voor zowel aanbieders als gebruikers van AI-systemen als het gaat over de wijze waarop bestaande en nieuwe regels in de Unie op die systemen van toepassing zullen zijn. Gezien het vele verkeer van producten en diensten over de grenzen heen, kunnen deze twee problemen het best worden opgelost door harmonisatiewetgeving op EU-niveau.

In het voorstel worden dan ook gemeenschappelijke, dwingende voorschriften vastgesteld die van toepassing zijn op het ontwerp en de ontwikkeling van bepaalde AI-systemen voordat deze in de handel worden gebracht. Deze voorschriften zullen verder worden geoperationaliseerd via geharmoniseerde technische normen. In het voorstel is ook rekening gehouden met de situatie nadat AI-systemen in de handel zijn gebracht, door de wijze waarop de ex-postcontroles worden uitgevoerd, te harmoniseren.

Aangezien dit voorstel voorts bepaalde specifieke regels bevat betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens, met name beperkingen op het gebruik van AI-systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, is het passend deze verordening, voor zover het die specifieke regels betreft, te baseren op artikel 16 van het VWEU.

2.2.Subsidiariteit (bij niet-exclusieve bevoegdheid)

Door de aard van AI, die vaak steunt op grote en gevarieerde datasets en die ingebed kan zijn in elk product dat of elke dienst die vrij circuleert op de interne markt, kunnen de doelstellingen van dit voorstel niet op doeltreffende wijze door de lidstaten alleen worden verwezenlijkt. Bovendien zou een lappendeken van mogelijk uiteenlopende nationale regels het naadloze verkeer van producten en diensten die verband houden met AI-systemen in de EU belemmeren en niet doeltreffend zijn om de veiligheid en de bescherming van de grondrechten en de waarden van de Unie in de verschillende lidstaten te waarborgen. Een aanpak van de problemen op het nationale niveau zal alleen maar leiden tot extra rechtsonzekerheid en belemmeringen, en zal de marktpenetratie van AI vertragen.

De doelstellingen van dit voorstel kunnen beter op het niveau van de Unie worden verwezenlijkt om een verdere versnippering van de eengemaakte markt in potentieel tegenstrijdige nationale kaders te voorkomen, aangezien die het vrije verkeer van de goederen en diensten waarin AI is ingebed, alleen maar zouden belemmeren. Een robuust Europees regelgevingskader voor betrouwbare AI zal ook zorgen voor een gelijk speelveld, en zal ook alle mensen beschermen en tegelijkertijd het concurrentievermogen en de industriële basis in Europa op het gebied van AI versterken. Alleen door een gezamenlijk optreden op het niveau van de Unie kan ook de digitale soevereiniteit van de Unie worden beschermd en kunnen de instrumenten en regelgevende bevoegdheden van de Unie worden ingezet om wereldwijde regels en normen vorm te geven.

2.3.Evenredigheid

Het voorstel bouwt voort op bestaande rechtskaders en is evenredig en noodzakelijk om de doelstellingen te verwezenlijken, aangezien het een risicogebaseerde aanpak volgt en alleen regeldruk oplegt wanneer een AI-systeem waarschijnlijk een hoog risico oplevert voor de grondrechten en de veiligheid. Voor andere AI-systemen zonder een hoog risico worden slechts zeer beperkte transparantieverplichtingen opgelegd, bijvoorbeeld de verstrekking van informatie om aan te geven dat een AI-systeem wordt gebruikt voor interacties met mensen. Voor AI-systemen met een hoog risico zijn de eisen inzake het gebruik van data van hoge kwaliteit, documentatie en traceerbaarheid, transparantie, menselijk toezicht, nauwkeurigheid en robuustheid strikt noodzakelijk om de risico’s voor de grondrechten en de veiligheid te beperken die door AI worden gesteld en die niet door andere bestaande rechtskaders wordt gedekt. Dankzij geharmoniseerde normen en ondersteunende richtsnoeren en nalevingsinstrumenten zullen aanbieders en gebruikers beter in staat zijn de in het voorstel vastgestelde voorschriften na te leven en hun kosten tot een minimum te beperken. De kosten voor de marktdeelnemers staan in verhouding tot de beoogde doelstellingen en tot de economische en reputatievoordelen die de marktdeelnemers van dit voorstel mogen verwachten.

2.4.Keuze van het instrument

De keuze voor een verordening als rechtsinstrument wordt gerechtvaardigd door de noodzaak van een uniforme toepassing van de nieuwe regels, zoals de definitie van AI, het verbod op bepaalde schadelijke op AI gebaseerde praktijken en de indeling van bepaalde AI-systemen. Door de directe toepasbaarheid van een verordening, overeenkomstig artikel 288 VWEU, zal er minder juridische versnippering zijn en zal de ontwikkeling van een eengemaakte markt voor wettige, veilige en betrouwbare AI-systemen eenvoudiger worden. Dit wordt met name verwezenlijkt door de invoering van een geharmoniseerde verzameling van kernvereisten voor AI-systemen met een hoog risico, en van verplichtingen voor aanbieders en gebruikers van die systemen, waardoor de bescherming van de grondrechten wordt verbeterd en zowel marktdeelnemers als consumenten rechtszekerheid wordt geboden.

Tegelijkertijd zijn de bepalingen van de verordening niet onnodig prescriptief en laten zij ruimte voor de lidstaten om uiteenlopende maatregelen te nemen voor elementen die de doelstellingen van het initiatief niet ondermijnen, met name de interne organisatie van het markttoezichtsysteem en de toepassing van maatregelen om innovatie te bevorderen.

3.EVALUATIE, RAADPLEGING VAN BELANGHEBBENDEN EN EFFECTBEOORDELING

3.1.Raadpleging van belanghebbenden

Dit voorstel is het resultaat van een uitgebreid overleg met de voornaamste belanghebbenden, waarbij de Commissie de algemene beginselen en minimumnormen voor raadpleging van belanghebbenden heeft toegepast.

Samen met de bekendmaking van het witboek over artificiële intelligentie is op 19 februari 2020 een onlineraadpleging van het publiek gestart, die liep tot 14 juni 2020. Die raadpleging was bedoeld om standpunten en meningen over het witboek te verzamelen. Zij was gericht op alle belanghebbende partijen uit de openbare en particuliere sector, met inbegrip van regeringen, lokale overheden, commerciële en niet-commerciële organisaties, sociale partners, deskundigen, academici en burgers. Na alle ontvangen reacties te hebben bestudeerd, heeft de Commissie een samenvatting ervan en de afzonderlijke reacties op haar website bekendgemaakt 22 .

In totaal werden 1 215 bijdragen ontvangen, waarvan 352 van bedrijven of bedrijfsorganisaties/-verenigingen, 406 van natuurlijke personen (92 % natuurlijke personen uit de EU), 152 namens academische/onderzoeksinstellingen, en 73 van overheidsinstanties. Het maatschappelijk middenveld werd vertegenwoordigd door 160 respondenten (waaronder 9 consumentenorganisaties, 129 niet-gouvernementele organisaties en 22 vakbonden); 72 respondenten leverden een bijdrage als “overige”. Van de 352 vertegenwoordigers van het bedrijfsleven en de industrie waren er 222 ondernemingen en vertegenwoordigers uit het bedrijfsleven, waarvan 41,5 % micro-, kleine en middelgrote ondernemingen. De rest waren bedrijfsverenigingen. In totaal was 84 % van de antwoorden van het bedrijfsleven en de industrie afkomstig uit de EU-27. Afhankelijk van de vraag hebben tussen 81 en 598 van de respondenten gebruikgemaakt van de mogelijkheid om opmerkingen toe te voegen als vrije tekst. Via de website van de EU-enquête werden meer dan 450 standpuntnota’s ingediend, hetzij als aanvulling op de antwoorden op de vragenlijst (in meer dan 400 gevallen), hetzij als op zichzelf staande bijdragen (in meer dan 50 van de gevallen).

Over het algemeen zijn de belanghebbenden het erover eens dat actie moet worden ondernomen. Een grote meerderheid van de belanghebbenden is het ermee eens dat er lacunes in de wetgeving bestaan of dat nieuwe wetgeving nodig is. Verscheidene belanghebbenden hebben de Commissie er echter op gewezen dat overlappingen, tegenstrijdige verplichtingen en overregulering moeten worden vermeden. In veel van de opmerkingen werd het belang van een technologieneutraal en evenredig regelgevingskader onderstreept.

De belanghebbenden vroegen veelal om een enge, duidelijke en nauwkeurige definitie van AI. Zij wezen ook op het belang om, naast de verduidelijking van de term “AI”, ook een definitie te geven aan “risico”, “hoog risico”, “laag risico”, “biometrische identificatie op afstand” en “schade”.

De meeste respondenten zijn uitdrukkelijk voorstander van de risicogebaseerde aanpak. Het gebruik van een risicogebaseerd kader werd als een betere optie beschouwd dan een algemene regelgeving voor alle AI-systemen. De soorten risico’s en dreigingen moeten per sector en per geval worden vastgesteld. Bij de berekening van de risico’s moet ook rekening worden gehouden met de gevolgen voor de rechten en de veiligheid.

Testomgevingen voor regelgeving kunnen zeer nuttig zijn voor de bevordering van AI en worden toegejuicht door bepaalde belanghebbenden, met name de bedrijfsverenigingen.

Van degenen die hun mening over de handhavingsmodellen hebben gegeven, was meer dan 50 %, met name bij de bedrijfsverenigingen, voorstander van een combinatie van een zelf uitgevoerde ex-anterisicobeoordeling en ex-posthandhavingsmaatregelen voor AI-systemen met een hoog risico.

3.2.Bijeenbrengen en gebruik van expertise

Het voorstel is gebaseerd op twee jaar analyse en een nauwe betrokkenheid van belanghebbenden, waaronder academici, bedrijven, sociale partners, niet-gouvernementele organisaties, lidstaten en burgers. De voorbereiding startte in 2018 met de oprichting van een deskundigengroep op hoog niveau inzake AI. De groep was inclusief en breed samengesteld met 52 vooraanstaande deskundigen, en had als opdracht de Commissie te adviseren over de uitvoering van haar strategie inzake artificiële intelligentie. In april 2019 sprak de Commissie haar steun 23 uit voor de kernvereisten die waren opgesomd in de ethische richtsnoeren van de deskundigengroep op hoog niveau voor een betrouwbare AI 24 , en die herzien waren om rekening te houden met meer dan 500 bijdragen van belanghebbenden. De kernvereisten weerspiegelen een wijdverspreide en gemeenschappelijke aanpak, zoals blijkt uit de overvloed aan ethische codes en beginselen die door tal van particuliere en overheidsorganisaties in Europa en daarbuiten zijn uitgewerkt, waaruit blijkt dat bij de ontwikkeling en het gebruik van AI moet worden uitgegaan van bepaalde essentiële, op waarden gerichte beginselen. De Assessment List for Trustworthy Artificial Intelligence (Altai) 25 heeft deze eisen operationeel gemaakt in een proefproject met meer dan 350 organisaties.

Daarnaast is de AI Alliance 26 opgericht, een platform voor ongeveer 4 000 belanghebbenden om te debatteren over de technologische en maatschappelijke implicaties van AI. In het kader daarvan wordt jaarlijks de AI Assembly georganiseerd.

3.3.Effectbeoordeling

In overeenstemming met haar beleid inzake “betere regelgeving” heeft de Commissie voor dit voorstel een effectbeoordeling uitgevoerd die door de Raad voor regelgevingstoetsing van de Commissie is onderzocht. Op 16 december 2020 heeft een vergadering met de Raad voor regelgevingstoetsing plaatsgevonden, waaruit een negatief advies is voortgevloeid. Na een grondige herziening van de effectbeoordeling om rekening te houden met de opmerkingen, werd de effectbeoordeling opnieuw ingediend en heeft de Raad voor regelgevingstoetsing op 21 maart 2021 een positief advies uitgebracht. De adviezen van de Raad voor regelgevingstoetsing, de aanbevelingen en een toelichting over de manier waarop daarmee rekening is gehouden, zijn opgenomen in bijlage 1 bij de effectbeoordeling.

De Commissie heeft verschillende beleidsopties onderzocht om de algemene doelstelling van het voorstel te verwezenlijken, namelijk de goede werking van de eengemaakte markt garanderen door de juiste voorwaarden te scheppen voor de ontwikkeling en het gebruik van betrouwbare AI in de Unie.

Er werden vier beleidsopties met telkens een verschillende mate van regelgevend ingrijpen beoordeeld:

·Optie 1: EU-wetgevingsinstrument tot instelling van een vrijwillige etiketteringsregeling;

·Optie 2: een sectorale ad-hocaanpak;

·Optie 3: horizontaal EU-wetgevingsinstrument volgens een evenredige, risicogebaseerde aanpak;

·Optie 3+: horizontaal EU-wetgevingsinstrument volgens een evenredige, risicogebaseerde aanpak + gedragscodes voor AI-systemen zonder hoog risico;

·Optie 4: horizontaal EU-wetgevingsinstrument tot vaststelling van dwingende voorschriften voor alle AI-systemen, ongeacht het risico dat zij inhouden.

Volgens de gebruikelijke methode van de Commissie werden de economische en maatschappelijke gevolgen van elke beleidsoptie beoordeeld, met bijzondere aandacht voor de effecten op de grondrechten. De voorkeursoptie is optie 3+, een regelgevingskader uitsluitend voor AI-systemen met een hoog risico, met de mogelijkheid voor alle aanbieders van AI-systemen zonder hoog risico om een gedragscode te volgen. De eisen hebben betrekking op data, documentatie en traceerbaarheid, informatieverstrekking en transparantie, menselijk toezicht, robuustheid en nauwkeurigheid, en zouden verplicht zijn voor AI-systemen met een hoog risico. Bedrijven die gedragscodes voor andere AI-systemen invoeren, zouden dat vrijwillig doen.

De voorkeursoptie werd geschikt bevonden om de doelstellingen van dit voorstel op de meest doeltreffende manier te verwezenlijken. Door met deze voorkeursoptie de ontwikkelaars en gebruikers van AI een beperkte maar doeltreffende reeks maatregelen op te leggen, wordt het risico op schendingen van de grondrechten en van de veiligheid van mensen beperkt. Tevens worden een doeltreffend toezicht en een doeltreffende handhaving bevorderd, doordat de eisen alleen gelden voor systemen waar het risico op dergelijke schendingen groot is. Daardoor blijven de nalevingskosten tot een minimum beperkt en wordt vermeden dat hogere prijzen en nalevingskosten voor onnodige vertraging zorgen in de invoering van AI. Om mogelijke nadelen voor kmo’s te ondervangen, bevat deze optie verschillende bepalingen om kmo’s te helpen bij de naleving en om hun kosten te verminderen, waaronder de oprichting van testomgevingen voor regelgeving en de verplichting om bij de vaststelling van vergoedingen voor conformiteitsbeoordelingen rekening te houden met de belangen van kmo’s.

De voorkeursoptie zal het vertrouwen van de mensen in AI vergroten, bedrijven zullen meer rechtszekerheid hebben en de lidstaten zullen geen reden zien om unilaterale maatregelen te nemen die de eengemaakte markt zouden kunnen versnipperen. Door de grotere vraag als gevolg van het grotere vertrouwen, het grotere aanbod als gevolg van de rechtszekerheid en de afwezigheid van belemmeringen voor het grensoverschrijdende verkeer van AI-systemen, zal de eengemaakte markt voor AI naar alle waarschijnlijkheid tot bloei komen. De Europese Unie zal blijven werken aan de ontwikkeling van een snel groeiend AI-ecosysteem van innovatieve diensten en producten waarin AI-technologie is geïntegreerd of van autonome AI-systemen, wat zal resulteren in meer digitale autonomie.

Bedrijven of overheidsinstanties die AI-toepassingen met een groot risico voor de veiligheid of de grondrechten van burgers ontwikkelen of gebruiken, zouden aan specifieke eisen en verplichtingen moeten voldoen. Naleving van deze eisen zou    voor de levering van een gemiddeld AI-systeem met een hoog risico van ongeveer 170 000 EUR tegen 2025 ongeveer 6 000 tot 7 000 EUR kosten met zich meebrengen. Voor AI-gebruikers zouden er ook jaarlijkse kosten zijn voor de tijd die nodig is om te zorgen voor menselijk toezicht, afhankelijk van het type gebruik. Die kosten zijn geraamd op ongeveer 5 000 tot 8 000 EUR per jaar. De verificatiekosten kunnen oplopen tot nog eens 3 000 tot 7 500 EUR voor aanbieders van AI met een hoog risico. Bedrijven of overheidsinstanties die AI-toepassingen ontwikkelen of gebruiken die geen hoog risico inhouden, zouden slechts minimale informatieverplichtingen hebben. Zij zouden er echter voor kunnen kiezen zich bij anderen aan te sluiten en samen een gedragscode vast te stellen om passende vereisten na te leven en ervoor te zorgen dat hun AI-systemen betrouwbaar zijn. In dat geval zouden de kosten ten hoogste even hoog zijn als voor AI-systemen met een hoog risico, maar hoogstwaarschijnlijk lager.

De gevolgen van de beleidsopties voor de verschillende categorieën belanghebbenden (marktdeelnemers/bedrijven; conformiteitsbeoordelingsinstanties, normalisatie-instellingen en andere overheidsinstanties; natuurlijke personen/burgers; onderzoekers) worden uitvoerig toegelicht in bijlage 3 bij de effectbeoordeling ter ondersteuning van dit voorstel.

3.4.Resultaatgerichtheid en vereenvoudiging

In het onderhavige voorstel worden verplichtingen vastgesteld die gelden voor aanbieders en gebruikers van AI-systemen met een hoog risico. Voor aanbieders die dergelijke systemen ontwikkelen en op de markt van de Unie brengen, zal het rechtszekerheid scheppen en ervoor zorgen dat er geen belemmeringen ontstaan voor de grensoverschrijdende levering van AI-gerelateerde diensten en producten. Voor bedrijven die AI gebruiken, zal dit het vertrouwen van hun klanten bevorderen. De nationale overheidsdiensten kunnen aan de hand van dit voorstel het vertrouwen van het publiek in het gebruik van AI aanwakkeren en de handhavingsmechanismen versterken (door de invoering van een Europees coördinatiemechanisme dat in de passende capaciteit voorziet en audits van de AI-systemen vergemakkelijkt met nieuwe eisen inzake documentatie, traceerbaarheid en transparantie). Voorts zal het kader specifieke maatregelen bevatten om innovatie te ondersteunen, waaronder testomgevingen voor regelgeving en specifieke maatregelen ter ondersteuning van kleinschalige gebruikers en aanbieders van AI-systemen met een hoog risico om aan de nieuwe regels te voldoen.

Het voorstel is er ook specifiek op gericht om het concurrentievermogen van Europa en de industriële basis op het gebied van AI te versterken. Er wordt voor volledige verenigbaarheid gezorgd met de bestaande sectorale Uniewetgeving die van toepassing is op AI-systemen (bv. inzake producten en diensten) om meer duidelijkheid te verschaffen en de handhaving van de nieuwe regels te vereenvoudigen.

3.5.Grondrechten

Het gebruik van AI met haar specifieke kenmerken (bv. ondoorzichtigheid, complexiteit, afhankelijkheid van data, autonoom gedrag) kan een aantal grondrechten die in het EU-Handvest van de grondrechten (“het Handvest”) zijn verankerd, negatief beïnvloeden. Met dit voorstel wordt ernaar gestreefd een hoog niveau van bescherming te garanderen voor die grondrechten en verschillende risicobronnen aan te pakken door middel van een duidelijk omschreven, risicogebaseerde aanpak. Aan de hand van een reeks eisen voor betrouwbare AI en evenredige verplichtingen voor alle deelnemers aan de waardeketen, zal met het voorstel de bescherming van de door het Handvest beschermde rechten worden versterkt en bevorderd: het recht op menselijke waardigheid (artikel 1), de eerbiediging van het privéleven en de bescherming van persoonsgegevens (artikelen 7 en 8), non-discriminatie (artikel 21) en gelijkheid van vrouwen en mannen (artikel 23). Het is de bedoeling om te voorkomen dat het recht van vrije meningsuiting (artikel 11) en de vrijheid van vergadering (artikel 12) worden beknot en om het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, en het vermoeden van onschuld en rechten van de verdediging (artikelen 47 en 48), alsook het algemene beginsel van behoorlijk bestuur te beschermen. Voorts zal het voorstel, voor zover het op bepaalde gebieden van toepassing is, een positieve invloed hebben op de rechten van een aantal bijzondere groepen, zoals het recht van werknemers op rechtvaardige en billijke arbeidsomstandigheden en -voorwaarden (artikel 31), een hoog niveau van consumentenbescherming (artikel 28), de rechten van het kind (artikel 24) en de integratie van personen met een handicap (artikel 26). Het recht op een hoog niveau van milieubescherming en op verbetering van de kwaliteit van het milieu (artikel 37) is eveneens relevant, ook met betrekking tot de gezondheid en veiligheid van mensen. De verplichtingen inzake voorafgaande tests, risicobeheer en menselijk toezicht zullen ook helpen om andere grondrechten te eerbiedigen door het risico op verkeerde of partijdige beslissingen als gevolg van het gebruik van AI op kritieke gebieden zoals onderwijs en opleiding, werkgelegenheid, essentiële diensten, rechtshandhaving en justitie, tot een minimum te beperken. Mochten er toch inbreuken op de grondrechten worden gepleegd, dan zullen de getroffen personen daadwerkelijk schadeloos kunnen worden gesteld dankzij de transparantie en traceerbaarheid van de AI-systemen, gekoppeld aan strenge ex-postcontroles.

Met dit voorstel worden een aantal beperkingen opgelegd aan de vrijheid van ondernemerschap (artikel 16) en de vrijheid van kunsten en wetenschap (artikel 13) zodat rekening worden gehouden met dwingende redenen van algemeen belang, zoals gezondheid, veiligheid, consumentenbescherming en de bescherming van andere grondrechten (“verantwoorde innovatie”) wanneer AI-technologie met een hoog risico wordt ontwikkeld en gebruikt. Deze beperkingen zijn evenredig en beperkt tot het minimum dat noodzakelijk is om ernstige veiligheidsrisico’s en waarschijnlijke inbreuken op de grondrechten te voorkomen en te beperken.

4.GEVOLGEN VOOR DE BEGROTING

De lidstaten zullen toezichthoudende autoriteiten moeten aanwijzen die belast zijn met de uitvoering van de wettelijke vereisten. Hun toezichthoudende functie kan worden gebaseerd op bestaande regelingen, bijvoorbeeld als het gaat om conformiteitsbeoordelingsinstanties of markttoezicht, maar zal wel voldoende technologische deskundigheid en personele en financiële middelen vereisen. Afhankelijk van de reeds bestaande structuur in elke lidstaat zou dit kunnen neerkomen op 1 tot 25 voltijdequivalenten per lidstaat.

5.OVERIGE ELEMENTEN

5.1.Uitvoeringsplanning en regelingen betreffende controle, evaluatie en rapportage

Een robuust controle- en evaluatiemechanisme is van cruciaal belang om de specifieke doelstellingen van het voorstel op doeltreffende wijze te verwezenlijken. De Commissie wordt belast met het toezicht op de gevolgen van het voorstel. Zij zal een systeem opzetten om autonome AI-toepassingen met een hoog risico te registreren in een openbare databank voor de hele EU. Deze registratie zal de bevoegde autoriteiten, gebruikers en andere belangstellenden tevens in staat stellen om na te gaan of het AI-systeem met een hoog risico voldoet aan de in het voorstel vastgestelde vereisten en om een beter toezicht uit te oefenen op AI-systemen die een hoog risico inhouden voor de grondrechten. Om deze databank van informatie te voorzien, zullen aanbieders van AI verplicht zijn om zinvolle informatie te verstrekken over hun systemen en over de conformiteitsbeoordeling die op deze systemen is uitgevoerd.

Voorts zullen aanbieders van AI verplicht zijn de nationale bevoegde autoriteiten in kennis te stellen van ernstige incidenten of storingen die een inbreuk vormen op de grondrechten, zodra zij daarvan op de hoogte zijn, alsook van terugroepingen of het uit de handel nemen van AI-systemen. De nationale bevoegde autoriteiten zullen dan de incidenten of storingen onderzoeken, alle nodige informatie verzamelen en die informatie regelmatig met adequate metadata aan de Commissie overmaken. De Commissie zal deze informatie over de incidenten aanvullen met een uitgebreide analyse van de totale AI-markt.

De Commissie zal vijf jaar na de datum waarop het voorgestelde AI-kader van toepassing wordt, een evaluatie- en herzieningsverslag publiceren.

5.2.Artikelsgewijze toelichting

5.2.1.TOEPASSINGSGEBIED EN DEFINITIES (TITEL I)

Titel I bevat de definitie van het voorwerp van de verordening en het toepassingsgebied van de nieuwe regels die betrekking hebben op het in de handel brengen, de inbedrijfstelling en het gebruik van AI-systemen. Ook de overige in het instrument gebruikte definities worden daarin gedefinieerd. De definitie van AI-systeem binnen het rechtskader beoogt zo technologieneutraal en toekomstbestendig mogelijk te zijn, rekening houdend met de snelle technologische en marktgerelateerde ontwikkelingen op het gebied van AI. Om de nodige rechtszekerheid te bieden, wordt titel I aangevuld met bijlage I, waarin een gedetailleerde lijst van benaderingen en technieken voor de ontwikkeling van AI is opgenomen, die door de Commissie in overeenstemming met nieuwe technologische ontwikkelingen moet worden aangepast. Ook de belangrijkste deelnemers aan de AI-waardeketen zijn duidelijk gedefinieerd, zoals aanbieders en gebruikers van AI-systemen, waaronder zowel openbare als particuliere marktdeelnemers vallen om een gelijk speelveld te garanderen.

5.2.2.VERBODEN PRAKTIJKEN OP HET GEBIED VAN ARTIFICIËLE INTELLIGENTIE (TITEL II)

Titel II bevat een lijst van verboden AI. De verordening volgt een risicogebaseerde aanpak, waarbij een onderscheid wordt gemaakt tussen AI-toepassingen die i) een onaanvaardbaar risico, ii) een hoog risico, en iii) een laag of minimaal risico met zich meebrengen. De lijst van verboden praktijken in titel II bevat alle AI-systemen waarvan het gebruik onaanvaardbaar wordt geacht omdat het strijdig is met de waarden van de Unie, bijvoorbeeld vanwege een schending van grondrechten. Het verbod heeft betrekking op praktijken die een aanzienlijk potentieel hebben om personen via subliminale technieken, zonder dat ze zich daarvan bewust zijn, te manipuleren of misbruik te maken van de kwetsbaarheid van specifieke kwetsbare groepen zoals kinderen of personen met een handicap, teneinde hun gedrag wezenlijk te verstoren op een wijze die hen of anderen psychisch of fysiek letsel kan toebrengen. Andere manipulatie- of uitbuitingspraktijken ten aanzien van volwassenen die door AI-systemen zouden kunnen worden vergemakkelijkt, kunnen onder de bestaande wetgeving inzake gegevensbescherming, consumentenbescherming en digitale diensten vallen, die waarborgt dat natuurlijke personen naar behoren worden geïnformeerd en de vrije keuze hebben om niet te worden onderworpen aan profilering of andere praktijken die hun gedrag kunnen beïnvloeden. Het voorstel verbiedt ook op AI gebaseerde “sociale scoring” voor algemene doeleinden door overheidsinstanties. Tot slot is ook het gebruik van “realtime” biometrische systemen voor identificatie op afstand in openbare ruimten met het oog op de rechtshandhaving verboden, tenzij in een beperkt aantal uitzonderlijke gevallen.

5.2.3.AI-SYSTEMEN MET EEN HOOG RISICO (TITEL III)

Titel III bevat specifieke regels voor AI-systemen die een hoog risico voor de gezondheid en veiligheid of de fundamentele rechten van natuurlijke personen inhouden. In het kader van een risicogebaseerde aanpak worden deze AI-systemen met een hoog risico toegelaten op de Europese markt, mits zij voldoen aan bepaalde dwingende voorschriften en vooraf een conformiteitsbeoordeling ondergaan. AI-systemen met een hoog risico worden als dusdanig ingedeeld op basis van het beoogde doel van het AI-systeem, in overeenstemming met de bestaande wetgeving inzake productveiligheid. De indeling als AI-systeem met een hoog risico hangt bijgevolg niet alleen af van de functie die het systeem vervult, maar ook van het specifieke doel en de modaliteiten waarvoor dat systeem wordt gebruikt.

In hoofdstuk 1 van titel III worden de indelingsregels vastgesteld en wordt een onderscheid gemaakt tussen twee hoofdcategorieën van AI-systemen met een hoog risico:

·AI-systemen die zijn bedoeld om te worden gebruikt als veiligheidscomponent van producten die vooraf een conformiteitsbeoordeling door derden moeten ondergaan;

·andere autonome AI-systemen met hoofdzakelijk implicaties op het gebied van de grondrechten die uitdrukkelijk in bijlage III zijn vermeld.

Deze lijst van AI-systemen met een hoog risico in bijlage III bevat een beperkt aantal AI-systemen waarvan de risico’s zich reeds hebben gemanifesteerd of zich in de nabije toekomst waarschijnlijk zullen manifesteren. Om ervoor te zorgen dat de verordening kan worden aangepast aan opkomende gebruiksvormen en toepassingen van AI, kan de Commissie de lijst van AI-systemen met een hoog risico die binnen bepaalde vooraf bepaalde gebieden worden gebruikt, uitbreiden door een reeks criteria en een risicobeoordelingsmethode toe te passen.

Hoofdstuk 2 bevat de wettelijke voorschriften voor AI-systemen met een hoog risico met betrekking tot data en databeheer, documentatie en het bijhouden van gegevens, transparantie en informatieverstrekking aan gebruikers, menselijk toezicht, robuustheid, nauwkeurigheid en beveiliging. De voorgestelde minimumvereisten zijn voor veel toegewijde marktdeelnemers al erg geavanceerd en vormen het resultaat van twee jaar voorbereidend werk, afgeleid van de ethische richtsnoeren van de deskundigengroep op hoog niveau 29 en door meer dan 350 organisaties getest 30 . Zij sluiten ook grotendeels aan bij andere internationale aanbevelingen en beginselen, wat garandeert dat het voorgestelde AI-kader verenigbaar is met de bestaande kaders van de internationale handelspartners van de EU. De precieze technische oplossingen om aan die eisen te voldoen, kunnen worden aangeboden in de vorm van normen of andere technische specificaties, dan wel anderszins worden ontwikkeld op basis van algemene technische of wetenschappelijke kennis, naar goeddunken van de aanbieder van het AI-systeem. Deze flexibiliteit is bijzonder belangrijk, omdat zij aanbieders van AI-systemen in staat stelt de manier te kiezen waarop zij aan de eisen voldoen, rekening houdend met de stand van de techniek en de technologische en wetenschappelijke vooruitgang op dit gebied.

In hoofdstuk 3 wordt een duidelijke reeks horizontale verplichtingen opgelegd aan aanbieders van AI-systemen met een hoog risico. Er worden ook evenredige verplichtingen opgelegd aan gebruikers en andere deelnemers aan de AI-waardeketen (bv. importeurs, distributeurs, gemachtigden).

In hoofdstuk 4 wordt het kader geschetst waarbinnen aangemelde instanties als onafhankelijke derde partij bij conformiteitsbeoordelingsprocedures worden betrokken, terwijl in hoofdstuk 5 de conformiteitsbeoordelingsprocedures die voor elk type AI-systeem met hoog risico moeten worden gevolgd, in detail worden toegelicht. Door te werken met conformiteitsbeoordelingen wordt beoogd de lasten voor marktdeelnemers evenals voor aangemelde instanties, die hun capaciteit geleidelijk aan moeten uitbreiden, tot een minimum te beperken. AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponenten van producten die onder het nieuwe wetgevingskader vallen (bv. machines, speelgoed, medische hulpmiddelen enzovoort), worden onderworpen aan dezelfde ex-ante- en ex-postconformiteitsmechanismen en -handhavingsmechanismen als de producten waarvan zij een component zijn. Het belangrijkste verschil is dat de ex-ante- en ex-postmechanismen niet alleen de naleving van de in de sectorale wetgeving vastgestelde vereisten, maar ook van de in deze verordening vastgestelde vereisten zullen garanderen.

Wat de in bijlage III bedoelde autonome AI-systemen met een hoog risico betreft, zal een nieuw nalevings- en handhavingssysteem worden ingesteld. Hierbij wordt het model van het nieuwe wetgevingskader gevolgd, dat wordt uitgevoerd door middel van interne controles door de aanbieders, met uitzondering van biometrische systemen voor identificatie op afstand, die aan een conformiteitsbeoordeling door een derde worden onderworpen. Een uitgebreide ex-anteconformiteitsbeoordeling door middel van interne controles, gecombineerd met een strenge ex-posthandhaving, zou voor die systemen een doeltreffende en redelijke oplossing kunnen zijn, aangezien de regelgevende maatregelen zich in een vroege fase bevinden en het feit dat de AI-sector zeer innovatief is en de deskundigheid voor audits nu pas wordt opgebouwd. Een beoordeling aan de hand van interne controles voor “autonome” AI-systemen met een hoog risico vereist een volledige, doeltreffende en naar behoren gedocumenteerde ex-antenaleving van alle voorschriften in de verordening en naleving van robuuste kwaliteits- en risicobeheerssystemen en monitoring na het in de handel brengen. Nadat de aanbieder de relevante conformiteitsbeoordeling heeft uitgevoerd, moet hij deze autonome AI-systemen met een hoog risico registreren in een EU-databank die door de Commissie zal worden beheerd om de publieke transparantie en het publieke toezicht te vergroten en het ex-posttoezicht door de bevoegde autoriteiten te versterken. Daarentegen zal voor de conformiteitsbeoordeling van AI-systemen die veiligheidscomponenten van producten zijn, ten behoeve van de verenigbaarheid met bestaande wetgeving inzake productveiligheid, een systeem worden gehanteerd met conformiteitsbeoordelingsprocedures van derden die reeds zijn vastgesteld in het kader van de desbetreffende sectorale wetgeving inzake productveiligheid. Hernieuwde ex-anteconformiteitsbeoordelingen zullen nodig zijn in geval van substantiële wijzigingen van de AI-systemen (en met name wijzigingen die verder gaan dan wat vooraf door de aanbieder in zijn technische documentatie is bepaald en tijdens de ex-anteconformiteitsbeoordeling is gecontroleerd).

5.2.4.TRANSPARANTIEVERPLICHTINGEN VOOR BEPAALDE AI-SYSTEMEN (TITEL IV)

Titel IV heeft betrekking op bepaalde AI-systemen waarmee rekening moet worden gehouden gezien de specifieke risico’s op manipulatie die zij inhouden. Er zullen transparantieverplichtingen gelden voor systemen die i) interageren met mensen, ii) worden gebruikt om emoties te detecteren of mensen in te delen in (sociale) categorieën op basis van biometrische gegevens, of iii) inhoud genereren of manipuleren (“deep fakes”). Wanneer personen interageren met een AI-systeem of hun emoties of kenmerken door geautomatiseerde hulpmiddelen worden herkend, moeten zij daarvan op de hoogte worden gebracht. Als een AI-systeem wordt gebruikt om beeld-, audio- of videomateriaal te genereren of te manipuleren dat een merkbare gelijkenis vertoont met authentieke inhoud, moet het verplicht zijn om bekend te maken dat de inhoud door geautomatiseerde hulpmiddelen is gegenereerd, behoudens uitzonderingen voor legitieme doeleinden (rechtshandhaving, vrijheid van meningsuiting). Dit geeft personen de mogelijkheid weloverwogen keuzes te maken of afstand te nemen van een bepaalde situatie.

5.2.5.MAATREGELEN TER ONDERSTEUNING VAN INNOVATIE (TITEL V)

De inhoud van titel V draagt bij aan de doelstelling om een rechtskader tot stand te brengen dat innovatievriendelijk, toekomstbestendig en bestand tegen verstoringen is. Daartoe worden de nationale bevoegde autoriteiten aangemoedigd om testomgevingen voor regelgeving op te zetten en wordt een basiskader vastgesteld voor governance, toezicht en aansprakelijkheid. AI-testomgevingen voor regelgeving zijn gecontroleerde omgevingen waarin innovatieve technologieën gedurende een beperkte tijd kunnen worden getest op basis van een met de bevoegde autoriteiten overeengekomen testplan. Titel V bevat ook maatregelen om de regeldruk voor de kmo’s en startende ondernemingen te verlichten.

5.2.6.GOVERNANCE EN UITVOERING (TITELS VI, VII EN VII)

In titel VI worden de governancesystemen op het niveau van de Unie en op nationaal niveau ingesteld. Op het niveau van de Unie voorziet het voorstel in de oprichting van een Europees Comité voor artificiële intelligentie (het “Comité”), dat is samengesteld uit vertegenwoordigers van de lidstaten en de Commissie. Het Comité zal een vlotte, doeltreffende en geharmoniseerde uitvoering van deze verordening vergemakkelijken door bij te dragen aan de vlotte samenwerking tussen de nationale toezichthoudende autoriteiten en de Commissie, en advies en expertise ter beschikking te stellen van de Commissie. De raad zal ook beste praktijken verzamelen en uitwisselen tussen de lidstaten.

Op nationaal niveau zullen de lidstaten een of meer nationale bevoegde autoriteiten moeten aanwijzen, waaronder de nationale toezichthoudende autoriteit, die belast worden met het toezicht op de toepassing en uitvoering van de verordening. De Europese Toezichthouder voor gegevensbescherming treedt op als de bevoegde autoriteit voor het toezicht op de instellingen, agentschappen en organen van de Unie wanneer zij binnen het toepassingsgebied van deze verordening vallen.

Titel VII is bedoeld om het toezicht door de Commissie en de nationale autoriteiten te vergemakkelijken door een EU-databank op te richten voor autonome AI-systemen met een hoog risico die voornamelijk gevolgen hebben voor de grondrechten. De databank zal worden beheerd door de Commissie en van data worden voorzien door de aanbieders van de AI-systemen, die verplicht zullen zijn hun systemen te registreren alvorens ze in de handel te brengen of anderszins in gebruik te nemen.

Titel VIII bevat de monitoring- en rapportageverplichtingen voor aanbieders van AI-systemen met betrekking tot de monitoring na het in de handel brengen en de rapportage van en het onderzoek naar AI-gerelateerde incidenten en storingen. De markttoezichtautoriteiten zullen ook de markt controleren en nagaan of alle reeds in de handel gebrachte AI-systemen met een hoog risico voldoen aan de verplichtingen en vereisten. De markttoezichtautoriteiten beschikken over alle bevoegdheden uit hoofde van Verordening (EU) 2019/1020 betreffende markttoezicht. Via ex-posthandhaving wordt ervoor gezorgd dat overheidsinstanties, zodra het AI-systeem in de handel is gebracht, over de bevoegdheden en middelen beschikken om in te grijpen wanneer AI-systemen onverwachte risico’s met zich meebrengen die een snel ingrijpen rechtvaardigen. Zij zien er ook op toe dat de marktdeelnemers hun relevante verplichtingen uit hoofde van de verordening naleven. Het voorstel voorziet niet in de automatische oprichting van extra instanties of autoriteiten op het niveau van de lidstaten. De lidstaten kunnen derhalve bestaande sectorale autoriteiten aanwijzen (en een beroep doen op de deskundigheid van die autoriteiten), die de bevoegdheid voor het toezicht op en de handhaving van de bepalingen van de verordening op zich zullen nemen.

Dit alles doet geen afbreuk aan het bestaande systeem en de bestaande verdeling van bevoegdheden in de lidstaten voor de ex-posthandhaving van de verplichtingen betreffende de grondrechten. Indien nodig voor hun mandaat zullen de bestaande toezichthoudende en handhavingsautoriteiten ook bevoegd zijn om alle in het kader van deze verordening bijgehouden documentatie op te vragen en in te zien en, indien nodig, de markttoezichtautoriteiten te verzoeken het AI-systeem met een hoog risico aan technische tests te onderwerpen.

5.2.7.GEDRAGSCODES (TITEL IX)

In titel IX wordt een kader voor gedragscodes omschreven die aanbieders van AI-systemen zonder hoog risico ertoe moeten aanzetten de dwingende voorschriften voor AI-systemen met een hoog risico (zoals vastgelegd in titel III) vrijwillig toe te passen. Aanbieders van AI-systemen zonder hoog risico kunnen de gedragscodes zelf opstellen en toepassen. In deze codes kunnen ook vrijwillige verbintenissen zijn opgenomen met betrekking tot bijvoorbeeld milieuduurzaamheid, toegankelijkheid voor personen met een handicap, inspraak van belanghebbenden tijdens het ontwerp en de ontwikkeling van AI-systemen, en diversiteit binnen de ontwikkelingsteams.

5.2.8.SLOTBEPALINGEN (TITELS X, XI EN XII)

In titel X wordt de aandacht gevestigd op de verplichting van alle partijen om de vertrouwelijkheid van informatie en data te eerbiedigen en zijn regels opgenomen voor de uitwisseling van de informatie die tijdens de uitvoering van de verordening is verkregen. Titel X bevat ook maatregelen om te zorgen voor de doeltreffende uitvoering van de verordening door middel van doeltreffende, evenredige en afschrikkende sancties voor inbreuken op de bepalingen.

Titel XI bevat regels voor de uitoefening van de bevoegdheidsdelegatie en de uitvoeringsbevoegdheden. Het voorstel geeft de Commissie de bevoegdheid om in voorkomend geval uitvoeringshandelingen vast te stellen om de uniforme toepassing van de verordening te waarborgen, of gedelegeerde handelingen om de lijsten in de bijlagen I tot en met VII bij te werken of aan te vullen.

Titel XII bevat de verplichting voor de Commissie om regelmatig na te gaan of bijlage III moet worden bijgewerkt en om regelmatig verslag uit te brengen over de evaluatie en herziening van de verordening. Dit deel bevat ook de slotbepalingen, waaronder een gedifferentieerde overgangsperiode voor de begindatum van de toepasselijkheid van de verordening, teneinde een soepele uitvoering voor alle betrokken partijen te vergemakkelijken.

2021/0106 (COD)

Voorstel voor een

VERORDENING VAN HET EUROPEES PARLEMENT EN DE RAAD

TOT VASTSTELLING VAN GEHARMONISEERDE REGELS BETREFFENDE ARTIFICIËLE INTELLIGENTIE (WET OP DE ARTIFICIËLE INTELLIGENTIE) EN TOT WIJZIGING VAN BEPAALDE WETGEVINGSHANDELINGEN VAN DE UNIE

HET EUROPEES PARLEMENT EN DE RAAD VAN DE EUROPESE UNIE,

Gezien het Verdrag betreffende de werking van de Europese Unie, en met name de artikelen 16 en 114,

Gezien het voorstel van de Europese Commissie,

Na toezending van het ontwerp van wetgevingshandeling aan de nationale parlementen,

Gezien het advies van het Europees Economisch en Sociaal Comité 31 ,

Gezien het advies van het Comité van de Regio’s 32 ,

Handelend volgens de gewone wetgevingsprocedure,

Overwegende hetgeen volgt:

(1)Deze verordening heeft ten doel de werking van de interne markt te verbeteren door een uniform rechtskader vast te stellen, met name voor de ontwikkeling, het in de handel brengen en het gebruik van artificiële intelligentie in overeenstemming met de waarden van de Unie. Deze verordening streeft een aantal dwingende redenen van algemeen belang na, zoals een hoog niveau van bescherming van de gezondheid, de veiligheid en de grondrechten, en zij waarborgt het vrije verkeer van op AI gebaseerde goederen en diensten over de grenzen heen, zodat de lidstaten geen beperkingen kunnen opleggen aan de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen, tenzij dat door deze verordening uitdrukkelijk wordt toegestaan.

(2)Artificiële-intelligentiesystemen (AI-systemen) kunnen makkelijk worden ingezet in meerdere sectoren van de economie en de samenleving, ook grensoverschrijdend, en in de gehele Unie circuleren. Bepaalde lidstaten hebben reeds overwogen om nationale regels vast te stellen om ervoor te zorgen dat artificiële intelligentie veilig is en wordt ontwikkeld en gebruikt met inachtneming van de verplichtingen inzake de grondrechten. Onderling afwijkende nationale regels kunnen leiden tot versnippering van de interne markt en aantasting van de rechtszekerheid voor marktdeelnemers die AI-systemen ontwikkelen of gebruiken. Daarom moet in de hele Unie een consistent en hoog beschermingsniveau worden gewaarborgd, terwijl verschillen die het vrije verkeer van AI-systemen en aanverwante producten en diensten op de interne markt belemmeren, moeten worden voorkomen door uniforme verplichtingen voor marktdeelnemers vast te stellen en op de hele interne markt een eenvormige eerbiediging van dwingende redenen van algemeen belang en van de rechten van personen te waarborgen op basis van artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU). Voor zover deze verordening specifieke regels bevat inzake de bescherming van natuurlijke personen met betrekking tot de verwerking van persoonsgegevens, met beperkingen op het gebruik van AI-systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, is het passend om deze verordening, voor zover het die specifieke regels betreft, te baseren op artikel 16 van het VWEU. In het licht van deze specifieke regels en het gebruik van artikel 16 VWEU is het aangewezen het Europees Comité voor gegevensbescherming te raadplegen.

(3)Artificiële intelligentie is een snel evoluerende verzameling van technologieën die kan bijdragen aan een brede waaier van economische en maatschappelijke voordelen in alle industrieën en sociale activiteiten. Artificiële intelligentie kan bedrijven, dankzij verbeterde voorspellingen, geoptimaliseerde verrichtingen en toewijzing van middelen en gepersonaliseerde digitale oplossingen voor individuen en organisaties een belangrijk concurrentievoordeel opleveren en helpen om gunstige sociale en ecologische resultaten te behalen, bijvoorbeeld in de gezondheidszorg, de landbouw, onderwijs en opleiding, infrastructuurbeheer, energie, vervoer en logistiek, openbare diensten, veiligheid, justitie, efficiënt gebruik van hulpbronnen en energie, en klimaatmitigatie en -adaptatie.

(4)Tegelijkertijd kan artificiële intelligentie, afhankelijk van de omstandigheden waarin ze wordt toegepast en gebruikt, risico’s opleveren en schade toebrengen aan de openbare belangen en rechten die door de Uniewetgeving worden beschermd. Deze schade kan materieel of immaterieel zijn.

(5)Om de ontwikkeling, het gebruik en de introductie van artificiële intelligentie op de interne markt te bevorderen is daarom een rechtskader van de Unie nodig met geharmoniseerde regels inzake artificiële intelligentie, dat tegelijkertijd de openbare belangen in hoge mate beschermt, bijvoorbeeld op het gebied van gezondheid en veiligheid en de bescherming van de grondrechten, zoals die worden erkend en beschermd door de Uniewetgeving. Om dat doel te bereiken, moeten regels worden vastgesteld voor het in de handel brengen en de inbedrijfstelling van bepaalde AI-systemen, zodat de goede werking van de interne markt wordt gewaarborgd en deze systemen kunnen genieten van het beginsel van vrij verkeer van goederen en diensten. Door die regels vast te stellen, steunt deze verordening de doelstelling van de Unie om wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische artificiële intelligentie, zoals verklaard door de Europese Raad 33 , en de bescherming van ethische beginselen te waarborgen, zoals specifiek gevraagd door het Europees Parlement 34 .

(6)Het begrip “AI-systeem” moet duidelijk worden gedefinieerd om rechtszekerheid te garanderen en tegelijkertijd de nodige flexibiliteit te bieden om op toekomstige technologische ontwikkelingen te kunnen inspelen. De definitie moet gebaseerd zijn op de belangrijkste functionele kenmerken van de software, met name het vermogen om, voor een bepaalde reeks door de mens gedefinieerde doelstellingen, een output te genereren zoals inhoud, voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de omgeving waarmee het systeem in wisselwerking staat, zowel in een fysieke als een digitale dimensie. AI-systemen kunnen zodanig worden ontworpen dat zij in verschillende mate autonoom kunnen functioneren en als zelfstandig onderdeel of als component van een product kunnen worden gebruikt, ongeacht of het systeem fysiek in het product is geïntegreerd (ingebed) dan wel ten dienste staat van de functionaliteit van het product zonder daarin te zijn geïntegreerd (niet-ingebed). De definitie van AI-systeem moet worden aangevuld met een lijst van specifieke technieken en benaderingen voor de ontwikkeling ervan, die in het licht van de technologische en marktontwikkelingen moet worden bijgewerkt door middel van gedelegeerde handelingen van de Commissie tot wijziging van die lijst.

(7)Het in deze verordening gebruikte begrip biometrische gegevens sluit aan bij en moet worden uitgelegd in overeenstemming met het begrip biometrische gegevens zoals gedefinieerd in artikel 4, lid 14, van Verordening (EU) 2016/679 van het Europees Parlement en de Raad 35 , artikel 3, lid 18, van Verordening (EU) 2018/1725 van het Europees Parlement en de Raad 36 en artikel 3, lid 13, van Richtlijn (EU) 2016/680 van het Europees Parlement en de Raad 37 .

(8)Het in deze verordening gebruikte begrip “biometrisch systeem voor identificatie op afstand” moet functioneel worden gedefinieerd als een AI-systeem dat bedoeld is voor de identificatie van natuurlijke personen op afstand door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens in een referentiedatabank, zonder dat vooraf bekend is of de betrokken persoon aanwezig zal zijn en kan worden geïdentificeerd, ongeacht de gebruikte specifieke technologie, processen of soorten biometrische gegevens. Gezien hun verschillende kenmerken en de verschillende manieren waarop zij worden gebruikt, alsook de verschillende risico’s die ermee gepaard gaan, moet een onderscheid worden gemaakt tussen biometrische systemen voor identificatie op afstand “in real time” en “achteraf”. In het geval van realtimesystemen gebeurt de registratie van de biometrische gegevens, de vergelijking en de identificatie allemaal ogenblikkelijk, bijna ogenblikkelijk of in ieder geval zonder noemenswaardige vertraging. In dit verband mag er geen ruimte zijn om de regels van deze verordening betreffende het realtimegebruik van de AI-systemen in kwestie te omzeilen door kleine vertragingen toe te staan. Bij realtimesystemen wordt gebruik gemaakt van “live”- of “near live”-materiaal, zoals videobeelden, die worden gegenereerd door een camera of een ander toestel met soortgelijke functionaliteit. In het geval van systemen “achteraf” zijn de biometrische gegevens daarentegen reeds vastgelegd en vinden de vergelijking en de identificatie pas met een aanzienlijke vertraging plaats. Het gaat dan om materiaal, zoals foto’s of videobeelden gegenereerd door camera’s van een gesloten televisiecircuit of privétoestellen, dat vóór het gebruik van het systeem is gegenereerd met betrekking tot de betrokken natuurlijke personen.

(9)Voor de uitvoering van deze verordening wordt verstaan onder “openbare ruimte” elke fysieke plaats die toegankelijk is voor het publiek, ongeacht of de plaats in kwestie particulier of openbaar bezit is. Het begrip heeft derhalve geen betrekking op plaatsen die privé van aard zijn en normaliter niet vrij toegankelijk zijn voor derden, met inbegrip van de rechtshandhavingsautoriteiten, tenzij die partijen specifiek zijn uitgenodigd of gemachtigd, zoals woningen, privéclubs, kantoren, pakhuizen en fabrieken. Onlineruimten vallen evenmin onder de richtlijn, omdat het geen fysieke ruimten zijn. Louter het feit dat er voor de toegang tot een bepaalde ruimte bepaalde voorwaarden kunnen gelden, zoals een toegangsbewijs of leeftijdsbeperking, betekent echter niet dat de ruimte niet voor het publiek toegankelijk is in de zin van deze verordening. Bijgevolg zijn, naast openbare ruimten zoals straten, relevante delen van overheidsgebouwen en de meeste vervoersinfrastructuur, ook ruimten zoals bioscopen, theaters, winkels en winkelcentra normaliter voor het publiek toegankelijk. Of een bepaalde ruimte toegankelijk is voor het publiek moet echter per geval worden bepaald, rekening houdend met de specifieke kenmerken van de situatie in kwestie.

(10)Om een gelijk speelveld en een doeltreffende bescherming van de rechten en vrijheden van personen in heel de Unie te garanderen, moeten de bij deze verordening vastgestelde regels zonder discriminatie van toepassing zijn op aanbieders van AI-systemen, ongeacht of zij in de Unie of in een derde land gevestigd zijn, en op in de Unie gevestigde gebruikers van AI-systemen.

(11)Gezien hun digitale aard moeten bepaalde AI-systemen onder het toepassingsgebied van deze verordening vallen, zelfs wanneer zij niet in de Unie in de handel worden gebracht, in bedrijf worden gesteld of worden gebruikt. Dit is bijvoorbeeld het geval voor een in de Unie gevestigde marktdeelnemer die aan een buiten de Unie gevestigde marktdeelnemer bepaalde diensten uitbesteedt in verband met een activiteit die moet worden verricht door een AI-systeem dat als een AI-systeem met een hoog risico zou kunnen worden aangemerkt en waarvan de gevolgen merkbaar zouden zijn voor in de Unie gevestigde natuurlijke personen. In die omstandigheden zou het AI-systeem dat door de marktdeelnemer buiten de Unie wordt gebruikt, data kunnen verwerken die rechtmatig in de Unie zijn verzameld en vanuit de Unie zijn doorgegeven, en vervolgens de aanbestedende marktdeelnemer in de Unie kunnen voorzien van de output van dat AI-systeem die het resultaat is van die verwerking, zonder dat genoemd AI-systeem in de Unie in de handel wordt gebracht, in bedrijf wordt gesteld of wordt gebruikt. Om te voorkomen dat deze verordening wordt omzeild en om natuurlijke personen die zich in de Unie bevinden doeltreffend te beschermen, moet deze verordening ook van toepassing zijn op aanbieders en gebruikers van AI-systemen die in een derde land zijn gevestigd, voor zover de door die systemen geproduceerde output in de Unie wordt gebruikt. Om rekening te houden met bestaande regelingen en bijzondere behoeften inzake samenwerking met buitenlandse partners waarmee informatie en bewijsmateriaal wordt uitgewisseld, zal deze verordening evenwel niet van toepassing zijn op overheidsinstanties van een derde land en internationale organisaties wanneer zij optreden in het kader van internationale overeenkomsten die op nationaal of Europees niveau zijn gesloten met het oog op de rechtshandhaving en justitiële samenwerking met de Unie of haar lidstaten. Dergelijke overeenkomsten zijn bilateraal gesloten tussen lidstaten en derde landen of tussen de Europese Unie, Europol en andere EU-agentschappen enerzijds en derde landen en internationale organisaties anderzijds.

(12)Deze verordening moet ook van toepassing zijn op instellingen, organen en agentschappen van de Unie wanneer zij optreden als aanbieder of gebruiker van een AI-systeem. AI-systemen die uitsluitend voor militaire doeleinden worden ontwikkeld of gebruikt, moeten van het toepassingsgebied van deze verordening worden uitgesloten wanneer dat gebruik onder de exclusieve bevoegdheid valt van het gemeenschappelijk buitenlands en veiligheidsbeleid, zoals geregeld in titel V van het Verdrag betreffende de Europese Unie (VEU). Deze verordening doet geen afbreuk aan de bepalingen betreffende de aansprakelijkheid van aanbieders die als tussenpersoon optreden, vastgesteld in Richtlijn 2000/31/EG van het Europees Parlement en de Raad [zoals gewijzigd bij de wet inzake digitale diensten].

(13)Teneinde een consistent en hoog niveau van bescherming van de openbare belangen op het gebied van gezondheid, veiligheid en grondrechten te garanderen, moeten gemeenschappelijke normen voor alle AI-systemen met een hoog risico worden vastgesteld. Deze normen moeten in overeenstemming zijn met het Handvest van de grondrechten van de Europese Unie (het Handvest), niet-discriminerend zijn en in overeenstemming zijn met de internationale handelsverbintenissen van de Unie.

(14)Om een evenredige en doeltreffende reeks bindende regels voor AI-systemen in te voeren, moet een duidelijk omschreven, risicogebaseerde aanpak worden gevolgd. Met die aanpak moet de aard en inhoud van dergelijke regels worden afgestemd op de intensiteit en de omvang van de risico’s die AI-systemen met zich mee kunnen brengen. Daarom is het noodzakelijk om bepaalde praktijken op het gebied van artificiële intelligentie te verbieden, eisen voor AI-systemen met een hoog risico en verplichtingen voor de betrokken marktdeelnemers vast te stellen, en transparantieverplichtingen voor bepaalde AI-systemen in te voeren.

(15)Afgezien van de vele nuttige toepassingen van artificiële intelligentie, kan de technologie ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren. Dergelijke praktijken zijn bijzonder schadelijk en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind.

(16)Het in de handel brengen, in bedrijf stellen of gebruiken van bepaalde AI-systemen die bedoeld zijn om het menselijk gedrag te verstoren, waardoor lichamelijke of psychische schade kan ontstaan, moet worden verboden. Dergelijke AI-systemen maken gebruik van subliminale componenten die personen niet kunnen waarnemen, of buiten kwetsbaarheden van kinderen en mensen die een gevolg zijn van hun leeftijd of hun fysieke of mentale onbekwaamheid, uit. Zij doen dit met de bedoeling het gedrag van een persoon wezenlijk te verstoren en op een manier die deze persoon of een andere persoon schade berokkent of dreigt te berokkenen. De intentie mag niet worden verondersteld indien de verstoring van het menselijk gedrag het gevolg is van factoren buiten het AI-systeem waarover de aanbieder of de gebruiker geen controle heeft. Onderzoek voor legitieme doeleinden met betrekking tot dergelijke AI-systemen mag niet door het verbod worden belemmerd, voor zover dat onderzoek niet neerkomt op het gebruik van het AI-systeem in mens-machinerelaties waardoor natuurlijke personen aan schade worden blootgesteld, en indien dat onderzoek wordt verricht met inachtneming van erkende ethische normen voor wetenschappelijk onderzoek.

(17)AI-systemen die door of in naam van overheidsinstanties worden gebruikt om sociale scoring van natuurlijke personen voor algemene doeleinden uit te voeren, kunnen discriminerende resultaten en de uitsluiting van bepaalde groepen tot gevolg hebben. Deze systemen kunnen een schending inhouden van het recht op waardigheid en non-discriminatie en van waarden als gelijkheid en rechtvaardigheid. Dergelijke AI-systemen beoordelen of classificeren de betrouwbaarheid van natuurlijke personen op basis van hun sociale gedrag in meerdere contexten of op basis van bekende of voorspelde persoonlijke of persoonlijkheidskenmerken. De sociale score die dergelijke AI-systemen opleveren, kan leiden tot een nadelige of ongunstige behandeling van natuurlijke personen of hele groepen in sociale contexten die geen verband houden met de context waarin de data oorspronkelijk zijn gegenereerd of verzameld, of tot een nadelige behandeling die onevenredig of ongerechtvaardigd is in verhouding tot de ernst van het sociale gedrag. Dergelijke AI-systemen moeten bijgevolg worden verboden.

(18)Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten met het oog op de rechtshandhaving wordt als bijzonder ingrijpend beschouwd voor de rechten en vrijheden van de betrokkenen, in die mate dat het de persoonlijke levenssfeer van een groot deel van de bevolking kan aantasten, een gevoel van voortdurende bewaking kan oproepen en indirect de uitoefening van de vrijheid van vergadering en andere grondrechten kan ontmoedigen. Bovendien houden het directe karakter van de gevolgen en de beperkte mogelijkheden voor verdere controles of correcties met betrekking tot het gebruik van dergelijke realtimesystemen, verhoogde risico’s in voor de rechten en vrijheden van de personen die betrokken zijn bij de rechtshandhavingsactiviteiten.

(19)Het gebruik van dergelijke systemen voor rechtshandhavingsdoeleinden moet derhalve worden verboden, behalve in drie limitatief opgesomde en nauwkeurig omschreven situaties, waarin het gebruik alleen noodzakelijk is om een zwaarwegend algemeen belang te dienen, dat zwaarder weegt dan de risico’s. Die situaties hebben betrekking op de zoektocht naar mogelijke slachtoffers van misdrijven, waaronder vermiste kinderen; bepaalde bedreigingen ten aanzien van het leven of de fysieke veiligheid van natuurlijke personen of van een terroristische aanslag; en de opsporing, lokalisatie, identificatie of vervolging van daders of verdachten van de in Kaderbesluit 2002/584/JBZ van de Raad 38 bedoelde strafbare feiten indien deze in de betrokken lidstaat strafbaar zijn gesteld met een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel met een maximumstraf van minstens drie jaar, en indien zij in het recht van die lidstaat zijn omschreven. Een dergelijke drempel voor de vrijheidsstraf of de tot vrijheidsbeneming strekkende maatregel overeenkomstig het nationale recht helpt er op toe te zien dat het strafbare feit ernstig genoeg is om het gebruik van biometrische systemen voor identificatie op afstand in real time te rechtvaardigen. Bovendien zullen sommige van de 32 in Kaderbesluit 2002/584/JBZ van de Raad genoemde strafbare feiten in de praktijk waarschijnlijk relevanter zijn dan andere, aangezien het gebruik van biometrische identificatie op afstand in real time naar verwachting in zeer uiteenlopende mate noodzakelijk en evenredig zal zijn voor de praktische uitvoering van de opsporing, lokalisatie, identificatie of vervolging van een dader of verdachte van de verschillende opgesomde strafbare feiten, gelet op de te verwachten verschillen in ernst, waarschijnlijkheid en omvang van de schade of de mogelijke negatieve gevolgen.

(20)Om ervoor te zorgen dat dergelijke systemen op een verantwoorde en evenredige wijze worden gebruikt, is het ook van belang om vast te stellen dat in elk van die drie limitatief opgesomde en nauwkeurig omschreven situaties bepaalde elementen in aanmerking moeten worden genomen, met name wat betreft de aard van de situatie die aan het verzoek ten grondslag ligt en de gevolgen van het gebruik voor de rechten en vrijheden van alle betrokken personen, alsook de waarborgen en voorwaarden waaraan het gebruik is onderworpen. Voorts moet het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving aan passende beperkingen in tijd en ruimte worden onderworpen, met name gelet op het bewijs of de aanwijzingen met betrekking tot de bedreigingen, de slachtoffers of de dader. De referentiedatabank van personen moet geschikt zijn voor elk gebruik in elk van de drie bovenvermelde situaties.

(21)Voor elk gebruik van een biometrisch systeem voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving moet een uitdrukkelijke en specifieke toestemming van een rechterlijke instantie of van een onafhankelijke administratieve autoriteit van een lidstaat vereist zijn. Die toestemming moet in beginsel vóór het gebruik worden verkregen, behalve in naar behoren gemotiveerde spoedeisende gevallen, dat wil zeggen situaties waarin het wegens de noodzaak om de systemen in kwestie te gebruiken, feitelijk en objectief onmogelijk is om vóór het begin van het gebruik een toestemming te verkrijgen. In dergelijke dringende situaties moet het gebruik worden beperkt tot het absoluut noodzakelijke minimum en onderworpen zijn aan passende waarborgen en voorwaarden, zoals bepaald in de nationale wetgeving en vastgesteld in de context van elk individueel dringend gebruik door de rechtshandhavingsautoriteit zelf. Bovendien moet de rechtshandhavingsautoriteit in dergelijke situaties zo spoedig mogelijk een toestemming trachten te verkrijgen, met vermelding van de redenen waarom zij die niet eerder heeft kunnen vragen.

(22)Voorts moet binnen het door deze verordening gestelde limitatieve kader worden vastgelegd dat een dergelijk gebruik op het grondgebied van een lidstaat overeenkomstig deze verordening alleen mogelijk is indien en voor zover de betrokken lidstaat heeft besloten om in zijn specifieke regels van nationaal recht uitdrukkelijk te voorzien in de mogelijkheid om een dergelijk gebruik toe te staan. Bijgevolg staat het de lidstaten uit hoofde van deze verordening vrij in het geheel niet in een dergelijke mogelijkheid te voorzien, dan wel slechts in een dergelijke mogelijkheid te voorzien voor een aantal van de in deze verordening genoemde doelstellingen die het toestaan van een dergelijk gebruik rechtvaardigen.

(23)Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten met het oog op de rechtshandhaving brengt noodzakelijkerwijs de verwerking van biometrische gegevens met zich mee. De regels in deze verordening die, behoudens bepaalde uitzonderingen, een dergelijk gebruik verbieden en die gebaseerd zijn op artikel 16 VWEU, moeten als lex specialis gelden ten aanzien van de regels inzake de verwerking van biometrische gegevens in artikel 10 van Richtlijn (EU) 2016/680, waardoor een dergelijk gebruik en de bijbehorende verwerking van biometrische gegevens limitatief worden geregeld. Daarom mag een dergelijk gebruik en een dergelijke verwerking alleen mogelijk zijn voor zover zij verenigbaar zijn met het door deze verordening vastgestelde kader, zonder dat er buiten dat kader ruimte is voor de bevoegde autoriteiten om, wanneer zij optreden met het oog op de rechtshandhaving, dergelijke systemen te gebruiken en dergelijke data in verband daarmee te verwerken om de in artikel 10 van Richtlijn (EU) 2016/680 genoemde redenen. In die context is deze verordening niet bedoeld om de rechtsgrondslag te bieden voor de verwerking van persoonsgegevens op grond van artikel 8 van Richtlijn 2016/680. Het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten voor andere doeleinden dan rechtshandhaving, ook door bevoegde autoriteiten, mag echter niet worden opgenomen in het specifieke kader voor dergelijk gebruik ten behoeve van de rechtshandhaving dat bij deze verordening wordt vastgesteld. Dergelijk gebruik voor andere doeleinden dan rechtshandhaving is derhalve niet onderworpen aan het vereiste van een toelating uit hoofde van deze verordening en de toepasselijke specifieke regels van nationaal recht die daaraan uitvoering kunnen geven.

(24)Elke verwerking van biometrische gegevens en andere persoonsgegevens in het kader van het gebruik van AI-systemen voor biometrische identificatie, anders dan in verband met het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving zoals geregeld in deze verordening, ook wanneer die systemen in openbare ruimten door bevoegde autoriteiten worden gebruikt voor andere doeleinden dan de rechtshandhaving, moet blijven voldoen aan alle vereisten die voortvloeien uit artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10, lid 1, van Verordening (EU) 2018/1725 en artikel 10 van Richtlijn (EU) 2016/680, voor zover van toepassing.

(25)Overeenkomstig artikel 6 bis van Protocol nr. 21 betreffende de positie van het Verenigd Koninkrijk en Ierland ten aanzien van de ruimte van vrijheid, veiligheid en recht, dat gehecht is aan het VEU en het VWEU, is Ierland niet gebonden door de in artikel 5, lid 1, punt d), en leden 2 en 3, van deze verordening vastgestelde regels die zijn vastgesteld op basis van artikel 16 VWEU in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel VWEU, wanneer Ierland niet gebonden is door de regels betreffende de vormen van justitiële samenwerking in strafzaken of van politiële samenwerking in het kader waarvan de op grond van artikel 16 VWEU vastgestelde bepalingen moeten worden nageleefd.

(26)Overeenkomstig de artikelen 2 en 2 bis van Protocol nr. 22 betreffende de positie van Denemarken, dat gehecht is aan het VEU en het VWEU, zijn de regels in artikel 5, lid 1, punt d), en leden 2 en 3, van deze verordening, die zijn vastgesteld op basis van artikel 16 VWEU, in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel van het VWEU niet bindend voor, noch van toepassing in Denemarken.

(27)AI-systemen met een hoog risico mogen alleen in de Unie in de handel worden gebracht of in bedrijf worden gesteld als zij aan bepaalde dwingende eisen voldoen. Die eisen moeten ervoor zorgen dat AI-systemen met een hoog risico die in de Unie beschikbaar zijn of waarvan de output anderszins in de Unie wordt gebruikt, geen onaanvaardbare risico’s inhouden voor belangrijke publieke belangen in de Unie, zoals die door het recht van de Unie worden erkend en beschermd. AI-systemen die als AI-systemen met een hoog risico zijn aangemerkt, moeten worden beperkt tot systemen die aanzienlijke schadelijke gevolgen hebben voor de gezondheid, de veiligheid en de grondrechten van personen in de Unie, en een dergelijke beperking moet eventuele potentiële beperkingen voor de internationale handel minimaliseren.

(28)AI-systemen kunnen nadelige gevolgen hebben voor de gezondheid en de veiligheid van personen, met name wanneer dergelijke systemen functioneren als onderdelen van producten. In overeenstemming met de doelstellingen in de harmonisatiewetgeving van de Unie om het vrije verkeer van producten op de interne markt te vergemakkelijken en ervoor te zorgen dat alleen veilige en anderszins conforme producten hun weg naar de markt vinden, is het belangrijk dat de veiligheidsrisico’s die een product in zijn geheel kan genereren door zijn digitale componenten, waaronder AI-systemen, naar behoren worden voorkomen en beperkt. Zo moeten robots die alsmaar autonomer worden, of het nu in een productieomgeving is of voor persoonlijke hulp en zorg, in staat zijn op een veilige manier te werken en hun taken uit te voeren in complexe omgevingen. Ook in de gezondheidssector, waar het belang voor leven en gezondheid bijzonder hoog is, moeten de steeds geavanceerdere diagnosesystemen en systemen ter ondersteuning van menselijke beslissingen betrouwbaar en nauwkeurig zijn. De omvang van de door het AI-systeem veroorzaakte nadelige gevolgen voor de grondrechten die door het Handvest worden beschermd, is een bijzonder relevante factor voor de indeling van een AI-systeem als een systeem met een hoog risico. Deze rechten omvatten het recht op menselijke waardigheid, de eerbiediging van het privéleven en van het familie- en gezinsleven, de bescherming van persoonsgegevens, de vrijheid van meningsuiting en van informatie, de vrijheid van vergadering en vereniging, en non-discriminatie, consumentenbescherming, de rechten van werknemers, de rechten van personen met een handicap, het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, het recht op verdediging en het vermoeden van onschuld, en het recht op behoorlijk bestuur. Naast deze rechten moeten ook de specifieke rechten van kinderen worden benadrukt, die zijn vastgelegd in artikel 24 van het EU-Handvest van de grondrechten en in het Verdrag van de Verenigde Naties inzake de rechten van het kind (nader uitgewerkt in algemene opmerking nr. 25 van het VN-Comité voor de rechten van het kind met betrekking tot de digitale omgeving), waarbij telkens wordt geëist dat rekening wordt gehouden met de kwetsbaarheid van kinderen en dat zij de bescherming en zorg krijgen die nodig zijn voor hun welbevinden. Het grondrecht betreffende een hoog niveau van milieubescherming, dat in het Handvest is verankerd en in het beleid van de Unie wordt uitgevoerd, moet ook in aanmerking worden genomen bij de beoordeling van de ernst van de schade die een AI-systeem kan veroorzaken, ook met betrekking tot de gezondheid en de veiligheid van personen.

(29)Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten zijn van producten of systemen, of die zelf producten of systemen zijn die onder het toepassingsgebied vallen van Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad 39 , Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad 40 , Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad 41 , Richtlijn 2014/90/EU van het Europees Parlement en de Raad 42 , Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad 43 , Verordening (EU) 2018/858 van het Europees Parlement en de Raad 44 , Verordening (EU) 2018/1139 van het Europees Parlement en de Raad 45 , en Verordening (EU) 2019/2144 van het Europees Parlement en de Raad 46 , moeten die handelingen worden gewijzigd zodat de Commissie, op basis van de technische en regelgevingskenmerken van elke sector en zonder in te grijpen in de bestaande governance-, conformiteitsbeoordelings- en handhavingsmechanismen en de daarin ingestelde autoriteiten, rekening kan houden met de in deze verordening vastgestelde dwingende voorschriften voor AI-systemen met een hoog risico wanneer zij op basis van die handelingen relevante toekomstige gedelegeerde of uitvoeringshandelingen vaststelt.

(30)Wat AI-systemen betreft die veiligheidscomponenten van producten zijn, of die zelf producten zijn, en die onder het toepassingsgebied van bepaalde harmonisatiewetgeving van de Unie vallen, is het passend ze in het kader van deze verordening als AI-systemen met een hoog risico in te delen indien het product in kwestie de conformiteitsbeoordelingsprocedure ondergaat bij een derde conformiteitsbeoordelingsinstantie overeenkomstig die relevante harmonisatiewetgeving van de Unie. Het gaat met name om machines, speelgoed, liften, uitrusting en beveiligingssystemen bestemd voor gebruik op plaatsen waar ontploffingsgevaar kan heersen, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gastoestellen, medische hulpmiddelen en medische hulpmiddelen voor in-vitrodiagnostiek.

(31)De indeling van een AI-systeem als een AI-systeem met een hoog risico overeenkomstig deze verordening hoeft niet te betekenen dat het product waarvan het AI-systeem de veiligheidscomponent is, of het AI-systeem zelf als product, als “een systeem met een hoog risico” wordt beschouwd volgens de criteria die zijn vastgesteld in de relevante harmonisatiewetgeving van de Unie die op het product van toepassing is. Dit is met name het geval voor Verordening (EU) 2017/745 van het Europees Parlement en de Raad 47 en Verordening (EU) 2017/746 van het Europees Parlement en de Raad 48 , waarin in een conformiteitsbeoordeling door een derde partij is voorzien voor producten met een gemiddeld risico en producten met een hoog risico.

(32)Autonome AI-systemen, d.w.z. andere AI-systemen met een hoog risico dan die welke veiligheidscomponenten van producten zijn of die zelf producten zijn, moeten als AI-systemen met een hoog risico worden aangemerkt indien zij, gelet op het beoogde doel, een hoog risico inhouden op schade aan de gezondheid en de veiligheid of aan de grondrechten van personen, rekening houdend met zowel de ernst van de mogelijke schade als de waarschijnlijkheid dat deze zich voordoet, en indien zij worden gebruikt op een aantal in de verordening beschreven, specifieke en vooraf bepaalde gebieden. Dergelijk systemen worden geïdentificeerd op basis van dezelfde methode en criteria die ook voor eventuele toekomstige wijzigingen van de lijst van AI-systemen met een hoog risico worden gehanteerd.

(33)Technische onnauwkeurigheden van AI-systemen voor de biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten leiden en discriminerende effecten met zich meebrengen. Dit is met name relevant wanneer het gaat om leeftijd, etniciteit, geslacht of handicaps. Daarom moeten biometrische systemen voor identificatie op afstand “in realtime” en “achteraf” als systemen met een hoog risico worden aangemerkt. Gezien de risico’s die zij inhouden, moeten voor beide soorten systemen voor biometrische identificatie op afstand specifieke eisen inzake menselijk toezicht en het bijhouden van logbestanden gelden.

(34)Met betrekking tot het beheer en de exploitatie van kritieke infrastructuur is het passend om AI-systemen die moeten worden gebruikt als veiligheidscomponenten in het beheer en de exploitatie van het wegverkeer en de water-, gas-, verwarmings- en elektriciteitsvoorziening als systemen met een hoog risico te classificeren, aangezien het falen of gebrekkig functioneren hiervan een grootschalig risico kan opleveren voor het leven en de gezondheid van personen en normale sociale en economische activiteiten aanzienlijk kan verstoren.

(35)AI-systemen die in het onderwijs of voor beroepsopleidingen worden gebruikt, in het bijzonder voor het verlenen van toegang of het toewijzen van personen aan instellingen voor onderwijs of beroepsopleidingen of voor het evalueren van personen aan de hand van tests of als voorwaarde voor hun onderwijs, moeten als systemen met een hoog risico worden beschouwd, aangezien zij bepalend kunnen zijn voor het onderwijs en de carrière van personen en derhalve voor hun vermogen om in hun levensonderhoud te voorzien. Wanneer dergelijke systemen op ondeugdelijke wijze zijn ontworpen en worden gebruikt, kunnen zij in strijd zijn met het recht op onderwijs en opleiding, alsook met het recht niet te worden gediscrimineerd, en kunnen historische patronen van discriminatie in stand worden gehouden.

(36)AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de aanwerving en selectie van personen, voor het nemen van besluiten over de promotie en het ontslag en voor de toewijzing van taken, de monitoring of de evaluatie van personen in werkgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen. Relevante werkgerelateerde contractuele betrekkingen moeten werknemers en personen omvatten die via platforms diensten verlenen, zoals bedoeld in het werkprogramma van de Commissie voor 2021. Deze personen worden in beginsel niet beschouwd als gebruikers in de zin van deze verordening. Dergelijke systemen kunnen er in het aanwervingsproces en bij de evaluatie, de promotie of het behoud van personen in werkgerelateerde contractuele betrekkingen toe leiden dat historische patronen van discriminatie blijven bestaan, bijvoorbeeld van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid. AI-systemen die worden gebruikt om de prestaties en het gedrag van deze personen te monitoren, kunnen ook gevolgen hebben voor hun rechten op gegevensbescherming en privacy.

(37)Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. In het bijzonder moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dit doel worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. Gezien de zeer beperkte omvang van de gevolgen en de op de markt beschikbare alternatieven, is het passend om AI-systemen voor de beoordeling van de kredietwaardigheid en kredietscore uit te sluiten wanneer zij door kleine aanbieders voor eigen gebruik in gebruik worden gesteld. Natuurlijke personen die openbare uitkeringen en diensten van overheidsinstanties aanvragen of ontvangen, zijn normaal gesproken afhankelijk van deze uitkeringen en diensten en verkeren in een kwetsbare positie ten opzichte van de verantwoordelijke instanties. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, kunnen zij aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte. Deze systemen moeten daarom als systemen met een hoog risico worden geclassificeerd. De verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die zou profiteren van een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Tot slot moeten AI-systemen die worden gebruikt om hulpdiensten uit te sturen of hierbij voorrang te verlenen, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen wanneer het leven en de gezondheid van personen en hun eigendom zich in zeer kritieke situaties bevinden.

(38)Maatregelen van rechtshandhavingsinstanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, worden gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende voorschriften wat betreft de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren. Met het oog op de aard van de activiteiten in kwestie en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door rechtshandhavingsinstanties te worden gebruikt voor individuele risicobeoordelingen, leugendetectortests en vergelijkbare instrumenten of om de gemoedstoestand van natuurlijke personen te bepalen, om “deep fakes” op te sporen, om de betrouwbaarheid van bewijs in strafprocedures te evalueren, om het plegen of opnieuw plegen van een daadwerkelijk of potentieel strafbaar feit te voorspellen op basis van de profilering van natuurlijke personen, om persoonlijkheidskenmerken of eerder crimineel gedrag van natuurlijke personen of groepen te beoordelen, voor de profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten, evenals voor misdaadanalyses met betrekking tot natuurlijke personen. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten moeten niet worden aangemerkt als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. 

(39)AI-systemen die worden gebruikt op het gebied van migratie, asiel en grensbeheer hebben gevolgen voor personen die vaak in een bijzonder kwetsbare positie verkeren en die afhankelijk zijn van de uitkomst van de acties van de bevoegde overheidsinstanties. De nauwkeurigheid, niet-discriminerende aard en transparantie van de AI-systemen die in deze context worden gebruikt, zijn derhalve van bijzonder belang om de eerbiediging van de grondrechten van de betrokken personen te waarborgen, en met name hun recht op vrij verkeer, non-discriminatie, bescherming van het privéleven en de persoonsgegevens, internationale bescherming en goed bestuur. Het is derhalve passend om AI-systemen als systemen met een hoog risico te classificeren wanneer zij bedoeld zijn om te worden gebruikt door de bevoegde overheidsinstanties die taken op het gebied van migratie, asiel en grensbeheer uitvoeren, zoals leugendetectortests en vergelijkbare instrumenten, of om de gemoedstoestand van natuurlijke personen te bepalen, om bepaalde risico’s te beoordelen die natuurlijke personen vormen die het grondgebied van een lidstaat binnenkomen of een visum- of asielaanvraag indienen, om de echtheid te controleren van de relevante documenten van natuurlijke personen, om bevoegde overheidsinstanties bij te staan die aanvragen voor asiel, visa en verblijfsvergunningen en hieraan gerelateerde klachten behandelen teneinde vast te stellen of de natuurlijke personen die een status aanvragen, hiervoor in aanmerking komen. AI-systemen op het gebied van migratie, asiel en grensbeheer die onder deze verordening vallen, moeten in overeenstemming zijn met de desbetreffende procedurele voorschriften die zijn vastgesteld in Richtlijn 2013/32/EU van het Europees Parlement en de Raad 49 , Verordening (EG) nr. 810/2009 van het Europees Parlement en de Raad 50 en andere relevante wetgeving.

(40)Bepaalde AI-systemen die bedoeld zijn voor de rechtsbedeling en democratische processen moeten als systemen met een hoog risico worden geclassificeerd gezien hun mogelijk aanzienlijke effecten op de democratie, de rechtsstaat, de individuele vrijheden en het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht. Om de risico’s van potentiële vertekeningen, fouten en ondoorzichtigheid aan te pakken, is het met name passend om AI-systemen die bedoeld zijn voor de ondersteuning van gerechtelijke autoriteiten bij het onderzoeken en uitleggen van feiten en het recht en bij het toepassen van het recht op een concrete reeks feiten, als systemen met een hoog risico aan te merken. Een dergelijke aanmerking omvat echter geen AI-systemen die bedoeld zijn voor louter ondersteunende administratieve activiteiten die geen gevolgen hebben voor de daadwerkelijke rechtsbedeling in afzonderlijke zaken, zoals de anonimisering of pseudonimisering van rechterlijke beslissingen, documenten of data, de communicatie tussen personeelsleden, administratieve taken of de toewijzing van middelen.

(41)Het feit dat een AI-systeem uit hoofde van deze verordening als systeem met een hoog risico is geclassificeerd, mag niet aldus worden uitgelegd dat het gebruik van het systeem noodzakelijkerwijs rechtmatig is op grond van andere handelingen van het Unierecht of op grond van intern recht dat verenigbaar is met het Unierecht, zoals met betrekking tot de bescherming van de persoonsgegevens, het gebruik van leugendetectors en vergelijkbare instrumenten of andere systemen voor het bepalen van de gemoedstoestand van natuurlijke personen. Een dergelijk gebruik mag nog steeds uitsluitend plaatsvinden in overeenstemming met de toepasselijke voorschriften die voortvloeien uit het Handvest en de toepasselijke handelingen van secundair Unierecht en intern recht. Deze verordening mag niet aldus worden uitgelegd dat zij voorziet in de rechtsgrondslag voor de verwerking van persoonsgegevens, met inbegrip van bijzondere categorieën persoonsgegevens, waar van toepassing.

(42)Om de risico’s van AI-systemen met een hoog risico die in de Unie in de handel zijn gebracht of op andere wijze in gebruik zijn gesteld voor gebruikers en betrokken personen te beperken, moeten bepaalde verplichte voorschriften van toepassing zijn, rekening houdend met het beoogde doel van het gebruik van het systeem en in overeenstemming met het systeem voor risicobeheer dat door de aanbieder wordt vastgesteld.

(43)Op AI-systemen met een hoog risico moeten voorschriften van toepassing zijn met betrekking tot de kwaliteit van de gebruikte datareeksen, technische documentatie en registratie, transparantie en het verstrekken van informatie aan gebruikers, menselijk toezicht en robuustheid, nauwkeurigheid en cyberbeveiliging. Deze voorschriften zijn noodzakelijk om de risico’s voor de gezondheid, veiligheid en grondrechten waarvan in het licht van het beoogde doel van het systeem sprake is, te verminderen wanneer geen andere maatregelen redelijkerwijs beschikbaar zijn die de handel in mindere mate beperken, zodat ongerechtvaardigde beperkingen van de handel worden voorkomen.

(44)Kwalitatief hoogwaardige data zijn essentieel voor de prestaties van veel AI-systemen, met name wanneer technieken worden gebruikt waarbij modellen worden getraind, om ervoor te zorgen dat AI-systemen met een hoog risico zoals beoogd en veilig werken en geen bron van discriminatie worden die uit hoofde van het Unierecht verboden is. Kwalitatief hoogwaardige datareeksen voor training, validatie en tests vereisen de uitvoering van passende praktijken voor databeheer. datareeksen voor training, validatie en tests moeten voldoende relevant, representatief, foutloos en volledig zijn met het oog op het beoogde doel van het systeem. De datareeksen moeten bovendien de passende statistische kenmerken hebben, waaronder met betrekking tot de personen of groepen personen waarvoor de AI-systemen met een hoog risico moeten worden gebruikt. Ten aanzien van datareeksen voor training, validatie en tests moet, voor zover vereist gezien het beoogde doel hiervan, met name rekening worden gehouden met de kenmerken, eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, gedrags- of functionele omgeving of context waarin het AI-systeem moet worden gebruikt. Om het recht van anderen te beschermen tegen discriminatie die kan voortvloeien uit de vertekening (bias) in AI-systemen, moeten aanbieders ook bijzondere categorieën persoonsgegevens kunnen verwerken wanneer sprake is van een zwaarwegend algemeen belang, teneinde de monitoring, opsporing en correctie van vertekening in verband met AI-systemen met een hoog risico te waarborgen.

(45)Voor de ontwikkeling van AI-systemen met een hoog risico moeten bepaalde actoren, zoals aanbieders, aangemelde instanties en andere relevante entiteiten, zoals digitale-innovatiehubs, faciliteiten voor tests en experimenten en onderzoekers, toegang hebben tot kwalitatief hoogwaardige datareeksen op de gebieden waarop zij activiteiten verrichten die verband houden met deze verordening en hiervan gebruik kunnen maken. Door de Commissie vastgestelde gemeenschappelijke Europese gegevensruimten en de vergemakkelijking van de gegevensuitwisseling tussen ondernemingen en de overheid in het algemeen belang zullen erg belangrijk zijn voor een betrouwbare, toerekenbare en niet-discriminerende toegang tot kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen. Op het gebied van gezondheid zal de Europese ruimte voor gezondheidsgegevens bijvoorbeeld de niet-discriminerende toegang tot gezondheidsgegevens en de training van algoritmen voor artificiële intelligentie aan de hand van deze datareeksen vergemakkelijken op een wijze die de privacy waarborgt en die veilig, tijdig, transparant en betrouwbaar is, met een passend institutioneel beheer. Relevante bevoegde autoriteiten, waaronder sectorale autoriteiten, die de toegang tot data verlenen of ondersteunen, kunnen ook steun verlenen voor het verstrekken van kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen.

(46)Informatie over de manier waarop AI-systemen met een hoog risico zijn ontwikkeld en hoe zij gedurende hun levensduur presteren, is essentieel om de overeenstemming met de voorschriften van deze verordening te controleren. Dit vereist de registratie en de beschikbaarheid van technische documentatie die de noodzakelijke data bevat om de overeenstemming van het AI-systeem met de desbetreffende voorschriften te beoordelen. Dergelijke informatie moet de algemene kenmerken, mogelijkheden en beperkingen van het systeem omvatten, evenals algoritmen, data en gebruikte processen voor het trainen, testen en valideren, alsook documentatie met betrekking tot het desbetreffende systeem voor risicobeheer. De technische informatie moet actueel worden gehouden.

(47)Om de ondoorzichtigheid aan te pakken, die ertoe leidt dat bepaalde AI-systemen ondoorgrondelijk of te complex zijn voor natuurlijke personen, moet een bepaalde mate van transparantie vereist zijn voor AI-systemen met een hoog risico. Gebruikers moeten de output van het systeem kunnen interpreteren en dienovereenkomstig kunnen gebruiken. AI-systemen met een hoog risico moeten derhalve vergezeld gaan van relevante documentatie en gebruiksaanwijzingen en beknopte en duidelijke informatie bevatten, waar passend ook met betrekking tot mogelijke risico’s voor de grondrechten en risico’s op discriminatie.

(48)AI-systemen met een hoog risico moeten op zodanige wijze worden ontworpen en ontwikkeld dat natuurlijke personen toezicht kunnen houden op de werking ervan. Met het oog hierop moeten passende maatregelen voor menselijk toezicht worden bepaald door de aanbieder van het systeem voordat dit in de handel wordt gebracht of in gebruik wordt gesteld. Dergelijke maatregelen moeten, waar passend, met name waarborgen dat voor het systeem ingebouwde operationele beperkingen gelden die niet door het systeem zelf kunnen worden omzeild, dat het systeem reageert op de menselijke exploitant en dat de natuurlijke personen aan wie de taak van het menselijke toezicht is toegewezen, beschikken over de noodzakelijke competenties, opleiding en autoriteit om deze taak uit te voeren.

(49)AI-systemen met een hoog risico moeten gedurende hun levenscyclus consistent presteren en een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging behalen in overeenstemming met de algemeen erkende stand van de techniek. De mate van nauwkeurigheid en de maatstaven voor de nauwkeurigheid moeten aan de gebruikers worden meegedeeld.

(50)De technische robuustheid is een essentieel voorschrift voor AI-systemen met een hoog risico. Deze systemen moeten bestand zijn tegen risico’s in verband met de beperkingen van het systeem (bv. fouten, onregelmatigheden, onverwachte situaties) en tegen kwaadwillige acties die de beveiliging van het AI-systeem in gevaar kunnen brengen en kunnen leiden tot schadelijk of anderszins ongewenst gedrag. Wanneer niet tegen deze risico’s wordt beschermd, kan dit leiden tot veiligheidseffecten of negatieve gevolgen voor de grondrechten, bijvoorbeeld als gevolg van foutieve beslissingen of een onjuiste of vertekende output die door het AI-systeem wordt gegenereerd.

(51)Cyberbeveiliging is cruciaal om te waarborgen dat AI-systemen bestand zijn tegen pogingen van derden die gebruikmaken van de kwetsbaarheden van het systeem om het gebruik, het gedrag of de prestaties ervan te wijzigen of de veiligheidskenmerken ervan in gevaar te brengen. Bij cyberaanvallen tegen AI-systemen kunnen AI-specifieke activa worden gebruikt, zoals datareeksen voor training (bv. datavervuiling) of getrainde modellen (bv. vijandige aanvallen), of kwetsbaarheden in de digitale activa van het AI-systeem of de onderliggende ICT-infrastructuur worden benut. Om te zorgen voor een niveau van cyberbeveiliging dat aansluit op de risico’s, moeten aanbieders van AI-systemen met een hoog risico derhalve passende maatregelen nemen, waarbij ook op passende wijze rekening wordt gehouden met de onderliggende ICT-infrastructuur.

(52)Als onderdeel van de harmonisatiewetgeving van de Unie moeten regels worden vastgesteld die van toepassing zijn op het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen met een hoog risico die consistent zijn met Verordening (EG) nr. 765/2008 van het Europees Parlement en de Raad tot vaststelling van de eisen inzake accreditatie en markttoezicht betreffende het verhandelen van producten 51 , Besluit nr. 768/2008/EG van het Europees Parlement en de Raad betreffende een gemeenschappelijk kader voor het verhandelen van producten 52 en Verordening (EU) 2019/1020 van het Europees Parlement en de Raad betreffende markttoezicht en conformiteit van producten 53 (hierna het “nieuwe wetgevingskader voor het verhandelen van producten” genoemd).

(53)Het is passend dat een specifieke natuurlijke of rechtspersoon, die als aanbieder wordt aangemerkt, de verantwoordelijkheid neemt voor het in de handel brengen of in gebruik stellen van een AI-systeem met een hoog risico, ongeacht of deze natuurlijke of rechtspersoon de persoon is die het systeem heeft ontworpen of ontwikkeld.

(54)De aanbieder moet een gedegen systeem voor kwaliteitsbeheer vaststellen, zorgen voor het doorlopen van de vereiste conformiteitsbeoordelingsprocedure, de relevante documentatie opstellen en een robuust systeem vaststellen voor monitoring na het in de handel brengen. Overheidsinstanties die AI-systemen met een hoog risico in gebruik stellen voor eigen gebruik mogen de regels voor het systeem voor kwaliteitsbeheer goedkeuren en uitvoeren als onderdeel van het systeem voor kwaliteitsbeheer dat, naargelang het geval, op nationaal of regionaal niveau is goedgekeurd, rekening houdend met de specifieke kenmerken van de sector en de competenties en organisatie van de overheidsinstantie in kwestie.

(55)Wanneer een AI-systeem met een hoog risico dat een veiligheidscomponent is van een product dat valt onder desbetreffende sectorale wetgeving van het nieuwe wetgevingskader niet onafhankelijk van het product in de handel wordt gebracht of in gebruik wordt gesteld, moet de fabrikant van het eindproduct, zoals gedefinieerd in de desbetreffende wetgeving van het nieuwe wetgevingskader, de verplichtingen van de aanbieder naleven, zoals vastgesteld in deze verordening, en er met name voor zorgen dat het AI-systeem dat is opgenomen in het eindproduct in overeenstemming is met de voorschriften van deze verordening.

(56)Om de handhaving van deze verordening mogelijk te maken en te zorgen voor een gelijk speelveld voor exploitanten en rekening houdend met de verschillende vormen waarin digitale producten beschikbaar kunnen worden gemaakt, is het van belang dat onder alle omstandigheden wordt gewaarborgd dat een persoon die in de Unie is gevestigd de autoriteiten alle noodzakelijke informatie kan verstrekken over de conformiteit van een AI-systeem. Voordat zij hun AI-systemen beschikbaar maken in de Unie, wijzen aanbieders die buiten de Unie zijn gevestigd in gevallen waarin geen importeur kan worden vastgesteld derhalve per schriftelijke machtiging een gemachtigde aan die is gevestigd in de Unie.

(57)In lijn met de beginselen van het nieuwe wetgevingskader moeten specifieke verplichtingen voor betrokken marktdeelnemers, zoals importeurs en distributeurs, worden vastgesteld om de rechtszekerheid te waarborgen en de naleving van de regelgeving door deze betrokken marktdeelnemers te vergemakkelijken.

(58)Gezien de aard van AI-systemen en de risico’s voor de veiligheid en de grondrechten die mogelijk gepaard gaan met het gebruik hiervan, onder meer met betrekking tot de noodzaak om een behoorlijke monitoring van de prestaties van een AI-systeem in de praktijk te waarborgen, is het passend om specifieke verantwoordelijkheden voor gebruikers vast te stellen. In het bijzonder moeten gebruikers AI-systemen met een hoog risico gebruiken in overeenstemming met de gebruiksaanwijzingen en moeten, waar passend, bepaalde andere verplichtingen worden vastgesteld met betrekking tot de monitoring van de werking van AI-systemen en met betrekking tot de registratie.

(59)Het is passend om te bepalen dat de gebruiker van het AI-systeem de natuurlijke of rechtspersoon, de overheidsinstantie, het agentschap of een ander orgaan moet zijn die/dat verantwoordelijk is voor het gebruik van het AI-systeem, tenzij het gebruik plaatsvindt in de loop van een persoonlijke, niet-beroepsactiviteit.

(60)Gezien de complexiteit van de waardeketen voor artificiële intelligentie moeten relevante derde partijen, en met name de partijen die zijn betrokken bij de verkoop en de levering van de software, softwarehulpmiddelen en -onderdelen, vooraf getrainde modellen en data, of aanbieders van netwerkdiensten waar passend samenwerken met aanbieders en gebruikers om hun naleving van de verplichtingen uit hoofde van deze verordening mogelijk te maken en met de bevoegde autoriteiten zoals vastgesteld in het kader van deze verordening.

(61)Normalisatie moet een belangrijke rol spelen bij de levering van technische oplossingen aan aanbieders om de naleving van deze verordening te waarborgen. De naleving van geharmoniseerde normen, zoals gedefinieerd in Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad 54 , moet een middel zijn voor aanbieders om de overeenstemming met de voorschriften van deze verordening aan te tonen. De Commissie zou echter gemeenschappelijke technische specificaties kunnen vaststellen op gebieden waarop geen geharmoniseerde normen bestaan of waarop deze ontoereikend zijn.

(62)Om te zorgen voor een hoog niveau van betrouwbaarheid van AI-systemen met een hoog risico, moeten deze systemen worden onderworpen aan een conformiteitsbeoordeling voordat zij in de handel worden gebracht of in gebruik worden gesteld.

(63)Teneinde de lasten voor exploitanten tot een minimum te beperken en eventuele mogelijke overlappingen te voorkomen, is het passend dat de overeenstemming van AI-systemen met een hoog risico die verband houden met producten die vallen onder bestaande harmonisatiewetgeving van de Unie volgens de benadering van het nieuwe wetgevingskader met de voorschriften van deze verordening, wordt beoordeeld als onderdeel van de conformiteitsbeoordeling waarin in die wetgeving reeds is voorzien. De toepasselijkheid van de voorschriften van deze verordening mag dus geen gevolgen hebben voor de specifieke logica, methode of algemene structuur van de conformiteitsbeoordeling uit hoofde van de desbetreffende specifieke wetgeving van het nieuwe wetgevingskader. Deze benadering wordt volledig weerspiegeld in de wisselwerking tussen deze verordening en de [machineverordening]. Hoewel de voorschriften van deze verordening ook betrekking hebben op de veiligheidsrisico’s van AI-systemen die de veiligheidsfuncties van machines waarborgen, zullen bepaalde specifieke voorschriften van de [machineverordening] de veilige integratie van het AI-systeem in de volledige machine waarborgen, zodat de veiligheid van de machine in haar geheel niet in gevaar wordt gebracht. In de [machineverordening] wordt dezelfde definitie van AI-systemen toegepast als in deze verordening.

(64)Gezien de uitgebreidere ervaring van personen die professionele certificeringen vóór het in de handel brengen uitvoeren op het gebied van productveiligheid en de andere aard van risico’s die hiermee gepaard gaan, is het passend om, in ieder geval in een eerste fase van de toepassing van deze verordening, het toepassingsgebied van conformiteitsbeoordelingen van derden voor AI-systemen met een hoog risico die geen verband houden met producten te beperken. De conformiteitsbeoordeling van dergelijke systemen moet derhalve als algemene regel door de aanbieder onder eigen verantwoordelijkheid worden uitgevoerd, met als enige uitzondering AI-systemen die bedoeld zijn om te worden gebruikt voor de biometrische identificatie van personen op afstand, ten aanzien waarvan een aangemelde instantie moet worden betrokken bij de conformiteitsbeoordeling, voor zover deze systemen niet verboden zijn.

(65)Met het oog op de uitvoering van een conformiteitsbeoordeling door derden voor AI-systemen die moeten worden gebruikt voor de biometrische identificatie van personen op afstand, moeten de nationale bevoegde autoriteiten aangemelde instanties aanwijzen op grond van deze verordening, mits deze instanties voldoen aan een reeks voorschriften, met name met betrekking tot de onafhankelijkheid, competenties en afwezigheid van belangenconflicten.

(66)In lijn met het algemeen erkende begrip van ingrijpende wijziging van producten die vallen onder de harmonisatiewetgeving van de Unie, is het passend dat voor een AI-systeem een nieuwe conformiteitsbeoordeling wordt uitgevoerd wanneer zich een verandering voordoet die gevolgen kan hebben voor de overeenstemming van het systeem met deze verordening of wanneer het beoogde doel van het systeem verandert. Daarnaast is het ten aanzien van AI-systemen die blijven “leren” nadat zij in de handel worden gebracht of in gebruik worden gesteld (d.w.z. die automatisch aanpassen hoe taken worden uitgevoerd) noodzakelijk om te voorzien in regels die bepalen dat veranderingen met betrekking tot het algoritme en de prestaties ervan die vooraf door de aanbieder zijn bepaald en die op het moment van de conformiteitsbeoordeling zijn beoordeeld, geen ingrijpende wijziging vormen.

(67)Op AI-systemen met een hoog risico moet de CE-markering worden aangebracht om aan te geven dat zij in overeenstemming zijn met deze verordening, zodat zij vrij kunnen bewegen op de interne markt. De lidstaten mogen het in de handel brengen en in gebruik stellen van AI-systemen met een hoog risico die aan de in deze verordening vastgelegde voorschriften voldoen en waarop de CE-markering is aangebracht, niet op ongerechtvaardigde wijze belemmeren.

(68)In bepaalde omstandigheden kan de snelle beschikbaarheid van innovatieve technologieën cruciaal zijn voor de gezondheid en veiligheid van personen en de samenleving in haar geheel. Het is derhalve passend dat de lidstaten om uitzonderlijke redenen in verband met de openbare veiligheid of de bescherming van het leven en de gezondheid van natuurlijke personen en de bescherming van industrieel en commercieel eigendom toestemming kunnen verlenen voor het in de handel brengen of in gebruik stellen van AI-systemen die nog niet aan een conformiteitsbeoordeling zijn onderworpen.

(69)Om de werkzaamheden van de Commissie en de lidstaten op het gebied van artificiële intelligentie te vergemakkelijken en om de transparantie ten opzichte van het publiek te vergroten, moeten aanbieders van AI-systemen met een hoog risico die geen verband houden met producten die onder het toepassingsgebied van de desbetreffende bestaande harmonisatiewetgeving van de Unie vallen, worden verplicht hun AI-systemen met een hoog risico te registreren in een EU-databank, die door de Commissie moet worden vastgesteld en beheerd. De Commissie moet de verwerkingsverantwoordelijke van die databank zijn, in overeenstemming met Verordening (EU) 2018/1725 van het Europees Parlement en de Raad 55 . Teneinde de volledige functionaliteit van de databank te waarborgen, moet de procedure voor het vaststellen van de databank de uitwerking van functionele specificaties door de Commissie en een onafhankelijk auditverslag omvatten.

(70)Bepaalde AI-systemen die bedoeld zijn om met natuurlijke personen te interageren of om inhoud te genereren, kunnen specifieke risico’s op imitatie of bedrog met zich meebrengen, ongeacht of zij al dan niet als systeem met een hoog risico gelden. In bepaalde omstandigheden moeten voor het gebruik van deze systemen daarom specifieke transparantieverplichtingen gelden, zonder dat afbreuk wordt gedaan aan de voorschriften en verplichtingen voor AI-systemen met een hoog risico. Met name moeten natuurlijke personen op de hoogte worden gesteld van het feit dat zij interageren met een AI-systeem, tenzij dit duidelijk blijkt uit de omstandigheden en de context van het gebruik. Natuurlijke personen moeten bovendien worden geïnformeerd wanneer zij worden blootgesteld aan een systeem voor het herkennen van emoties of een systeem voor biometrische categorisering. Dergelijke informatie en kennisgevingen moeten een formaat hebben dat toegankelijk is voor personen met een handicap. Daarnaast moeten gebruikers die een AI-systeem gebruiken om beeld-, audio- of video-inhoud te genereren of te manipuleren die duidelijke overeenkomsten vertoont met bestaande personen, plaatsen of gebeurtenissen en ten onrechte door personen als authentiek zou worden waargenomen, bekendmaken dat de inhoud kunstmatig is gecreëerd of gemanipuleerd door de output van artificiële intelligentie als zodanig aan te merken en de kunstmatige oorsprong ervan bekend te maken.

(71)Artificiële intelligentie is een snel ontwikkelende familie van technologieën die nieuwe vormen van regelgevingstoezicht en een veilige plek voor experimenteren vereist, terwijl tegelijkertijd de verantwoorde innovatie en integratie van passende waarborgen en maatregelen voor risicobeperking worden gewaarborgd. Om te zorgen voor een wettelijk kader dat innovatievriendelijk, toekomstbestendig en bestand tegen verstoringen is, moeten de nationale bevoegde autoriteiten van een of meer lidstaten worden aangemoedigd om testomgevingen voor regelgeving op het gebied van artificiële intelligentie vast te stellen om de ontwikkeling en het testen van innovatieve AI-systemen onder strikt regelgevingstoezicht mogelijk te maken voordat deze systemen in de handel worden gebracht of anderszins in gebruik worden gesteld.

(72)De doelstellingen van testomgevingen voor regelgeving moeten bestaan in de bevordering van AI-innovatie door te zorgen voor een gecontroleerde experiment- en testomgeving in de ontwikkelingsfase en de fase vóór het in de handel brengen met het oog op het waarborgen van de overeenstemming van innovatieve AI-systemen met deze verordening en andere relevante wetgeving van de Unie en de lidstaten; het verbeteren van de rechtszekerheid voor innovatoren en het toezicht van de bevoegde autoriteiten en het begrijpen van de mogelijkheden, opkomende risico’s en de effecten van het gebruik van AI en het versnellen van de toegang tot markten, onder meer door belemmeringen voor kleine en middelgrote ondernemingen (kmo’s) en startende ondernemingen weg te nemen. Teneinde de uniforme uitvoering in de gehele Unie en schaalvoordelen te waarborgen, is het passend om gemeenschappelijke regels vast te stellen voor de uitvoering van testomgevingen voor regelgeving, evenals een kader voor de samenwerking tussen de relevante autoriteiten die betrokken zijn bij het toezicht op de testomgevingen. Deze verordening moet de rechtsgrondslag bieden voor het gebruik van persoonsgegevens die voor andere doeleinden zijn verzameld, met het oog op de ontwikkeling van bepaalde AI-systemen in het openbaar belang in de AI-testomgeving voor regelgeving, in lijn met artikel 6, lid 4, van Verordening (EU) 2016/679 en artikel 6 van Verordening (EU) 2018/1725 en onverminderd artikel 4, lid 2, van Richtlijn (EU) 2016/680, Deelnemers van de testomgeving moeten zorgen voor passende waarborgen en moeten samenwerken met de bevoegde autoriteiten, onder meer door hun richtsnoeren te volgen en snel en in goed vertrouwen te handelen om eventuele grote risico’s voor de veiligheid en de grondrechten te beperken die zich tijdens de ontwikkeling en het experimenteren in de testomgeving kunnen voordoen. Er moet rekening worden gehouden met het gedrag van de deelnemers van de testomgeving wanneer bevoegde autoriteiten besluiten om al dan niet een administratieve geldboete op te leggen op grond van artikel 83, lid 2, van Verordening (EU) 2016/679 en artikel 57 van Richtlijn (EU) 2016/680.

(73)Om de innovatie te bevorderen en beschermen, is het belangrijk dat de belangen van kleine aanbieders en gebruikers van AI-systemen in het bijzonder in aanmerking worden genomen. Hiertoe moeten de lidstaten initiatieven ontwikkelen die gericht zijn op deze exploitanten en die onder meer betrekking hebben op bewustmaking en informatie en communicatie. Bovendien moet rekening worden gehouden met de specifieke belangen en behoeften van kleine aanbieders wanneer aangemelde instanties bijdragen voor de conformiteitsbeoordeling vaststellen. Vertaalkosten in verband met verplichte documentatie en communicatie met autoriteiten kunnen een aanzienlijke kostenpost vormen voor met name kleine aanbieders en andere exploitanten. De lidstaten zouden ervoor kunnen zorgen dat een van de talen die door hen worden vastgesteld en aanvaard voor de documentatie van betrokken aanbieders en voor de communicatie met exploitanten breed wordt begrepen door een zo groot mogelijk aantal grensoverschrijdende gebruikers.

(74)Om de risico’s voor de uitvoering te beperken die voortvloeien uit een gebrek aan kennis en deskundigheid op de markt en om de nakoming door aanbieders en aangemelde organen van hun verplichtingen uit hoofde van deze verordening te vergemakkelijken, zouden het platform voor AI on demand, de Europese digitale-innovatiehubs en de faciliteiten voor tests en experimenteren die door de Commissie en de lidstaten op nationaal of EU-niveau zijn vastgesteld, kunnen bijdragen tot de uitvoering van deze verordening. Binnen hun respectievelijke mandaat en bevoegdheid kunnen zij met name technische en wetenschappelijke steun verlenen aan aanbieders en aangemelde instanties.

(75)Het is passend dat de Commissie voor zover mogelijk de toegang tot faciliteiten voor tests en experimenteren voor instanties, groepen of laboratoria vergemakkelijkt die overeenkomstig relevante harmonisatiewetgeving van de Unie zijn opgericht of erkend en die taken uitvoeren in het kader van de conformiteitsbeoordeling van producten of apparaten die onder die harmonisatiewetgeving van de Unie vallen. Dit is met name het geval voor deskundigenpanels, deskundige laboratoria en referentielaboratoria op het gebied van medische hulpmiddelen overeenkomstig de Verordeningen (EU) 2017/745 en (EU) 2017/746.

(76)Teneinde een soepele, doeltreffende en geharmoniseerde uitvoering van deze verordening mogelijk te maken, moet een Europees Comité voor artificiële intelligentie worden opgericht. Het Comité moet verantwoordelijk zijn voor een aantal adviestaken, met inbegrip van het opstellen van adviezen, aanbevelingen of richtsnoeren over kwesties die verband houden met de uitvoering van deze verordening, waaronder over technische specificaties of bestaande normen met betrekking tot de voorschriften van deze verordening en de adviesverlening aan en ondersteuning van de Commissie ten aanzien van specifieke vragen in verband met artificiële intelligentie.

(77)De lidstaten spelen een belangrijke rol bij de toepassing en handhaving van deze verordening. In dit verband moet elke lidstaat een of meer nationale bevoegde autoriteiten aanwijzen voor het toezicht op de toepassing en uitvoering van deze verordening. Om de efficiëntie van de organisatie aan de kant van de lidstaten te verbeteren en een officieel contactpunt in te stellen voor het publiek en andere wederpartijen op het niveau van de lidstaten en de Unie, moet in elke lidstaat één nationale autoriteit worden aangewezen als nationale toezichthoudende autoriteit.

(78)Om ervoor te zorgen dat aanbieders van AI-systemen met een hoog risico rekening kunnen houden met de ervaring met het gebruik van AI-systemen met een hoog risico voor het verbeteren van hun systemen en het ontwerp- en ontwikkelingsproces of tijdig eventuele mogelijke corrigerende maatregelen kunnen nemen, moeten alle aanbieders beschikken over een systeem voor monitoring na het in de handel brengen. Dit systeem is ook belangrijk om te waarborgen dat de mogelijke risico’s van AI-systemen die blijven “leren” nadat zij in de handel zijn gebracht of in gebruik zijn gesteld, op efficiëntere en tijdigere wijze kunnen worden aangepakt. In dit verband moeten aanbieders ook worden verplicht te zorgen voor een systeem om eventuele ernstige incidenten of eventuele inbreuken op het intern of Unierecht voor de bescherming van de grondrechten die voortvloeien uit het gebruik van hun AI-systemen, te melden bij de relevante autoriteiten.

(79)Teneinde een passende en doeltreffende handhaving te waarborgen van de voorschriften en verplichtingen van deze verordening, die valt onder de harmonisatiewetgeving van de Unie, moet het systeem van markttoezicht en de conformiteit van producten, zoals vastgesteld bij Verordening (EU) 2019/1020, volledig van toepassing zijn. Waar noodzakelijk met het oog op hun taken, moeten nationale overheidsinstanties of -organen die toezicht houden op de toepassing van het Unierecht voor de bescherming van de grondrechten, met inbegrip van instanties voor gelijke behandeling, ook toegang hebben tot eventuele documentatie die op grond van deze verordening wordt opgesteld.

(80)De wetgeving van de Unie inzake financiële diensten omvat regels en voorschriften met betrekking tot interne governance en risicobeheer die van toepassing zijn op gereguleerde financiële instellingen bij het verlenen van deze diensten, ook wanneer zij gebruikmaken van AI-systemen. Om te zorgen voor een coherente toepassing en handhaving van de verplichtingen uit hoofde van deze verordening en de relevante regels en voorschriften van de Uniewetgeving inzake financiële diensten, moeten de autoriteiten die verantwoordelijk zijn voor het toezicht op en de handhaving van de wetgeving inzake financiële diensten, met inbegrip van, waar van toepassing, de Europese Centrale Bank, worden aangewezen als bevoegde autoriteiten met het oog op het toezicht op de uitvoering van deze verordening, waaronder voor markttoezichtactiviteiten, met betrekking tot AI-systemen die worden geleverd of gebruikt door gereguleerde en gecontroleerde financiële instellingen. Teneinde de samenhang tussen deze verordening en de regels die van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU van het Europees Parlement en de Raad 56 verder te verbeteren, is het ook passend om de procedure voor de conformiteitsbeoordeling en enkele van de procedurele verplichtingen van aanbieders in verband met het risicobeheer, de monitoring na het in de handel brengen en de documentatie op te nemen in de bestaande verplichtingen en procedures in het kader van Richtlijn 2013/36/EU. Om overlappingen te voorkomen, moet ook worden voorzien in beperkte afwijkingen in verband met het systeem voor kwaliteitsbeheer van aanbieders en de monitoringsverplichting voor gebruikers van AI-systemen met een hoog risico voor zover deze van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU.

(81)De ontwikkeling van andere AI-systemen dan AI-systemen met een hoog risico in overeenstemming met de voorschriften van deze verordening kan leiden tot een groter gebruik van betrouwbare artificiële intelligentie in de Unie. Aanbieders van AI-systemen die geen hoog risico met zich meebrengen, moeten worden aangemoedigd om gedragscodes op te stellen die bedoeld zijn ter bevordering van de vrijwillige toepassing van de verplichte voorschriften die gelden voor AI-systemen met een hoog risico. Aanbieders moeten ook worden aangemoedigd om op vrijwillige basis aanvullende voorschriften toe te passen die bijvoorbeeld betrekking hebben op milieuduurzaamheid, de toegankelijkheid voor personen met een handicap, de deelname van belanghebbenden aan het ontwerp en de ontwikkeling van AI-systemen en de diversiteit van de ontwikkelingsteams. De Commissie kan initiatieven ontwikkelen, ook van sectorale aard, om de technische belemmeringen te helpen beperken die de grensoverschrijdende uitwisseling van data voor AI-ontwikkeling belemmeren, waaronder met betrekking tot infrastructuur voor de toegang tot data en de semantische en technische interoperabiliteit van verschillende soorten data.

(82)Het is belangrijk dat AI-systemen die verband houden met producten en die overeenkomstig deze verordening geen hoog risico met zich meebrengen en derhalve niet hoeven te voldoen aan de voorschriften van deze verordening, desalniettemin veilig zijn wanneer zij in de handel worden gebracht of in gebruik worden gesteld. Met het oog op deze doelstelling zou Richtlijn 2001/95/EG van het Europees Parlement en de Raad 57 als vangnet van toepassing zijn.

(83)Om een betrouwbare en constructieve samenwerking van bevoegde autoriteiten op Unie- en nationaal niveau te waarborgen, moeten alle partijen die betrokken zijn bij de toepassing van deze verordening de vertrouwelijkheid eerbiedigen van informatie en data die zij bij de uitvoering van hun taken verkrijgen.

(84)De lidstaten moeten alle nodige maatregelen treffen opdat de bepalingen van deze verordening worden uitgevoerd, onder meer door te voorzien in doeltreffende, evenredige en afschrikkende sancties bij inbreuken daarop. Voor bepaalde specifieke inbreuken moeten de lidstaten de marges en criteria van deze verordening in aanmerking nemen. De Europese Toezichthouder voor gegevensbescherming moet bevoegd zijn om geldboeten op te leggen aan instellingen, agentschappen en organen van de Unie die vallen onder het toepassingsgebied van deze verordening.

(85)Om ervoor te zorgen dat het regelgevingskader waar nodig kan worden aangepast, moet de Commissie de bevoegdheid krijgen om overeenkomstig artikel 290 VWEU handelingen vast te stellen teneinde wijzigingen aan te brengen in de technieken en benaderingen van bijlage I voor het definiëren van AI-systemen, de in de lijst van bijlage II opgenomen harmonisatiewetgeving van de Unie, de in de lijst van bijlage III opgenomen AI-systemen met een hoog risico, de bepalingen inzake technische documentatie van bijlage IV, de inhoud van de EU-conformiteitsverklaring van bijlage V, de bepalingen inzake de procedures voor de conformiteitsbeoordeling van de bijlagen VI en VII en de bepalingen inzake de vaststelling van de AI-systemen met een hoog risico waarop de procedure voor de conformiteitsbeoordeling op basis van de beoordeling van het systeem voor kwaliteitsbeheer en de beoordeling van de technische documentatie van toepassing moet zijn. Het is van bijzonder belang dat de Commissie bij haar voorbereidende werkzaamheden tot passende raadplegingen overgaat, onder meer op deskundigenniveau, en dat die raadplegingen gebeuren in overeenstemming met de beginselen die zijn vastgelegd in het Interinstitutioneel Akkoord van 13 april 2016 over beter wetgeven 58 . Met name om te zorgen voor gelijke deelname aan de voorbereiding van gedelegeerde handelingen, ontvangen het Europees Parlement en de Raad alle documenten op hetzelfde tijdstip als de deskundigen van de lidstaten, en hebben hun deskundigen systematisch toegang tot de vergaderingen van de deskundigengroepen van de Commissie die zich bezighouden met de voorbereiding van de gedelegeerde handelingen.

(86)Om eenvormige voorwaarden voor de uitvoering van deze verordening te waarborgen, moeten aan de Commissie uitvoeringsbevoegdheden worden toegekend. Die bevoegdheden moeten worden uitgeoefend in overeenstemming met Verordening (EU) nr. 182/2011 van het Europees Parlement en de Raad 59 .

(87)Daar de doelstelling van deze verordening niet voldoende door de lidstaten kan worden verwezenlijkt en vanwege de omvang of de gevolgen van het optreden, beter op het niveau van de Unie kan worden verwezenlijkt, kan de Unie, overeenkomstig het in artikel 5 VEU neergelegde subsidiariteitsbeginsel, maatregelen nemen. Overeenkomstig het in hetzelfde artikel neergelegde evenredigheidsbeginsel gaat deze verordening niet verder dan nodig is om deze doelstelling te verwezenlijken.

(88)Deze verordening moet van toepassing zijn vanaf … [PB — voeg de datum van artikel 85 in]. De infrastructuur in verband met de governance en het systeem voor de conformiteitsbeoordeling moet echter vóór deze datum operationeel zijn; de bepalingen inzake aangemelde instanties en de governancestructuur moeten derhalve van toepassing zijn vanaf … [PB — datum invoegen — drie maanden na de inwerkingtreding van deze verordening]. De lidstaten moeten daarnaast de regels inzake sancties, waaronder administratieve geldboeten, vaststellen en de Commissie hiervan in kennis stellen en ervoor zorgen dat deze uiterlijk op de datum van toepassing van deze verordening naar behoren en op doeltreffende wijze worden uitgevoerd. De bepalingen inzake sancties moeten derhalve van toepassing zijn vanaf [PB — datum invoegen — twaalf maanden na de inwerkingtreding van deze verordening].

(89)Overeenkomstig artikel 42, lid 2, van Verordening (EU) 2018/1725 zijn de Europese Toezichthouder voor gegevensbescherming en het Europees Comité voor gegevensbescherming geraadpleegd, en op […] hebben zij een advies uitgebracht.

HEBBEN DE VOLGENDE VERORDENING VASTGESTELD:

TITEL I

ALGEMENE BEPALINGEN

Artikel 1
Onderwerp

Bij deze verordening worden vastgesteld:

(a)geharmoniseerde regels voor het in de handel brengen, in gebruik stellen en gebruiken van artificiële-intelligentiesystemen (hierna “AI-systemen” genoemd) in de Unie;

(a)verboden op bepaalde praktijken op het gebied van artificiële intelligentie;

(b)specifieke voorschriften voor AI-systemen met een hoog risico en verplichtingen voor de exploitanten van dergelijke systemen;

(c)geharmoniseerde transparantievoorschriften voor AI-systemen die met natuurlijke personen moeten interageren, systemen voor het herkennen van emoties en systemen voor biometrische categorisering, evenals voor AI-systemen die worden gebruikt om beeld-, audio- of video-inhoud te genereren of te manipuleren;

(d)regels inzake markttoezicht en -monitoring.

Artikel 2
Toepassingsgebied

1.Deze verordening is van toepassing op:

(a)aanbieders die AI-systemen in de Unie in de handel brengen of in gebruik stellen, ongeacht of deze aanbieders in de Unie of in een derde land zijn gevestigd;

(b)gebruikers van AI-systemen die zich in de Unie bevinden;

(c)aanbieders en gebruikers van AI-systemen die zich in een derde land bevinden wanneer de output van het systeem in de Unie wordt gebruikt.

2.Op AI-systemen met een hoog risico die veiligheidscomponenten van producten of systemen vormen of die zelf producten of systemen zijn en die vallen onder de volgende handelingen is uitsluitend artikel 84 van deze verordening van toepassing:

(a)Verordening (EG) nr. 300/2008;

(b)Verordening (EU) nr. 167/2013;

(c)Verordening (EU) nr. 168/2013;

(d)Richtlijn 2014/90/EU;

(e)Richtlijn (EU) 2016/797;

(f)Verordening (EU) 2018/858;

(g)Verordening (EU) 2018/1139;

(h)Verordening (EU) 2019/2144.

3.Deze verordening is niet van toepassing op AI-systemen die louter voor militaire doeleinden worden ontwikkeld of gebruikt.

4.Deze verordening is niet van toepassing op overheidsinstanties in derde landen of internationale organisaties die overeenkomstig lid 1 onder het toepassingsgebied van deze verordening vallen wanneer deze instanties of organisaties AI-systemen gebruiken in het kader van internationale overeenkomsten voor samenwerking met de Unie of een of meer lidstaten op het gebied van rechtshandhaving en justitie.

5.Deze verordening laat de toepassing van de bepalingen inzake de aansprakelijkheid van dienstverleners die als tussenpersoon optreden, zoals uiteengezet in hoofdstuk II, afdeling IV, van Richtlijn 2000/31/EG van het Europees Parlement en de Raad 60 [te vervangen door de dienovereenkomstige bepalingen van de wet inzake digitale diensten], onverlet.

Artikel 3
Definities

Voor de toepassing van deze verordening gelden de volgende definities:

(1)“artificiële-intelligentiesysteem” (AI-systeem): software die is ontwikkeld aan de hand van een of meer van de technieken en benaderingen die zijn opgenomen in de lijst van bijlage I en die voor een bepaalde reeks door mensen gedefinieerde doelstellingen output kan genereren, zoals inhoud, voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de omgeving waarmee wordt geïnterageerd;

(2)“aanbieder”: een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem ontwikkelt of beschikt over een AI-systeem dat is ontwikkeld met het oog op het al dan niet tegen betaling in de handel brengen of in gebruik stellen ervan onder de eigen naam of merknaam;

(3)“kleine aanbieder”: een aanbieder die een micro- of kleine onderneming is in de zin van Aanbeveling 2003/361/EG van de Commissie 61 ;

(4)“gebruiker”: een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit;

(5)“gemachtigde”: een in de Unie gevestigde natuurlijke of rechtspersoon die een schriftelijke machtiging heeft gekregen van een aanbieder van een AI-systeem om namens hem de verplichtingen en procedures van deze verordening respectievelijk na te komen en uit te voeren;

(6)“importeur”: een in de Unie gevestigde natuurlijke of rechtspersoon die een AI-systeem in de handel brengt of in gebruik stelt dat de naam of merknaam van een buiten de Unie gevestigde natuurlijke of rechtspersoon draagt;

(7)“distributeur”: een andere natuurlijke persoon of rechtspersoon in de toeleveringsketen dan de aanbieder of de importeur, die een AI-systeem in de Unie in de handel brengt zonder de eigenschappen hiervan te beïnvloeden;

(8)“exploitant”: de aanbieder, gebruiker, gemachtigde, importeur en distributeur;

(9)“in de handel brengen”: het voor het eerst in de Unie op de markt aanbieden van een AI-systeem;

(10)“op de markt aanbieden”: het in het kader van een handelsactiviteit, al dan niet tegen betaling, verstrekken van een AI-systeem met het oog op distributie of gebruik op de markt van de Unie;

(11)“in gebruik stellen”: de directe levering van een AI-systeem aan de gebruiker voor het eerste gebruik of voor eigen gebruik op de markt van de Unie voor het beoogde doel;

(12)“beoogd doel”: het gebruik waarvoor een AI-systeem door de aanbieder is bedoeld, met inbegrip van de specifieke context en voorwaarden van het gebruik, zoals gespecificeerd in de informatie die door de aanbieder in de gebruiksinstructies, reclame- of verkoopmaterialen en verklaringen, alsook in de technische documentatie is verstrekt;

(13)“redelijkerwijs te voorzien misbruik”: het gebruik van een AI-systeem op een wijze die niet in overeenstemming is met het beoogde doel, maar die kan voortvloeien uit redelijkerwijs te voorzien menselijk gedrag of de redelijkerwijs te voorziene interactie met andere systemen;

(14)“veiligheidscomponent van een product of systeem”: een component van een product of systeem die een veiligheidsfunctie voor dat product of systeem vervult of waarvan het falen of gebrekkig functioneren de gezondheid en veiligheid van personen of eigendom in gevaar brengt;

(15)“gebruiksinstructies”: de door de aanbieder verstrekte informatie om de gebruiker te informeren over met name het beoogde doel en juiste gebruik van een AI-systeem, met inbegrip van de specifieke geografische, functionele of gedragsomgeving waarin het AI-systeem met een hoog risico moet worden gebruikt;

(16)“terugroepen van een AI-systeem”: een maatregel gericht op het retourneren aan de aanbieder van een AI-systeem dat reeds aan gebruikers ter beschikking is gesteld;

(17)“uit de handel nemen van een AI-systeem”: een maatregel gericht op het verhinderen van de distributie, de presentatie en het aanbod van een AI-systeem;

(18)“prestaties van een AI-systeem”: het vermogen van een AI-systeem om het beoogde doel te verwezenlijken;

(19)“aanmeldende autoriteit”: de nationale autoriteit die verantwoordelijk is voor het opzetten en uitvoeren van de noodzakelijke procedures voor de beoordeling, aanwijzing en kennisgeving van de conformiteitsbeoordelingsinstanties en de monitoring hiervan;

(20)“conformiteitsbeoordeling”: het proces van verificatie van de naleving van de voorschriften van titel III, hoofdstuk 2, van deze verordening in verband met een AI-systeem;

(21)“conformiteitsbeoordelingsinstantie”: een instantie die voor derden conformiteitsbeoordelingsactiviteiten verricht, zoals onder meer testen, certificeren en inspecteren;

(22)“aangemelde instantie”: een conformiteitsbeoordelingsinstantie die overeenkomstig deze verordening en andere relevante harmonisatiewetgeving van de Unie is aangewezen;

(23)“ingrijpende wijziging”: een verandering van een AI-systeem nadat dit in de handel is gebracht of in gebruik is gesteld, die gevolgen heeft voor de overeenstemming van het AI-systeem met de voorschriften van titel III, hoofdstuk 2, van deze verordening of die resulteert in een wijziging van het beoogde doel waarvoor het AI-systeem is beoordeeld;

(24)“CE-conformiteitsmarkering” (CE-markering): een markering waarmee een aanbieder aangeeft dat een AI-systeem in overeenstemming is met de voorschriften van titel III, hoofdstuk 2, van deze verordening en andere toepasselijke wetgeving van de Unie tot harmonisatie van de voorwaarden voor het in de handel brengen van producten (hierna “harmonisatiewetgeving van de Unie” genoemd) die in het aanbrengen ervan voorziet;

(25)“monitoring na het in de handel brengen”: alle door aanbieders van AI-systemen verrichte activiteiten voor het proactief verzamelen en evalueren van ervaringen met door hen in de handel gebrachte of in gebruik genomen AI-systemen, teneinde te kunnen vaststellen of er onmiddellijk corrigerende dan wel preventieve maatregelen nodig zijn;

(26)“markttoezichtautoriteit”: de nationale autoriteit die de activiteiten verricht en maatregelen neemt als bedoeld in Verordening (EU) 2019/1020;

(27)“geharmoniseerde norm”: een Europese norm als gedefinieerd in artikel 2, punt 1, c), van Verordening (EU) nr. 1025/2012;

(28)“gemeenschappelijke specificaties”: een document dat geen norm is en dat technische oplossingen bevat om te voldoen aan bepaalde voorschriften en verplichtingen zoals vastgesteld in deze verordening;

(29)“trainingsdata”: data die worden gebruikt voor het trainen van een AI-systeem door de leerbare parameters hiervan aan te passen, met inbegrip van de wegingen van een neuraal netwerk;

(30)“validatiedata”: data die worden gebruikt voor het verrichten van een evaluatie van het getrainde AI-systeem en voor het afstemmen van onder andere de niet-leerbare parameters en het leerproces ervan, om overfitting te voorkomen; de validatiedatareeks kan zowel een afzonderlijke datareeks als een deel van de datareeks voor de training zijn, als vaste of variabele verdeling;

(31)“testdata”: data die worden gebruikt voor het verrichten van een onafhankelijke evaluatie van het getrainde en gevalideerde AI-systeem om de verwachte prestaties van dat systeem te bevestigen voordat het in de handel wordt gebracht of in gebruik wordt gesteld;

(32)“inputdata”: data die in een AI-systeem worden ingevoerd of direct door een AI-systeem worden verkregen en op basis waarvan het systeem een output genereert;

(33)“biometrische gegevens”: persoonsgegevens die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische of gedragsgerelateerde kenmerken van een natuurlijke persoon op grond waarvan eenduidige identificatie van die natuurlijke persoon mogelijk is of wordt bevestigd, zoals gezichtsafbeeldingen of vingerafdrukgegevens;

(34)“systeem voor het herkennen van emoties”: een AI-systeem dat is bedoeld voor het vaststellen of afleiden van emoties of intenties van natuurlijke personen op basis van hun biometrische gegevens;

(35)“systeem voor biometrische categorisering”: een AI-systeem dat is bedoeld voor het indelen van natuurlijke personen in specifieke categorieën, zoals geslacht, leeftijd, haarkleur, oogkleur, tatoeages, etnische afkomst, seksuele gerichtheid of politieke overtuiging, op basis van hun biometrische gegevens;

(36)“biometrisch systeem voor de identificatie op afstand”: een AI-systeem dat is bedoeld voor het identificeren van natuurlijke personen op afstand door middel van de vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank en zonder dat de gebruiker van het AI-systeem vooraf weet of de persoon hierin is opgenomen en kan worden geïdentificeerd;

(37)“biometrisch systeem voor de identificatie op afstand in real time”: een biometrisch systeem voor de identificatie op afstand waarbij het vastleggen van biometrische gegevens, de vergelijking en de identificatie plaatsvinden zonder aanzienlijke vertraging. Dit omvat niet alleen de onmiddellijke identificatie, maar ook beperkte korte vertragingen om omzeiling te voorkomen;

(38)“biometrisch systeem voor de identificatie op afstand achteraf”: een ander biometrisch systeem voor de identificatie op afstand dan een biometrisch systeem voor de identificatie op afstand in real time;

(39)“openbare ruimte”: een fysieke plek die toegankelijk is voor het publiek, ongeacht of bepaalde voorwaarden voor de toegang van toepassing zijn;

(40)“rechtshandhavingsinstantie”:

(a)iedere overheidsinstantie die bevoegd is voor de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid; of

(b)ieder ander orgaan dat of iedere andere entiteit die krachtens het recht van de lidstaten is gemachtigd openbaar gezag en openbare bevoegdheden uit te oefenen met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid;

(41)“rechtshandhaving”: activiteiten die worden verricht door rechtshandhavingsinstanties met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid;

(42)“nationale toezichthoudende autoriteit”: de instantie waaraan een lidstaat de verantwoordelijkheid toekent voor de uitvoering en toepassing van deze verordening, voor de coördinatie van de activiteiten die aan die lidstaat zijn toevertrouwd, voor het optreden als enkel contactpunt voor de Commissie en voor het vertegenwoordigen van de lidstaat in het Europees Comité voor artificiële intelligentie;

(43)“nationale bevoegde autoriteit”: de nationale toezichthoudende autoriteit, de aanmeldende autoriteit en de markttoezichtautoriteit;

(44)“ernstig incident”: elk incident dat direct of indirect leidt, kan hebben geleid of kan leiden tot:

(a)het overlijden van een persoon of ernstige schade voor de gezondheid van een persoon, eigendom of het milieu;

(b)een ernstige en onomkeerbare verstoring van het beheer en de exploitatie van kritieke infrastructuur.

Artikel 4
Wijzigingen van bijlage I

De Commissie is bevoegd om overeenkomstig artikel 73 gedelegeerde handelingen vast te stellen tot wijziging van de lijst van technieken en benaderingen van bijlage I, teneinde deze lijst bij te werken om rekening te houden met marktontwikkelingen en technologische ontwikkelingen op basis van kenmerken die vergelijkbaar zijn met de daarin opgenomen technieken en benaderingen.

TITEL II

VERBODEN PRAKTIJKEN OP HET GEBIED VAN ARTIFICIËLE INTELLIGENTIE

Artikel 5

1.De volgende praktijken op het gebied van artificiële intelligentie zijn verboden:

(a)het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem dat subliminale technieken gebruikt waarvan personen zich niet bewust zijn om het gedrag van personen wezenlijk te verstoren op een wijze die ertoe leidt of er waarschijnlijk toe zal leiden dat deze of andere personen fysieke of psychologische schade oplopen;

(b)het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem dat gebruikmaakt van de kwetsbaarheden van een specifieke groep personen als gevolg van hun leeftijd of fysieke of geestelijke handicap om het gedrag van personen die tot deze groep behoren, wezenlijk te verstoren op een wijze die ertoe leidt of er waarschijnlijk toe zal leiden dat deze of andere personen fysieke of psychologische schade oplopen;

(c)het in de handel brengen, in gebruik stellen of gebruiken van AI-systemen door of namens overheidsinstanties voor de evaluatie of classificatie van de betrouwbaarheid van natuurlijke personen gedurende een bepaalde periode op basis van hun sociale gedrag of bekende of voorspelde persoonlijke of persoonlijkheidskenmerken, waarbij de sociale score een of beide van de volgende gevolgen heeft:

i)de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of volledige groepen personen in een sociale context die geen verband houdt met de context waarin de data oorspronkelijk werden gegenereerd of verzameld;

ii)de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of volledige groepen personen die ongerechtvaardigd of onevenredig met hun sociale gedrag of de ernst hiervan is;

(d)het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, tenzij en voor zover een dergelijk gebruik strikt noodzakelijk is voor een van de volgende doelstellingen:

i)het gericht zoeken naar specifieke potentiële slachtoffers van misdaad, waaronder vermiste kinderen;

ii)het voorkomen van een specifieke, aanzienlijke en imminente dreiging voor het leven of de fysieke gezondheid van natuurlijke personen of van een terroristische aanslag;

iii)de detectie, opsporing, identificatie of vervolging van een dader of verdachte van een strafbaar feit als bedoeld in artikel 2, lid 2, van Kaderbesluit 2002/584/JBZ van de Raad 62 , dat in de betrokken lidstaat strafbaar is met een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel voor een maximumperiode van ten minste drie jaar, zoals bepaald in het recht van die lidstaat.

2.Bij het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, punt d), genoemde doelstellingen wordt rekening gehouden met het volgende:

(a)de aard van de situatie die aanleiding geeft tot het mogelijke gebruik van het systeem, met inbegrip van de ernst, waarschijnlijkheid en omvang van de schade die zonder het gebruik van het systeem zou worden veroorzaakt;

(b)de gevolgen van het gebruik van het systeem voor de rechten en vrijheden van alle betrokken personen, en met name de ernst, waarschijnlijkheid en omvang van deze gevolgen.

Daarnaast moet het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, punt d), genoemde doelstellingen in overeenstemming zijn met noodzakelijke en evenredige waarborgen en voorwaarden in verband met het gebruik, en met name ten aanzien van de beperking in de tijd en de geografische en persoonlijke beperkingen.

3.Wat betreft lid 1, punt d), en lid 2, wordt elk afzonderlijk gebruik met het oog op de rechtshandhaving van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten afhankelijk gesteld van een voorafgaande toestemming die wordt verleend door een gerechtelijke autoriteit of een onafhankelijke administratieve autoriteit van de lidstaat waarin het gebruik moet plaatsvinden en die wordt gegeven op verzoek en in overeenstemming met de gedetailleerde regels van het intern recht als bedoeld in lid 4. In een naar behoren gerechtvaardigde situatie van urgentie mag het gebruik van het systeem echter zonder toestemming worden gestart en mag de toestemming tijdens of na het gebruik worden aangevraagd.

De bevoegde gerechtelijke of administratieve autoriteit verleent de toestemming slechts wanneer zij er op basis van objectief bewijs of duidelijke indicaties die aan haar zijn voorgelegd van overtuigd is dat het gebruik van het biometrische systeem voor de identificatie op afstand in real time noodzakelijk is voor en evenredig is aan het bereiken van een van de in lid 1, punt d), gespecificeerde doelstellingen, zoals genoemd in het verzoek. Bij haar beslissing over het verzoek houdt de bevoegde gerechtelijke of administratieve autoriteit rekening met de in lid 2 bedoelde elementen.

4.Een lidstaat kan besluiten om te voorzien in de mogelijkheid om volledig of gedeeltelijk toestemming te verlenen voor het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving binnen de grenzen en onder de voorwaarden van lid 1, punt d), en de leden 2 en 3. Deze lidstaat stelt in zijn interne recht de noodzakelijke gedetailleerde regels vast voor het verzoek om en de afgifte en het gebruik van, evenals het toezicht in verband met, de in lid 3 bedoelde vergunningen. In deze regels wordt ook gespecificeerd voor welke doelstellingen van lid 1, punt d), en voor welke strafbare feiten als bedoeld in punt iii) daarvan de bevoegde autoriteiten deze systemen mogen gebruiken met het oog op de rechtshandhaving.

TITEL III

AI-SYSTEMEN MET EEN HOOG RISICO

Hoofdstuk 1

CLASSIFICATIE VAN AI-SYSTEMEN ALS AI-SYSTEMEN MET EEN HOOG RISICO

Artikel 6
Classificatieregels voor AI-systemen met een hoog risico

1.Ongeacht of een AI-systeem los van in de punten a) en b) bedoelde producten in de handel wordt gebracht of in gebruik wordt gesteld, wordt een AI-systeem als AI-systeem met een hoog risico beschouwd wanneer aan beide van de volgende voorwaarden is voldaan:

(a)het AI-systeem is bedoeld om te worden gebruikt als veiligheidscomponent van een product of is zelf een product dat valt onder de in bijlage II opgenomen harmonisatiewetgeving van de Unie;

(b)voor het product waarvan het AI-systeem de veiligheidscomponent vormt of voor het AI-systeem als product zelf moet een conformiteitsbeoordeling van een derde partij worden uitgevoerd met het oog op het in de handel brengen of in gebruik stellen van dat product overeenkomstig de in bijlage II opgenomen harmonisatiewetgeving van de Unie.

2.Naast de in lid 1 bedoelde AI-systemen met een hoog risico worden ook AI-systemen zoals bedoeld in bijlage III als AI-systeem met een hoog risico beschouwd.

Artikel 7
Wijzigingen van bijlage III

1.De Commissie is bevoegd om overeenkomstig artikel 73 gedelegeerde handelingen vast te stellen tot bijwerking van bijlage III door hieraan AI-systemen met een hoog risico toe te voegen wanneer aan beide van de volgende voorwaarden is voldaan:

(a)de AI-systemen zijn bedoeld om te worden gebruikt op een van de gebieden als bedoeld in bijlage III, punten 1 tot en met 8;

(b)de AI-systemen vormen een risico op schade voor de gezondheid en veiligheid, of een risico op nadelige effecten op de grondrechten, dat, gezien de ernst en waarschijnlijkheid hiervan, gelijk is aan of groter is dan het risico op schade of nadelige effecten dat wordt gevormd door de AI-systemen met een hoog risico die reeds zijn opgenomen in bijlage III.

2.Bij de beoordeling met het oog op lid 1 van de vraag of een AI-systeem een risico vormt op schade voor de gezondheid en veiligheid of op nadelige effecten op de grondrechten dat gelijk is aan of groter is dan het risico op schade dat wordt gevormd door de AI-systemen met een hoog risico die reeds zijn opgenomen in bijlage III, houdt de Commissie rekening met de volgende criteria:

(a)het beoogde doel van het AI-systeem;

(b)de mate waarin een AI-systeem is gebruikt of waarschijnlijk zal worden gebruikt;

(c)de mate waarin het gebruik van een AI-systeem reeds schade voor de gezondheid en veiligheid of nadelige effecten op de grondrechten heeft veroorzaakt of aanleiding heeft gegeven tot aanzienlijke zorgen in verband met het ontstaan van dergelijke schade of nadelige effecten, zoals aangetoond door verslagen of gedocumenteerde beschuldigingen die zijn ingediend bij de nationale bevoegde autoriteiten;

(d)de potentiële omvang van dergelijke schade of dergelijke nadelige effecten, met name wat betreft de intensiteit ervan en de mogelijkheid dat meerdere personen worden getroffen;

(e)de mate waarin potentieel geschade of nadelig getroffen personen afhankelijk zijn van de aan de hand van een AI-systeem geproduceerde uitkomst, met name omdat het om praktische of juridische redenen niet redelijkerwijs mogelijk is om van deze uitkomst af te zien;

(f)de mate waarin potentieel geschade of nadelig getroffen personen zich in een kwetsbare positie bevinden ten opzichte van de gebruiker van een AI-systeem, met name als gevolg van onevenwichtige machtsverhoudingen, kennis, economische of sociale omstandigheden of leeftijd;

(g)de mate waarin de aan de hand van een AI-systeem geproduceerde uitkomst gemakkelijk omkeerbaar is, waarbij uitkomsten die effecten hebben op de gezondheid of veiligheid van personen niet als gemakkelijk omkeerbaar worden beschouwd;

(h)de mate waarin in bestaande Uniewetgeving is voorzien in:

i)doeltreffende maatregelen om beroep aan te tekenen in verband met de risico’s van een AI-systeem, met uitzondering van vorderingen tot schadevergoeding;

ii)doeltreffende maatregelen om deze risico’s te voorkomen of aanzienlijk te beperken.

Hoofdstuk 2

Voorschriften voor AI-systemen met een hoog risico

Artikel 8
Naleving van de voorschriften

1.AI-systemen met een hoog risico moeten voldoen aan de voorschriften van dit hoofdstuk.

2.Bij het waarborgen van de naleving van deze voorschriften wordt rekening gehouden met het beoogde doel van het AI-systeem met een hoog risico en het systeem voor risicobeheer als bedoeld in artikel 9.

Artikel 9
Systeem voor risicobeheer

1.In verband met AI-systemen met een hoog risico wordt een systeem voor risicobeheer vastgesteld, uitgevoerd, gedocumenteerd en in stand gehouden.

2.Het systeem voor risicobeheer bestaat in een doorlopend iteratief proces tijdens de gehele levensduur van een AI-systeem met een hoog risico, dat periodieke systematische actualisering vereist. Het omvat de volgende stappen:

(a)het vaststellen en analyseren van de bekende en te voorziene risico’s die gepaard gaan met elk AI-systeem met een hoog risico;

(b)het inschatten en evalueren van de risico’s die zich kunnen voordoen wanneer het AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan en in een situatie van redelijkerwijs te voorzien misbruik;

(c)een evaluatie van andere risico’s die zich kunnen voordoen op basis van de analyse van de data die zijn verzameld door het systeem voor monitoring na het in de handel brengen als bedoeld in artikel 61;

(d)het vaststellen van geschikte risicobeheersingsmaatregelen in overeenstemming met de bepalingen van de volgende leden.

3.Ten aanzien van de in lid 2, punt d), bedoelde risicobeheersingsmaatregelen wordt naar behoren rekening gehouden met de effecten en mogelijke wisselwerkingen die voortvloeien uit de gecombineerde toepassing van de in dit hoofdstuk uiteengezette voorschriften. Er wordt rekening gehouden met de algemeen erkende stand van de techniek, onder meer zoals weerspiegeld in de relevante geharmoniseerde normen of gemeenschappelijke specificaties.

4.De in lid 2, punt d), bedoelde risicobeheersingsmaatregelen zijn zodanig dat eventuele restrisico’s in verband met elk gevaar en het totale restrisico van de AI-systemen met een hoog risico aanvaardbaar worden geacht, mits het AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik. De gebruiker wordt op de hoogte gesteld van deze restrisico’s.

Bij het vaststellen van de passendste risicobeheersingsmaatregelen wordt het volgende gewaarborgd:

(a)de risico’s worden zo veel mogelijk uitgesloten of beperkt door middel van een adequaat ontwerp en adequate ontwikkeling;

(b)waar passend worden adequate maatregelen voor beperking en controle genomen in verband met risico’s die niet kunnen worden uitgesloten;

(c)er wordt toereikende informatie verstrekt overeenkomstig artikel 13, met name met betrekking tot de in lid 2, punt b), van dit artikel bedoelde risico’s en er wordt waar passend voorzien in opleidingen voor gebruikers.

Bij het uitsluiten of beperken van de risico’s die verband houden met het gebruik van het AI-systeem met een hoog risico wordt naar behoren aandacht besteed aan de te verwachten technische kennis, ervaring, scholing en opleiding van de gebruiker en de omgeving waarin het systeem dient te worden gebruikt.

5.AI-systemen met een hoog risico worden getest met het oog op het vaststellen van de passendste risicobeheersingsmaatregelen. De tests zorgen ervoor dat AI-systemen met een hoog risico consistent presteren ten aanzien van het beoogde doel ervan en in overeenstemming zijn met de voorschriften van dit hoofdstuk.

6.De testprocedures zijn geschikt om het beoogde doel van het AI-systeem te verwezenlijken en hoeven niet verder te gaan dan wat noodzakelijk is om dat doel te bereiken.

7.Het testen van AI-systemen met een hoog risico vindt, zoals passend, in de loop van het ontwikkelingsproces plaats en in ieder geval voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld. De tests worden uitgevoerd aan de hand van vooraf vastgestelde standaarden en probabilistische drempels die passend zijn voor het beoogde doel van het AI-systeem met een hoog risico.

8.Bij de uitvoering van het systeem voor risicobeheer als beschreven in de leden 1 tot en met 7 wordt bijzondere aandacht besteed aan de vraag of het waarschijnlijk is dat kinderen toegang zullen hebben tot het AI-systeem met een hoog risico of dat het systeem gevolgen voor hen zal hebben.

9.Voor kredietinstellingen die vallen onder Richtlijn 2013/36/EU zijn de in de leden 1 tot en met 8 beschreven aspecten onderdeel van de risicobeheersingsprocedures die door deze instellingen overeenkomstig artikel 74 van die richtlijn zijn vastgesteld.

Artikel 10
Data en databeheer

1.AI-systemen met een hoog risico die technieken gebruiken die het trainen van modellen met data omvatten, worden ontwikkeld op basis van datareeksen voor training, validatie en tests die voldoen aan de kwaliteitscriteria als bedoeld in de leden 2 tot en met 5.

2.Datareeksen voor training, validatie en tests worden onderworpen aan passende praktijken op het gebied van databeheer. Deze praktijken hebben in het bijzonder betrekking op:

(a)de relevante ontwerpkeuzes;

(b)dataverzameling;

(c)relevante verwerkingsactiviteiten voor datavoorbereiding, zoals annotatie, etikettering, opschoning, verrijking en aggregatie;

(d)het opstellen van relevante aannames, met name met betrekking tot de informatie die de data moeten meten en vertegenwoordigen;

(e)een voorafgaande beoordeling van de beschikbaarheid, kwantiteit en geschiktheid van de datareeksen die nodig zijn;

(f)een beoordeling met het oog op mogelijke vertekeningen;

(g)het identificeren van eventuele mogelijke leemten of tekortkomingen in de data en de manier waarop deze leemten en tekortkomingen kunnen worden aangepakt.

3.Datareeksen voor training, validatie en tests zijn relevant, representatief, foutenvrij en volledig. De datareeksen hebben bovendien de passende statistische kenmerken, onder meer, waar van toepassing, met betrekking tot de personen of groepen personen waarvoor de AI-systemen met een hoog risico moeten worden gebruikt. Deze kenmerken van de datareeksen kunnen op het niveau van de afzonderlijke datareeksen of combinatie daarvan worden verwezenlijkt.

4.Ten aanzien van datareeksen voor training, validatie en tests wordt, voor zover vereist gezien het beoogde doel hiervan, rekening gehouden met de eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, functionele of gedragsomgeving waarin het AI-systeem moet worden gebruikt.

5.Voor zover dit strikt noodzakelijk is om de monitoring, opsporing en correctie van vertekeningen te waarborgen in verband met de AI-systemen met een hoog risico, mogen de aanbieders van dergelijke systemen bijzondere categorieën persoonsgegevens, zoals bedoeld in artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10 van Richtlijn (EU) 2016/680 en artikel 10, lid 1, van Verordening (EU) 2018/1725, verwerken, mits passende waarborgen worden geboden voor de grondrechten en fundamentele vrijheden van natuurlijke personen, met inbegrip van technische beperkingen voor het hergebruik en het gebruik van ultramoderne beveiligings- en privacybeschermende maatregelen, zoals pseudonimisering of versleuteling wanneer anonimisering aanzienlijke gevolgen kan hebben voor het nagestreefde doel.

6.Voor de ontwikkeling van andere AI-systemen met een hoog risico dan systemen die gebruikmaken van technieken voor de training van modellen zijn passende praktijken voor databeheer van toepassing om ervoor te zorgen dat deze AI-systemen met een hoog risico in overeenstemming zijn met lid 2.

Artikel 11
Technische documentatie

1.De technische documentatie van een AI-systeem met een hoog risico wordt opgesteld voordat dit systeem in de handel wordt gebracht of in gebruikt wordt gesteld, en wordt geactualiseerd.

De technische documentatie wordt op zodanige wijze opgesteld dat wordt aangetoond dat het AI-systeem met een hoog risico in overeenstemming is met de voorschriften van dit hoofdstuk en dat nationale bevoegde autoriteiten en aangemelde instanties over alle noodzakelijke informatie beschikken om de overeenstemming van het AI-systeem met deze voorschriften te kunnen beoordelen. De documentatie omvat ten minste de in bijlage IV uiteengezette elementen.

2.Wanneer een AI-systeem met een hoog risico dat verband houdt met een product dat valt onder de in bijlage II, afdeling A, opgenomen rechtshandelingen in de handel wordt gebracht of in gebruik wordt gesteld, wordt een enkel technisch document opgesteld dat alle informatie bevat zoals uiteengezet in bijlage IV, alsook de informatie die vereist is op grond van die rechtshandelingen.

3.De Commissie is bevoegd om overeenkomstig artikel 73 gedelegeerde handelingen vast te stellen tot wijziging van bijlage IV wanneer dit noodzakelijk is om, in het licht van de technische vooruitgang, te waarborgen dat in de technische documentatie alle noodzakelijke informatie wordt verstrekt om de overeenstemming van het systeem met de voorschriften van dit hoofdstuk te kunnen beoordelen.

Artikel 12
Registratie

1.AI-systemen met een hoog risico worden ontworpen en ontwikkeld met capaciteiten die de automatische registratie van gebeurtenissen (hierna “logs” genoemd) tijdens de werking van het AI-systeem mogelijk maken. Deze loggingcapaciteiten moeten in overeenstemming zijn met erkende normen of gemeenschappelijke specificaties.

2.De loggingcapaciteiten waarborgen een mate van traceerbaarheid van de werking van het AI-systeem tijdens de levensduur ervan die passend is voor het beoogde doel van het systeem.

3.De loggingcapaciteiten maken met name de monitoring van de werking van het AI-systeem met een hoog risico mogelijk met betrekking tot het optreden van situaties die ertoe kunnen leiden dat het AI-systeem een risico vormt in de zin van artikel 65, lid 1, of die leiden tot een ingrijpende wijziging, en vergemakkelijken de monitoring na het in de handel brengen als bedoeld in artikel 61.

4.Voor AI-systemen met een hoog risico als bedoeld in punt 1, a), van bijlage III voorzien de loggingcapaciteiten ten minste in:

(a)de registratie van de duur van elk gebruik van het systeem (begindatum en -tijd en einddatum en -tijd van elk gebruik);

(b)de referentiedatabank aan de hand waarvan de inputdata zijn gecontroleerd door het systeem;

(c)de inputdata ten aanzien waarvan de zoekopdracht een match heeft opgeleverd;

(d)de identificatie van de natuurlijke personen die betrokken zijn bij de verificatie van de resultaten, zoals bedoeld in artikel 14, lid 5.

Artikel 13
Transparantie en informatieverstrekking aan gebruikers

1.AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat de werking ervan voldoende transparant is om gebruikers in staat te stellen de output van het systeem te interpreteren en op passende wijze te gebruiken. Een passende soort en mate van transparantie wordt gewaarborgd met het oog op de naleving van de relevante verplichtingen van de gebruiker en de aanbieder zoals uiteengezet in hoofdstuk 3 van deze titel.

2.AI-systemen met een hoog risico gaan vergezeld van gebruiksinstructies in een passend digitaal of ander formaat dat beknopte, volledige, juiste en duidelijke informatie bevat die relevant, toegankelijk en begrijpelijk is voor gebruikers.

3.De in lid 2 bedoelde informatie omvat:

(a)de identiteit en de contactgegevens van de aanbieder en, in voorkomend geval, van zijn gemachtigde;

(b)de kenmerken, capaciteiten en beperkingen van de prestaties van het AI-systeem met een hoog risico, waaronder:

i)het beoogde doel;

ii)de mate van nauwkeurigheid, robuustheid en cyberbeveiliging als bedoeld in artikel 15 waarop het AI-systeem met een hoog risico is getest en gevalideerd en die kan worden verwacht, en eventuele bekende en te voorziene omstandigheden die een effect kunnen hebben op die verwachte mate van nauwkeurigheid, robuustheid en cyberbeveiliging;

iii)eventuele bekende of te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, die kunnen leiden tot risico’s voor de gezondheid en veiligheid of de grondrechten;

iv)de prestaties ervan met betrekking tot de personen of groepen personen voor wie het systeem moet worden gebruikt;

v)waar passend, specificaties voor de inputdata of eventuele andere relevante informatie met betrekking tot de gebruikte datareeksen voor training, validatie en tests, rekening houdend met het beoogde doel van het AI-systeem;

(c)de wijzigingen van het AI-systeem met een hoog risico en de prestaties ervan die vooraf door de aanbieder zijn bepaald op het moment van de eerste conformiteitsbeoordeling, indien van toepassing;

(d)de maatregelen voor menselijk toezicht als bedoeld in artikel 14, met inbegrip van de technische maatregelen die zijn getroffen om de interpretatie van de output van AI-systemen door gebruikers te vergemakkelijken;

(e)de verwachte levensduur van het AI-systeem met een hoog risico en eventuele noodzakelijke maatregelen voor onderhoud en verzorging om de goede werking van dat AI-systeem te waarborgen, ook in verband met software-updates.

Artikel 14
Menselijk toezicht

1.AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-instrumenten, dat hierop tijdens de periode dat het AI-systeem wordt gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen.

2.Het menselijk toezicht is gericht op het voorkomen of beperken van de risico’s voor de gezondheid, veiligheid of grondrechten die zich kunnen voordoen wanneer een AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, met name wanneer dergelijke risico’s blijven bestaan ondanks de toepassing van andere voorschriften van dit hoofdstuk.

3.Het menselijk toezicht wordt gewaarborgd door middel van een of alle van de volgende maatregelen:

(a)door de aanbieder bepaald en, waar technisch haalbaar, ingebouwd in het AI-systeem met een hoog risico voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;

(b)door de aanbieder bepaald voordat het AI-systeem met een hoog risico in de handel wordt gebracht of in gebruik wordt gesteld en die passend zijn om door de gebruiker te worden uitgevoerd.

4.De in lid 3 bedoelde maatregelen stellen de personen die verantwoordelijk zijn voor het menselijk toezicht in staat om het volgende te doen, zoals passend gezien de omstandigheden:

(a)de capaciteiten en beperkingen van het AI-systeem met een hoog risico volledig begrijpen en de werking ervan naar behoren kunnen monitoren, zodat tekenen van onregelmatigheden, storingen en onverwachte prestaties zo snel mogelijk kunnen worden gedetecteerd en aangepakt;

(b)zich bewust blijven van de mogelijke neiging om automatisch of te veel te vertrouwen op de output van een AI-systeem met een hoog risico (de zogenaamde “automation bias”), met name voor AI-systemen met een hoog risico die worden gebruikt om informatie of aanbevelingen te verstrekken voor beslissingen die door natuurlijke personen moeten worden genomen;

(c)de output van het AI-systeem met een hoog risico juist interpreteren, in het bijzonder rekening houdend met de kenmerken van het systeem en de beschikbare instrumenten en methoden voor interpretatie;

(d)in alle specifieke situaties kunnen besluiten om het AI-systeem met een hoog risico niet te gebruiken of de output van het AI-systeem met een hoog risico op andere wijze te negeren, terzijde te schuiven of terug te draaien;

(e)ingrijpen in de werking van het AI-systeem met een hoog risico of het systeem onderbreken door middel van een stopknop of een vergelijkbare procedure.

5.Voor AI-systemen met een hoog risico als bedoeld in bijlage III, punt 1, a), zijn de maatregelen als bedoeld in lid 3 zodanig dat zij waarborgen dat daarnaast door de gebruiker geen maatregelen worden getroffen of beslissingen worden genomen op basis van de identificatie door het systeem, tenzij deze door ten minste twee natuurlijke personen zijn geverifieerd en bevestigd.

Artikel 15
Nauwkeurigheid, robuustheid en cyberbeveiliging

1.AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat deze, met het oog op hun beoogde doel, een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bieden, alsook consistente prestaties gedurende de levensduur met betrekking tot deze aspecten.

2.De niveaus van nauwkeurigheid en de relevante maatstaven voor de nauwkeurigheid van AI-systemen met een hoog risico worden vermeld in de bijbehorende gebruiksaanwijzingen.

3.AI-systemen met een hoog risico zijn bestand tegen fouten en onregelmatigheden die zich binnen het systeem of de omgeving waarin het systeem wordt gebruikt, kunnen voordoen, met name als gevolg van de interactie ervan met natuurlijke personen of andere systemen.

De robuustheid van AI-systemen met een hoog risico kan worden gerealiseerd door middel van technische oplossingen voor redundantie, die plannen voor de back-up of de veiligheid bij defecten kunnen omvatten.

AI-systemen met een hoog risico die blijven leren nadat ze in de handel worden gebracht of in gebruik worden gesteld, worden op zodanige wijze ontwikkeld dat wordt gewaarborgd dat mogelijk vertekende outputs als gevolg van het gebruik van outputs als input voor toekomstige operaties (zogenaamde “terugkoppelingen”) naar behoren worden aangepakt aan de hand van passende beperkende maatregelen.

4.AI-systemen met een hoog risico zijn bestand tegen pogingen van ongeautoriseerde derden om het gebruik of de prestaties ervan te wijzigen door gebruik te maken van de kwetsbaarheden van het systeem.

De technische oplossingen die gericht zijn op het waarborgen van de cyberbeveiliging van AI-systemen sluiten aan op de relevante omstandigheden en risico’s.

De technische oplossingen voor het aanpakken van AI-specifieke kwetsbaarheden omvatten, waar passend, maatregelen voor het voorkomen en beheersen van aanvallen waarmee een poging wordt gedaan tot het manipuleren van de datareeks voor de training (de zogenaamde “datavervuiling”), van input die is gecreëerd om fouten van het model te veroorzaken (zogenaamde “vijandige voorbeelden”) of van tekortkomingen van het model.

Hoofdstuk 3

VERPLICHTINGEN VAN AANBIEDERS EN GEBRUIKERS VAN AI-SYSTEMEN MET EEN HOOG RISICO en andere partijen

Artikel 16
Verplichtingen van aanbieders van AI-systemen met een hoog risico

Aanbieders van AI-systemen met een hoog risico:

(a)zorgen ervoor dat hun AI-systemen met een hoog risico in overeenstemming zijn met de voorschriften van hoofdstuk 2 van deze titel;

(b)beschikken over een systeem voor kwaliteitsbeheer dat in overeenstemming is met artikel 17;

(c)stellen de technische documentatie van het AI-systeem met een hoog risico op;

(d)bewaren de logs die automatisch door hun AI-systemen met een hoog risico zijn gegenereerd, wanneer zij hierover de controle hebben;

(e)zorgen ervoor dat voor het AI-systeem met een hoog risico de relevante conformiteitsbeoordelingsprocedure wordt uitgevoerd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;

(f)leven de registratieverplichtingen als bedoeld in artikel 51 na;

(g)nemen de noodzakelijke corrigerende maatregelen wanneer het AI-systeem met een hoog risico niet in overeenstemming is met de voorschriften van hoofdstuk 2 van deze titel;

(h)informeren de nationale bevoegde autoriteiten van de lidstaten waarin zij het AI-systeem beschikbaar hebben gemaakt of in gebruik hebben gesteld en, waar van toepassing, de aangemelde instantie over de non-conformiteit en over eventuele getroffen corrigerende maatregelen;

(i)brengen overeenkomstig artikel 49 de CE-markering aan op hun AI-systemen met een hoog risico om aan te geven dat deze in overeenstemming zijn met deze verordening;

(j)tonen op verzoek van een nationale bevoegde autoriteit de overeenstemming aan van het AI-systeem met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel.

Artikel 17
Systeem voor kwaliteitsbeheer

1.Aanbieders van AI-systemen met een hoog risico voorzien in een systeem voor kwaliteitsbeheer dat de naleving van deze verordening waarborgt. Dit systeem wordt op systematische en ordelijke wijze gedocumenteerd in de vorm van schriftelijk beleidslijnen, procedures en instructies en omvat ten minste de volgende aspecten:

(a)een strategie voor de naleving van de wet- en regelgeving, inclusief de naleving van de conformiteitsbeoordelingsprocedures en de procedures voor het beheer van de wijzigingen van het AI-systeem met een hoog risico;

(b)technieken, procedures en systematische maatregelen die moeten worden toegepast voor het ontwerp, de controle van het ontwerp en de verificatie van het ontwerp van het AI-systeem met een hoog risico;

(c)technieken, procedures en systematische maatregelen die moeten worden toegepast voor de ontwikkeling, de kwaliteitscontrole en de kwaliteitsborging van het AI-systeem met een hoog risico;

(d)procedures voor het inspecteren, testen en valideren die vóór, tijdens en na de ontwikkeling van het AI-systeem met een hoog risico moeten worden uitgevoerd en de regelmaat waarmee zij moeten worden uitgevoerd;

(e)technische specificaties, met inbegrip van normen, die moeten worden toegepast en, wanneer de relevante geharmoniseerde normen niet volledig worden toegepast, de middelen die worden gebruikt om ervoor te zorgen dat het AI-systeem met een hoog risico in overeenstemming is met de voorschriften van hoofdstuk 2 van deze titel;

(f)systemen en procedures voor databeheer, met inbegrip van dataverzameling, -analyse, -etikettering, -opslag, -zuivering, -aggregatie en -behoud en datamining en eventuele andere operaties met betrekking tot de data die worden uitgevoerd voorafgaand aan en met het oog op het in de handel brengen of in gebruik stellen van AI-systemen met een hoog risico;

(g)het systeem voor risicobeheer zoals bedoeld in artikel 9;

(h)het opzetten, toepassen en onderhouden van een systeem voor monitoring na het in de handel brengen, overeenkomstig artikel 61;

(i)procedures in verband met het melden van ernstige incidenten en van gebrekkig functioneren in overeenstemming met artikel 62;

(j)de communicatie met nationale bevoegde autoriteiten, bevoegde autoriteiten, met inbegrip van sectorale autoriteiten, die de toegang tot data verlenen of ondersteunen, aangemelde instanties, andere exploitanten, klanten of andere belangstellenden;

(k)systemen en procedures voor de registratie van alle relevante documentatie en informatie;

(l)het beheer van hulpmiddelen, met inbegrip van maatregelen in verband met de voorzieningszekerheid;

(m)een kader voor de verantwoording, waarin de verantwoordelijkheden van het management en ander personeel uiteen worden gezet met betrekking tot alle aspecten van dit lid.

2.De uitvoering van de in lid 1 bedoelde aspecten is evenredig aan de omvang van de organisatie van de aanbieder.

3.Voor aanbieders die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn wordt de verplichting om te voorzien in een systeem voor kwaliteitsbeheer geacht te zijn nagekomen wanneer zij de regels inzake regelingen, processen en mechanismen voor interne governance naleven overeenkomstig artikel 74 van die richtlijn. In dit verband wordt rekening gehouden met eventuele geharmoniseerde normen als bedoeld in artikel 40 van deze verordening.

Artikel 18
Verplichting om technische documentatie op te stellen

1.Aanbieders van AI-systemen met een hoog risico stellen de in artikel 11 bedoelde technische documentatie op in overeenstemming met bijlage IV.

2.Aanbieders die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn, bewaren de technische documentatie als onderdeel van de documentatie met betrekking tot de interne governance, regelingen, processen en mechanismen overeenkomstig artikel 74 van die richtlijn.

Artikel 19
Conformiteitsbeoordeling

1.Aanbieders van AI-systemen met een hoog risico zorgen ervoor dat voor hun systemen de relevante conformiteitsbeoordelingsprocedure wordt uitgevoerd in overeenstemming met artikel 43 voordat deze systemen in de handel worden gebracht of in gebruik worden gesteld. Wanneer de overeenstemming van de AI-systemen met de voorschriften van hoofdstuk 2 van deze titel is aangetoond aan de hand van die conformiteitsbeoordeling, stellen de aanbieders overeenkomstig artikel 48 een EU-conformiteitsverklaring op en brengen zij overeenkomstig artikel 49 de CE-conformiteitsmarkering aan.

2.Voor AI-systemen met een hoog risico als bedoeld in bijlage III, punt 5, b), die in de handel worden gebracht of in gebruik worden gesteld door aanbieders die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn, wordt de conformiteitsbeoordeling uitgevoerd als onderdeel van de in de artikelen 97 tot en met 101 van die richtlijn bedoelde procedure.

Artikel 20
Automatisch gegenereerde logs

1.Aanbieders van AI-systemen met een hoog risico bewaren de logs die automatisch worden gegenereerd door hun AI-systemen met een hoog risico, voor zover dergelijke logs op grond van een contractuele regeling met de gebruiker of anders op grond van wettelijke bepalingen onder hun controle vallen. De logs worden bewaard gedurende een periode die passend is voor het beoogde doel van het AI-systeem met een hoog risico en gezien de toepasselijke wettelijke verplichtingen op grond van het Unie- of intern recht.

2.Aanbieders die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn, bewaren de logs die automatisch door hun AI-systemen met een hoog risico worden gegenereerd als onderdeel van de documentatie in het kader van artikel 74 van die richtlijn.

Artikel 21
Corrigerende maatregelen

Aanbieders van AI-systemen met een hoog risico die van mening zijn of redenen hebben om aan te nemen dat een door hen in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico niet in overeenstemming is met deze verordening, nemen onmiddellijk de nodige corrigerende maatregelen om dat systeem naargelang het geval in overeenstemming te brengen, uit de handel te nemen of terug te roepen. Zij stellen de distributeurs van het betrokken AI-systeem met een hoog risico en, indien van toepassing, de gemachtigden en importeurs dienovereenkomstig in kennis.

Artikel 22
Mededelingsverplichting

Wanneer het AI-systeem met een hoog risico een risico vormt in de zin van artikel 65, lid 1, en dat risico bekend is bij de aanbieder van dat systeem, informeert deze aanbieder de nationale bevoegde autoriteiten van de lidstaten waarin hij het systeem beschikbaar heeft gemaakt en, waar van toepassing, de aangemelde instantie die een certificaat voor het AI-systeem met een hoog risico heeft afgegeven, met name over de non-conformiteit en over eventuele getroffen corrigerende maatregelen.

Artikel 23
Samenwerking met bevoegde autoriteiten

Aanbieders van AI-systemen met een hoog risico voorzien nationale bevoegde autoriteiten die hierom verzoeken van alle informatie en documentatie die noodzakelijk is om de overeenstemming van het AI-systemen met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen, in een officiële taal van de Unie die door de betrokken lidstaat wordt bepaald. Op met redenen omkleed verzoek van een nationale bevoegde autoriteit verlenen aanbieders die autoriteit ook toegang tot de logs die automatisch zijn gegenereerd door hun AI-systeem met een hoog risico voor zover dergelijke logs op grond van een contractuele regeling met de gebruiker of anders op grond van wettelijke bepalingen onder hun controle vallen.

Artikel 24
Verplichtingen van fabrikanten van producten

Wanneer een AI-systeem met een hoog risico dat verband houdt met producten waarop de in bijlage II, afdeling A, opgenomen rechtshandelingen van toepassing zijn, samen met het overeenkomstig deze rechtshandelingen vervaardigde product en onder de naam van de fabrikant van het product in de handel wordt gebracht of in gebruik wordt gesteld, neemt de fabrikant van het product de verantwoordelijkheid voor de overeenstemming van het AI-systeem met deze verordening en heeft hij, wat het AI-systeem betreft, dezelfde verplichtingen als deze welke bij de onderhavige verordening aan de aanbieder zijn opgelegd.

Artikel 25
Gemachtigden

1.Indien geen importeur kan worden geïdentificeerd, wijzen aanbieders die buiten de Unie zijn gevestigd, voordat zij hun systemen beschikbaar maken in de Unie, per schriftelijke machtiging een gemachtigde aan die is gevestigd in de Unie.

2.De gemachtigde voert de taken uit die gespecificeerd zijn in het mandaat dat hij van de aanbieder heeft ontvangen. Het mandaat geeft de gemachtigde de bevoegdheid om de volgende taken te verrichten:

(a)een kopie van de EU-conformiteitsverklaring en de technische documentatie ter beschikking houden van de nationale bevoegde autoriteiten en nationale autoriteiten als bedoeld in artikel 63, lid 7;

(b)een nationale bevoegde autoriteit op met redenen omkleed verzoek alle informatie en documentatie verstrekken die noodzakelijk is om de overeenstemming van een AI-systeem met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen, met inbegrip van de logs die automatisch zijn gegenereerd door het AI-systeem met een hoog risico voor zover dergelijke logs op grond van een contractuele regeling met de gebruiker of anders op grond van wettelijke bepalingen onder de controle van de aanbieder vallen;

(c)op met redenen omkleed verzoek samenwerken met bevoegde nationale autoriteiten met betrekking tot een maatregel die door deze autoriteiten wordt getroffen in verband met het AI-systeem met een hoog risico.

Artikel 26
Verplichtingen van importeurs

1.Voordat een AI-systeem met een hoog risico in de handel wordt gebracht, zorgen de importeurs van een dergelijk systeem dat:

(a)de passende conformiteitsbeoordelingsprocedure is uitgevoerd door de aanbieder van dat AI-systeem;

(b)de aanbieder de technische documentatie heeft opgesteld in overeenstemming met bijlage IV;

(c)de vereiste conformiteitsmarkering op het systeem is aangebracht en het systeem vergezeld gaat van de vereiste documentatie en gebruiksaanwijzingen.

2.Wanneer een importeur van mening is of redenen heeft om aan te nemen dat een AI-systeem met een hoog risico niet in overeenstemming is met deze verordening, brengt hij dat systeem niet in de handel voordat het in overeenstemming is gebracht. Wanneer het AI-systeem met een hoog risico een risico vormt in de zin van artikel 65, lid 1, stelt de importeur de aanbieder van het AI-systeem en de markttoezichtautoriteiten hiervan in kennis.

3.Importeurs vermelden hun naam, geregistreerde handelsnaam of geregistreerde merknaam en hun contactadres op het AI-systeem met een hoog risico, of wanneer dit niet mogelijk is, op de verpakking of in de bij het product gevoegde documentatie, zoals van toepassing.

4.Importeurs zorgen gedurende de periode dat zij voor een AI-systeem met een hoog risico verantwoordelijk zijn, indien van toepassing, voor opslag- en vervoersomstandigheden die de overeenstemming van het systeem met de voorschriften van hoofdstuk 2 van deze titel niet in het gedrang brengen.

5.Importeurs voorzien nationale bevoegde autoriteiten op met redenen omkleed verzoek van alle informatie en documentatie die noodzakelijk is om de overeenstemming van een AI-systeem met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen, in een taal die deze nationale bevoegde autoriteit eenvoudig kan begrijpen, met inbegrip van de logs die automatisch zijn gegenereerd door het AI-systeem met een hoog risico voor zover dergelijke logs op grond van een contractuele regeling met de gebruiker of anders op grond van wettelijke bepalingen onder de controle van de aanbieder vallen. Zij werken bovendien samen met deze autoriteiten met betrekking tot eventuele maatregelen die de nationale bevoegde autoriteit treft in verband met dat systeem.

Artikel 27
Verplichtingen van distributeurs

1.Voordat zij een AI-systeem met een hoog risico in de handel brengen, controleren distributeurs of op het AI-systeem met een hoog risico de vereiste CE-conformiteitsmarkering is aangebracht, of het systeem vergezeld gaat van de vereiste documentatie en gebruiksinstructies en of de aanbieder en importeur van het systeem, als van toepassing, de verplichtingen van deze verordening hebben nageleefd.

2.Wanneer een distributeur van mening is of redenen heeft om aan te nemen dat een AI-systeem met een hoog risico niet in overeenstemming is met de voorschriften van hoofdstuk 2 van deze titel, brengt hij het AI-systeem met een hoog risico niet in de handel voordat het in overeenstemming is gebracht met deze voorschriften. Daarnaast stelt de distributeur, wanneer het systeem een risico vormt in de zin van artikel 65, lid 1, de aanbieder of de importeur van het AI-systeem, als van toepassing, hiervan in kennis.

3.Distributeurs zorgen gedurende de periode waarin zij voor een AI-systeem met een hoog risico verantwoordelijk zijn, indien van toepassing, voor opslag- en vervoersomstandigheden die de overeenstemming van het systeem met de voorschriften van hoofdstuk 2 van deze titel niet in het gedrang brengen.

4.Een distributeur die van mening is of redenen heeft om aan te nemen dat een AI-systeem met een hoog risico dat hij in de handel heeft gebracht, niet in overeenstemming is met de voorschriften van hoofdstuk 2 van deze titel, neemt de noodzakelijke corrigerende maatregelen om dat systeem in overeenstemming te brengen met deze voorschriften, uit de handel te nemen of terug te roepen of zorgt ervoor dat de aanbieder, de importeur of een eventuele betrokken exploitant, waar passend, dergelijke corrigerende maatregelen treft. Indien het AI-systeem met een hoog risico een risico vormt in de zin van artikel 65, lid 1, stelt de distributeur de nationale bevoegde autoriteiten van de lidstaten waarin hij het product beschikbaar heeft gemaakt hiervan onmiddellijk in kennis, waarbij hij in het bijzonder de non-conformiteit en de eventueel getroffen corrigerende maatregelen uitvoerig beschrijft.

5.Distributeurs van AI-systemen met een hoog risico voorzien nationale bevoegde autoriteiten op met redenen omkleed verzoek van alle informatie en documentatie die noodzakelijk is om de overeenstemming van een systeem met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen. Distributeurs werken bovendien samen met deze nationale bevoegde autoriteit met betrekking tot eventuele maatregelen die deze autoriteit heeft getroffen.

Artikel 28
Verplichtingen van distributeurs, importeurs, gebruikers en eventuele derden

1.In de volgende omstandigheden wordt een distributeur, importeur, gebruiker of derde voor de toepassing van deze verordening beschouwd als een aanbieder en is hij onderworpen aan de verplichtingen van de aanbieder uit hoofde van artikel 16:

(a)hij brengt een AI-systeem met een hoog risico onder zijn naam of merknaam in de handel of stelt dit onder zijn naam of merknaam in gebruik;

(b)hij wijzigt het beoogde doel van een reeds in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico; of

(c)hij brengt een ingrijpende wijziging aan in het AI-systeem met een hoog risico.

2.Wanneer sprake is van de in lid 1, punt b) of c), bedoelde omstandigheden, wordt de aanbieder die het AI-systeem met een hoog risico voor het eerst in de handel heeft gebracht of in gebruik heeft gesteld, niet langer beschouwd als aanbieder voor de toepassing van deze verordening.

Artikel 29
Verplichtingen van gebruikers van AI-systemen met een hoog risico

1.Gebruikers van AI-systemen met een hoog risico gebruiken dergelijke systemen in overeenstemming met de gebruiksaanwijzingen die bij de systemen zijn gevoegd, in overeenstemming met de leden 2 en 5.

2.De verplichtingen van lid 1 doen geen afbreuk aan de andere verplichtingen van gebruikers op grond van het Unie- of intern recht en aan de beoordelingsvrijheid van gebruikers bij het organiseren van hun eigen middelen en activiteiten voor de uitvoering van de maatregelen inzake menselijk toezicht zoals aangegeven door de aanbieder.

3.Onverminderd lid 1 zorgt de gebruiker er, voor zover hij controle heeft over de inputdata, voor dat de inputdata relevant zijn voor het beoogde doel van het AI-systeem met een hoog risico.

4.Gebruikers monitoren de werking van het AI-systeem met een hoog risico op basis van de gebruiksaanwijzingen. Wanneer zij redenen hebben om aan te nemen dat het gebruik overeenkomstig de gebruiksaanwijzingen ertoe kan leiden dat het AI-systeem een risico vormt in de zin van artikel 65, lid 1, stellen zij de aanbieder of distributeur hiervan in kennis en onderbreken zij het gebruik van het systeem. Zij stellen de aanbieder of distributeur er ook van in kennis en onderbreken het gebruik van het AI-systeem wanneer zij een ernstig incident of eventuele gebrekkige werking hebben vastgesteld in de zin van artikel 62. Wanneer de gebruiker de aanbieder niet kan bereiken, is artikel 62 mutatis mutandis van toepassing.

Voor gebruikers die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn wordt de monitoringsverplichting van lid 1 geacht te zijn nagekomen wanneer zij de regels inzake regelingen, processen en mechanismen voor interne governance naleven overeenkomstig artikel 74 van die richtlijn.

5.Gebruikers van AI-systemen met een hoog risico bewaren de logs die automatisch worden gegenereerd door die AI-systemen met een hoog risico voor zover dergelijke logs onder hun controle vallen. De logs worden bewaard gedurende een periode die passend is gezien het beoogde doel van het AI-systeem met een hoog risico en de toepasselijke wettelijke verplichtingen op grond van het Unie- of intern recht.

Gebruikers die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn, bewaren de logs als onderdeel van de documentatie met betrekking tot de interne governance, regelingen, processen en mechanismen overeenkomstig artikel 74 van die richtlijn.

6.Gebruikers van AI-systemen met een hoog risico gebruiken de informatie die op grond van artikel 13 wordt verstrekt om hun verplichting na te komen om een gegevensbeschermingseffectbeoordeling uit te voeren op grond van artikel 35 van Verordening (EU) 2016/679 of artikel 27 van Richtlijn (EU) 2016/680, indien van toepassing.

Hoofdstuk 4

AANMELDENDE AUTORITEITEN EN AANGEMELDE INSTANTIES

Artikel 30
Aanmeldende autoriteiten

1.Elke lidstaat wijst een aanmeldende autoriteit aan of richt een aanmeldende autoriteit op die verantwoordelijk is voor het opzetten en uitvoeren van de nodige procedures voor de beoordeling, aanwijzing en aanmelding van conformiteitsbeoordelingsinstanties en voor het toezicht erop.

2.De lidstaten kunnen een nationale accreditatie-instantie als bedoeld in Verordening (EG) nr. 765/2008 als aanmeldende autoriteit aanwijzen.

3.Aanmeldende autoriteiten worden zodanig opgericht en georganiseerd en functioneren zodanig dat zich geen belangenconflicten met conformiteitsbeoordelingsinstanties voordoen en de objectiviteit en onpartijdigheid van hun activiteiten gewaarborgd zijn.

4.Aanmeldende autoriteiten worden zodanig georganiseerd dat besluiten in verband met de aanmelding van conformiteitsbeoordelingsinstanties worden genomen door bekwame personen die niet de beoordeling van die instanties hebben verricht.

5.Aanmeldende autoriteiten bieden of verrichten geen activiteiten die worden uitgevoerd door conformiteitsbeoordelingsinstanties en verlenen geen adviezen op commerciële of concurrentiële basis.

6.Aanmeldende autoriteiten waarborgen dat de verkregen informatie vertrouwelijk wordt behandeld.

7.Aanmeldende autoriteiten beschikken over een voldoende aantal bekwame personeelsleden om hun taken naar behoren uit te voeren.

8.Aanmeldende autoriteiten zorgen ervoor dat conformiteitsbeoordelingen op evenredige wijze worden uitgevoerd, waarbij onnodige lasten voor aanbieders worden vermeden, en dat aangemelde instanties bij het verrichten van hun activiteiten naar behoren rekening houden met de omvang van de onderneming, de sector waarin deze actief is, de structuur ervan en de mate van complexiteit van het AI-systeem in kwestie.

Artikel 31
Verzoek om aanmelding van een conformiteitsbeoordelingsinstantie

1.Conformiteitsbeoordelingsinstanties dienen een verzoek om aanmelding in bij de aanmeldende autoriteit van de lidstaat waar zij zijn gevestigd.

2.Het verzoek om aanmelding gaat vergezeld van een beschrijving van de conformiteitsbeoordelingsactiviteiten, de conformiteitsbeoordelingsmodule(s) en de artificiële-intelligentietechnologieën waarvoor de conformiteitsbeoordelingsinstantie verklaart bekwaam te zijn en, indien dit bestaat, van een accreditatiecertificaat dat is afgegeven door een nationale accreditatie-instantie, waarin wordt verklaard dat de conformiteitsbeoordelingsinstantie voldoet aan de eisen in artikel 33. Geldige documenten met betrekking tot bestaande aanwijzingen van de verzoekende aangemelde instantie uit hoofde van andere harmonisatiewetgeving van de Unie worden bijgevoegd.

3.Wanneer de betrokken conformiteitsbeoordelingsinstantie geen accreditatiecertificaat kan overleggen, verschaft zij de aanmeldende autoriteit de bewijsstukken die nodig zijn om haar overeenstemming met de eisen in artikel 33 te verifiëren en te erkennen en om daar geregeld toezicht op te houden. Voor aangemelde instanties die uit hoofde van andere harmonisatiewetgeving van de Unie zijn aangewezen, kunnen waar passend alle documenten en certificaten met betrekking tot die aanwijzingen worden gebruikt om hun aanwijzingsprocedure krachtens deze verordening te ondersteunen.

Artikel 32
Aanmeldingsprocedure

1.Aanmeldende autoriteiten mogen uitsluitend conformiteitsbeoordelingsinstanties aanmelden die aan de eisen in artikel 33 voldoen.

2.Aanmeldende autoriteiten verrichten de aanmelding bij de Commissie en de andere lidstaten door middel van het door de Commissie ontwikkelde en beheerde elektronische aanmeldingssysteem.

3.Bij de aanmelding worden de conformiteitsbeoordelingsactiviteiten, de conformiteitsbeoordelingsmodule(s) en de betrokken artificiële-intelligentietechnologieën uitvoerig beschreven.

4.De betrokken conformiteitsbeoordelingsinstantie mag de activiteiten van een aangemelde instantie alleen verrichten als de Commissie en de andere lidstaten binnen één maand na een aanmelding geen bezwaren hebben ingediend.

5.Aanmeldende autoriteiten stellen de Commissie en de andere lidstaten in kennis van alle latere wijzigingen die van belang zijn voor de aanmelding.

Artikel 33
Aangemelde instanties

1.Aangemelde instanties controleren de conformiteit van AI-systemen met een hoog risico overeenkomstig de conformiteitsbeoordelingsprocedures als bedoeld in artikel 43.

2.Aangemelde instanties voldoen aan de eisen inzake organisatie, kwaliteitsbeheer, personeel en processen die nodig zijn voor het vervullen van hun taken.

3.De organisatiestructuur, de toewijzing van verantwoordelijkheden, de rapportagelijnen en het functioneren van aangemelde instanties moeten van dien aard zijn dat ze ervoor zorgen dat er vertrouwen is in de uitvoering en de resultaten van de conformiteitsbeoordelingsactiviteiten die de aangemelde instanties verrichten.

4.Aangemelde instanties zijn onafhankelijk van de aanbieder van een AI-systeem met een hoog risico met betrekking waartoe de aanbieder conformiteitsbeoordelingsactiviteiten verricht. Aangemelde instanties zijn ook onafhankelijk van andere exploitanten die een economisch belang hebben in het beoordeelde AI-systeem met een hoog risico, alsook van concurrenten van de aanbieder.

5.Aangemelde instanties worden zodanig georganiseerd en functioneren zodanig dat de onafhankelijkheid, objectiviteit en onpartijdigheid van hun activiteiten gewaarborgd zijn. Aangemelde instanties documenteren en implementeren een structuur en procedures voor het waarborgen van de onpartijdigheid en voor het bevorderen en toepassen van de onpartijdigheidsbeginselen in hun gehele organisatie, onder het personeel en in de beoordelingsactiviteiten.

6.Aangemelde instanties beschikken over gedocumenteerde procedures die waarborgen dat hun personeel, comités, dochterondernemingen, onderaannemers, geassocieerde instanties of personeel van externe instanties de vertrouwelijkheid in acht nemen van de informatie die zij tijdens conformiteitsbeoordelingsactiviteiten in hun bezit krijgen, behalve wanneer openbaarmaking wettelijk vereist is. Het personeel van aangemelde instanties is gebonden aan het beroepsgeheim ten aanzien van alle informatie waarvan het kennis neemt bij de uitoefening van de taken uit hoofde van deze verordening, behalve ten opzichte van de aanmeldende autoriteiten van de lidstaat waar de activiteiten plaatsvinden.

7.Aangemelde instanties beschikken over de nodige procedures voor de uitoefening van hun activiteiten, waarin voldoende rekening wordt gehouden met de omvang van een onderneming, de sector waarin zij actief is, haar structuur en de relatieve complexiteit van het AI-systeem in kwestie.

8.Aangemelde instanties sluiten voor hun conformiteitsbeoordelingsactiviteiten een passende aansprakelijkheidsverzekering af, tenzij de wettelijke aansprakelijkheid krachtens het interne recht door de lidstaat in kwestie wordt gedekt of die lidstaat rechtstreeks verantwoordelijk is voor de conformiteitsbeoordeling.

9.Aangemelde instanties zijn in staat alle hun bij deze verordening toegewezen taken te verrichten met de grootste mate van beroepsintegriteit en met de vereiste bekwaamheid op het specifieke gebied, ongeacht of deze taken door de aangemelde instanties zelf dan wel namens hen en onder hun verantwoordelijkheid worden verricht.

10.Aangemelde instanties beschikken over voldoende interne deskundigheid om de door namens hen externe partijen verrichte taken doeltreffend te kunnen evalueren. Hiertoe beschikken aangemelde instanties te allen tijde en voor elke conformiteitsbeoordelingsprocedure en elk type AI-systeem met een hoog risico met betrekking waartoe zij zijn aangewezen, over voldoende administratief, technisch en wetenschappelijk personeel met ervaring en kennis ten aanzien van de relevante artificiële-intelligentietechnologieën, data en dataverwerking en de voorschriften van hoofdstuk 2 van deze titel.

11.Aangemelde instanties nemen deel aan coördinatieactiviteiten als bedoeld in artikel 38. Zij nemen ook rechtstreeks deel aan of worden vertegenwoordigd in Europese normalisatie-instellingen of zorgen ervoor op de hoogte te zijn van actuele relevante normen.

12.Aangemelde instanties stellen alle relevante documentatie, waaronder de documentatie van de aanbieder, ter beschikking van de aanmeldende autoriteit als bedoeld in artikel 30, en verstrekken die aan haar op verzoek, teneinde haar in staat te stellen haar beoordelings-, aanwijzings-, kennisgevings-, monitoring- en toezichtactiviteiten te verrichten, en de in dit hoofdstuk beschreven beoordeling te vergemakkelijken.

Artikel 34
Dochterondernemingen van en uitbesteding door aangemelde instanties

1.Wanneer de aangemelde instantie specifieke taken in verband met de conformiteitsbeoordeling uitbesteedt of door een dochteronderneming laat uitvoeren, waarborgt zij dat de onderaannemer of dochteronderneming aan de eisen van artikel 33 voldoet, en brengt zij de aanmeldende autoriteit hiervan op de hoogte.

2.Aangemelde instanties nemen de volledige verantwoordelijkheid op zich voor de taken die worden verricht door onderaannemers of dochterondernemingen, ongeacht waar deze gevestigd zijn.

3.Activiteiten mogen uitsluitend met instemming van de aanbieder worden uitbesteed of door een dochteronderneming worden uitgevoerd.

4.Aangemelde instanties houden de relevante documenten over de beoordeling van de kwalificaties van de onderaannemer of de dochteronderneming en over de door de onderaannemer of dochteronderneming krachtens deze verordening uitgevoerde werkzaamheden ter beschikking van de aanmeldende autoriteit.

Artikel 35
Identificatienummers en lijsten van krachtens deze verordening aangewezen aangemelde instanties

1.De Commissie kent aangemelde instanties een identificatienummer toe. Zij kent per instantie slechts één nummer toe, ook als een instantie uit hoofde van diverse handelingen van de Unie is aangemeld.

2.De Commissie maakt de lijst van krachtens deze verordening aangemelde instanties openbaar, onder vermelding van de aan hen toegekende identificatienummers en de activiteiten waarvoor zij zijn aangemeld. De Commissie zorgt ervoor dat de lijst actueel blijft.

Artikel 36
Wijzigingen in de aanmelding

1.Wanneer een aanmeldende autoriteit het vermoeden heeft of heeft vernomen dat een aangemelde instantie niet meer aan de eisen van artikel 33 voldoet of haar verplichtingen niet nakomt, moet de autoriteit de kwestie onverwijld zo zorgvuldig mogelijk onderzoeken. In die context stelt zij de betrokken aangemelde instantie in kennis van de geopperde bezwaren en biedt zij haar de mogelijkheid haar standpunten kenbaar te maken. Als de aanmeldende autoriteit tot de conclusie komt dat de onderzochte aangemelde instantie niet meer aan de eisen van artikel 33 voldoet of haar verplichtingen niet nakomt, wordt de aanmelding door haar beperkt, geschorst of ingetrokken, als passend, afhankelijk van de ernst van de tekortkoming. Zij brengt daar ook de Commissie en de andere lidstaten onmiddellijk van op de hoogte.

2.Wanneer de aanmelding wordt beperkt, geschorst of ingetrokken, of de aangemelde instantie haar activiteiten heeft gestaakt, doet de aanmeldende autoriteit het nodige om ervoor te zorgen dat de dossiers van die aangemelde instantie hetzij door een andere aangemelde instantie worden overgenomen, hetzij aan de verantwoordelijke aanmeldende autoriteiten op hun verzoek ter beschikking kunnen worden gesteld.

Artikel 37
Betwisting van de bekwaamheid van aangemelde instanties

1.De Commissie onderzoekt indien nodig alle gevallen waarin er redenen zijn om te twijfelen of een aangemelde instantie aan de eisen van artikel 33 voldoet.

2.De aanmeldende autoriteit verstrekt de Commissie op verzoek alle relevante informatie over de aanmelding van de betrokken aangemelde instantie.

3.De Commissie ziet erop toe dat alle vertrouwelijke informatie die zij in de loop van haar onderzoeken overeenkomstig dit artikel ontvangt, vertrouwelijk wordt behandeld.

4.Wanneer de Commissie vaststelt dat een aangemelde instantie niet of niet meer aan de eisen van artikel 33 voldoet, neemt zij een met redenen omkleed besluit om de aanmeldende lidstaat te verzoeken de nodige corrigerende maatregelen te nemen en zo nodig de aanmelding in te trekken. De uitvoeringshandeling wordt vastgesteld volgens de in artikel 74, lid 2, bedoelde onderzoeksprocedure.

Artikel 38
Coördinatie van aangemelde instanties

1.Ten aanzien van de onder deze verordening vallende gebieden zorgt de Commissie voor het instellen en naar behoren uitvoeren van passende coördinatie en samenwerking tussen aangemelde instanties die zich bezighouden met de conformiteitsbeoordelingsprocedures van AI-systemen krachtens deze verordening in de vorm van een sectorale groep van aangemelde instanties.

2.De lidstaten zorgen ervoor dat de door hen aangemelde instanties rechtstreeks of via aangestelde vertegenwoordigers aan de werkzaamheden van die groep deelnemen.

Artikel 39
Conformiteitsbeoordelingsinstanties van derde landen

Conformiteitsbeoordelingsinstanties die zijn opgericht naar het recht van een derde land waarmee de Unie een overeenkomst heeft gesloten, kunnen worden gemachtigd de activiteiten van aangemelde instanties krachtens deze verordening te verrichten.

Hoofdstuk 5

NORMEN, CONFORMITEITSBEOORDELING, CERTIFICATEN, REGISTRATIE

Artikel 40
Geharmoniseerde normen

AI-systemen met een hoog risico die in overeenstemming zijn met geharmoniseerde normen of delen daarvan, waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht in overeenstemming te zijn met de in hoofdstuk 2 van deze titel beschreven voorschriften, voor zover die voorschriften door die normen worden bestreken.

Artikel 41
Gemeenschappelijke specificaties

1.Wanneer geharmoniseerde normen als bedoeld in artikel 40 niet bestaan of wanneer de Commissie meent dat de relevante geharmoniseerde normen ontoereikend zijn of specifieke punten op het gebied van veiligheid of grondrechten moeten worden aangepakt, kan de Commissie door middel van uitvoeringshandelingen gemeenschappelijke specificaties ten aanzien van de in hoofdstuk 2 van deze titel beschreven voorschriften vaststellen. Die uitvoeringshandelingen worden volgens de in artikel 74, lid 2, bedoelde onderzoeksprocedure vastgesteld.

2.De Commissie vergaart bij het opstellen van de in lid 1 bedoelde gemeenschappelijke specificaties de standpunten van relevante instanties of deskundigengroepen die krachtens relevant sectoraal Unierecht zijn opgericht.

3.AI-systemen met een hoog risico die in overeenstemming zijn met de in lid 1 bedoelde gemeenschappelijke specificaties, worden geacht in overeenstemming te zijn met de in hoofdstuk 2 van deze titel beschreven voorschriften, voor zover die voorschriften door die gemeenschappelijke specificaties worden bestreken.

4.Wanneer aanbieders niet voldoen aan de in lid 1 bedoelde gemeenschappelijke specificaties, moeten zij naar behoren rechtvaardigen dat zij technische oplossingen hebben gekozen die minstens gelijkwaardig daarmee zijn.

Artikel 42
Vermoeden van conformiteit met bepaalde eisen

1.Rekening houdend met het beoogde doel worden AI-systemen met een hoog risico die zijn getraind en getest op data betreffende de specifieke geografische, functionele en gedragsomgeving waarin zij zullen worden gebruikt, geacht in overeenstemming te zijn met de in artikel 10, lid 4, beschreven eis.

2.AI-systemen met een hoog risico die zijn gecertificeerd of waarvoor een conformiteitsverklaring is verstrekt volgens een cyberbeveiligingsregeling krachtens Verordening (EU) 2019/881 van het Europees Parlement en de Raad 63 en waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht in overeenstemming te zijn met de in artikel 15 van deze verordening beschreven cyberbeveiligingseisen, voor zover die eisen door het cyberbeveiligingscertificaat of de conformiteitsverklaring of delen daarvan worden bestreken.

Artikel 43
Conformiteitsbeoordeling

1.Voor in punt 1 van bijlage III opgesomde AI-systemen met een hoog risico volgt de aanbieder, wanneer bij het aantonen van de overeenstemming met de in hoofdstuk 2 van deze titel beschreven voorschriften van een AI-systeem met een hoog risico de aanbieder geharmoniseerde normen als bedoeld in artikel 40 of in voorkomend geval gemeenschappelijke specificaties als bedoeld in artikel 41 heeft toegepast, een van de volgende procedures:

(a)de conformiteitsbeoordelingsprocedure op basis van interne controle als bedoeld in bijlage VI;

(b)de conformiteitsbeoordelingsprocedure op basis van beoordeling van het kwaliteitsbeheersysteem en beoordeling van de technische documentatie, met betrokkenheid van een aangemelde instantie, als bedoeld in bijlage VII.

Wanneer bij het aantonen van de overeenstemming met de in hoofdstuk 2 van deze titel beschreven voorschriften van een AI-systeem met een hoog risico de aanbieder geharmoniseerde normen als bedoeld in artikel 40 niet of slechts ten dele heeft toegepast of wanneer zulke geharmoniseerde normen niet bestaan en gemeenschappelijke specificaties als bedoeld in artikel 41 niet voorhanden zijn, volgt de aanbieder de in bijlage VII beschreven conformiteitsbeoordelingsprocedure.

Voor de conformiteitsbeoordelingsprocedure als bedoeld in bijlage VII kan de aanbieder eender welke aangemelde instantie kiezen. Wanneer het systeem echter is bedoeld om door rechtshandhavings-, immigratie- of asielautoriteiten alsook EU-instellingen, -organen of -instanties in bedrijf te worden gesteld, treedt de markttoezichtautoriteit als bedoeld in artikel 63, lid 5 of 6, naar gelang van toepassing, als aangemelde instantie op.

2.Voor AI-systemen met een hoog risico als bedoeld in de punten 2 tot en met 8 van bijlage III volgen aanbieders de conformiteitsbeoordelingsprocedure op basis van interne controle als bedoeld in bijlage VI, waarvoor de betrokkenheid van een aangemelde instantie niet nodig is. Voor AI-systemen met een hoog risico als bedoeld in punt 5, b), van bijlage III, die in de handel worden gebracht of in bedrijf worden gesteld door onder Richtlijn 2013/36/EU vallende kredietinstellingen, wordt de conformiteitsbeoordeling uitgevoerd als onderdeel van de procedure als bedoeld in de artikelen 97 tot en met 101 van die richtlijn.

3.Voor AI-systemen met een hoog risico waarop in bijlage II, deel A, vermelde rechtshandelingen van toepassing zijn, volgt de aanbieder de relevante conformiteitsbeoordelingsprocedure zoals vereist volgens die rechtshandelingen. De in hoofdstuk 2 van deze titel beschreven voorschriften zijn van toepassing op die AI-systemen met een hoog risico en maken deel uit van die beoordeling. De punten 4.3, 4.4, 4.5 en de vijfde alinea van punt 4.6 van bijlage VII zijn eveneens van toepassing.

Voor die beoordeling hebben aangemelde instanties die volgens die rechtshandelingen zijn aangemeld het recht de conformiteit van de AI-systemen met een hoog risico met de in hoofdstuk 2 van deze titel beschreven voorschriften te controleren, mits de overeenstemming van die aangemelde instanties met voorschriften in artikel 33, leden 4, 9 en 10, in de context van de aanmeldingsprocedure volgens die rechtshandelingen is beoordeeld.

Wanneer de in bijlage II, deel A, vermelde rechtshandelingen de fabrikant van het producent in staat stellen zich te onttrekken aan een conformiteitsbeoordeling door een derde, mits die fabrikant alle geharmoniseerde normen voor alle relevante voorschriften heeft toegepast, kan de fabrikant alleen van die mogelijkheid gebruikmaken als hij ook geharmoniseerde normen of in voorkomend geval gemeenschappelijke specificaties als bedoeld in artikel 41 heeft toegepast, voor de in hoofdstuk 2 van deze titel beschreven voorschriften.

4.AI-systemen met een hoog risico ondergaan een nieuwe conformiteitsbeoordelingsprocedure telkens wanneer zij wezenlijk zijn gewijzigd, ongeacht of het gewijzigde systeem bedoeld is om verder te worden gedistribueerd of door de huidige gebruiker gebruikt blijft worden.

Voor AI-systemen met een hoog risico die doorgaan met leren na in de handel te zijn gebracht of in bedrijf te zijn gesteld, vormen veranderingen van het AI-systeem met een hoog risico en de prestaties ervan die op het moment van de eerste conformiteitsbeoordeling vooraf door de aanbieder zijn bepaald en deel uitmaken van de informatie in de technische documentatie als bedoeld in punt 2, f), van bijlage IV, geen wezenlijke wijziging.

5.De Commissie is bevoegd om gedelegeerde handelingen vast te stellen overeenkomstig artikel 73 ten behoeve van het bijwerken van de bijlagen VI en VII, teneinde elementen van de conformiteitsbeoordelingsprocedures in te voeren die noodzakelijk worden in het licht van de technische vooruitgang.

6.De Commissie is bevoegd om gedelegeerde handelingen vast te stellen om de leden 1 en 2 te wijzigen, teneinde AI-systemen met een hoog risico als bedoeld in de punten 2 tot en met 8 van bijlage III te onderwerpen aan de conformiteitsbeoordelingsprocedure als bedoeld in bijlage VII of delen daarvan. De Commissie stelt zulke gedelegeerde handelingen vast rekening houdend met de doeltreffendheid van de conformiteitsbeoordelingsprocedure op basis van interne controle als bedoeld in bijlage VI bij het voorkomen of minimaliseren van de risico’s voor de gezondheid en veiligheid en de bescherming van grondrechten die zulke systemen inhouden alsook met de beschikbaarheid van voldoende capaciteit en personeel onder aangemelde instanties.

Artikel 44
Certificaten

1.Door aangemelde instanties overeenkomstig bijlage VII afgegeven certificaten worden opgesteld in een officiële taal van de Unie, vastgesteld door de lidstaat waar de aangemelde instantie is gevestigd, of in een officiële taal van de Unie die voor de aangemelde instantie anderszins aanvaardbaar is.

2.Certificaten zijn geldig gedurende de daarin aangegeven periode, die niet meer dan vijf jaar mag bedragen. Op verzoek van de aanbieder kan de geldigheidsduur van een certificaat op grond van een herbeoordeling volgens de toepasselijke conformiteitsbeoordelingsprocedures worden verlengd met bijkomende perioden, die elk niet meer dan vijf jaar mogen bedragen.

3.Indien een aangemelde instantie vaststelt dat een AI-systeem niet meer aan de in hoofdstuk 2 van deze titel beschreven voorschriften voldoet, gaat zij, rekening houdend met het evenredigheidsbeginsel, over tot schorsing of intrekking van het afgegeven certificaat of legt zij beperkingen op, tenzij de aanbieder van het systeem, met het oog op de naleving van deze voorschriften, binnen een door de aangemelde instantie vastgestelde passende termijn adequate corrigerende actie onderneemt. De aangemelde instantie geeft de redenen voor haar besluit op.

Artikel 45
Beroep tegen besluiten van aangemelde instanties

De lidstaten voorzien in een beroepsprocedure tegen besluiten van aangemelde instanties voor partijen die een rechtmatig belang bij dat besluit hebben.

Artikel 46
Informatieverplichtingen voor aangemelde instanties

1.Aangemelde instanties brengen de aanmeldende instantie op de hoogte van:

(a)EU-beoordelingscertificaten van technische documentatie, aanvullingen op die certificaten en goedkeuringen voor kwaliteitsbeheersystemen afgegeven overeenkomstig de eisen van bijlage VII;

(b)weigering, beperking, schorsing of intrekking van een EU-beoordelingscertificaat van technische documentatie of een goedkeuring voor kwaliteitsbeheersystemen afgegeven overeenkomstig de eisen van bijlage VII;

(c)omstandigheden die van invloed zijn op het toepassingsgebied van of de voorwaarden voor de aanmelding;

(d)verzoeken om informatie over conformiteitsbeoordelingsactiviteiten die zij van markttoezichtautoriteiten ontvangen;

(e)op verzoek, de binnen het toepassingsgebied van hun aanmelding verrichte conformiteitsbeoordelingsactiviteiten en andere activiteiten, waaronder grensoverschrijdende activiteiten en uitbestede activiteiten.

2.Elke aangemelde instantie brengt de andere aangemelde instanties op de hoogte van:

(a)door haar geweigerde, opgeschorte of ingetrokken goedkeuringen voor kwaliteitsbeheersystemen alsmede, op verzoek, van de door haar verleende goedkeuringen voor kwaliteitsbeheersystemen;

(b)EU-beoordelingscertificaten van technische documentatie of aanvullingen daarop die zij heeft geweigerd, ingetrokken, opgeschort of anderszins beperkt alsmede, op verzoek, de certificaten en/of aanvullingen daarop die zij heeft uitgegeven.

3.Elke aangemelde instantie verstrekt de andere aangemelde instanties die soortgelijke conformiteitsbeoordelingsactiviteiten voor dezelfde artificiële-intelligentietechnologieën verrichten, relevante informatie over negatieve conformiteitsbeoordelingsresultaten, en op verzoek ook over positieve conformiteitsbeoordelingsresultaten.

Artikel 47
Afwijking van de conformiteitsbeoordelingsprocedure

1.In afwijking van artikel 43 kan een markttoezichtautoriteit het in de handel brengen of in bedrijf stellen van specifieke AI-systemen met een hoog risico binnen het grondgebied van de betrokken lidstaat toelaten, om uitzonderlijke redenen van openbare veiligheid of de bescherming van het leven en de gezondheid van personen, milieubescherming en de bescherming van essentiële industriële en infrastructurele activa. De toelating geldt gedurende een beperkte periode, terwijl de nodige conformiteitsbeoordelingsprocedures worden uitgevoerd, en wordt beëindigd zodra die procedures zijn afgerond. Die procedures worden zo snel mogelijk afgerond.

2.De in lid 1 bedoelde toelating wordt alleen verstrekt als de markttoezichtautoriteit concludeert dat het AI-systeem met een hoog risico aan de voorschriften van hoofdstuk 2 van deze titel voldoet. De markttoezichtautoriteit stelt de Commissie en de ander lidstaten in kennis van overeenkomstig lid 1 verstrekte toelatingen.

3.Indien binnen 15 kalenderdagen na de ontvangst van de in lid 2 bedoelde informatie geen bezwaar is geopperd door een lidstaat of de Commissie tegen een door een markttoezichtautoriteit van een lidstaat overeenkomstig lid 1 verstrekte toelating, wordt die toelating geacht gerechtvaardigd te zijn.

4.Indien binnen 15 kalenderdagen na de ontvangst van in lid 2 bedoelde kennisgeving door een lidstaat bezwaren worden geopperd tegen een door een markttoezichtautoriteit van een andere lidstaat verstrekte toelating, of wanneer de Commissie de toelating in strijd met het Unierecht acht of de conclusie van de lidstaten ten aanzien van de conformiteit van het systeem als bedoeld in lid 2 ongegrond acht, treedt de Commissie onverwijld in overleg met de relevante lidstaat; de betrokken exploitanten worden geraadpleegd en hebben de mogelijkheid hun standpunten uiteen te zetten. Met het oog daarop besluit de Commissie of de toelating al dan niet gerechtvaardigd is. De Commissie richt haar besluit aan de betrokken lidstaat en de relevante exploitant(en).

5.Als de toelating ongerechtvaardigd wordt geacht, wordt deze ingetrokken door de markttoezichtautoriteit van de betrokken lidstaat.

6.In afwijking van de leden 1 tot en met 5 zijn voor AI-systemen met een hoog risico bedoeld voor gebruik als veiligheidscomponenten van apparaten zijn, of die zelf apparaten zijn, als bedoeld in Verordening (EU) 2017/745 en Verordening (EU) 2017/746, artikel 59 van Verordening (EU) 2017/745 en artikel 54 van Verordening (EU) 2017/746 ook van toepassing met betrekking tot de afwijking van de conformiteitsbeoordeling van de naleving van de in hoofdstuk 2 van deze titel beschreven voorschriften.

Artikel 48
EU-conformiteitsverklaring

1.De aanbieder stelt voor elk AI-systeem een EU-conformiteitsverklaring op en houdt deze verklaring tot tien jaar na het in de handel brengen of het in bedrijf stellen van het AI-systeem ter beschikking van de nationale bevoegde autoriteiten. In de EU-conformiteitsverklaring wordt vermeld voor welk AI-systeem ze is opgesteld. Op verzoek wordt een kopie van de EU-conformiteitsverklaring aan de relevante nationale bevoegde autoriteiten verstrekt.

2.In de EU-conformiteitsverklaring wordt vermeld dat het betreffende AI-systeem met een hoog risico aan de hoofdstuk 2 van deze titel beschreven voorschriften voldoet. De EU-conformiteitsverklaring bevat de informatie die is vervat in bijlage V en wordt vertaald in een of meer officiële talen van de Unie, zoals vereist door de lidstaat (lidstaten) waarin het AI-systeem met een hoog risico wordt aangeboden.

3.Wanneer AI-systemen met een hoog risico onder andere harmonisatiewetgeving van de Unie vallen, waarvoor ook een EU-conformiteitsverklaring is vereist, wordt één EU-conformiteitsverklaring ten aanzien van alle op het AI-systeem met een hoog risico toepasselijke Uniewetgeving opgesteld. De verklaring bevat alle informatie die vereist is voor de identificatie van de harmonisatiewetgeving van de Unie waarop de verklaring betrekking heeft.

4.Met het opstellen van de EU-conformiteitsverklaring neemt de aanbieder de verantwoordelijkheid op zich om de in hoofdstuk 2 van deze titel beschreven voorschriften na te leven. De aanbieder houdt de EU-conformiteitsverklaring voor zover dienstig up-to-date.

5.De Commissie is bevoegd om gedelegeerde handelingen vast te stellen overeenkomstig artikel 73 ten behoeve van het bijwerken van de in bijlage V beschreven inhoud van de EU-conformiteitsverklaring, teneinde elementen in te voeren die noodzakelijk worden in het licht van de technische vooruitgang.

Artikel 49
CE-conformiteitsmarkering

1.De CE-markering wordt zichtbaar, leesbaar en onuitwisbaar op AI-systemen met een hoog risico aangebracht. Wanneer dit gezien de aard van het AI-systeem met een hoog risico niet mogelijk of niet gerechtvaardigd is, wordt de markering naargelang het geval op de verpakking of in de begeleidende documenten aangebracht.

2.De in lid 1 van dit artikel bedoelde CE-markering is onderworpen aan de algemene beginselen die staan vermeld in artikel 30 van Verordening (EG) nr. 765/2008.

3.Indien van toepassing, wordt de CE-markering gevolgd door het identificatienummer van de aangemelde instantie die verantwoordelijk is voor de in artikel 43 beschreven conformiteitsbeoordelingsprocedures. Het identificatienummer wordt ook vermeld in reclamemateriaal waarin staat dat een AI-systeem met een hoog risico aan de vereisten voor de CE-markering voldoet.

Artikel 50
Bewaren van documenten

De aanbieder houdt gedurende een periode van tien jaar nadat het AI-systeem in de handel is gebracht of in bedrijf is gesteld de volgende elementen ter beschikking van de nationale bevoegde autoriteiten:

(a)de technische documentatie als bedoeld in artikel 11;

(b)de documentatie betreffende het kwaliteitsbeheersysteem als bedoeld in artikel 17;

(c)in voorkomend geval de documentatie betreffende de door aangemelde instanties goedgekeurde wijzigingen;

(d)in voorkomend geval de besluiten en andere documenten die door de aangemelde instanties zijn afgegeven;

(e)de EU-conformiteitsverklaring als bedoeld in artikel 48.

Artikel 51
Registratie

Alvorens een AI-systeem met een hoog risico in de handel te brengen of in bedrijf te stellen als bedoeld in artikel 6, lid 2, registreert de aanbieder of in voorkomend geval de gemachtigde dat systeem in de in artikel 60 bedoelde EU-databank.

TITEL IV

TRANSPARANTIEVERPLICHTINGEN VOOR BEPAALDE AI-SYSTEMEN

Artikel 52
Transparantieverplichtingen voor bepaalde AI-systemen

1.Aanbieders zorgen ervoor dat AI-systemen die voor interactie met natuurlijke personen zijn bedoeld, zodanig worden ontworpen en ontwikkeld dat natuurlijke personen worden geïnformeerd dat zij interageren met een AI-systeem, tenzij de omstandigheden en de gebruikscontext dit duidelijk maken. Deze verplichting is niet van toepassing op bij wet toegestane AI-systemen voor het opsporen, voorkomen, onderzoeken en vervolgen van strafbare feiten, tenzij die systemen voor het publiek beschikbaar zijn om een strafbaar feit te melden.

2.Gebruikers van een emotieherkenningssysteem of een biometrisch indelingssysteem informeren de daaraan blootgestelde natuurlijke personen over de werking van het systeem. Deze verplichting is niet van toepassing op voor biometrische indeling gebruikte AI-systemen, die bij wet zijn toegestaan om strafbare feiten op te sporen, te voorkomen en te onderzoeken.

3.Gebruikers van een AI-systeem dat beeld-, audio- of videomateriaal genereert of bewerkt dat aanzienlijk op bestaande personen, objecten, plaatsen of andere entiteiten of gebeurtenissen lijkt en voor een persoon onterecht als authentiek of waarheidsgetrouw (“deep fake”) zou overkomen, maken bekend dat het materiaal kunstmatig is gegenereerd of bewerkt. 

De eerste alinea is echter niet van toepassing wanneer het gebruik bij wet is toegestaan om strafbare feiten op te sporen, te voorkomen, te onderzoeken en te vervolgen of nodig is voor het doen gelden van het recht op vrijheid van meningsuiting en het recht op vrijheid van kunsten en wetenschappen die in het EU-Handvest van de grondrechten worden gewaarborgd, en behoudens passende waarborgen voor de rechten en vrijheden van derden.

4.De leden 1, 2 en 3 doen geen afbreuk aan de in titel III van deze verordening beschreven eisen en verplichtingen.

TITEL V

MAATREGELEN TER ONDERSTEUNING VAN INNOVATIE

Artikel 53
AI-testomgevingen voor regelgeving

1.Door bevoegde autoriteiten van een of meer lidstaten of de Europese Toezichthouder voor gegevensbescherming ontwikkelde AI-testomgevingen voor regelgeving voorzien in een gecontroleerde omgeving ter vergemakkelijking van het volgens een specifiek plan ontwikkelen, testen en valideren van innovatieve AI-systemen voor een beperkte duur voordat zij in de handel worden gebracht of in bedrijf worden gesteld. Dit vindt plaats onder direct toezicht en met directe begeleiding van de bevoegde autoriteiten teneinde naleving van de eisen van deze verordening te waarborgen en in voorkomend geval andere wetgeving van de Unie en de lidstaten onder toezicht binnen de testomgeving.

2.De lidstaten zorgen ervoor dat voor zover de innovatieve AI-systemen betrekking hebben op de verwerking van persoonsgegevens of anderszins onder het toezicht van andere nationale autoriteiten of bevoegde autoriteiten vallen die toegang tot data verstrekken of ondersteunen, de nationale gegevensbeschermingsautoriteiten of die andere nationale autoriteiten bij de werking van de AI-testomgeving voor regelgeving zijn betrokken.

3.De AI-testomgevingen voor regelgeving laten de toezichthoudende en corrigerende bevoegdheden van de bevoegde autoriteiten onverlet. Significante risico’s voor de gezondheid en veiligheid en de grondrechten die tijdens het ontwikkelen en testen van dergelijke systemen worden vastgesteld, worden onmiddellijk beperkt en leiden bij gebreke daarvan tot de opschorting van het ontwikkelings- en testproces totdat beperkende maatregelen worden getroffen.

4.Deelnemers aan de AI-testomgeving voor regelgeving blijven aansprakelijk overeenkomstig toepasselijke aansprakelijkheidswetgeving van de Unie en de lidstaten voor aan derden toegebrachte schade als gevolg van de experimenten in de testomgeving.

5.De bevoegde autoriteiten van de lidstaten die AI-testomgevingen voor regelgeving hebben ontwikkeld, coördineren hun activiteiten en werken samen binnen het kader van het Europees Comité voor artificiële intelligentie. Zij dienen jaarverslagen bij het Comité en de Commissie in over de resultaten van de uitvoering van die regelingen, met inbegrip van goede praktijken, geleerde lessen en aanbevelingen over de opzet ervan en, waar relevant, over de toepassing van deze verordening en andere Uniewetgeving onder toezicht binnen de testomgeving.

6.De modaliteiten en de voorwaarden van de werking van de AI-testomgevingen voor regelgeving, waaronder de toelatingscriteria en de procedures voor de toepassing en selectie van, deelname aan en terugtrekking uit de testomgeving, en de rechten en plichten van de deelnemers worden in uitvoeringshandelingen uiteengezet. Die uitvoeringshandelingen worden volgens de in artikel 74, lid 2, bedoelde onderzoeksprocedure vastgesteld.

Artikel 54
Verdere verwerking van persoonsgegevens voor het ontwikkelen van bepaalde AI-systemen in het algemene belang in de AI-testomgeving voor regelgeving

1.In de AI-testomgeving voor regelgeving worden rechtmatig voor andere doeleinden verzamelde persoonsgegevens onder de volgende voorwaarden verwerkt ten behoeve van het ontwikkelen en testen van bepaalde innovatieve AI-systemen in de testomgeving:

(a)de innovatieve AI-systemen worden ontwikkeld voor het beschermen van zwaarwegend algemeen belang op een of meer van de volgende gebieden:

i)de voorkoming, het onderzoek, de opsporing of de vervolging van strafbare feiten of de tenuitvoerlegging van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid, onder de controle en verantwoordelijkheid van de bevoegde autoriteiten. De verwerking is gebaseerd op het recht van de lidstaten of de Unie;

ii)de openbare veiligheid en volksgezondheid, waaronder ziektepreventie, -beheersing en -behandeling;

iii)een hoog niveau van bescherming en verbetering van de kwaliteit van het milieu;

(b)de verwerkte data zijn nodig om te voldoen aan een of meer van de in titel III, hoofdstuk 2, beschreven voorschriften wanneer die voorschriften niet doeltreffend kunnen worden vervuld door het verwerken van geanonimiseerde, synthetische of andere niet persoonsgebonden data;

(c)er zijn doeltreffende monitoringmechanismen om vast te stellen of zich tijdens de experimenten in de testomgeving hoge risico’s voor de grondrechten van de betrokkenen kunnen voordoen evenals responsmechanismen om die risico’s onmiddellijk te beperken en indien nodig de verwerking stop te zetten;

(d)in het kader van de testomgeving te verwerken persoonsgegevens bevinden zich in een functioneel gescheiden, geïsoleerde en beschermde omgeving voor dataverwerking onder de controle van de deelnemers, waarbij alleen bevoegde personen toegang hebben tot die data;

(e)verwerkte persoonsgegevens mogen niet door andere partijen worden verzonden, doorgegeven of anderszins worden geraadpleegd;

(f)de verwerking van persoonsgegevens in het kader van de testomgeving mag niet leiden tot maatregelen of besluiten die gevolgen hebben voor de betrokkenen;

(g)in het kader van de testomgeving verwerkte persoonsgegevens worden gewist nadat de deelname aan de testomgeving is beëindigd of de periode van bewaring van de persoonsgegevens ten einde is gekomen;

(h)de logbestanden van de verwerking van persoonsgegevens in het kader van de testomgeving worden tijdens de duur van de deelname aan de testomgeving en één jaar na beëindiging ervan bewaard, uitsluitend ten behoeve van en alleen zo lang als nodig is voor het nakomen van aansprakelijkheids- en documenteringsverplichtingen overeenkomstig dit artikel of andere toepasselijke wetgeving van de Unie of de lidstaten;

(i)een volledige en gedetailleerde beschrijving van het proces en de onderbouwing van het trainen, testen en valideren van het AI-systeem wordt samen de testresultaten bewaard als onderdeel van de technische documentatie in bijlage IV;

(j)een korte samenvatting van het in de testomgeving ontwikkelde AI-project en de doelstellingen en verwachte resultaten ervan worden op de website van de bevoegde autoriteiten gepubliceerd.

2.Lid 1 laat wetgeving van de Unie of de lidstaten onverlet, uitgezonderd verwerking voor andere doeleinden dan die uitdrukkelijk vermeld in die wetgeving.

Artikel 55
Maatregelen voor kleine aanbieders en gebruikers

1.De lidstaten ondernemen de volgende acties:

(a)kleine aanbieders en start-ups prioritaire toegang verlenen tot de AI-testomgevingen voor regelgeving voor zover zij aan de toelatingscriteria voldoen;

(b)specifieke bewustmakingsactiviteiten organiseren rond de toepassing van deze verordening, afgestemd op de behoeften van kleine aanbieders en gebruikers;

(c)indien passend een specifiek kanaal voor communicatie met kleine aanbieders en gebruikers en andere innovatoren opzetten om begeleiding te bieden en vragen over de uitvoering van deze verordening te beantwoorden.

2.De specifieke belangen en behoeften van kleine aanbieders worden in aanmerking genomen bij het bepalen van de vergoedingen voor conformiteitsbeoordelingen overeenkomstig artikel 43, waarbij die vergoedingen naar evenredigheid van hun omvang en marktgrootte worden verlaagd.

TITEL VI

GOVERNANCE

Hoofdstuk 1

Europees Comité voor artificiële intelligentie

Artikel 56
Oprichting van het Europees Comité voor artificiële intelligentie

1.Er wordt een Europees Comité voor artificiële intelligentie (het “Comité”) opgericht.

2.Het Comité verstrekt advies en bijstand aan de Commissie teneinde:

(a)bij te dragen aan de doeltreffende samenwerking van de nationale toezichthoudende autoriteiten en de Commissie ten aanzien van de onder deze verordening vallende aangelegenheden;

(b)te zorgen voor coördinatie van en bijdrage aan de begeleiding en analyse door de Commissie en de nationale toezichthoudende autoriteiten en andere bevoegde autoriteiten wat betreft opkomende kwesties in de gehele interne markt ten aanzien van de onder deze verordening vallende aangelegenheden;

(c)de nationale toezichthoudende autoriteiten en de Commissie bij te staan bij het waarborgen van de consistente toepassing van deze verordening.

Artikel 57
Structuur van het Comité

1.Het Comité is samengesteld uit de nationale toezichthoudende autoriteiten, die worden vertegenwoordigd door het hoofd of een gelijkwaardige hoge ambtenaar van die autoriteit, en de Europese Toezichthouder voor gegevensbescherming. Andere nationale autoriteiten kunnen voor de vergaderingen worden uitgenodigd, wanneer de besproken kwesties relevant zijn voor hen.

2.Het Comité stelt zijn reglement bij eenvoudige meerderheid van zijn leden vast, na goedkeuring door de Commissie. Het reglement bevat ook de operationele aspecten ten aanzien van de uitvoering van de taken van het Comité als vermeld in artikel 58. Het Comité kan in voorkomend geval subgroepen oprichten om specifieke kwesties te onderzoeken.

3.Het Comité wordt voorgezeten door de Commissie. De Commissie roept de vergaderingen bijeen en stelt de agenda op overeenkomstig de taken van het Comité krachtens deze verordening en overeenkomstig zijn reglement. De Commissie biedt administratieve en analytische steun voor de activiteiten van het Comité krachtens deze verordening.

4.Het Comité kan externe deskundigen en waarnemers uitnodigen om zijn vergaderingen bij te wonen en kan besprekingen houden met belanghebbende derden om in passende mate informatie te verstrekken over zijn activiteiten. Hiertoe kan de Commissie uitwisseling van informatie tussen het Comité en andere instanties, bureaus, agentschappen en adviesgroepen van de Unie bevorderen.

Artikel 58
Taken van het Comité

Bij het verstrekken van advies en bijstand aan de Commissie in het kader van artikel 56, lid 2, heeft het Comité met name de volgende taken:

(a)expertise en beste praktijken onder de lidstaten verzamelen en delen;

(b)bijdragen aan uniforme administratieve praktijken in de lidstaten, ook voor de werking van testomgevingen voor regelgeving als bedoeld in artikel 53;

(c)adviezen, aanbevelingen of schriftelijke bijdragen afgeven over aangelegenheden met betrekking tot de uitvoering van deze verordening, met name

i)over technische specificaties of bestaande normen ten aanzien van de in titel III, hoofdstuk 2, beschreven voorschriften,

ii)over het gebruik van geharmoniseerde normen of gemeenschappelijke specificaties als bedoeld in de artikelen 40 en 41,

iii)over de opstelling van begeleidende documenten, waaronder de richtsnoeren betreffende de bepaling van administratieve boeten als bedoeld in artikel 71.

HOOFDSTUK 2

NATIONELE BEVOEGDE AUTORITEITEN

Artikel 59
Aanwijzing van nationale bevoegde autoriteiten

1.Nationale bevoegde autoriteiten worden door elke lidstaat opgericht of aangewezen met het oog op het waarborgen van de toepassing en uitvoering van deze verordening. Nationale bevoegde autoriteiten worden zodanig georganiseerd dat de objectiviteit en onpartijdigheid van hun activiteiten en taken gewaarborgd zijn.

2.Elke lidstaat wijst een nationale toezichthoudende autoriteit onder de nationale bevoegde autoriteiten aan. De nationale toezichthoudende autoriteit treedt op als aanmeldende instantie en markttoezichtautoriteit tenzij een lidstaat organisatorische en administratieve redenen heeft om meer dan één autoriteit aan te wijzen.

3.De lidstaten stellen de Commissie in kennis van hun aanwijzing(en) en, in voorkomend geval, van de redenen om meer dan één autoriteit aan te wijzen.

4.De lidstaten zorgen ervoor dat nationale bevoegde autoriteiten over voldoende financiële en personele middelen beschikken om hun taken krachtens deze verordening uit te voeren. Nationale bevoegde autoriteiten beschikken met name over voldoende permanent beschikbaar personeel waarvan de bekwaamheid en expertise bestaat uit een grondig inzicht in artificiële-intelligentietechnologieën, gegevens en gegevensverwerking, grondrechten, gezondheids- en veiligheidsrisico’s en kennis van bestaande normen en wettelijke eisen.

5.De lidstaten brengen jaarlijks verslag uit aan de Commissie over de status van de financiële en personele middelen van de nationale bevoegde autoriteiten met een beoordeling van de toereikendheid ervan. De Commissie bezorgt die informatie ter bespreking en voor mogelijke aanbevelingen aan het Comité.

6.De Commissie bevordert de uitwisseling van ervaringen tussen de nationale bevoegde autoriteiten.

7.Nationale bevoegde autoriteiten kunnen begeleiding bij en advies over de uitvoering van deze verordening verstrekken, ook aan kleine aanbieders. Wanneer nationale bevoegde autoriteiten van plan zijn te voorzien in begeleiding en advies ten aanzien van een AI-systeem op gebieden die onder andere Uniewetgeving vallen, worden in voorkomend geval de nationale bevoegde autoriteiten onder die Uniewetgeving geraadpleegd. De lidstaten kunnen ook één centraal contactpunt voor communicatie met exploitanten opzetten.

8.Wanneer instellingen, agentschappen en instanties van de Unie binnen het toepassingsgebied van deze verordening vallen, treedt de Europese Toezichthouder voor gegevensbescherming op als de bevoegde autoriteit voor het toezicht daarop.

TITEL VII

EU-DATABANK VOOR AUTONOME AI-SYSTEMEN MET EEN HOOG RISICO

Artikel 60
EU-databank voor autonome AI-systemen met een hoog risico

1.De Commissie zorgt in samenwerking met de lidstaten voor het opzetten en onderhouden van een EU-databank met informatie als bedoeld in lid 2 betreffende AI-systemen met een hoog risico als bedoeld in artikel 6, lid 2, die overeenkomstig artikel 51 zijn geregistreerd.

2.De in bijlage VIII vermelde data worden door de aanbieders in de EU-databank ingevoerd. De Commissie geeft hun technische en administratieve ondersteuning.

3.De informatie in de EU-databank is toegankelijk voor het publiek.

4.De EU-databank bevat alleen persoonsgegevens voor zover die nodig zijn voor het verzamelen en verwerken van informatie overeenkomstig deze verordening. Deze informatie bevat de namen en contactgegevens van natuurlijke personen die verantwoordelijk zijn voor de registratie van het systeem en wettelijk gemachtigd zijn de aanbieder te vertegenwoordigen.

5.De Commissie is voor de EU-databank de verantwoordelijke voor de verwerking. Zij biedt aanbieders ook adequate technische en administratieve ondersteuning.

TITEL VIII

MONITORING NA HET IN DE HANDEL BRENGEN, INFORMATIE-UITWISSELING, MARKTTOEZICHT

Hoofdstuk 1

Monitoring na het in de handel brengen

Artikel 61
Monitoring door aanbieders na het in de handel brengen en plan voor monitoring na het in de handel brengen voor AI-systemen met een hoog risico

1.Aanbieders moeten een systeem voor monitoring na het in de handel brengen vaststellen en documenteren op een manier die evenredig is aan de aard van de artificiële-intelligentietechnologieën en de risico’s van het AI-systeem met een hoog risico.

2.Het systeem voor monitoring na het in de handel brengen verzamelt, documenteert en analyseert actief en systematisch door gebruikers verstrekte of via andere bronnen verzamelde relevante data over de prestaties van AI-systemen met een hoog risico gedurende hun hele levensduur, en stelt de aanbieder in staat na te gaan of AI-systemen blijvend voldoen aan de in titel III, hoofdstuk 2, beschreven voorschriften.

3.Het systeem voor monitoring na het in de handel brengen is gebaseerd op een plan voor monitoring na het in de handel brengen. Het plan voor monitoring na het in de handel brengen maakt deel uit van de in bijlage IV bedoelde technische documentatie. De Commissie stelt een uitvoeringshandeling vast met daarin gedetailleerde bepalingen voor de opstelling van een model voor het plan voor monitoring na het in de handel brengen en de lijst van elementen die in het plan moeten worden opgenomen.

4.Voor AI-systemen met een hoog risico die onder de in bijlage II bedoelde rechtshandelingen vallen en wanneer een systeem en plan voor monitoring na het in de handel brengen al krachtens die wetgeving zijn vastgesteld, worden de in de leden 1, 2 en 3 beschreven elementen op passende wijze in dat systeem en plan opgenomen.

De eerste alinea is ook van toepassing op in punt 5, b), van bijlage III vermelde AI-systemen met een hoog risico die in de handel zijn gebracht of in bedrijf zijn gesteld door onder Richtlijn 2013/36/EU vallende kredietinstellingen.

Hoofdstuk 2

Uitwisseling van informatie over incidenten en storingen

Artikel 62
Melding van ernstige incidenten en van storingen

1.Aanbieders van in de Unie in de handel gebrachte AI-systemen met een hoog risico melden ernstige incidenten met of storingen van die systemen die een niet-nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten inhouden, aan de markttoezichtautoriteiten van de lidstaten waar dat incident of die niet-nakoming plaatsvond.

Een dergelijke melding vindt plaats onmiddellijk nadat de aanbieder een oorzakelijk verband tussen het AI-systeem en het incident of de storing of de redelijke waarschijnlijkheid van een dergelijk verband heeft vastgesteld en in ieder geval uiterlijk 15 dagen nadat de aanbieder zich bewust wordt van het ernstige incident of de storing.

2.Na ontvangst van een melding met betrekking tot een niet-nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten stelt de markttoezichtautoriteit de in artikel 64, lid 3, bedoelde nationale overheidsinstanties of -organen in kennis. De Commissie ontwikkelt specifieke richtsnoeren om nakoming van de in lid 1 vermelde verplichtingen te vergemakkelijken. Die richtsnoeren worden uiterlijk twaalf maanden na de inwerkingtreding van deze verordening uitgevaardigd.

3.Voor in punt 5, b), van bijlage III vermelde AI-systemen met een hoog risico die in de handel zijn gebracht of in bedrijf zijn gesteld door onder Richtlijn 2013/36/EU vallende kredietinstellingen en voor AI-systemen met een hoog risico die veiligheidscomponenten van apparaten zijn, of die zelf apparaten zijn, als bedoeld in Verordening (EU) 2017/745 en Verordening (EU) 2017/746, is de melding van ernstige incidenten of van storingen beperkt tot incidenten en storingen die een niet-nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten inhouden.

Hoofdstuk 3

Handhaving

Artikel 63
Markttoezicht op en controle van AI-systemen op de markt van de Unie

1.Verordening (EU) 2019/1020 is van toepassing op AI-systemen die onder deze verordening vallen. Voor de doeltreffende handhaving van deze verordening geldt echter het volgende:

(a)verwijzingen naar een marktdeelnemer krachtens Verordening (EU) 2019/1020 worden begrepen als verwijzingen naar alle exploitanten als bedoeld in titel III, hoofdstuk 3, van deze verordening;

(b)verwijzingen naar een product krachtens Verordening (EU) 2019/1020 worden begrepen als verwijzingen naar alle AI-systemen die binnen het toepassingsgebied van deze verordening vallen.

2.De nationale toezichthoudende autoriteit brengt aan de Commissie regelmatig verslag uit over de resultaten van relevante markttoezichtactiviteiten. De nationale toezichthoudende autoriteit stelt de Commissie en relevante nationale mededingingsautoriteiten onverwijld in kennis van eventuele tijdens markttoezichtactiviteiten verkregen informatie die van potentieel belang kan zijn voor de toepassing van het Unierecht op mededingingsregels.

3.Voor AI-systemen met een hoog risico, met betrekking tot producten waarop in bijlage II, deel A, vermelde rechtshandelingen van toepassing zijn, is de markttoezichtautoriteit voor de toepassing van deze verordening de autoriteit die verantwoordelijk is voor markttoezichtactiviteiten volgens die rechtshandelingen.

4.Voor AI-systemen met een hoog risico die in de handel zijn gebracht, in bedrijf zijn gesteld of worden gebruikt door kredietinstellingen geregeld bij Uniewetgeving inzake financiële diensten, is de markttoezichtautoriteit voor de toepassing van deze verordening de relevante autoriteit die verantwoordelijk is voor het financiële toezicht op die instellingen krachtens die wetgeving.

5.Voor in lid 1, punt a), genoemde AI-systemen, voor zover de systemen voor rechtshandhavingsdoeleinden worden gebruikt volgens de punten 6 en 7 van bijlage III, wijzen de lidstaten als markttoezichtautoriteiten voor de toepassing van deze verordening hetzij de bevoegde toezichthoudende autoriteiten inzake gegevensbescherming krachtens Richtlijn (EU) 2016/680 of Verordening 2016/679 aan, hetzij de nationale bevoegde autoriteiten die toezicht houden op de activiteiten van de rechtshandhavings-, immigratie- of asielautoriteiten die deze systemen in bedrijf stellen of gebruiken.

6.Wanneer instellingen, agentschappen en instanties van de Unie binnen het toepassingsgebied van deze verordening vallen, treedt de Europese Toezichthouder voor gegevensbescherming op als hun markttoezichtautoriteit.

7.De lidstaten vergemakkelijken de coördinatie tussen krachtens deze verordening aangewezen markttoezichtautoriteiten en andere relevante nationale autoriteiten of instanties die toezicht houden op de toepassing van in bijlage II vermelde harmonisatiewetgeving van de Unie of andere Uniewetgeving die relevant kan zijn voor de AI-systemen met een hoog risico als bedoeld in bijlage III.

Artikel 64
Toegang tot data en documentatie

1.In de context van hun activiteiten wordt de markttoezichtautoriteiten volledige toegang verleend tot de door de aanbieder gebruikte datareeksen voor trainings-, validatie- en testdoeleinden, onder meer via applicatieprogramma-interfaces (API’s) of andere passende technische middelen en instrumenten die toegang op afstand mogelijk maken.

2.Indien dit nodig is om de overeenstemming van het AI-systeem met een hoog risico met de in titel III, hoofdstuk 2, beschreven voorschriften te beoordelen, wordt de markttoezichtautoriteiten na een met redenen omkleed verzoek toegang verleend tot de broncode van het AI-systeem.

3.Nationale overheidsinstanties of -organen die de nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten met betrekking tot het gebruik van AI-systemen met een hoog risico als bedoeld in bijlage III controleren of handhaven, zijn bevoegd om krachtens deze verordening opgestelde of bijgehouden documentatie aan te vragen en in te zien wanneer toegang tot die documentatie nodig is voor de uitoefening van de bevoegdheden onder hun mandaat binnen de grenzen van hun rechtsgebied. De relevante overheidsinstantie of het relevante overheidsorgaan stelt de markttoezichtautoriteit van de betrokken lidstaat van een dergelijke aanvraag in kennis.

4.Uiterlijk drie maanden na de inwerkingtreding van deze verordening moet elke lidstaat de in lid 3 bedoelde overheidsinstanties of -organen identificeren en een lijst openbaar maken op de website van de nationale toezichthoudende autoriteit. De lidstaten stellen de Commissie en alle andere lidstaten in kennis van de lijst en houden deze up-to-date.

5.Indien de in lid 3 bedoelde documentatie ontoereikend is om vast te stellen of sprake is geweest van een niet-nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten, kunnen de in lid 3 bedoelde overheidsinstanties of -organen een met redenen omkleed verzoek bij de markttoezichtautoriteit indienen om over te gaan tot het testen van het AI-systeem met een hoog risico met technische middelen. De markttoezichtautoriteit organiseert de testprocedure binnen een redelijke termijn na het verzoek en met nauwe betrokkenheid van de verzoekende overheidsinstantie of het verzoekende overheidsorgaan.

6.Door de in lid 3 bedoelde overheidsinstanties of -organen volgens de bepalingen van dit artikel verkregen informatie en documentatie worden verwerkt overeenkomstig de in artikel 70 beschreven geheimhoudingsverplichtingen.

Artikel 65
Procedure voor de omgang met AI-systemen die een risico op nationaal niveau inhouden

1.Onder AI-systemen die een risico inhouden wordt verstaan een product dat een in artikel 3, punt 19, van Verordening (EU) 2019/1020 gedefinieerd risico inhoudt voor zover dit betrekking heeft op risico’s voor de gezondheid of veiligheid of voor de bescherming van grondrechten van personen.

2.Indien de markttoezichtautoriteit van een lidstaat voldoende redenen heeft om ervan uit te gaan dat een AI-systeem een risico inhoudt zoals bedoeld in lid 1, verricht zij een evaluatie van het betrokken AI-systeem ten aanzien van de overeenstemming ervan met alle eisen en verplichtingen van deze verordening. Wanneer sprake is van risico’s voor de bescherming van grondrechten, stelt de markttoezichtautoriteit ook de in artikel 64, lid 3, bedoelde relevante nationale overheidsinstanties of -organen in kennis. De relevante exploitanten werken indien nodig samen met de markttoezichtautoriteiten en de andere in artikel 64, lid 3, bedoelde nationale overheidsinstanties of -organen.

Indien de markttoezichtautoriteit bij deze beoordeling vaststelt dat het AI-systeem niet aan de eisen en verplichtingen van deze verordening voldoet, gelast zij de betrokken exploitant onverwijld passende corrigerende maatregelen te nemen om het AI-systeem binnen een door haar vast te stellen redelijke termijn, die evenredig is met de aard van het risico, conform te maken, uit de handel te nemen of terug te roepen.

De markttoezichtautoriteit stelt de relevante aangemelde instantie daarvan in kennis. Artikel 18 van Verordening (EU) 2019/1020 is van toepassing op de in de tweede alinea genoemde maatregelen.

3.Indien de markttoezichtautoriteit van mening is dat de non-conformiteit niet beperkt blijft tot haar nationale grondgebied, brengt zij de Commissie en de andere lidstaten op de hoogte van de resultaten van de evaluatie en van de maatregelen die zij de exploitant heeft opgelegd.

4.De exploitant zorgt ervoor dat alle betrokken AI-systemen die hij in de Unie op de markt heeft aangeboden aan alle passende corrigerende maatregelen worden onderworpen.

5.Indien de exploitant van een AI-systeem niet binnen de in lid 2 bedoelde termijn doeltreffende corrigerende actie onderneemt, neemt de markttoezichtautoriteit alle passende voorlopige maatregelen om het op haar nationale markt aanbieden van het AI-systeem te verbieden of te beperken, het product in de betrokken lidstaat uit de handel te nemen of terug te roepen. Die autoriteit brengt de Commissie en de andere lidstaten onverwijld van deze maatregelen op de hoogte.

6.De in lid 5 bedoelde informatie omvat alle bekende bijzonderheden, met name de gegevens die nodig zijn om het non-conforme AI-systeem te identificeren en om de oorsprong van het AI-systeem, de aard van de beweerde non-conformiteit en van het risico, en de aard en de duur van de nationale maatregelen vast te stellen, evenals de argumenten die worden aangevoerd door de desbetreffende exploitant. De markttoezichtautoriteiten vermelden met name of de non-conformiteit een of meer van de volgende redenen heeft:

(a)het AI-systeem voldoet niet aan in titel III, hoofdstuk 2, beschreven voorschriften;

(b)tekortkomingen in de in de artikelen 40 en 41 bedoelde geharmoniseerde normen of gemeenschappelijke specificaties die een vermoeden van conformiteit rechtvaardigen.

7.De markttoezichtautoriteiten van de andere lidstaten dan die welke de procedure in gang heeft gezet, brengen de Commissie en de andere lidstaten onverwijld op de hoogte van door hen genomen maatregelen en van aanvullende informatie over de non-conformiteit van het AI-systeem waarover zij beschikken, en van hun bezwaren indien zij het niet eens zijn met de aangemelde nationale maatregel.

8.Indien binnen drie maanden na ontvangst van de in lid 5 bedoelde informatie door een lidstaat of de Commissie geen bezwaar tegen een voorlopige maatregel van een lidstaat is ingediend, wordt die maatregel geacht gerechtvaardigd te zijn. Dit is onverminderd de procedurele rechten van de betrokken exploitant overeenkomstig artikel 18 van Verordening (EU) 2019/1020.

9.De markttoezichtautoriteiten van alle lidstaten zorgen ervoor dat ten aanzien van het betrokken product onmiddellijk de passende beperkende maatregelen worden genomen, zoals het uit de handel nemen van het product op hun markt.

Artikel 66
Vrijwaringsprocedure van de Unie

1.Indien een lidstaat binnen drie maanden na ontvangst van de in artikel 65, lid 5, bedoelde kennisgeving bezwaar maakt tegen een door een andere lidstaat genomen maatregel of wanneer de Commissie de maatregel in strijd acht met het Unierecht, treedt de Commissie onverwijld in overleg met de relevante lidstaten en exploitant of exploitanten en evalueert zij de nationale maatregel. Op grond van de resultaten van die evaluatie besluit de Commissie binnen negen maanden na ontvangst van de in artikel 65, lid 5, bedoelde kennisgeving of de nationale maatregel al dan niet gerechtvaardigd is en stelt zij de betrokken lidstaat in kennis van dat besluit.

2.Indien de nationale maatregel gerechtvaardigd wordt geacht, nemen alle lidstaten de nodige maatregelen om het non-conforme AI-systeem uit de handel te nemen en stellen zij de Commissie daarvan in kennis. Indien de nationale maatregel niet gerechtvaardigd wordt geacht, trekt de betrokken lidstaat de maatregel in.

3.Indien de nationale maatregel gerechtvaardigd wordt geacht en de non-conformiteit van het AI-systeem wordt toegeschreven aan tekortkomingen in de geharmoniseerde normen of gemeenschappelijke specificaties bedoeld in de artikelen 40 en 41 van deze verordening, past de Commissie de procedure van artikel 11 van Verordening (EU) nr. 1025/2012 toe.

Artikel 67
Conforme AI-systemen die een risico inhouden

1.Indien de markttoezichtautoriteit van een lidstaat na uitvoering van een evaluatie overeenkomstig artikel 65 vaststelt dat een AI-systeem dat voldoet aan deze verordening, toch een risico inhoudt voor de gezondheid of veiligheid van personen, voor de nakoming van verplichtingen krachtens het Unie- of interne recht ter bescherming van grondrechten of voor andere aspecten van de bescherming van algemene belangen, verlangt zij van de relevante exploitant dat hij alle passende maatregelen neemt om ervoor te zorgen dat het betrokken AI-systeem dat risico niet meer inhoudt wanneer het in de handel wordt gebracht of in bedrijf wordt gesteld, of om het AI-systeem binnen een door haar vast te stellen redelijke termijn, die evenredig is met de aard van het risico, uit de handel te nemen of terug te roepen.

2.De aanbieder of andere relevante exploitanten zorgen ervoor dat binnen de door de markttoezichtautoriteit van de lidstaat vastgestelde termijn als bedoeld in lid 1 corrigerende maatregelen worden genomen ten aanzien van alle betrokken AI-systemen die zij in de Unie op de markt hebben aangeboden.

3.De lidstaat brengt daar de Commissie en de andere lidstaten onmiddellijk van op de hoogte. Die informatie omvat alle bekende bijzonderheden, met name de gegevens die nodig zijn om het betrokken AI-systeem te identificeren en om de oorsprong en de toeleveringsketen van het AI-systeem, de aard van het betrokken risico en de aard en de duur van de nationale maatregelen vast te stellen.

4.De Commissie treedt onverwijld in overleg met de lidstaten en de relevante exploitant en evalueert de genomen nationale maatregelen. Aan de hand van die beoordeling besluit de Commissie of de maatregel al dan niet gerechtvaardigd is, en stelt zij zo nodig passende maatregelen voor.

5.De Commissie deel haar besluit aan de lidstaten mee.

Artikel 68
Formele non-conformiteit

1.Indien de markttoezichtautoriteit van een lidstaat een van de volgende feiten vaststelt, verlangt zij van de betrokken aanbieder dat deze een einde maakt aan de non-conformiteit:

(a)de conformiteitsmarkering is in strijd met artikel 49 aangebracht;

(b)de conformiteitsmarkering is niet aangebracht;

(c)de EU-conformiteitsverklaring is niet opgesteld;

(d)de EU-conformiteitsverklaring is niet correct opgesteld;

(e)het identificatienummer van de aangemelde instantie, die betrokken is bij de conformiteitsbeoordelingsprocedure, in voorkomend geval, is niet aangebracht.

2.Indien de in lid 1 bedoelde non-conformiteit voortduurt, neemt de betrokken lidstaat alle passende maatregelen om het op de markt aanbieden van het AI-systeem met een hoog risico te beperken of te verbieden, of het AI-systeem terug te roepen of uit de handel te nemen.

TITEL IX

GEDRAGSCODES

Artikel 69
Gedragscodes

1.De Commissie en de lidstaten stimuleren en vergemakkelijken de opstelling van gedragscodes die bedoeld zijn om de vrijwillige toepassing van de in titel III, hoofdstuk 2, beschreven voorschriften op andere AI-systemen dan AI-systemen met een hoog risico te bevorderen op basis van technische specificaties en oplossingen die passende middelen zijn om naleving van zulke voorschriften in het licht van het beoogde doel van de systemen te waarborgen.

2.De Commissie en het Comité stimuleren en vergemakkelijken de opstelling van gedragscodes die bedoeld zijn om de vrijwillige toepassing op AI-systemen te bevorderen van eisen die bijvoorbeeld betrekking hebben op milieuduurzaamheid, toegankelijkheid voor personen met een handicap, deelname van belanghebbenden aan het ontwerp en de ontwikkeling van AI-systemen en diversiteit van ontwikkelingsteams op basis van duidelijke doelstellingen en kernprestatie-indicatoren om de verwezenlijking van die doelstellingen te meten.

3.Gedragscodes kunnen door individuele aanbieders van AI-systemen of door organisaties die hen vertegenwoordigen, of allebei, worden opgesteld, ook met betrokkenheid van gebruikers en geïnteresseerde belanghebbenden en hun representatieve organisaties. Gedragscodes kunnen betrekking hebben op een of meer AI-systemen, rekening houdend met de overeenkomst van het beoogde doel van de relevante systemen.

4.De Commissie en het Comité houden rekening met de specifieke belangen en behoeften van de kleine aanbieders en start-ups bij het stimuleren en vergemakkelijken van de opstelling van gedragscodes.

TITEL X

VERTROUWELIJKHEID EN SANCTIES

Artikel 70
Vertrouwelijkheid

1.Nationale bevoegde autoriteiten en aangemelde instanties die betrokken zijn bij de toepassing van deze verordening, eerbiedigen de vertrouwelijke aard van informatie en gegevens die zij hebben verkregen tijdens het uitvoeren van hun taken en activiteiten met het oog op de bescherming van:

(a)intellectuele-eigendomsrechten, en vertrouwelijke bedrijfsinformatie of bedrijfsgeheimen van een natuurlijke of rechtspersoon, waaronder de broncode, uitgezonderd de in artikel 5 van Richtlijn (EU) 2016/943 betreffende de bescherming van niet-openbaar gemaakte knowhow en bedrijfsinformatie (bedrijfsgeheimen) tegen het onrechtmatig verkrijgen, gebruiken en openbaar maken daarvan vermelde gevallen;

(b)de doeltreffende uitvoering van deze verordening, met name de uitvoering van inspecties, onderzoeken of audits; c) openbare en nationale veiligheidsbelangen;

(c)de integriteit van strafrechtelijke of administratieve procedures.

2.Onverminderd lid 1 mag op vertrouwelijke basis tussen de nationale bevoegde autoriteiten en tussen nationale bevoegde autoriteiten en de Commissie uitgewisselde informatie niet openbaar worden gemaakt zonder de voorafgaande raadpleging van de nationale bevoegde autoriteit waarvan de informatie afkomstig is en de gebruiker wanneer in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico worden gebruikt door rechtshandhavings-, immigratie- of asielautoriteiten, wanneer dergelijke openbaarmaking openbare en nationale veiligheidsbelangen in gevaar zou brengen.

Wanneer de rechtshandhavings-, immigratie- of asielautoriteiten aanbieder van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico zijn, blijft de in bijlage IV vermelde technische documentatie in de gebouwen van die autoriteiten. Die autoriteiten waarborgen dat de markttoezichtautoriteiten bedoeld in artikel 63, leden 5 en 6, indien nodig op verzoek onmiddellijk toegang tot de documentatie kunnen krijgen of een kopie ervan kunnen ontvangen. Alleen personeel van de markttoezichtautoriteit met een passende veiligheidsmachtiging mag die documentatie of kopieën ervan inzien.

3.De leden 1 en 2 laten de rechten en verplichtingen van de Commissie, de lidstaten en de aangemelde instanties met betrekking tot de uitwisseling van informatie en de verspreiding van waarschuwingen, alsook de verplichtingen van de betrokken partijen om in het kader van het strafrecht van de lidstaten informatie te verstrekken, onverlet.

4.De Commissie en de lidstaten kunnen indien nodig vertrouwelijke informatie uitwisselen met regelgevingsinstanties van derde landen waarmee zij bilaterale of multilaterale geheimhoudingsovereenkomsten hebben gesloten die een passend niveau van geheimhouding waarborgen.

Artikel 71
Sancties

1.Overeenkomstig de voorwaarden van deze verordening stellen de lidstaten de voorschriften voor sancties vast, waaronder administratieve geldboeten, die van toepassing zijn op inbreuken op deze verordening en nemen zij alle nodige maatregelen om ervoor te zorgen dat deze naar behoren en doeltreffend worden uitgevoerd. De vastgestelde sancties moeten doeltreffend, evenredig en afschrikkend zijn. Hierbij wordt met name rekening gehouden met de belangen van kleine aanbieders en start-ups en hun economische levensvatbaarheid.

2.De lidstaten stellen de Commissie van die voorschriften en maatregelen in kennis en delen haar onverwijld alle latere wijzigingen daarvan mee.

3.Voor de volgende inbreuken gelden administratieve geldboeten tot 30 000 000 EUR of, als de overtreder een onderneming is, tot 6 % van haar totale wereldwijde jaarlijkse omzet voor het voorafgaande boekjaar, als dat hoger is:

(a)niet-naleving van het verbod van de in artikel 5 vermelde praktijken op het gebied van artificiële intelligentie;

(b)non-conformiteit van het AI-systeem met de in artikel 10 neergelegde voorschriften.

4.Voor de non-conformiteit van het AI-systeem met voorschriften of verplichtingen krachtens deze verordening, uitgezonderd die bepaald in de artikelen 5 en 10, gelden administratieve geldboeten tot 20 000 000 EUR of, als de overtreder een onderneming is, tot 4 % van haar totale wereldwijde jaarlijkse omzet voor het voorafgaande boekjaar, als dat hoger is.

5.Voor de verstrekking van onjuiste, onvolledige of misleidende informatie aan aangemelde instanties en nationale bevoegde autoriteiten naar aanleiding van een verzoek, gelden administratieve geldboeten tot 10 000 000 EUR of, als de overtreder een onderneming is, tot 2 % van haar totale wereldwijde jaarlijkse omzet voor het voorafgaande boekjaar, als dat hoger is.

6.Bij het bepalen van het bedrag van de administratieve geldboete in elk individueel geval worden alle relevante omstandigheden van de specifieke situatie in aanmerking genomen en wordt terdege rekening gehouden met het volgende:

(a)de aard, ernst en duur van de inbreuk en de gevolgen ervan;

(b)of administratieve geldboeten reeds door andere markttoezichtautoriteiten voor dezelfde inbreuk op dezelfde exploitant zijn toegepast;

(c)de omvang en het marktaandeel van de exploitant die de inbreuk pleegt.

7.Elke lidstaat stelt regels vast betreffende de vraag of en in hoeverre administratieve geldboeten kunnen worden opgelegd aan in die lidstaat gevestigde overheidsinstanties of -organen.

8.Afhankelijk van het rechtssysteem van de lidstaten kunnen de regels voor administratieve geldboeten zodanig worden toegepast dat de boeten door bevoegde nationale rechters of andere instanties in voorkomend geval in die lidstaten worden opgelegd. De toepassing van zulke regels in die lidstaten heeft een gelijkwaardig effect.

Artikel 72
Administratieve geldboeten voor instellingen, agentschappen en instanties van de Unie

1.De Europese Toezichthouder voor gegevensbescherming kan administratieve geldboeten opleggen aan instellingen, agentschappen en instanties van de Unie die binnen het toepassingsgebied van deze verordening vallen. Bij het besluiten om al dan niet een administratieve geldboete op te leggen en het bepalen van het bedrag van de administratieve geldboete in elk individueel geval worden alle relevante omstandigheden van de specifieke situatie in aanmerking genomen en wordt terdege rekening gehouden met het volgende:

(a)de aard, ernst en duur van de inbreuk en de gevolgen ervan;

(b)de samenwerking met de Europese Toezichthouder voor gegevensbescherming om de inbreuk te verhelpen en de mogelijke nadelige gevolgen van de inbreuk te beperken, waaronder naleving van eventuele maatregelen die eerder door de Europese Toezichthouder voor gegevensbescherming ten aanzien van dezelfde kwestie aan de betrokken instelling of instantie of het betrokken agentschap van de Unie zijn opgelegd;

(c)soortgelijke eerdere inbreuken door de instelling of instantie of het agentschap van de Unie.

2.Voor de volgende inbreuken gelden administratieve geldboeten tot 500 000 EUR:

(a)niet-naleving van het verbod van de in artikel 5 vermelde praktijken op het gebied van artificiële intelligentie;

(b)non-conformiteit van het AI-systeem met de in artikel 10 neergelegde voorschriften.

3.Voor de non-conformiteit van het AI-systeem met voorschriften of verplichtingen krachtens deze verordening, uitgezonderd die bepaald in de artikelen 5 en 10, gelden administratieve geldboeten tot 250 000 EUR.

4.Alvorens een besluit op grond van dit artikel te nemen, stelt de Europese Toezichthouder voor gegevensbescherming de instelling of instantie of het orgaan van de Unie ten aanzien waarvan hij een procedure volgt, in de gelegenheid om te worden gehoord over de mogelijke inbreuk. De Europese Toezichthouder voor gegevensbescherming baseert zijn besluiten uitsluitend op elementen en omstandigheden waarover de betrokken partijen opmerkingen hebben kunnen maken. Eventuele indieners van klachten worden nauw betrokken bij de procedure.

5.Het recht van verdediging van de partijen wordt in de loop van de procedure ten volle geëerbiedigd. Zij hebben recht op toegang tot het dossier van de Europese Toezichthouder voor gegevensbescherming, onder voorbehoud van het gerechtvaardigde belang van andere personen of ondernemingen bij de bescherming van hun persoonsgegevens of bedrijfsgeheimen.

6.De bedragen die worden geïnd door het opleggen van de geldboeten van dit artikel, worden beschouwd als ontvangsten voor de algemene begroting van de Unie.

TITEL XI

BEVOEGDHEIDSDELEGATIE EN COMITÉPROCEDURE

Artikel 73
Uitoefening van de bevoegdheidsdelegatie

1.De bevoegdheid om gedelegeerde handelingen vast te stellen, wordt aan de Commissie toegekend onder de in dit artikel neergelegde voorwaarden.

2.De in artikel 4, artikel 7, lid 1, artikel 11, lid 3, artikel 43, leden 5 en 6, en artikel 48, lid 5, bedoelde bevoegdheidsdelegatie wordt met ingang van [datum waarop de verordening in werking treedt] voor onbepaalde tijd aan de Commissie verleend.

3.Het Europees Parlement of de Raad kan de in artikel 4, artikel 7, lid 1, artikel 11, lid 3, artikel 43, leden 5 en 6, en artikel 48, lid 5, bedoelde bevoegdheidsdelegatie te allen tijde intrekken. Het besluit tot intrekking beëindigt de delegatie van de in dat besluit genoemde bevoegdheid. Het wordt van kracht op de dag na die van de bekendmaking ervan in het Publicatieblad van de Europese Unie of op een daarin genoemde latere datum. Het laat de geldigheid van de reeds van kracht zijnde gedelegeerde handelingen onverlet.

4.Zodra de Commissie een gedelegeerde handeling heeft vastgesteld, doet zij daarvan gelijktijdig kennisgeving aan het Europees Parlement en de Raad.

5.Een overeenkomstig artikel 4, artikel 7, lid 1, artikel 11, lid 3, artikel 43, leden 5 en 6, en artikel 48, lid 5, vastgestelde gedelegeerde handeling treedt alleen in werking indien het Europees Parlement noch de Raad daartegen binnen een termijn van drie maanden na de kennisgeving van de handeling aan het Europees Parlement en de Raad bezwaar heeft gemaakt, of indien zowel het Europees Parlement als de Raad voor het verstrijken van die termijn de Commissie hebben meegedeeld dat zij daartegen geen bezwaar zullen maken. Die termijn wordt op initiatief van het Europees Parlement of de Raad met drie maanden verlengd.

Artikel 74
Comitéprocedure

1.De Commissie wordt bijgestaan door een comité. Dit comité is een comité in de zin van Verordening (EU) nr. 182/2011.

2.Wanneer naar dit lid wordt verwezen, is artikel 5 van Verordening (EU) nr. 182/2011 van toepassing.

TITEL XII

SLOTBEPALINGEN

Artikel 75
Wijziging van Verordening (EG) nr. 300/2008

Aan artikel 4, lid 3, van Verordening (EG) nr. 300/2008 wordt de volgende alinea toegevoegd:

“Bij het vaststellen van gedetailleerde maatregelen met betrekking tot technische specificaties en procedures voor de goedkeuring en het gebruik van veiligheidsuitrusting betreffende artificiële-intelligentiesystemen in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 76
Wijziging van Verordening (EU) nr. 167/2013

Aan artikel 17, lid 5, van Verordening (EU) nr. 167/2013 wordt de volgende alinea toegevoegd:

“Bij het vaststellen van gedelegeerde handelingen krachtens de eerste alinea betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 77
Wijziging van Verordening (EU) nr. 168/2013

Aan artikel 22, lid 5, van Verordening (EU) nr. 168/2013 wordt de volgende alinea toegevoegd:

“Bij het vaststellen van gedelegeerde handelingen krachtens de eerste alinea betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 78
Wijziging van Richtlijn 2014/90/EU

Aan artikel 8 van Richtlijn 2014/90/EU wordt het volgende lid toegevoegd:

“4. Voor artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, neemt de Commissie bij het uitvoeren van haar activiteiten krachtens lid 1 en bij het vaststellen van technische specificaties en testnormen overeenkomstig de leden 2 en 3 de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 79
Wijziging van Richtlijn (EU) 2016/797

Aan artikel 5 van Richtlijn (EU) 2016/797 wordt het volgende lid toegevoegd:

“12. Bij het vaststellen van gedelegeerde handelingen krachtens lid 1 en uitvoeringshandelingen krachtens lid 11 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 80
Wijziging van Verordening (EU) 2018/858

Aan artikel 5 van Verordening (EU) 2018/858 wordt het volgende lid toegevoegd:

“4. Bij het vaststellen van gedelegeerde handelingen krachtens lid 3 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 81
Wijziging van Verordening (EU) 2018/1139

Verordening (EU) 2018/1139 wordt als volgt gewijzigd:

1) Aan artikel 17 wordt het volgende lid toegevoegd:

“3. Onverminderd lid 2 worden bij het vaststellen van uitvoeringshandelingen krachtens lid 1 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

2) Aan artikel 19 wordt het volgende lid toegevoegd:

“4. Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

3) Aan artikel 43 wordt het volgende lid toegevoegd:

“4. Bij het vaststellen van uitvoeringshandelingen krachtens lid 1 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

4) Aan artikel 47 wordt het volgende lid toegevoegd:

“3. Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

5) Aan artikel 57 wordt het volgende lid toegevoegd:

“Bij het vaststellen van die uitvoeringshandelingen betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

6) Aan artikel 58 wordt het volgende lid toegevoegd:

“3. Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”.

Artikel 82
Wijziging van Verordening (EU) 2019/2144

Aan artikel 11 van Verordening (EU) 2019/2144 wordt het volgende lid toegevoegd:

“3. Bij het vaststellen van de uitvoeringshandelingen krachtens lid 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 83
Reeds in de handel gebrachte of in bedrijf gestelde AI-systemen

1.Deze verordening is niet van toepassing op AI-systemen die componenten zijn van de volgens de in bijlage IX vermelde rechtshandelingen opgezette grootschalige IT-systemen die in de handel zijn gebracht of in bedrijf zijn gesteld vóór [twaalf maanden na de in artikel 85, lid 2, vermelde datum van inwerkingtreding van deze verordening], tenzij de vervanging of wijziging van die rechtshandelingen aanleiding geeft tot een significante wijziging in het ontwerp of het beoogde doel van het betrokken AI-systeem of de betrokken AI-systemen.

De in deze verordening vastgelegde voorschriften worden in voorkomend geval in aanmerking genomen bij de evaluatie van elk volgens de in bijlage IX vermelde rechtshandelingen opgezet grootschalig IT-systeem die moet worden uitgevoerd zoals bepaald in die respectieve handelingen.

2.Deze verordening is alleen van toepassing op AI-systemen met een hoog risico, uitgezonderd die bedoeld in lid 1, die in de handel zijn gebracht of in bedrijf zijn gesteld vóór [de in artikel 85, lid 2, vermelde datum van inwerkingtreding van deze verordening], als die systemen vanaf die datum significante wijzigingen in hun ontwerp of het beoogde doel ondergaan.

Artikel 84
Evaluatie en toetsing

1.De Commissie beoordeelt na de inwerkingtreding van deze verordening eenmaal per jaar of de lijst in bijlage III moet worden gewijzigd.

2.Uiterlijk [drie jaar na de in artikel 85, lid 2, vermelde datum van inwerkingtreding van deze verordening] en vervolgens om de vier jaar dient de Commissie een verslag in bij het Europees Parlement en de Raad over de evaluatie en de toetsing van deze verordening. De verslagen worden openbaar gemaakt.

3.In de in lid 2 bedoelde verslagen wordt specifieke aandacht besteed aan het volgende:

(a)de status van de financiële en personele middelen van de nationale bevoegde autoriteiten teneinde de hun krachtens deze verordening toegewezen taken doeltreffend uit te voeren;

(b)de stand van zaken wat betreft sancties, en met name administratieve geldboeten als bedoeld in artikel 71, lid 1, die door lidstaten op inbreuken van de bepalingen van deze verordening zijn toegepast.

4.Binnen [drie jaar na de in artikel 85, lid 2, vermelde datum van inwerkingtreding van deze verordening] en vervolgens om de vier jaar evalueert de Commissie de impact en doeltreffendheid van gedragscodes om de toepassing van de in titel III, hoofdstuk 2, beschreven voorschriften en eventuele andere aanvullende voorschriften voor andere AI-systemen dan AI-systemen met een hoog risico te bevorderen.

5.Voor de toepassing van de leden 1 tot en met 4 verstrekken het Comité, de lidstaten en nationale bevoegde autoriteiten informatie aan de Commissie op haar verzoek.

6.Bij de uitvoering van de in de leden 1 tot en met 4 vermelde evaluaties en toetsingen neemt de Commissie de standpunten en bevindingen van het Comité, het Europees Parlement, de Raad en van andere relevante instanties of bronnen in aanmerking.

7.Indien nodig dient de Commissie passende voorstellen in teneinde deze verordening te wijzigen, met name in het licht van ontwikkelingen in de technologie en de stand van zaken in de informatiemaatschappij.

Artikel 85
Inwerkingtreding en toepassing

1.Deze verordening treedt in werking op de twintigste dag na die van de bekendmaking ervan in het Publicatieblad van de Europese Unie.

2.Deze verordening is van toepassing vanaf [24 maanden na de inwerkingtreding van de verordening].

3.In afwijking van lid 2 geldt het volgende:

(a)titel III, hoofdstuk 4, en titel VI zijn van toepassing vanaf [drie maanden na de inwerkingtreding van deze verordening];

(b)artikel 71 is van toepassing vanaf [twaalf maanden na de inwerkingtreding van deze verordening].

Deze verordening is verbindend in al haar onderdelen en is rechtstreeks toepasselijk in elke lidstaat.

Gedaan te Brussel,

FINANCIEEL MEMORANDUM

1.KADER VAN HET VOORSTEL/INITIATIEF

1.1. Benaming van het voorstel/initiatief

1.2. Betrokken beleidsterrein(en)

1.3. Het voorstel/initiatief betreft:

1.4. Doelstelling(en)

1.4.1. Algemene doelstelling(en)

1.4.2. Specifieke doelstelling(en)

1.4.3. Verwachte resulta(a)t(en) en gevolg(en)

1.4.4. Prestatie-indicatoren

1.5. Motivering van het voorstel/initiatief

1.5.1. Behoefte(n) waarin op korte of lange termijn moet worden voorzien, met een gedetailleerd tijdschema voor de uitrol van het initiatief

1.5.2. Toegevoegde waarde van de deelname van de Unie (deze kan het resultaat zijn van verschillende factoren, bijvoorbeeld coördinatiewinst, rechtszekerheid, grotere doeltreffendheid of complementariteit). Voor de toepassing van dit punt wordt onder “toegevoegde waarde van de deelname van de Unie” verstaan de waarde die een optreden van de Unie oplevert bovenop de waarde die door een optreden van alleen de lidstaat zou zijn gecreëerd

1.5.3. Nuttige ervaring die bij soortgelijke activiteiten in het verleden is opgedaan

1.5.4. Verenigbaarheid met het meerjarige financiële kader en eventuele synergie met andere passende instrumenten

1.5.5 Beoordeling van de verschillende beschikbare financieringsopties, waaronder mogelijkheden voor herschikking

1.6. Duur en financiële gevolgen van het voorstel/initiatief

1.7. Geplande beheersvorm(en)

2.BEHEERSMAATREGELEN

2.1. Regels inzake het toezicht en de verslagen

2.2. Beheers- en controlesysteem

2.2.1. Rechtvaardiging van de voorgestelde beheersvorm(en), uitvoeringsmechanisme(n) voor financiering, betalingsvoorwaarden en controlestrategie

2.2.2. Informatie over de geïdentificeerde risico’s en het (de) systeem (systemen) voor interne controle dat is (die zijn) opgezet om die risico’s te beperken

2.2.3. Raming en motivering van de kosteneffectiviteit van de controles (verhouding van de controlekosten tot de waarde van de desbetreffende financiële middelen) en evaluatie van het verwachte foutenrisico (bij betaling en bij afsluiting).

2.3.Maatregelen ter voorkoming van fraude en onregelmatigheden

3.GERAAMDE FINANCIËLE GEVOLGEN VAN HET VOORSTEL/INITIATIEF

3.1.Rubriek(en) van het meerjarige financiële kader en betrokken begrotingsonderde(e)l(en) voor uitgaven

3.2.Geraamde financiële gevolgen van het voorstel inzake kredieten 

3.2.1.Samenvatting van de geraamde gevolgen voor de beleidskredieten

3.2.2.Geraamde output, gefinancierd met beleidskredieten

3.2.3. Samenvatting van de geraamde gevolgen voor de administratieve kredieten

3.2.4.Verenigbaarheid met het huidige meerjarig financieel kader

3.2.5.Bijdragen van derden

3.3.Geraamde gevolgen voor de ontvangsten

FINANCIEEL MEMORANDUM

1.KADER VAN HET VOORSTEL/INITIATIEF

1.1.Benaming van het voorstel/initiatief

1.2.Betrokken beleidsterrein(en)

1.3.Het voorstel/initiatief betreft:

X een nieuwe actie 

◻ een nieuwe actie na een proefproject / voorbereidende actie 64  

◻ de verlenging van een bestaande actie 

◻ een naar een nieuwe actie omgebogen actie 

1.4.Doelstelling(en)

1.4.1.Algemene doelstelling(en)

1.4.2.Specifieke doelstelling(en)

1.4.3.Verwachte resulta(a)t(en) en gevolg(en)

Vermeld de gevolgen die het voorstel/initiatief zou moeten hebben op de begunstigden/doelgroepen.

1.4.4.Prestatie-indicatoren

Vermeld de indicatoren voor monitoring van de uitvoering van het voorstel/initiatief.

1.5.Motivering van het voorstel/initiatief

1.5.1.Behoefte(n) waarin op korte of lange termijn moet worden voorzien, met een gedetailleerd tijdschema voor de uitrol van het initiatief

1.5.2.Toegevoegde waarde van de deelname van de Unie (deze kan het resultaat zijn van verschillende factoren, bijvoorbeeld coördinatiewinst, rechtszekerheid, grotere doeltreffendheid of complementariteit). Voor de toepassing van dit punt wordt onder “toegevoegde waarde van de deelname van de Unie” verstaan de waarde die een optreden van de Unie oplevert bovenop de waarde die door een optreden van alleen de lidstaat zou zijn gecreëerd.

1.5.3.Nuttige ervaring die bij soortgelijke activiteiten in het verleden is opgedaan

1.5.4.Verenigbaarheid met het meerjarige financiële kader en eventuele synergie met andere passende instrumenten

1.5.5.Beoordeling van de verschillende beschikbare financieringsopties, waaronder mogelijkheden voor herschikking

1.6.Duur en financiële gevolgen van het voorstel/initiatief

◻ beperkte geldigheidsduur

–◻    van kracht vanaf [DD/MM]JJJJ tot en met [DD/MM]JJJJ

–◻    financiële gevolgen vanaf JJJJ tot en met JJJJ voor vastleggingskredieten en vanaf JJJJ tot en met JJJJ voor betalingskredieten.

X onbeperkte geldigheidsduur

–uitvoering met een opstartperiode van één/twee (ntb) jaar,

–gevolgd door een volledige uitvoering.

1.7.Geplande beheersvorm(en) 65  

X  Direct beheer door de Commissie

–◻ door haar diensten, waaronder het personeel in de delegaties van de Unie;

–◻    door de uitvoerende agentschappen.

◻ Gedeeld beheer met de lidstaten

◻ Indirect beheer door begrotingsuitvoeringstaken te delegeren aan:

–◻ derde landen of de door hen aangewezen organen;

–◻ internationale organisaties en hun agentschappen (geef aan welke);

–◻ de EIB en het Europees Investeringsfonds;

–◻ de in de artikelen 70 en 71 van het Financieel Reglement bedoelde organen;

–◻ publiekrechtelijke organen;

–◻ privaatrechtelijke organen met een openbare dienstverleningstaak, voor zover zij voldoende financiële garanties bieden;

–◻ privaatrechtelijke organen van een lidstaat, waaraan de uitvoering van een publiek-privaat partnerschap is toevertrouwd en die voldoende financiële garanties bieden;

–◻ personen aan wie de uitvoering van specifieke maatregelen op het gebied van het GBVB in het kader van titel V van het VEU is toevertrouwd en die worden genoemd in de betrokken basishandeling.

–Verstrek, indien meer dan één beheersvorm is aangekruist, extra informatie onder “Opmerkingen”.

Opmerkingen

2.BEHEERSMAATREGELEN

2.1.Regels inzake het toezicht en de verslagen

Vermeld de frequentie en de voorwaarden.

2.2.Beheers- en controlesyste(e)m(en)

2.2.1.Rechtvaardiging van de voorgestelde beheersvorm(en), uitvoeringsmechanisme(n) voor financiering, betalingsvoorwaarden en controlestrategie

2.2.2.Informatie over de geïdentificeerde risico’s en het (de) systeem (systemen) voor interne controle dat is (die zijn) opgezet om die risico’s te beperken

2.2.3.Raming en motivering van de kosteneffectiviteit van de controles (verhouding van de controlekosten tot de waarde van de desbetreffende financiële middelen) en evaluatie van het verwachte foutenrisico (bij betaling en bij afsluiting)

2.3.Maatregelen ter voorkoming van fraude en onregelmatigheden

Vermeld de bestaande en geplande preventie- en beschermingsmaatregelen, bijvoorbeeld in het kader van de fraudebestrijdingsstrategie.

3.GERAAMDE FINANCIËLE GEVOLGEN VAN HET VOORSTEL/INITIATIEF

3.1.Rubriek(en) van het meerjarig financieel kader en betrokken begrotingsonderde(e)l(en) voor uitgaven

·Bestaande begrotingsonderdelen

In volgorde van de rubrieken van het meerjarig financieel kader en de begrotingsonderdelen.

3.2.Geraamde financiële gevolgen van het voorstel inzake kredieten

3.2.1.Samenvatting van de geraamde gevolgen voor de uitgaven voor beleidskredieten

–◻    Voor het voorstel/initiatief zijn geen beleidskredieten nodig

–X    Voor het voorstel/initiatief zijn beleidskredieten nodig, zoals hieronder nader wordt beschreven:

in miljoenen euro’s (tot op drie decimalen)

Wanneer het voorstel/initiatief gevolgen heeft voor meerdere rubrieken, herhaal bovenstaand deel:

Dit deel moet worden ingevuld aan de hand van de “administratieve begrotingsgegevens”, die eerst moeten worden opgenomen in de bijlage bij het financieel memorandum (bijlage V bij de interne voorschriften), te uploaden in DECIDE met het oog op overleg tussen de diensten.

in miljoenen euro’s (tot op drie decimalen)

in miljoenen euro’s (tot op drie decimalen)

3.2.2.Geraamde output, gefinancierd met beleidskredieten

Vastleggingskredieten in miljoenen euro’s (tot op drie decimalen)

3.2.3.Samenvatting van de geraamde gevolgen voor de administratieve kredieten 

–◻    Voor het voorstel/initiatief zijn geen administratieve kredieten nodig

–X    Voor het voorstel/initiatief zijn administratieve kredieten nodig, zoals hieronder nader wordt beschreven:

in miljoenen euro’s (tot op drie decimalen)

De benodigde kredieten voor personeel en andere administratieve uitgaven zullen worden gefinancierd uit de kredieten van het DG die reeds voor het beheer van deze actie zijn toegewezen en/of binnen het DG zijn herverdeeld, eventueel aangevuld met middelen die in het kader van de jaarlijkse toewijzingsprocedure met inachtneming van de budgettaire beperkingen aan het beherende DG kunnen worden toegewezen.

3.2.3.1.Geraamde personeelsbehoeften

–◻    Voor het voorstel/initiatief zijn geen personele middelen nodig.

–X    Voor het voorstel/initiatief zijn personele middelen nodig, zoals hieronder nader wordt beschreven:

Raming in voltijdequivalenten

XX is het beleidsterrein of de begrotingstitel.

Voor de benodigde personele middelen zal een beroep worden gedaan op het personeel van het DG dat reeds voor het beheer van deze actie is toegewezen en/of binnen het DG is herverdeeld, eventueel aangevuld met middelen die in het kader van de jaarlijkse toewijzingsprocedure met inachtneming van de budgettaire beperkingen aan het beherende DG kunnen worden toegewezen.

De EDPS moet in de helft van de vereiste middelen voorzien.

Beschrijving van de uit te voeren taken:

3.2.4.Verenigbaarheid met het huidige meerjarig financieel kader

Het voorstel/initiatief:

–X    kan volledig worden gefinancierd door middel van herschikking binnen de relevante rubriek van het meerjarig financieel kader (MFK).

–◻    hiervoor moet een beroep worden gedaan op de niet-toegewezen marge in de desbetreffende rubriek van het MFK en/of op de speciale instrumenten zoals gedefinieerd in de MFK-verordening.

–◻    hiervoor is een herziening van het MFK nodig.

3.2.5.Bijdragen van derden

Het voorstel/initiatief:

–X    voorziet niet in medefinanciering door derden

–◻ voorziet in medefinanciering door derden, zoals hieronder wordt geraamd:

Kredieten in miljoenen euro’s (tot op drie decimalen)

3.3.Geraamde gevolgen voor de ontvangsten

–◻    Het voorstel/initiatief heeft de hieronder beschreven financiële gevolgen:

–◻    Het voorstel/initiatief heeft de hieronder beschreven financiële gevolgen:

–◻    voor overige ontvangsten

–◻    voor overige ontvangsten

–Geef aan of de ontvangsten worden toegewezen aan de begrotingsonderdelen voor uitgaven ◻

in miljoenen euro’s (tot op drie decimalen)

Vermeld voor de toegewezen ontvangsten het (de) betrokken begrotingsonderde(e)l(en) voor uitgaven.

Andere opmerkingen (bv. over de methode/formule voor de berekening van de gevolgen voor de ontvangsten of andere informatie).

(1)     https://ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_en.pdf

(2)    Europese Commissie, Witboek over kunstmatige intelligentie — een Europese benadering op basis van excellentie en vertrouwen, COM(2020) 65 final, 2020.

(3)    Europese Raad, Buitengewone bijeenkomst van de Europese Raad (1 en 2 oktober 2020) — Conclusies , EUCO 13/20, 2020, blz. 6.

(4)    Resolutie van het Europees Parlement van 20 oktober 2020 met aanbevelingen aan de Commissie betreffende een kader voor ethische aspecten van artificiële intelligentie, robotica en aanverwante technologieën, 2020/2012(INL).

(5)    Europese Raad, Bijeenkomst van de Europese Raad (19 oktober 2017) — Conclusies , EUCO 14/17, 2017, blz. 8.

(6)    Raad van de Europese Unie, Kunstmatige intelligentie b) Conclusies over het gecoördineerd plan inzake kunstmatige intelligentie — Aanneming , 6177/19, 2019.

(7)    Europese Raad, Buitengewone bijeenkomst van de Europese Raad (1 en 2 oktober 2020) — Conclusies , EUCO 13/20, 2020.

(8)    Raad van de Europese Unie, Conclusies van het voorzitterschap — Het Handvest van de grondrechten in de context van artificiële intelligentie en digitale verandering , 11481/20, 2020.

(9)    Resolutie van het Europees Parlement van 20 oktober 2020 betreffende een kader voor ethische aspecten van artificiële intelligentie, robotica en aanverwante technologieën, 2020/2012(INL) .

(10)    Resolutie van het Europees Parlement van 20 oktober 2020 betreffende het civielrechtelijk aansprakelijkheidsstelsel voor kunstmatige intelligentie, 2020/2014(INL) .

(11)    Resolutie van het Europees Parlement van 20 oktober 2020 over de intellectuele-eigendomsrechten voor de ontwikkeling van technologieën op het gebied van kunstmatige intelligentie, 2020/2015(INI) .

(12)    Ontwerpverslag van het Europees Parlement, kunstmatige intelligentie in het strafrecht en het gebruik ervan door politie en justitie in strafzaken,  2020/2016(INI) .

(13)    Ontwerpverslag van het Europees Parlement, kunstmatige intelligentie in onderwijs, cultuur en de audiovisuele sector, 2020/2017(INI) . In dat verband heeft de Commissie het actieplan voor digitaal onderwijs 2021-2027 vastgesteld: Onderwijs en opleiding herbronnen voor het digitale tijdperk. Dit plan voorziet in de ontwikkeling van ethische richtsnoeren voor het gebruik van AI en gegevens in het onderwijs — Mededeling van de Commissie COM(2020) 624 final.

(14)    Richtlijn 2013/36/EU van het Europees Parlement en de Raad van 26 juni 2013 betreffende toegang tot het bedrijf van kredietinstellingen en het prudentieel toezicht op kredietinstellingen en beleggingsondernemingen, tot wijziging van Richtlijn 2002/87/EG en tot intrekking van de Richtlijnen 2006/48/EG en 2006/49/EG, PB L 176 van 27.6.2013, blz. 338.

(15)    Richtlijn 2000/31/EG van het Europees Parlement en de Raad van 8 juni 2000 betreffende bepaalde juridische aspecten van de diensten van de informatiemaatschappij, met name de elektronische handel, in de interne markt (“Richtlijn inzake elektronische handel”), PB L 178 van 17.7.2000, blz. 1).

(16)    Zie voorstel voor een verordening van het Europees Parlement en de Raad betreffende een eengemaakte markt voor digitale diensten (wet inzake digitale diensten) en tot wijziging van Richtlijn 2000/31/EG COM/2020/825 final.

(17)    Mededeling van de Commissie, “De digitale toekomst van Europa vormgeven”, COM/2020/67 final.

(18)     Digitaal kompas 2030: de Europese aanpak voor het digitale decennium.

(19)    Voorstel voor een verordening betreffende Europese datagovernance (Datagovernanceverordening), COM/2020/767 .

(20)    Richtlijn (EU) 2019/1024 van het Europees Parlement en de Raad van 20 juni 2019 inzake open data en het hergebruik van overheidsinformatie, PE/28/2019/REV/1, PB L 172 van 26.6.2019, blz. 56.

(21)     Mededeling van de Commissie, “Een Europese datastrategie”, COM/2020/66 final.

(22)     Bekijk hier alle resultaten van de raadpleging.

(23)    Europese Commissie, Vertrouwen kweken in mensgerichte kunstmatige intelligentie , COM(2019) 168.

(24)    Deskundigengroep op hoog niveau, Ethische richtsnoeren voor betrouwbare KI , 2019.

(25)    Deskundigengroep op hoog niveau, Assessment List for Trustworthy Artificial Intelligence (Altai) for self-assessment , 2020.

(26)    De AI Alliance is een multistakeholderforum dat in juni 2018 is gelanceerd, AI Alliance https://ec.europa.eu/digital-single-market/en/european-ai-alliance

(27)    Europese Commissie, Aanvangseffectbeoordeling voor een voorstel voor een rechtshandeling van het Europees Parlement en de Raad tot vaststelling van eisen voor kunstmatige intelligentie .

(28)    Zie bijlage 2 bij de effectbeoordeling voor meer details over alle raadplegingen die hebben plaatsgevonden.

(29)    Deskundigengroep op hoog niveau inzake artificiële intelligentie, Ethische richtsnoeren voor betrouwbare KI , 2019.

(30)    Zij werden ook door de Commissie onderschreven in haar mededeling van 2019 over de mensgerichte aanpak van AI.

(31)    PB C […] van […], blz. […].

(32)    PB C […] van […], blz. […].

(33)    Europese Raad, Buitengewone bijeenkomst van de Europese Raad (1 en 2 oktober 2020) — Conclusies, EUCO 13/20, 2020, blz. 6.

(34)    Resolutie van het Europees Parlement van 20 oktober 2020 met aanbevelingen aan de Commissie betreffende een kader voor ethische aspecten van artificiële intelligentie, robotica en aanverwante technologieën, 2020/2012(INL).

(35)    Verordening (EU) 2016/679 van het Europees Parlement en de Raad van 27 april 2016 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens en betreffende het vrije verkeer van die gegevens en tot intrekking van Richtlijn 95/46/EG (algemene verordening gegevensbescherming) (PB L 119 van 4.5.2016, blz. 1).

(36)    Verordening (EU) 2018/1725 van het Europees Parlement en de Raad van 23 oktober 2018 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens door de instellingen, organen en instanties van de Unie en betreffende het vrije verkeer van die gegevens, en tot intrekking van Verordening (EG) nr. 45/2001 en Besluit nr. 1247/2002/EG (PB L 295 van 21.11.2018, blz. 39).

(37)    Richtlijn (EU) 2016/680 van het Europees Parlement en de Raad van 27 april 2016 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens door bevoegde autoriteiten met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de tenuitvoerlegging van straffen, en betreffende het vrije verkeer van die gegevens en tot intrekking van Kaderbesluit 2008/977/JBZ van de Raad (richtlijn gegevensbescherming bij rechtshandhaving) (PB L 119 van 4.5.2016, blz. 89).

(38)    Kaderbesluit 2002/584/JBZ van de Raad van 13 juni 2002 betreffende het Europees aanhoudingsbevel en de procedures van overlevering tussen de lidstaten (PB L 190 van 18.7.2002, blz. 1).

(39)    Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad van 11 maart 2008 inzake gemeenschappelijke regels op het gebied van de beveiliging van de burgerluchtvaart en tot intrekking van Verordening (EG) nr. 2320/2002 (PB L 97 van 9.4.2008, blz. 72).

(40)    Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad van 5 februari 2013 inzake de goedkeuring van en het markttoezicht op landbouw- en bosbouwvoertuigen (PB L 60 van 2.3.2013, blz. 1).

(41)    Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad van 15 januari 2013 betreffende de goedkeuring van en het markttoezicht op twee- of driewielige voertuigen en vierwielers (PB L 60 van 2.3.2013, blz. 52).

(42)    Richtlijn 2014/90/EU van het Europees Parlement en de Raad van 23 juli 2014 inzake uitrusting van zeeschepen en tot intrekking van Richtlijn 96/98/EG van de Raad (PB L 257 van 28.8.2014, blz. 146).

(43)    Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad van 11 mei 2016 betreffende de interoperabiliteit van het spoorwegsysteem in de Europese Unie (PB L 138 van 26.5.2016, blz. 44).

(44)    Verordening (EU) 2018/858 van het Europees Parlement en de Raad van 30 mei 2018 betreffende de goedkeuring van en het markttoezicht op motorvoertuigen en aanhangwagens daarvan en systemen, onderdelen en technische eenheden die voor dergelijke voertuigen zijn bestemd, tot wijziging van Verordeningen (EG) nr. 715/2007 en (EG) nr. 595/2009 en tot intrekking van Richtlijn 2007/46/EG (PB L 151 van 14.6.2018, blz. 1).

(45)    Verordening (EU) 2018/1139 van het Europees Parlement en de Raad van 4 juli 2018 inzake gemeenschappelijke regels op het gebied van burgerluchtvaart en tot oprichting van een Agentschap van de Europese Unie voor de veiligheid van de luchtvaart, en tot wijziging van de Verordeningen (EG) nr. 2111/2005, (EG) nr. 1008/2008, (EU) nr. 996/2010, (EU) nr. 376/2014 en de Richtlijnen 2014/30/EU en 2014/53/EU van het Europees Parlement en de Raad, en tot intrekking van de Verordeningen (EG) nr. 552/2004 en (EG) nr. 216/2008 van het Europees Parlement en de Raad en Verordening (EEG) nr. 3922/91 van de Raad (PB L 212 van 22.8.2018, blz. 1).

(46)    Verordening (EU) 2019/2144 van het Europees Parlement en de Raad van 27 november 2019 betreffende de voorschriften voor de typegoedkeuring van motorvoertuigen en aanhangwagens daarvan en van systemen, onderdelen en technische eenheden die voor dergelijke voertuigen zijn bestemd wat de algemene veiligheid ervan en de bescherming van de inzittenden van voertuigen en kwetsbare weggebruikers betreft, tot wijziging van Verordening (EU) 2018/858 van het Europees Parlement en de Raad en tot intrekking van de Verordeningen (EG) nr. 78/2009, (EG) nr. 79/2009 en (EG) nr. 661/2009 van het Europees Parlement en de Raad en de Verordeningen (EG) nr. 631/2009, (EU) nr. 406/2010, (EU) nr. 672/2010, (EU) nr. 1003/2010, (EU) nr. 1005/2010, (EU) nr. 1008/2010, (EU) nr. 1009/2010, (EU) nr. 19/2011, (EU) nr. 109/2011, (EU) nr. 458/2011, (EU) nr. 65/2012, (EU) nr. 130/2012, (EU) nr. 347/2012, (EU) nr. 351/2012, (EU) nr. 1230/2012 en (EU) 2015/166 van de Commissie (PB L 325 van 16.12.2019, blz. 1).

(47)    Verordening (EU) 2017/745 van het Europees Parlement en de Raad van 5 april 2017 betreffende medische hulpmiddelen, tot wijziging van Richtlijn 2001/83/EG, Verordening (EG) nr. 178/2002 en Verordening (EG) nr. 1223/2009, en tot intrekking van Richtlijnen 90/385/EEG en 93/42/EEG van de Raad (PB L 117 van 5.5.2017, blz. 1).

(48)    Verordening (EU) 2017/746 van het Europees Parlement en de Raad van 5 april 2017 betreffende medische hulpmiddelen voor in-vitrodiagnostiek en tot intrekking van Richtlijn 98/79/EG en Besluit 2010/227/EU van de Commissie (PB L 117 van 5.5.2017, blz. 176).

(49)    Richtlijn 2013/32/EU van het Europees Parlement en de Raad van 26 juni 2013 betreffende gemeenschappelijke procedures voor de toekenning en intrekking van de internationale bescherming (PB L 180 van 29.6.2013, blz. 60).

(50)    Verordening (EG) nr. 810/2009 van het Europees Parlement en de Raad van 13 juli 2009 tot vaststelling van een gemeenschappelijke visumcode (Visumcode) (PB L 243 van 15.9.2009, blz. 1).

(51)    Verordening (EG) nr. 765/2008 van het Europees Parlement en de Raad van 9 juli 2008 tot vaststelling van de eisen inzake accreditatie en markttoezicht betreffende het verhandelen van producten en tot intrekking van Verordening (EEG) nr. 339/93 (PB L 218 van 13.8.2008, blz. 30).

(52)    Besluit nr. 768/2008/EG van het Europees Parlement en de Raad van 9 juli 2008 betreffende een gemeenschappelijk kader voor het verhandelen van producten en tot intrekking van Besluit 93/465/EEG van de Raad (PB L 218 van 13.8.2008, blz. 82).

(53)    Verordening (EU) 2019/1020 van het Europees Parlement en de Raad van 20 juni 2019 betreffende markttoezicht en conformiteit van producten en tot wijziging van Richtlijn 2004/42/EG en de Verordeningen (EG) nr. 765/2008 en (EU) nr. 305/2011 (PB L 169 van 25.6.2019, blz. 1).

(54)    Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad van 25 oktober 2012 betreffende Europese normalisatie, tot wijziging van de Richtlijnen 89/686/EEG en 93/15/EEG van de Raad alsmede de Richtlijnen 94/9/EG, 94/25/EG, 95/16/EG, 97/23/EG, 98/34/EG, 2004/22/EG, 2007/23/EG, 2009/23/EG en 2009/105/EG van het Europees Parlement en de Raad en tot intrekking van Beschikking 87/95/EEG van de Raad en Besluit nr. 1673/2006/EG van het Europees Parlement en de Raad (PB L 316 van 14.11.2012, blz. 12).

(55)    Verordening (EU) 2016/679 van het Europees Parlement en de Raad van 27 april 2016 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens en betreffende het vrije verkeer van die gegevens en tot intrekking van Richtlijn 95/46/EG (algemene verordening gegevensbescherming) (PB L 119 van 4.5.2016, blz. 1).

(56)    Richtlijn 2013/36/EU van het Europees Parlement en de Raad van 26 juni 2013 betreffende toegang tot het bedrijf van kredietinstellingen en het prudentieel toezicht op kredietinstellingen en beleggingsondernemingen, tot wijziging van Richtlijn 2002/87/EG en tot intrekking van de Richtlijnen 2006/48/EG en 2006/49/EG (PB L 176 van 27.6.2013, blz. 338).

(57)    Richtlijn 2001/95/EG van het Europees Parlement en de Raad van 3 december 2001 inzake algemene productveiligheid (PB L 11 van 15.1.2002, blz. 4).

(58)    PB L 123 van 12.5.2016, blz. 1.

(59)    Verordening (EU) nr. 182/2011 van het Europees Parlement en de Raad van 16 februari 2011 tot vaststelling van de algemene voorschriften en beginselen die van toepassing zijn op de wijze waarop de lidstaten de uitoefening van de uitvoeringsbevoegdheden door de Commissie controleren (PB L 55 van 28.2.2011, blz. 13).

(60)    Richtlijn 2000/31/EG van het Europees Parlement en de Raad van 8 juni 2000 betreffende bepaalde juridische aspecten van de diensten van de informatiemaatschappij, met name de elektronische handel, in de interne markt (“richtlijn inzake elektronische handel”) (PB L 178 van 17.7.2000, blz. 1).

(61)    Aanbeveling van de Commissie van 6 mei 2003 betreffende de definitie van kleine, middelgrote en micro-ondernemingen (PB L 124 van 20.5.2003, blz. 36).

(62)    Kaderbesluit 2002/584/JBZ van de Raad van 13 juni 2002 betreffende het Europees aanhoudingsbevel en de procedures van overlevering tussen de lidstaten (PB L 190 van 18.7.2002, blz. 1).

(63)    Verordening (EU) 2019/881 van het Europees Parlement en de Raad van 17 april 2019 inzake Enisa (het Agentschap van de Europese Unie voor cyberbeveiliging), en inzake de certificering van de cyberbeveiliging van informatie- en communicatietechnologie en tot intrekking van Verordening (EU) nr. 526/2013 (cyberbeveiligingsverordening) (PB L 151 van 7.6.2019, blz. 1).

(64)    In de zin van artikel 54, lid 2, punt a) of b), van het Financieel Reglement.    

(65)    Nadere gegevens over de beheersvormen en verwijzingen naar het Financieel Reglement zijn beschikbaar op BudgWeb: http://www.cc.cec/budg/man/budgmanag/budgmanag_en.html

(66)    GK = Gedifferentieerde kredieten / NGK = Niet-gedifferentieerde kredieten.

(67)    EVA: Europese Vrijhandelsassociatie.

(68)    Kandidaat-lidstaten en, in voorkomend geval, potentiële kandidaat-lidstaten van de Westelijke Balkan.

(69)    Indicatief en afhankelijk van de beschikbaarheid van middelen.

(70)    Volgens de officiële begrotingsnomenclatuur.

(71)    Technische en/of administratieve bijstand en uitgaven ter ondersteuning van de uitvoering van programma's en/of acties van de EU (vroegere “BA”-onderdelen), onderzoek door derden, eigen onderzoek.

(72)    Alle cijfers in deze kolom zijn indicatief en onder voorbehoud van de voortzetting van de programma’s en de beschikbaarheid van kredieten.

(73)    Alle cijfers in deze kolom zijn indicatief en onder voorbehoud van de voortzetting van de programma’s en de beschikbaarheid van kredieten.

(74)    Zoals beschreven in punt 1.4.2. “Specifieke doelstelling(en)...”

(75)    Alle cijfers in deze kolom zijn indicatief en onder voorbehoud van de voortzetting van de programma’s en de beschikbaarheid van kredieten.

(76)    Technische en/of administratieve bijstand en uitgaven ter ondersteuning van de uitvoering van programma’s en/of acties van de EU (vroegere “BA”-onderdelen), onderzoek door derden, eigen onderzoek.

(77)    Alle cijfers in deze kolom zijn indicatief en onder voorbehoud van de voortzetting van de programma’s en de beschikbaarheid van kredieten.

(78)    AC = Agent Contractuel (arbeidscontractant); AL = Agent Local (plaatselijk functionaris); END = Expert National Détaché (gedetacheerd nationaal deskundige); INT = Intérimaire (uitzendkracht); JPD = Junior Professionals in Delegations (jonge deskundige in delegaties).

(79)    Subplafond voor extern personeel uit beleidskredieten (vroegere “BA”-onderdelen).

(80)    Het jaar N is het jaar waarin met de uitvoering van het voorstel/initiatief wordt begonnen. Vervang “N” door het verwachte eerste jaar van uitvoering (bijvoorbeeld: 2021. Hetzelfde voor de volgende jaren.

(81)    Voor traditionele eigen middelen (douanerechten en suikerheffingen) moeten nettobedragen worden vermeld, d.w.z. na aftrek van 20 % aan inningskosten.

EUROPESE COMMISSIE

Brussel, 21.4.2021

COM(2021) 206 final

BIJLAGEN

bij het

Voorstel voor een verordening van het Europees Parlement en de Raad

TOT VASTSTELLING VAN GEHARMONISEERDE REGELS BETREFFENDE ARTIFICIËLE INTELLIGENTIE (WET OP DE ARTIFICIËLE INTELLIGENTIE) EN TOT WIJZIGING VAN BEPAALDE WETGEVINGSHANDELINGEN VAN DE UNIE

{SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}

BIJLAGE I
TECHNIEKEN EN BENADERINGEN OP HET GEBIED VAN ARTIFICIËLE INTELLIGENTIE
als bedoeld in artikel 3, punt 1

(a)Benaderingen voor machinaal leren, waaronder gecontroleerd, ongecontroleerd en versterkend leren, met behulp van een brede waaier aan methoden, waaronder diep leren (“deep learning”).

(b)Op logica en op kennis gebaseerde benaderingen, waaronder kennisrepresentatie, inductief (logisch) programmeren, kennisbanken, inferentie- en deductiemachines, (symbolisch) redeneren en expertsystemen.

(c)Statistische benaderingen, Bayesiaanse schattings-, zoek- en optimalisatiemethoden.

BIJLAGE II
LIJST VAN HARMONISATIEWETGEVING VAN DE UNIE
Deel A — Lijst van harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader

1.Richtlijn 2006/42/EG van het Europees Parlement en de Raad van 17 mei 2006 betreffende machines en tot wijziging van Richtlijn 95/16/EG (PB L 157 van 9.6.2006, blz. 24) [zoals ingetrokken bij de machineverordening];

2.Richtlijn 2009/48/EG van het Europees Parlement en de Raad van 18 juni 2009 betreffende de veiligheid van speelgoed (PB L 170 van 30.6.2009, blz. 1);

3.Richtlijn 2013/53/EU van het Europees Parlement en de Raad van 20 november 2013 betreffende pleziervaartuigen en waterscooters en tot intrekking van Richtlijn 94/25/EG (PB L 354 van 28.12.2013, blz. 90);

4.Richtlijn 2014/33/EU van het Europees Parlement en de Raad van 26 februari 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake liften en veiligheidscomponenten voor liften (PB L 96 van 29.3.2014, blz. 251);

5.Richtlijn 2014/34/EU van het Europees Parlement en de Raad van 26 februari 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake apparaten en beveiligingssystemen bedoeld voor gebruik op plaatsen waar ontploffingsgevaar kan heersen (PB L 96 van 29.3.2014, blz. 309);

6.Richtlijn 2014/53/EU van het Europees Parlement en de Raad van 16 april 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake het op de markt aanbieden van radioapparatuur en tot intrekking van Richtlijn 1999/5/EG (PB L 153 van 22.5.2014, blz. 62);

7.Richtlijn 2014/68/EU van het Europees Parlement en de Raad van 15 mei 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake het op de markt aanbieden van drukapparatuur (PB L 189 van 27.6.2014, blz. 164);

8.Verordening (EU) 2016/424 van het Europees Parlement en de Raad van 9 maart 2016 betreffende kabelbaaninstallaties en tot intrekking van Richtlijn 2000/9/EG (PB L 81 van 31.3.2016, blz. 1);

9.Verordening (EU) 2016/425 van het Europees Parlement en de Raad van 9 maart 2016 betreffende persoonlijke beschermingsmiddelen en tot intrekking van Richtlijn 89/686/EEG van de Raad (PB L 81 van 31.3.2016, blz. 51);

10.Verordening (EU) 2016/426 van het Europees Parlement en de Raad van 9 maart 2016 betreffende gasverbrandingstoestellen en tot intrekking van Richtlijn 2009/142/EG (PB L 81 van 31.3.2016, blz. 99);

11.Verordening (EU) 2017/745 van het Europees Parlement en de Raad van 5 april 2017 betreffende medische hulpmiddelen, tot wijziging van Richtlijn 2001/83/EG, Verordening (EG) nr. 178/2002 en Verordening (EG) nr. 1223/2009, en tot intrekking van Richtlijnen 90/385/EEG en 93/42/EEG van de Raad (PB L 117 van 5.5.2017, blz. 1);

12.Verordening (EU) 2017/746 van het Europees Parlement en de Raad van 5 april 2017 betreffende medische hulpmiddelen voor in-vitrodiagnostiek en tot intrekking van Richtlijn 98/79/EG en Besluit 2010/227/EU van de Commissie (PB L 117 van 5.5.2017, blz. 176).

Deel B — Lijst van andere harmonisatiewetgeving van de Unie

1.Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad van 11 maart 2008 inzake gemeenschappelijke regels op het gebied van de beveiliging van de burgerluchtvaart en tot intrekking van Verordening (EG) nr. 2320/2002 (PB L 97 van 9.4.2008, blz. 72);

2.Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad van 15 januari 2013 betreffende de goedkeuring van en het markttoezicht op twee- of driewielige voertuigen en vierwielers (PB L 60 van 2.3.2013, blz. 52);

3.Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad van 5 februari 2013 inzake de goedkeuring van en het markttoezicht op landbouw- en bosbouwvoertuigen (PB L 60 van 2.3.2013, blz. 1);

4.Richtlijn 2014/90/EU van het Europees Parlement en de Raad van 23 juli 2014 inzake uitrusting van zeeschepen en tot intrekking van Richtlijn 96/98/EG van de Raad (PB L 257 van 28.8.2014, blz. 146);

5.Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad van 11 mei 2016 betreffende de interoperabiliteit van het spoorwegsysteem in de Europese Unie (PB L 138 van 26.5.2016, blz. 44);

6.Verordening (EU) 2018/858 van het Europees Parlement en de Raad van 30 mei 2018 betreffende de goedkeuring van en het markttoezicht op motorvoertuigen en aanhangwagens daarvan en systemen, onderdelen en technische eenheden die voor dergelijke voertuigen zijn bestemd, tot wijziging van Verordeningen (EG) nr. 715/2007 en (EG) nr. 595/2009 en tot intrekking van Richtlijn 2007/46/EG (PB L 151 van 14.6.2018, blz. 1); 3. Verordening (EU) 2019/2144 van het Europees Parlement en de Raad van 27 november 2019 betreffende de voorschriften voor de typegoedkeuring van motorvoertuigen en aanhangwagens daarvan en van systemen, onderdelen en technische eenheden die voor dergelijke voertuigen zijn bestemd wat de algemene veiligheid ervan en de bescherming van de inzittenden van voertuigen en kwetsbare weggebruikers betreft, tot wijziging van Verordening (EU) 2018/858 van het Europees Parlement en de Raad en tot intrekking van de Verordeningen (EG) nr. 78/2009, (EG) nr. 79/2009 en (EG) nr. 661/2009 van het Europees Parlement en de Raad en de Verordeningen (EG) nr. 631/2009, (EU) nr. 406/2010, (EU) nr. 672/2010, (EU) nr. 1003/2010, (EU) nr. 1005/2010, (EU) nr. 1008/2010, (EU) nr. 1009/2010, (EU) nr. 19/2011, (EU) nr. 109/2011, (EU) nr. 458/2011, (EU) nr. 65/2012, (EU) nr. 130/2012, (EU) nr. 347/2012, (EU) nr. 351/2012, (EU) nr. 1230/2012 en (EU) 2015/166 van de Commissie (PB L 325 van 16.12.2019, blz. 1);

7.Verordening (EU) 2018/1139 van het Europees Parlement en de Raad van 4 juli 2018 inzake gemeenschappelijke regels op het gebied van burgerluchtvaart en tot oprichting van een Agentschap van de Europese Unie voor de veiligheid van de luchtvaart, en tot wijziging van de Verordeningen (EG) nr. 2111/2005, (EG) nr. 1008/2008, (EU) nr. 996/2010, (EU) nr. 376/2014 en de Richtlijnen 2014/30/EU en 2014/53/EU van het Europees Parlement en de Raad, en tot intrekking van de Verordeningen (EG) nr. 552/2004 en (EG) nr. 216/2008 van het Europees Parlement en de Raad en Verordening (EEG) nr. 3922/91 van de Raad (PB L 212 van 22.8.2018, blz. 1), voor zover het gaat om het ontwerp, de productie en het in de handel brengen van luchtvaartuigen als bedoeld in artikel 2, lid 1, punten a) en b), wat betreft onbemande luchtvaartuigen, en hun motoren, propellers, onderdelen en apparatuur om het luchtvaartuig op afstand te bedienen.

BIJLAGE III
AI-SYSTEMEN MET EEN HOOG RISICO, ALS BEDOELD IN ARTIKEL 6, LID 2

AI-systemen met een hoog risico overeenkomstig artikel 6, lid 2, zijn de vermelde AI-systemen op de volgende gebieden:

1.biometrische identificatie en categorisering van natuurlijke personen:

(a)AI-systemen die bedoeld zijn om te worden gebruikt voor de biometrische identificatie op afstand van natuurlijke personen in real time en achteraf;

2.beheer en exploitatie van kritieke infrastructuur:

(a)AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponent bij het beheer of de exploitatie van wegverkeer en de levering van water, gas, verwarming en elektriciteit;

3.onderwijs en beroepsopleiding:

(a)AI-systemen die bedoeld zijn om te worden gebruikt voor de bepaling van toegang tot of de toewijzing van natuurlijke personen aan onderwijs- en beroepsopleidingsinstellingen;

(b)AI-systemen die bedoeld zijn om te worden gebruikt voor de beoordeling van studenten in onderwijs- en beroepsopleidingsinstellingen en voor de beoordeling van deelnemers aan tests die gewoonlijk vereist zijn voor toelating tot onderwijsinstellingen;

4.werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid:

(a)AI-systemen die bedoeld zijn voor de aanwerving of selectie van natuurlijke personen, met name voor het bekendmaken van vacatures, het screenen of filteren van sollicitaties, de evaluatie van kandidaten tijdens interviews of tests;

(b)AI-systemen die bedoeld zijn voor het nemen van besluiten over de bevordering en beëindiging van arbeidsgerelateerde contractuele relaties, voor de toewijzing van taken en voor het toezicht op en de evaluatie van prestaties en gedrag van personen in dergelijke relaties;

5.toegang tot en gebruik van essentiële particuliere diensten en openbare diensten en uitkeringen:

(a)AI-systemen die bedoeld zijn om door of namens overheidsinstanties te worden gebruikt om te beoordelen of natuurlijke personen in aanmerking komen voor overheidsuitkeringen en -diensten, evenals voor het verlenen, beperken, intrekken of terugvorderen van dergelijke uitkeringen en diensten;

(b)AI-systemen die bedoeld zijn om de kredietwaardigheid van natuurlijke personen te beoordelen of hun kredietscore vast te stellen, met uitzondering van AI-systemen die in bedrijf zijn gesteld door kleine aanbieders voor eigen gebruik;

(c)AI-systemen die bedoeld zijn om te worden gebruikt voor de inzet of voor het vaststellen van prioriteiten bij de inzet van hulpdiensten, waaronder brandweer en ambulance;

6. rechtshandhaving:

(a)AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt voor het uitvoeren van individuele risicobeoordelingen van natuurlijke personen om te beoordelen hoe groot het risico is dat een natuurlijke persoon (opnieuw) een strafbaar feit pleegt of hoe groot het risico is voor mogelijke slachtoffers van strafbare feiten;

(b)AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt, zoals leugendetectoren of soortgelijke hulpmiddelen of voor de vaststelling van de emotionele toestand van een natuurlijke persoon;

(c)AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt voor de opsporing van deep fakes, zoals bedoeld in artikel 52, lid 3;

(d)AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt voor de beoordeling van de betrouwbaarheid van bewijsmateriaal tijdens het onderzoek naar of de vervolging van strafbare feiten;

(e)AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt voor het voorspellen van een daadwerkelijk of potentieel strafbaar feit dat (opnieuw) zal worden gepleegd, op basis van de profilering van natuurlijke personen, als bedoeld in artikel 3, punt 4, van Richtlijn (EU) 2016/680 of de beoordeling van persoonlijkheidskenmerken en kenmerken of eerder crimineel gedrag van natuurlijke personen of groepen;

(f)AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt voor de profilering van natuurlijke personen als bedoeld in artikel 3, punt 4, van Richtlijn (EU) 2016/680 tijdens de opsporing, het onderzoek of de vervolging van strafbare feiten;

(g)AI-systemen die bedoeld zijn om te worden gebruikt voor misdaadanalyses met betrekking tot natuurlijke personen, waardoor rechtshandhavingsautoriteiten complexe gerelateerde en ongerelateerde grote datareeksen kunnen doorzoeken die beschikbaar zijn in verschillende databronnen of verschillende dataindelingen om onbekende patronen op te sporen of verborgen relaties te ontdekken in de gegevens;

7.migratie, asiel en beheer van grenscontroles: