Historiskt förslag till AI-lagstiftning från EU-kommissionen

EU-kommissionen offentliggjorde igår den 21 april 2021 ett lagförslag till en förordning som för första gången specifikt tar sikte på artificiell intelligens (AI). Förslaget har varit omdiskuterat långt innan det offentliggjordes och det har spekulerats mycket om vad det kommer att innehålla. På Delphi Tech Blog gör vi en första sammanfattning av förslaget, såsom vi uppfattat det, tillsammans med några reflektioner.

Huvuddelen av förslaget avser särskilda krav på användning och utveckling av AI-teknik utifrån den risk som tillämpningen av tekniken utgör. Mer specifikt så förbjuds vissa tillämpningar av AI-teknik helt och hållet, medan särskilda krav ställs på AI-system som utgör en högre risk. Att ha en särskild kategori krav för AI-system som utgör en hög risk är något som är bekant från de lagstiftningsinitiativ om AI som arbetats fram i Europaparlamentet tidigare.

Nedan följer några nyckelpunkter från förordningsförslaget.

Förslag om förbud mot viss användning av AI-teknik:
• förbud mot AI-teknik som används för att påverka människors beteende undermedvetet och/eller utnyttja deras utsatta situation. EU-kommissionen ger som ett exempel leksaker som kan tala med barn och uppmuntra till skadligt beteende,
• förbud mot poängsättningssystem som används av myndigheter eller på deras uppdrag i syfte att bedöma fysiska personers trovärdighet, eller liknande, och som kan innebära negativa konsekvenser för individer,
• en huvudregel om förbud mot biometrisk identifiering i realtid av personer på offentliga platser för brottsbekämpning, om inte vissa omständigheter som anges i förordningsförslaget föreligger, som t.ex. baseras på ett brotts allvar och/eller risker för brottsoffer.

Särskilda krav för AI-teknik som bedöms vara av hög risk[1]:
• särskilda krav på hantering av data, t.ex. vid träning av AI-modeller. Detta krav inkluderar bland annat att göra en bedömning i förväg om vilken typ av insamling som behöver ske, och en bedömning av vilka särskilda fördomar/vinklingar (eng. bias) och andra brister i data som kan föreligga. Här föreslås också ett undantag från GDPR som gör det möjlighet att behandla känsliga personuppgifter för att kunna bedöma om fördomar/vinklingar föreligger (t.ex. genom att hantera uppgifter om etnicitet eller sexualitet),
• krav rörande teknisk dokumentation, att föra register som innefattar eventloggar för användning av AI-systemen och implementera ett riskhanteringssystem,
• krav på mänsklig översyn och informationssäkerhet för att garantera säkerheten för berörda AI-system,
• krav på transparens och information i förhållande till användare av AI-systemet. Informationskravet innefattar bland annat krav på att informera om vem som tillhandahåller AI-systemet, AI-systemets funktionalitet och begränsningar, förändringar i systemet och vilken mänsklig översyn som finns,
• krav på att AI-system med hög risk ska genomgå en bedömningsprocess för att granska huruvida de uppfyller kraven i förordningen. Om sådana AI-system uppfyller kraven ska en CE-märkning utfärdas för AI-systemet. AI-systemet kan då tillhandahållas på den europeiska marknaden. Bedömningen ska ske antingen genom internrevision eller genom att AI-systemet bedöms av ett särskilt organ som granskar AI-system med hög risk.

Övrigt:
• transparenskrav införs för vissa typer av AI-system, bl.a. sådana som interagerar med fysiska personer, såsom chattbottar. Information ska t.ex. då ges om att användaren kommunicerar med ett AI-system. Användare av AI-system som generar exempelvis manipulerade bilder och videor genom så kallad ”deep fake-teknik” ska informera om att innehållet har manipulerats och/eller genererats på ett artificiellt sätt,
• förordningsförslaget introducerar ”regulatoriska sandlådor” och andra åtgärder för att uppmuntra innovation, det vill säga säkra miljöer som sätts upp för att testa ny innovativ AI-teknik. Miljöerna ska sättas upp och bedrivas under översyn från relevanta tillsynsmyndigheter, och bestämmelser i förordningsförslaget möjliggör att personuppgifter som samlats in för andra ändamål i vissa fall kan användas för utveckling och innovation inom ramen för de regulatoriska sandlådorna. Förordningsförslaget tydliggör dock att aktörer som använder sig av de regulatoriska sandlådorna inte går fria från ansvar i förhållande till tredjeparter, som på något sätt lider skada av verksamheten i de regulatoriska sandlådorna.
• tillämpningen av förordningen föreslås ske från två år efter att den trätt i kraft. Förordningen träder i kraft 20 dagar efter att den publicerats i Europeiska unionens officiella tidning,
• en europeisk AI-styrelse samt nationella tillsynsmyndigheter föreslås ansvara för tillämpningen och efterlevnaden av lagstiftningen,
• sanktionsavgifter som liknar de för GDPR introduceras. De överträdelser som bedöms som allvarligast kan leda till upp till 6 % av en koncerns globala årsomsättning i sanktionsavgifter.

Reflektioner
Det står klart att EU-kommissionen tar utvecklingen och användningen av AI-teknik på stort allvar och ser stora risker med tanke på hur ambitiöst förordningsförslaget är. I förordningsförslagets struktur finns många likheter med GDPR, och för de mest allvarliga överträdelserna är sanktionsavgifterna till och med högre än i GDPR. Samtidigt är det en mycket stor utmaning att reglera AI-teknik generellt, med tanke på att AI-teknik har otroligt många tillämpningsområden och hur dessa kan skilja sig åt i praktiken. Även begreppsmässigt är det utmaning att reglera AI-tekniken, detta genom de praktiska svårigheter som kan uppkomma med att på ett rättvisande och konsekvent sätt avgöra när ett system omfattas av lagstiftningen genom att vara ett AI-system eller AI-teknik som utgör en hög risk.

En fungerande tillsyn kräver mycket resurser, kompetens och tid – såväl från EU, medlemsstaterna och deras myndigheter samt aktörer som utvecklar och använder AI-teknik. Det kan diskuteras om de kunskaper och resurser som behövs för att tillämpa ett så ambitiöst lagförslag som detta är finns på plats.

En aspekt av förslaget som fångade vårt intresse är de åtgärder som EU-kommissionen föreslår för att främja innovation, t.ex. genom regulatoriska sandlådor. Detta är något som tidigare varit aktuellt bland annat i Norges regerings AI-strategi. Att skapa EU-gemensamma förutsättningar för att bedriva sådan innovation är betydelsefullt, särskilt med tanke på det i stora delar gemensamma regelverket (som exempelvis på området för dataskydd) för länderna inom EU/EES. Det kommer att bli intressant att följa hur de regulatoriska sandlådorna kommer att utformas i praktiken och all ytterligare information runt arbetet med dem.

Även om det finns vissa frågetecken runt förordningsförslaget och dess innehåll finns det en aspekt som är tydligt positiv med förslaget – den inleder en diskussion på allvar om hur vi på bästa sätt reglerar utveckling och användning av AI-teknik. Delphi Tech Blog kommer fortsätta rapportera om lagförslaget och de frågeställningar som det väcker.

Nästa steg för författningsförslaget är att det ska diskuteras med rådet och EU-parlamentet. För det fall parterna kan enas om och rösta igenom en slutlig förordning, kommer sannolikt en implementeringsperiod på två år att tillämpas innan bestämmelserna i den slutliga förordningen börjar tillämpas. Vi kommer således ha anledning att återkomma till och diskutera EU:s AI-lagstiftning under flera år framöver.

[1] Vad som utgör hög risk definieras bland annat genom en bilaga till förordningsförslaget där EU-kommissionen listar vissa branscher som anses särskilt riskfyllda. Tanken är att kommissionen ska kunna uppdatera denna lista. Sektorer som omfattas är bl.a. kritisk infrastruktur, arbetslivet (t.ex. vid rekrytering), rättsväsendet och brottsbekämpning, samt vissa AI-produkter som täcks av viss befintlig EU-lagstiftning som räknas upp i en annan bilaga till förordningsförslaget.