Sfetcu, Nicolae (2023), Modelarea amenințărilor în inteligența artificială, IT & C, 2:4, 54-62, DOI: 10.58679/IT61076, https://www.internetmobile.ro/modelarea-amenintarilor-in-inteligenta-artificiala/

Threat Modeling in Artificial Intelligence

Abstract

Artificial intelligence (AI) has seen rapid progress in recent years, transforming various industries and fields. However, alongside its potential benefits, AI also poses a number of threats that deserve careful consideration. Threat modeling in artificial intelligence involves identifying and assessing potential risks and vulnerabilities associated with AI systems. This is crucial to ensure the responsible and safe development and deployment of AI technologies. This essay explores the multifaceted threats from AI, categorizing them into technical, ethical, and societal domains. Mitigation strategies to address these threats and to ensure the responsible development and implementation of AI systems and the importance of threat modeling in AI are also discussed. By understanding and modeling these threats, we can take proactive steps to ensure the responsible and safe development and deployment of AI technologies. In this regard, I highlight some AI threat mitigation strategies for each situation.

Keywords: modeling, patterns, artificial intelligence, threats, AI technologies, AI ethics

Rezumat

Inteligența artificială (IA) a cunoscut progrese rapide în ultimii ani, transformând diverse industrii și domenii. Cu toate acestea, alături de beneficiile sale potențiale, IA reprezintă și o serie de amenințări care merită o analiză atentă. Modelarea amenințărilor în inteligența artificială implică identificarea și evaluarea riscurilor potențiale și a vulnerabilităților asociate cu sistemele IA. Acest lucru este crucial pentru a asigura dezvoltarea și implementarea responsabilă și sigură a tehnologiilor IA. Acest eseu explorează amenințările cu mai multe fațete din IA, clasificându-le în domenii tehnice, etice și societale. De asemenea, se discută strategiile de atenuare pentru a aborda aceste amenințări și pentru a asigura dezvoltarea și implementarea responsabilă a sistemelor IA și importanța modelării amenințărilor în IA. Înțelegând și modelând aceste amenințări, putem lua măsuri proactive pentru a asigura dezvoltarea și implementarea responsabilă și sigură a tehnologiilor IA. În acest sens, evidențiez unele strategii de atenuare a amenințărilor în IA pentru fiecare situație în parte.

Cuvinte cheie: modelare, modele, inteligența artificială, amenințări, tehnologii IA, etica IA

IT & C, Volumul 2, Numărul 4, Decembrie 2023, pp. 54-62
ISSN 2821 – 8469, ISSN – L 2821 – 8469, DOI: 10.58679/IT61076
URL: https://www.internetmobile.ro/modelarea-amenintarilor-in-inteligenta-artificiala/
© 2023 Nicolae Sfetcu. Responsabilitatea conținutului, interpretărilor și opiniilor exprimate revine exclusiv autorilor.

Modelarea amenințărilor în inteligența artificială

Nicolae Sfetcu[1]

nicolae@sfetcu.com

[1] Cercetător – Academia Română – Comitetul Român de Istoria și Filosofia Științei și Tehnicii (CRIFST), Divizia de Istoria Științei (DIS)

Introducere

Inteligența artificială devine rapid o parte integrantă a vieții noastre de zi cu zi, cu aplicații variind de la asistenți virtuali și vehicule autonome până la diagnosticare medicală și prognoză financiară. Capacitățile sale de a automatiza sarcini, de a procesa cantități mari de date și de a face predicții au deblocat numeroase oportunități. Deși capacitățile IA sunt impresionante, ele vin cu o serie de potențiale amenințări și vulnerabilități care trebuie modelate și gestionate cu atenție.

Modelarea amenințărilor în inteligența artificială implică identificarea și evaluarea riscurilor potențiale și a vulnerabilităților asociate cu sistemele IA. Acest lucru este crucial pentru a asigura dezvoltarea și implementarea responsabilă și sigură a tehnologiilor IA. Modelarea amenințărilor în IA poate fi abordată în mai multe moduri.

Tipuri de amenințări

Impactul amenințărilor asupra confidențialității, integrității și disponibilității, pe baza impactului asupra acestor proprietăți fundamentale de securitate, este mapat după cum urmează: (1)

• Autenticitatea poate fi afectată atunci când integritatea este compromisă, deoarece autenticitatea datelor sau a rezultatelor ar putea fi afectată.
• Autorizarea poate fi afectată atunci când confidenţialitatea şi integritatea sunt afectate, având în vedere că legitimitatea operaţiunii ar putea fi afectată.
• Nerepudierea poate fi afectată atunci când integritatea este afectată.
• Robustețea unui sistem/aplicație IA poate fi afectată atunci când disponibilitatea și integritatea sunt afectate.
• Încrederea în un sistem/aplicație IA poate fi afectată atunci când integritatea, confidențialitatea și disponibilitatea sunt afectate, deoarece sistemul/aplicația IA poate funcționa cu date corupte sau cu performanțe slabe.
• Siguranța poate fi afectată atunci când integritatea sau disponibilitatea sunt afectate, deoarece aceste proprietăți pot avea un impact negativ asupra funcționării corespunzătoare a unui sistem/aplicație IA.
• Transparența poate fi afectată atunci când confidențialitatea, integritatea sau disponibilitatea sunt afectate, deoarece împiedică dezvăluirea de ce și cum s-a comportat un sistem/aplicație IA așa cum s-a comportat.
• Explicabilitatea poate fi afectată atunci când confidențialitatea, integritatea sau disponibilitatea sunt afectate, deoarece împiedică deducerea explicațiilor adecvate cu privire la motivul pentru care un sistem/aplicație IA s-a comportat așa cum s-a comportat.
• Responsabilitatea poate fi afectată atunci când integritatea este afectată, deoarece împiedică repartizarea acțiunilor verificate către proprietari.
• Protecția datelor cu caracter personal poate fi afectată atunci când confidențialitatea, integritatea sau disponibilitatea sunt afectate. De exemplu, încălcarea confidențialității (de exemplu, realizată prin combinarea diferitelor seturi de date pentru aceeași persoană) poate duce la dezvăluirea datelor cu caracter personal către destinatari neautorizați. Încălcarea integrității (de exemplu, calitatea slabă a datelor sau seturi de date de intrare „părtinitoare”) poate duce la sisteme automate de luare a deciziilor care clasifică greșit persoanele și îi exclud de la anumite servicii sau îi privează de drepturile lor. Problemele de disponibilitate pot perturba accesul la datele personale în servicii importante, bazate pe IA. Transparența și explicabilitatea pot afecta direct protecția datelor cu caracter personal, în timp ce responsabilitatea este, de asemenea, un aspect inerent al protecției datelor cu caracter personal. În general, sistemele și aplicațiile IA pot limita în mod semnificativ controlul uman asupra datelor cu caracter personal, conducând astfel la concluzii despre indivizi, care au impact direct asupra drepturilor și libertăților acestora. Acest lucru se poate întâmpla fie pentru că rezultatele mașinii se abat de la rezultatele așteptate de indivizi, fie pentru că nu îndeplinesc așteptările indivizilor. (1)

Amenințări tehnice

• Prejudecăți și corectitudine: Sistemele de inteligență artificială pot perpetua prejudecățile prezente în datele utilizate pentru formare, ceea ce duce la rezultate inechitabile și discriminatorii. Strategie de atenuare: implementați tehnici de învățare automată conștiente de corectitudine și preprocesare riguroasă a datelor pentru a reduce părtinirea.
• Robusteţe: Sistemele IA pot fi vulnerabile la atacuri adverse, unde perturbații minore de intrare pot duce la decizii incorecte. Strategie de atenuare: Dezvoltați modele robuste de inteligență artificială folosind tehnici precum antrenamentul advers și validarea intrărilor.
• Securitate: Sistemele IA pot fi exploatate în scopuri rău intenționate, inclusiv hacking, fraudă și diseminare de informații dezinfectate. Strategie de atenuare: Îmbunătățiți securitatea IA prin testare riguroasă, criptare și monitorizare.

Amenințări etice

• Confidențialitate: Sistemele IA pot încălca confidențialitatea persoanelor prin colectarea și analizarea datelor cu caracter personal fără consimțământ. Strategie de atenuare: implementați politici de confidențialitate puternice și tehnici de anonimizare.
• Autonomie: Sistemele IA, cum ar fi vehiculele autonome, ridică preocupări etice atunci când vine vorba de luarea deciziilor în situații critice. Strategie de atenuare: Dezvoltați algoritmi transparente de luare a deciziilor și stabiliți linii directoare etice.
• Responsabilitate: Determinarea responsabilității pentru deciziile IA poate fi o provocare, mai ales în cazurile de vătămare sau erori. Strategie de atenuare: Definiți cadrele legale și principiile de răspundere pentru sistemele IA.

Amenințări societale

• Deplasarea locului de muncă: Automatizarea sarcinilor prin IA poate duce la înlocuirea locurilor de muncă și la inegalități economice. Strategie de atenuare: Investește în recalificarea forței de muncă și oferă rețele de protecție socială.
• Deepfake și dezinformare: Deepfake-urile generate de IA și conținutul manipulat pot propaga informații false, ceea ce duce la instabilitate socială și politică. Strategie de atenuare: Dezvoltați instrumente de detectare a falsurilor profunde și promovați alfabetizarea media.
• Arme autonome: Sistemele de arme autonome bazate pe inteligență artificială reprezintă o amenințare semnificativă la adresa securității și eticii globale. Strategie de atenuare: Avocați pentru tratatele internaționale care interzic utilizarea armelor autonome.

Modelarea amenințărilor

Taxonomia amenințărilor inteligenței artificiale

Modelarea amenințărilor (1) implică procesul de identificare a amenințărilor și, eventual, de listare și prioritizare a acestora (38). Există diverse metodologii cu privire la modul de realizare a modelării amenințărilor, STRIDE (39) fiind una dintre cele mai proeminente. În contextul viitoarelor evaluări risc/tratament pentru inteligența artificială (IA) pentru cazuri specifice de utilizare, metodologia de modelare a amenințărilor presupune 5 pași:

1. Identificarea obiectivelor: identificați proprietățile de securitate pe care ar trebui să le aibă sistemul.
2. Studiu: mapați sistemul, componentele sale și interacțiunile acestora și interdependențele cu sistemele externe.
3. Identificarea activelor: identificați activele critice din punct de vedere al securității care au nevoie de protecție.
4. Identificarea amenințărilor: identificați amenințările la adresa activelor care vor duce la neîndeplinirea obiectivelor menționate mai sus.
5. Identificarea vulnerabilităților: determinați – de obicei pe baza atacurilor existente – dacă sistemul este vulnerabil în raport cu amenințările identificate (40).

Pentru a dezvolta peisajul amenințărilor IA, luăm în considerare atât proprietățile tradiționale de securitate, cât și proprietățile de securitate care sunt mai relevante pentru domeniul IA. Primele includ confidențialitatea, integritatea și disponibilitatea cu proprietăți de securitate suplimentare, inclusiv autenticitatea, autorizarea și non-repudierea, în timp ce cele din urmă sunt mai specifice IA și includ robustețe, încredere, siguranță, transparență, explicabilitate, responsabilitate, precum și protecția datelor (41).

Modelarea amenințărilor în IA poate fi abordată în mai multe moduri:

Confidențialitatea și securitatea datelor

Una dintre preocupările fundamentale în IA este confidențialitatea și securitatea datelor. Sistemele IA se bazează în mare măsură pe cantități mari de date, adesea de natură sensibilă. Amenințările din această categorie includ scurgerile de date și otrăvirea datelor.

• Scurgeri de date: sistemele IA, în special cele care folosesc învățarea automată, sunt la fel de bune ca și datele pe care sunt instruiți. Scurgerile de date, acolo unde sunt expuse informații sensibile, reprezintă o amenințare semnificativă. Pentru a atenua acest lucru, organizațiile ar trebui să implementeze tehnici robuste de anonimizare a datelor, criptare și controale stricte de acces pentru a proteja datele sensibile. Strategie de atenuare: Evaluați riscul ca datele sensibile să fie expuse sau scurse din sistemele IA. Luați în considerare anonimizarea datelor, criptarea și mecanismele de control al accesului pentru a atenua aceste amenințări.
• Otrăvirea datelor: actorii rău intenționați pot manipula modelele IA prin injectarea de date otrăvite. Otrăvirea datelor poate duce la predicții incorecte ale modelului sau la comportamente neintenționate. Pentru a combate acest lucru, organizațiile ar trebui să utilizeze tehnici de validare a datelor, preprocesare și detectare a anomaliilor pentru a identifica și a atenua datele otrăvite. Strategie de atenuare: Analizați riscul injectării de date rău intenționate care poate manipula modelele IA. Implementați tehnici de validare și preprocesare a datelor pentru a detecta și a atenua datele otrăvite.

Atacurile adverse

Atacurile adverse sunt o preocupare tot mai mare în IA, unde atacatorii manipulează datele de intrare pentru a înșela modelele IA.

• Învățare automată adversară: această amenințare implică actori rău intenționați care creează intrări care par benefice pentru oameni, dar care pot determina sistemele IA să facă predicții incorecte. Modelele robuste și tehnicile de antrenament adversar pot ajuta la apărarea împotriva unor astfel de atacuri. Strategie de atenuare: Înțelegeți amenințarea atacurilor adverse în care actorii rău intenționați manipulează datele de intrare pentru a înșela modelele IA. Folosiți modele robuste și antrenament adversar pentru a vă apăra împotriva unor astfel de atacuri.
• Atacuri de inversare a modelelor: în această amenințare, atacatorii încearcă să modifice modelele IA pentru a obține informații despre informațiile sensibile. Pentru a se proteja împotriva atacurilor de inversare a modelelor, organizațiile pot implementa confidențialitate diferențială sau pot adopta mecanisme sigure de partajare a modelelor. Strategie de atenuare: Examinați riscul ca atacatorii să efectueze inginerie inversă a modelelor IA pentru a accesa informații sensibile. Implementați măsuri de protecție precum confidențialitatea diferențială sau partajarea securizată a modelelor.

Prejudecăți și corectitudine

Sistemele IA moștenesc adesea părtiniri din datele pe care sunt instruiți, perpetuând inegalitățile societale. Amenințările din această categorie includ prejudecățile algoritmice și compromisurile de corectitudine.

• Prejudecăți algoritmice: datele de antrenament ale modelului pot conține părtiniri, ceea ce duce la predicții părtinitoare. Pentru a rezolva acest lucru, ar trebui utilizate tehnici de învățare automată care conștientizează corectitudinea și audituri cuprinzătoare de părtinire. Strategie de atenuare: Modelați potențialul sistemelor IA de a perpetua părtinirea și discriminarea. Implementați tehnici de învățare automată conștiente de corectitudine și audituri cuprinzătoare de părtinire pentru a atenua aceste riscuri.
• Compensații de corectitudine: atingerea unui echilibru între corectitudine și acuratețe în sistemele IA este o provocare. Organizațiile trebuie să dezvolte modele care să permită setări de corectitudine ajustabile și să ia în considerare compromisurile dintre corectitudine și performanță. Strategie de atenuare: Lați în considerare compromisurile între corectitudine și acuratețe în sistemele IA. Dezvoltați modele care echilibrează aceste compromisuri și au setări de corectitudine ajustabile.

Securitatea infrastructurii IA

Securitatea infrastructurii care sprijină sistemele IA este primordială.

• Furtul de modele: accesul neautorizat la modele IA instruite sau furtul de modele reprezintă o preocupare semnificativă. Ar trebui să existe controale puternice de acces, criptare și mecanisme de stocare sigură pentru a proteja parametrii modelului. Strategie de atenuare: Evaluați riscul accesului neautorizat sau al furtului modelelor IA instruite. Implementați controale puternice de acces, criptare și stocare sigură pentru parametrii modelului.
• Securitate în cloud: infrastructura IA se bazează adesea pe platforme cloud, care necesită măsuri de securitate meticuloase, inclusiv controale de acces, criptare și monitorizare continuă pentru a proteja activele IA. Strategie de atenuare: Examinați securitatea infrastructurii IA găzduite pe platformele cloud. Configurați controalele de acces, monitorizarea și criptarea adecvate pentru a proteja activele IA.

Preocupări etice și societale

IA are implicații etice și societale de amploare, iar aceste preocupări trebuie abordate în modelarea amenințărilor.

• Considerații etice: modelarea amenințărilor ar trebui să cuprindă considerații etice, evaluând impactul aplicațiilor IA asupra indivizilor și societății. Orientările și cadrele etice pot ghida dezvoltarea responsabilă a IA. Strategie de atenuare: Evaluați implicațiile etice și consecințele societale ale aplicațiilor IA. Implementați orientări etice și luați în considerare impacturile sociale mai ample.
• Transparență și responsabilitate: organizațiile ar trebui să asigure transparența în procesele de luare a deciziilor privind IA și să stabilească mecanisme de responsabilitate în cazul unor consecințe nedorite, contribuind la dezvoltarea responsabilă a IA. Strategie de atenuare: Asigurați transparența în procesele de luare a deciziilor IA și stabiliți mecanisme de responsabilitate în cazul unor consecințe nedorite.

Utilizare rău intenționată

Tehnologia IA poate fi exploatată în mod rău intenționat, ceea ce duce la atacuri automate și la crearea de deepfake.

• Atacuri automate: sistemele IA pot fi utilizate pentru automatizarea atacurilor cibernetice, cum ar fi phishingul și hackingul. Asigurarea faptului că sistemele IA au măsuri de protecție pentru a detecta și a preveni o astfel de utilizare rău intenționată este esențială. Strategie de atenuare: Modelați riscul ca sistemele IA să fie utilizate pentru atacuri cibernetice automate, cum ar fi phishingul sau hackingul automatizat. Implementați măsuri de securitate pentru a detecta și preveni o astfel de utilizare rău intenționată.
• Deepfake: Strategie de atenuare: Analizați riscul ca tehnologia deepfake să fie utilizată în scopuri înșelătoare. Dezvoltați metode de detectare și contracarare a conținutului deepfake.

Vulnerabilități hardware și software

• Atacuri hardware: Strategie de atenuare: luați în considerare vulnerabilitățile din infrastructura fizică care susține sistemele IA, cum ar fi atacurile la nivel de hardware. Implementați mecanisme de securitate hardware și medii de execuție de încredere.
• Vulnerabilități software: Strategie de atenuare: evaluați riscul vulnerabilităților software care ar putea fi exploatate pentru a compromite sistemele IA. Actualizați și corectați în mod regulat componentele software.

Respectarea reglementărilor

• Riscuri legale și de reglementare: Strategie de atenuare: evaluați riscurile legale și de reglementare asociate cu dezvoltarea și implementarea IA. Asigurați-vă conformitatea cu protecția datelor, proprietatea intelectuală și reglementările specifice IA.

După ce s-au introdus proprietățile de securitate și pe baza modelului de referință al ciclului de viață IA introdus și a activelor identificate, următorul pas în metodologia luată în considerare presupune identificarea amenințărilor și vulnerabilităților. Pentru a identifica amenințările, se iau în considerare fiecare activ individual și ca grup și se evidențiază modurile de eșec relevante (42) în ceea ce privește proprietățile de securitate menționate mai sus. Prin identificarea amenințărilor la adresa activelor, suntem capabili să mapăm peisajul amenințărilor din sistemele IA. Mai mult, efectele identificării amenințării la adresa vulnerabilităților sistemelor IA sunt subliniate și prin referirea la manifestări specifice ale atacurilor. Acest lucru ar duce în viitor la introducerea unor măsuri și controale de securitate proporționale. (7)

Încorporați modelarea amenințărilor în ciclul de viață al dezvoltării IA, implicând echipe interfuncționale, considerente etice și monitorizare continuă. Actualizați în mod regulat modelele de amenințări pentru a se adapta la riscurile și vulnerabilitățile în evoluție din peisajul IA.

Concluzie

Inteligența artificială prezintă un potențial imens, dar este crucial să recunoaștem și să abordăm amenințările pe care le reprezintă. Provocările tehnice, etice și societale asociate cu IA necesită eforturi concertate din partea guvernelor, industriilor și cercetătorilor. Strategiile de atenuare, așa cum sa discutat, pot ajuta la atenuarea acestor amenințări, asigurând dezvoltarea și implementarea responsabilă a sistemelor IA. Prin abordarea proactivă a acestor provocări, putem valorifica beneficiile IA, minimizând în același timp riscurile și asigurând un viitor mai echitabil și mai etic pentru societate.

Bibliografie

• (1) ENISA, AI Cybersecurity Challenges – Threat Landscape for Artificial Intelligence, December 2020. Editora: Apostolos Malatras, Georgia Dede – European Union Agency for Cybersecurity. © European Union Agency for Cybersecurity (ENISA), 2020. Traducere și adaptare independentă: Nicolae Sfetcu
• (2) A se vedea Shostack, Adam (2014). „Threat Modeling: Designing for Security„. John Wiley & Sons Inc: Indianapolis.
• (3) A se vedea https://docs.microsoft.com/en-us/previous-versions/commerce-server/ee823878(v=cs.20). STRIDE este un acronim care reprezintă 6 categorii de amenințări, și anume falsificarea, manipularea datelor, repudierea, divulgarea informațiilor, refuzul serviciului și creșterea privilegiilor (Spoofing, Tampering with data, Repudiation, Information disclosure, Denial of Service și Elevation of privilege).
• (4) Identificarea vulnerabilităților nu a fost explorată pe larg aici, având în vedere că situațiile de utilizare specifice trebuie luate în considerare pentru a efectua acest pas.
• (5) Proprietățile de securitate specifice AI s-au bazat pe activitatea HLEG EC AI privind lista de evaluare pentru IA de încredere: https://ec.europa.eu/digital-single-market/en/news/assessment-list-trustworthy- inteligenta-artificiala-altai-autoevaluare
• (6) A se vedea https://link.springer.com/article/10.1186/s40887-018-0025-1
• (7) Sfetcu, Nicolae (2022) Introducere în inteligența artificială, MultiMedia Publishing, ISBN 978-606-033-659-4, DOI: 10.58679/MM36753, https://www.telework.ro/ro/e-books/introducere-in-inteligenta-artificiala/

Acesta este un articol cu Acces Deschis (Open Access) distribuit în conformitate cu termenii licenței de atribuire Creative Commons CC BY SA 4.0 (https://creativecommons.org/licenses/by-sa/4.0/).