Cele 5 mari riscuri pe care AI-ul generativ le aduce: de la manipulare socială prin ”halucinații și fabricații” la securitatea cibernetică. Ce măsuri trebuie să ia autoritățile și companiile pentru a ne proteja

Avivah Litan, vicepreședinte analist la Gartner, a explicat ce trebuie să știe liderii responsabili de dezvoltarea AI în ceea ce privește încrederea, gestionarea riscurilor și securitatea AI-ului și a arătat care sunt unele dintre cele mai semnificative riscuri pe care le prezintă inteligența artificială generativă în prezent.

”Realitatea este că dezvoltarea AI-ul generativ nu se oprește. Organizațiile trebuie să acționeze acum pentru a formula o strategie cuprinzătoare la nivelul întreprinderii pentru încredere, gestionarea riscurilor și securitatea AI (AI TRiSM). Există o nevoie urgentă de o nouă clasă de instrumente AI TRiSM pentru a gestiona fluxurile de date și de proces între utilizatori și companiile care găzduiesc modele fundamentale AI generative”, spune Avivah Litan.

Prin adoptarea unor abordări responsabile și prin luarea măsurilor de securitate adecvate, organizațiile pot exploata în mod eficient potențialul tehnologiei generative de inteligență artificială. Însă, pentru a minimiza riscurile asociate, liderii din organizații trebuie mai întâi să cunoască care sunt aceste riscuri.

Potrivit acesteia, inteligența artificială generativă ridică o serie de consecințe negative noi, și anume:

„Halucinațiile” și fabricațiile, inclusiv erorile factuale, sunt unele dintre cele mai persistente probleme care apar deja cu soluțiile de chatbot bazate pe inteligența artificială generativă. Datele de antrenament pot duce la răspunsuri părtinitoare, neadecvate sau greșite, dar acestea pot fi dificil de identificat, în special în contextul în care soluțiile devin tot mai credibile și sunt tot mai mult utilizate.

Deepfake-urile, atunci când inteligența artificială generativă este utilizată pentru crearea de conținut cu intenții malefice, reprezintă un risc semnificativ asociat inteligenței artificiale generative. Aceste imagini false, videoclipuri și înregistrări audio au fost folosite pentru a ataca celebrități și politicieni, pentru a crea și răspândi informații înșelătoare și chiar pentru a crea conturi false sau a prelua și a sparge conturi legitime existente.

Un exemplu recent a fost reprezentat de o imagine generată de inteligența artificială în care Papa Francisc purta o jachetă puf albă și la modă, care a devenit virală pe rețelele sociale. Deși acest exemplu părea inofensiv, a oferit o privire asupra unui viitor în care deepfake-urile creează riscuri semnificative pentru reputație, falsificări, fraude și riscuri politice pentru persoane, organizații și guverne.

Confidențialitatea datelor: Angajații pot expune ușor date sensibile și proprietare ale întreprinderii în interacțiunea cu soluțiile de chatbot bazate pe inteligența artificială generativă. Aceste aplicații pot stoca informațiile capturate prin intermediul introducerii utilizatorilor și pot utiliza chiar aceste informații pentru antrenarea altor modele, compromițând astfel confidențialitatea. În cazul unei încălcări a securității, astfel de informații ar putea ajunge în mâinile greșite.

Probleme de drepturi de autor: Chatbot-urile bazate pe inteligența artificială generativă sunt antrenate pe o cantitate mare de date de pe internet, care pot include materiale protejate prin drepturi de autor. Ca rezultat, unele rezultate pot încălca drepturile de autor sau protecțiile privind proprietatea intelectuală. Fără referințe la surse sau transparență în ceea ce privește modul de generare a rezultatelor, singura modalitate de a reduce acest risc este ca utilizatorii să examineze atent rezultatele pentru a se asigura că nu încalcă drepturile de autor sau drepturile de proprietate intelectuală.

Îngrijorări privind securitatea cibernetică: Pe lângă amenințările mai avansate de manipulare socială și phishing, atacatorii ar putea utiliza aceste instrumente pentru a genera mai ușor coduri malitioase. Furnizorii care oferă modele fundamentale de inteligență artificială generativă asigură clienții că antrenează modelele lor pentru a respinge cereri malitioase de securitate cibernetică; totuși, ei nu oferă utilizatorilor instrumentele necesare pentru a evalua eficient toate controalele de securitate implementate.

Furnizorii pun, de asemenea, un mare accent pe abordările de „red teaming”. Aceste afirmații presupun că utilizatorii trebuie să aibă încredere deplină în abilitățile furnizorilor de a atinge obiectivele de securitate.

Vicepreședintele analist al Gartner îndeamnă dezvoltatorii de AI să colaboreze ”urgent cu factorii de decizie, inclusiv cu noile autorități de reglementare care pot apărea, pentru a stabili politici și practici pentru supravegherea și gestionarea riscurilor AI generative”.

Aceasta a mai menționat că există două abordări generale în exploatarea ChatGPT și a aplicațiilor similare. Utilizarea modelului așa cum este oferă aceste servicii fără personalizare directă. Abordarea bazată pe ingineria prompt-urilor utilizează instrumente pentru a crea, ajusta și evalua intrările și ieșirile prompt-urilor.

Analistul recomandă organizațiilor să implementeze revizuiri manuale ale tuturor rezultatelor modelului pentru a detecta rezultate incorecte, neinformate sau cu prejudecăți. ”Este important să se stabilească un cadru de guvernanță și conformitate pentru utilizarea acestor soluții în cadrul întreprinderii, inclusiv politici clare care interzic angajaților să formuleze întrebări care expun date sensibile organizației sau personale”.

”Organizațiile ar trebui să monitorizeze utilizările neautorizate ale ChatGPT și a soluțiilor similare cu ajutorul controalelor de securitate existente și a tablourilor de bord pentru a detecta încălcările de politică. De exemplu, firewall-urile pot bloca accesul utilizatorilor din cadrul întreprinderii, sistemele de gestionare a informațiilor și evenimentelor de securitate pot monitoriza jurnalele de evenimente pentru a depista încălcările, iar gateway-urile web securizate pot monitoriza apelurile API interzise”, continuă aceasta.

În plus, pentru utilizarea bazată pe ingineria prompt-urilor, trebuie să se ia măsuri pentru a proteja datele interne și alte date sensibile utilizate pentru a crea prompt-uri pe infrastructura unor terți. ”Prompt-urile create și stocate pot fi considerate active imutabile. Aceste active pot reprezenta prompt-uri inginerite verificate, care pot fi utilizate în siguranță”.