Conturi cu avatare AI sexualizate ale femeilor de culoare, eliminate de pe TikTok după o investigație BBC

Sursa foto: Imagine generată AI iAceastă imagine a fost generată automat de AI pe baza rezumatului articolului și nu reprezintă un moment real fotografiat.

O serie de conturi care foloseau avatare digitale ale femeilor de culoare, create cu ajutorul inteligenței artificiale și folosite pentru a direcționa utilizatorii spre site-uri cu conținut sexual plătit, au fost eliminate de pe TikTok după ce BBC a semnalat fenomenul.

Ce a descoperit investigația

Jurnaliștii BBC, în colaborare cu cercetătorii Jeremy Carrasco și Angel Nulani de la publicația independentă Riddance, au identificat zeci de conturi pe Instagram și TikTok care prezentau personaje digitale sexualizate, prezentate ca femei negrese. Majoritatea acestor conturi erau active pe Instagram, iar aproximativ o treime aveau versiuni și pe TikTok.

Imaginile și videoclipurile folosite erau generate prin inteligență artificială, dar nu erau etichetate ca atare, ceea ce pare a contraveni regulilor platformelor care cer indicarea conținutului realist creat de AI. Conturile, în multe cazuri, redirecționau prin lanțuri de linkuri către site-uri terțe unde erau promovate servicii sau conținut sexual plătit. Pe acele site-uri, imaginile erau etichetate ca fiind create de AI, însă postările de pe Instagram nu menționau această origine.

Caracteristici recurente ale avatarelor

Analiza arată că avatarele erau adesea prezentate cu următoarele trăsături:

• îmbrăcate sumar, în costume de baie foarte decupate sau haine revelatoare
• forme corporale exagerate
• tonuri de piele extrem de închise, manipulate digital pentru a părea artificiale

De asemenea, numele conturilor conțineau adesea termeni care făceau trimitere la culoarea pielii. Cercetătorii au observat frecvent cuvinte precum:

• negru
• negru
• întunecat
• eben

Mai multe dintre conturi foloseau mesaje sau comentarii care făceau aluzie la bărbați albi, cum ar fi formulări care exprimau preferințe pentru parteneri albi. Conturile se urmau și apreciau reciproc, creând astfel o impresie de rețea coordonată.

Cazul lui Riya Ulan: când material real este folosit pentru a crea un avatar

Unul dintre conturile eliminate de TikTok, dar care încă mai funcționa pe Instagram la momentul publicării descoperirilor, a atras atenția deoarece a folosit materiale ale unei persoane reale. Modelul Riya Ulan, stabilită în Malaezia, a observat că un cont prezentat ca fiind al unui personaj AI i-a luat și modificat videoclipurile.

Pe acel cont, fața unui avatar foarte întunecat și cu trăsături creat digital a fost suprapusă peste corpul și mișcările lui Riya, reproducând și elemente precum îmbrăcămintea și fundalul din clipurile ei autentice. Riya a descris situația ca fiind înfurietoare și a subliniat că, deși videoclipurile ei sunt publice, acest lucru nu le dă altora dreptul de a le fura și posta ca și cum ar fi ale lor.

Impactul a fost semnificativ: unul dintre videoclipurile manipulate a acumulat peste 35 de milioane de vizualizări pe TikTok și 173 de milioane pe Instagram, cifre mult peste audiența originală a lui Riya. În timp ce cele trei videoclipuri care corespundu-au conținut original nu erau sexuale, contul AI afișa în alte materiale aceeași figură digitală în ipostaze mai provocatoare sau în haine sumare. Din contul respectiv pleca o succesiune de linkuri care conduceau până la conținut sexual plătit.

Riya a raportat contul ambelor platforme de mai multe ori, dar spune că mesajele ei inițiale nu au dus la eliminarea imediată a materialului. TikTok a luat măsuri doar după ce BBC a solicitat un comentariu.

Reacții din partea cercetătorilor și creatorilor de conținut

Angel Nulani, unul dintre analiștii implicați în investigație, consideră că aceste conturi sunt rasiste prin natura lor, deoarece perpetuează o lungă istorie de exploatare a femeilor de culoare. Ea afirmă că folosirea caricaturilor, a termenilor legați de jocuri de rol rasiale și a reprezentărilor nerealiste arată că siguranța și bunăstarea acestor femei nu sunt prioritare; scopul pare a fi obținerea de profit din industria pornografică online.

Jeremy Carrasco a subliniat că noutatea constă în cantitatea mare de reprezentări rasiste, care portretizează persoane cu piele extrem de închisă într-un mod exagerat. Potrivit lui, instrumentele AI fac mai ușor procesul de a crea nuanțe de piele nenaturale și efecte care în trecut ar fi necesitat animație sau pictură corporală; în plus, nu există consecințe sociale pentru un avatar, un fapt pe care tehnologia îl exploatează.

Creatorul de conținut Houda Fonone, model și activistă marocană pentru reprezentări autentice ale femeilor de culoare, a descris tendința drept o formă de „ștergere” a experiențelor reale. Ea spune că standardele impuse — părul mătăsos, siluetele extrem de subțiri și pielea perfectă — transmit mesajul că frumusețea neagră este acceptată doar atunci când este „rafinată”, iar astfel poveștile reale și experiențele de viață sunt înlocuite de imagini artificiale care pot întări stereotipuri dăunătoare.

Măsurile luate de platforme

BBC a trimis exemple ale conturilor identificate către Meta, compania mamă a Instagram, și către TikTok, cerând reacții. Două zile după această solicitare, un purtător de cuvânt al TikTok a comunicat că platforma a eliminat conținut și a interzis conturi care încalcă regulile sale. În câteva zile, 20 de conturi au fost etichetate drept „interzise” în aplicație.

TikTok a declarat că interzice conținutul generat cu inteligență artificială care folosește persoane fără permisiunea acestora și că are toleranță zero pentru promovarea de servicii sexuale în afara platformei. Compania a mai spus că elimină conținut generat de AI care este dăunător sau înșelător și cere utilizatorilor să eticheteze conținutul realist generat de AI; în plus, a aplicat etichetări corecte pentru o serie de videoclipuri.

Meta a anunțat că investighează materialele semnalate de BBC și că are politici care obligă la informarea utilizatorilor atunci când se confruntă cu postări create cu AI. În urma investigației jurnalistice, nouă conturi de Instagram urmărite de BBC par să fi dispărut.

Atât Meta, cât și TikTok nu au oferit însă detalii publice privind modul în care au răspuns inițial la sesizările făcute de Riya Ulan.

Semnificația problemelor identificate

Cazurile semnalate de investigație ridică întrebări despre cum tehnologiile AI, combinate cu mecanismele de monetizare și distribuție ale platformelor sociale, pot accelera răspândirea reprezentărilor dăunătoare și exploatatoare. În lipsa unei etichetări clare și a unor verificări eficiente, utilizatorii pot fi duși în eroare, iar victimele ale căror imagini sau materiale au fost folosite pot rămâne fără remediu rapid.

De asemenea, fenomenul arată modul în care interesele comerciale și traficul de utilizatori pot alimenta rețele care profită de imaginile sexualizate, chiar atunci când acestea sunt evidente produse ale unor instrumente digitale. Cercetătorii și creatoarele de conținut trag un semnal de alarmă privind riscul ca vocile reale ale femeilor de culoare să fie suprascrise de reprezentări artificiale, stereotipe și adesea rasiste.

Ce urmează

Deocamdată, răspunsul platformelor a inclus eliminări de conturi pe TikTok și investigații la Meta. Rămâne însă neclar câte dintre conturile identificate inițial au dispărut definitiv sau vor reapărea sub alte forme. Investigația BBC a scos în evidență atât capacitatea AI de a produce conținut convingător, cât și nevoia de politici și practici mai ferme ale platformelor pentru a proteja persoanele reale și a preveni exploatarea online bazată pe rasă.

Articolul a fost realizat pe baza investigației publicate de BBC și a cercetărilor colaboratorilor de la Riddance.