Među žrtvama čije su slike seksualizirane našle su se privatne građanke, brojne poznate glumice, pa čak i Prva dama Sjedinjenih Država, a neke od manipuliranih slika prikazivale su i maloljetnice. Ubrzo je uočen još mračniji i mučniji oblik ovog trenda: korisnici su od Groka počeli tražiti da generira slike koje prikazuju stvarne žene kako ih se seksualno zlostavlja, ponižava, ozljeđuje, pa čak i ubija.

Na meti najranjivije skupine

Velik dio ovog nasilnog sadržaja bio je usmjeren na online modele i seksualne radnice, skupine koje se već suočavaju s nerazmjerno visokim rizikom od nasilja u stvarnom životu. Jedna od uznemirujućih slika generiranih Grokom prikazivala je poznatu manekenku vezanu u prtljažniku automobila, kako sjedi na plavoj ceradi pored lopate – jasno aludirajući na to da će biti ubijena.

Druge slike uključivale su eksplicitne zahtjeve korisnika da Grok stavi žene u scenarije napada, što je bilo očito iz uputa chatbotu da žene „izgledaju prestrašeno“. Neki su korisnici tražili da se na tijela žena ispišu ponižavajuće fraze, dok su drugi zahtijevali da im Grok doda vidljive ozljede poput modrica i podljeva.

Neželjene slike

Mnoge slike prikazivale su žene vezane protiv svoje volje, a zabilježen je i slučaj gdje je korisnik zatražio stvaranje incestuozne pornografije, što je chatbot bez problema izvršio. Činjenica da se chatbot integriran u društvenu mrežu tako lako mogao pretvoriti u stroj za generiranje nasilnih i neželjenih slika stvarnih žena sama po sebi je problematična.

Dodatno zabrinjava to što su se kreatori ovih slika često ponašali kao da je riječ o igri ili memu, pristupajući svemu s dozom smijeha i ravnodušnosti. Takva nonšalancija može ukazivati na opasnu normalizaciju sadržaja stvorenog bez pristanka, koji je ranije bio potisnut u mračne kutke interneta.

U međuvremenu, žene i djevojke i dalje se suočavaju sa stvarnom štetom uzrokovanom deepfakeovima, koje je lakše nego ikad generirati zahvaljujući AI alatima. Jučer se oglasio sam Musk, vlasnik X-a i xAI-ja, koji je na društvenoj mreži zamolio korisnike da „nam pomognu učiniti Grok što savršenijim“. „Vaša podrška“, dodao je, „vrlo je cijenjena“.