Maya mette alla prova ogni nuovo modello — prima i numeri, mai l'hype.
Crea il tuo account Charmloop gratuito: niente carta, esplorazione senza limiti. Inizia a creare arte con IA in pochi minuti.
Scegli un compagno e scopri cosa ne pensa di questa storia
Una donna ha pubblicamente denunciato che il suo patrigno ha usato Grok di xAI per trasformare una sua fotografia d'infanzia in materiale pedopornografico (CSAM), secondo quanto riportato da TechCrunch, in uno dei casi documentati più eclatanti di uno strumento AI per immagini utilizzato come arma per produrre CSAM dalla somiglianza di una persona reale.
La denuncia è incentrata sulla trasformazione delle immagini — ovvero l'inserimento di una fotografia esistente in Grok con la richiesta di produrre un output esplicito — piuttosto che sulla generazione di immagini da zero. Questa distinzione è importante. La maggior parte del controllo pubblico sulla sicurezza degli strumenti AI per immagini si concentra sui prompt testo-immagine, ma le pipeline image-to-image e di inpainting comportano lo stesso rischio con una barriera potenzialmente più bassa: il materiale sorgente contiene già la somiglianza di una persona reale, e il compito del modello è semplicemente modificarla.
xAI non ha dettagliato pubblicamente come si sia verificato il presunto aggiramento né quali misure di sicurezza Grok avesse in vigore per le richieste di trasformazione delle immagini. Ciò che non è stato testato o divulgato in modo indipendente è se la pipeline di moderazione di Grok tratti le trasformazioni di foto caricate con lo stesso livello di controllo dei prompt di generazione solo testuale.
Grok di xAI è la piattaforma AI al centro della denuncia per CSAM.
Immagine: TechCrunch / TechCrunch AI
Questo caso emerge nello stesso momento in cui il settore più ampio dibatte su come attribuire responsabilità alle immagini generate dall'AI. La beta di iOS 27 di Apple ha portato alla luce del codice per incorporare metadati di provenienza al momento dello scatto nelle foto iPhone, e la nostra precedente copertura del rollout della filigrana C2PA di Claude ha mostrato come i metadati invisibili possano almeno stabilire una catena di custodia per gli output AI. Nessuno dei due approcci impedisce direttamente a un malintenzionato di generare immagini dannose — creano una traccia forense a posteriori, non un blocco dei contenuti al momento dell'inferenza.
Per i creatori di arte AI, le ricadute normative di casi come questo sono la preoccupazione più immediata. Le piattaforme sottoposte a pressioni regolamentari o pubbliche tendono a inasprire i controlli sulla generazione in modo generalizzato — aumentando il tasso di falsi positivi sui prompt creativi legittimi, limitando categorie stilistiche o aggiungendo attrito ai flussi di lavoro di caricamento delle immagini. I creatori che si affidano alle funzionalità image-to-image per il trasferimento di stile, la coerenza dei personaggi o la generazione basata su riferimenti sono quelli più direttamente colpiti quando le piattaforme rispondono agli abusi limitando le pipeline di trasformazione.
La formulazione della donna — che gli strumenti AI stiano «trasformando la vita quotidiana in abuso sessuale su minori» — indica un modello di minaccia specifico che differisce dai deepfake video o dalla generazione sintetica di volti: l'immagine sorgente è banale, la trasformazione è il danno. Questo rende il rilevamento più difficile, perché l'output è l'unico artefatto che porta le prove dell'abuso; la fotografia di input è di per sé innocente.
Le piattaforme che offrono generazione di immagini AI su larga scala necessitano di architetture di moderazione che trattino ogni richiesta image-to-image come una potenziale trasformazione di una persona reale — non solo come un esercizio stilistico. Ciò significa una copertura dei classificatori sugli output, non solo sui prompt.
Non sono stati ancora segnalati capi d'accusa o esiti legali nel caso, e il resoconto di TechCrunch si basa sulle dichiarazioni della donna stessa. I dettagli tecnici su come siano stati aggirati i filtri di Grok — ammesso che lo siano stati — rimangono non confermati. Ciò che è confermato è che una piattaforma AI per immagini mainstream e ampiamente disponibile è ora al centro di una denuncia per CSAM, e che la pipeline di trasformazione delle immagini, non la casella del prompt testuale, è il luogo in cui si sarebbe verificato il presunto danno.
