L’IA générative, nouvelle arme pour la pédocriminalité (rapport de la Fondation pour l’enfance)
Paru dans Scolaire, Périscolaire, Justice le vendredi 15 novembre 2024.
Mots clés : Fondation pour l'enfance, IA, pédocriminalité
La Fondation pour l’enfance a publié le 29 octobre un rapport intitulé "L’IA générative, nouvelle arme pour la pédocriminalité". Ce document met en évidence "les dangers insidieux" de cette technologie, désormais utilisée comme "une arme redoutable contre les enfants". Si la part des contenus pédocriminels générés par l’IA demeure encore faible au regard de l’ensemble des signalements, "la Fondation pour l’Enfance et ses partenaires tirent la sonnette d’alarme".
Entre les mains de "personnes mal intentionnées", l’IA générative peut être utilisée dans le but de produire du contenu pédocriminel. Le rapport de la Fondation reprend un constat établi par la Virtual Global Taskforce (alliance internationale de lutte contre les violences sexuelles faites aux enfants) qui souligne que "certains délinquants utiliseront des outils d’IA pour repérer des enfants à grande échelle, accélérant le processus en automatisant l’engagement avec une facilité déconcertante. En outre, les outils d’imagerie de l’IA peuvent générer de vastes volumes de matériel illégal en quelques secondes, y compris des images entièrement synthétiques et d’autres comprenant de vrais enfants. (…) La facilité et la disponibilité de la violence sexuelle générée par l’IA ne feront qu’aggraver la situation et créeront un environnement plus permissif pour les agresseurs, exposant un plus grand nombre d’enfants à la violence."
Ce phénomène cause des difficultés aux forces de l’ordre dans l’identification des enfants victimes car ils "peinent à distinguer les images non générées par l’IA de celles générées par l’IA, et donc à identifier les enfants victimes de violences". En effet, comme le soulève John Shehan (National Center for Missing and Exploited Children) interviewé par la Fondation pour l’enfance, "à ce stade, nous ne disposons pas d’un outil unique qui permette de savoir s’il s’agit ou non de contenu généré par l’IA. Il faut donc que la technologie rattrape un peu son retard". De plus, "l’inadéquation du cadre juridique et de la législation (…) donne aux cyberpédocriminels un sentiment d’impunité et de toute puissance", pointe le rapport.
Un chiffre issu d’un rapport de Protect Children (2021) est particulièrement frappant. "52% des consommateurs pensent que leur usage de contenus pédocriminels pourrait aboutir à une agression sur un enfant (44 % des consommateurs ont pensé à contacter des enfants et 37 % ont contacté des enfants au moins une fois)." Les contenus pédocriminels générés par l’IA sont parfois aussi utilisés par des délinquants pour "extorquer financièrement les victimes", ajoute John Shehan.
Au sujet des conséquences spécifiques des contenus pédocriminels générés par l’IA sur les victimes, la psychologue Mélanie Dupont, dont les propos sont intégrés au rapport, explique : "Il n’y a pas de littérature sur le sujet (ce qui est intéressant en soi, car cela montre qu’on est en retard), mais selon moi la création de contenus pédocriminels par l’IA générative, et donc l’impossibilité de contrôler son image va entraîner chez les victimes une intensification du sentiment de dépossession de soi. Cela pourrait avoir pour effet d’augmenter les troubles psychotiques chez les jeunes, et même une dépersonnalisation à se voir sur des images qui ne représentent pas leurs propres corps."
Pour protéger les mineurs de la cybercriminalité générée par l’IA, la Fondation pour l’enfance relève trois enjeux. D’abord, l’identification et la protection des enfants victimes. En deuxième lieu, "engager une réponse juridique et politique sociale coordonnée", dans un contexte actuel de vide juridique concernant "la création, la possession ou le partage d’un modèle d’IA générative conçu pour produire des contenus pédocriminels". Et enfin, "lutter contre l’intensification et la banalisation des violences sexuelles sur les enfants". En vue d’agir au plus vite, la Fondation préconise un plan de prévention, de détection, et de sanction, avec notamment l’amendement d’un article du Code pénal pour y insérer les fichiers ou représentations issus de l’IA.
Alors que les technologies liées à l’IA évoluent et que le secteur privé s’en empare très rapidement, "la plupart de ces outils ne sont pas conçus dès le départ dans une optique de sécurité, et les entreprises se disent qu’elles résoudront les problèmes plus tard, pointe John Shehan. Or, la sécurité des mineurs doit être pensée dès la conception de l’outil."
ToutEduc, média indépendant, assure un suivi exigeant de l’actualité des acteurs de l’éducation. Ce travail d’information a un prix, celui de vos abonnements. Pour vous permettre d’y accéder sans transfert de dépêches (sauf établissement scolaire), nous vous proposons des formules à tarifs dégressifs.