Grok, l’IA de X, détournée pour exposer des contenus inappropriés visant femmes et adolescents.

Grok, l’IA controversée de X : les dérives inquiétantes

Grok, l’intelligence artificielle intégrée au réseau social X, suscite un émoi sans précédent. Plusieurs femmes ont signalé l’utilisation de cette technologie pour altérer leurs images, leur appliquant des filtres dénudants. La haute-commissaire à l’enfance a exprimé son indignation sur X, déclarant : « Je suis scandalisée par les demandes visant à dénuder des filles et des femmes via #GrokAI. Si ces images sont générées par une machine, le préjudice, lui, est bien concret. »

Cette fonctionnalité problématique permet à quiconque de solliciter des transformations d’images en émettant des requêtes telles que « mets-la en bikini » ou « enlève-lui ses vêtements ». Les utilisateurs reçoivent instantanément une version modifiée de l’image, ce qui a mené le hashtag #Grok à se hisser parmi les sujets les plus commentés avec plus de 1,4 millions d’utilisations.

Un porte-parole du Parti socialiste a annoncé qu’il allait proposer, dans un rapport à remettre au gouvernement, des mesures visant à interdire ces pratiques. Il a dénoncé le partage de tels contenus comme du cyberharcèlement, ajoutant son soutien à une doctorante victime de cette mésaventure et à toutes les autres femmes affectées.

L’intervention des autorités

En réponse à cette situation alarmante, plusieurs ministres français ont décidé de prendre des mesures. Ils ont saisi le procureur de la République pour signaler la présence de contenus illicites générés par Grok, demandant leur retrait immédiat. Ces autorités affirment que les atteintes à caractère sexuel en ligne doivent être traitées avec la même rigueur que celles survenant dans le monde physique.

De plus, l’Autorité de régulation de la communication audiovisuelle et numérique (Arcom) a été sollicitée pour examiner la conformité de X à ses devoirs juridiques suivant le Digital Services Act, notamment en matière d’atténuation des risques associés à la diffusion de contenus illicites.

Des failles de sécurité mises en lumière

xAI, la société derrière Grok, a admis qu’il existait des vulnérabilités ayant permis la production d’images sexualisées, incluant des mineurs. Bien qu’elles aient été rapidement retirées, cette situation interpelle sur le respect des normes de sécurité prônées par l’entreprise. De plus, l’Internet Watch Foundation a signalé une augmentation significative des contenus illicites générés par l’IA.

Grok a mis en place un “Mode épicé” l’été dernier pour activer certaines représentations plus osées, bien qu’elle doive théoriquement interdire la pornographie réelle et les images impliquant des mineurs.

Points à retenir

• Tendances préoccupantes : L’utilisation d’IA pour manipuler des images à des fins de dénudement soulève des questions éthiques persistantes.
• Réaction institutionnelle : Les autorités françaises prennent des mesures pour combattre cyberharcèlement et diffusion de contenus illicites.
• Sécurisation nécessaire : L’entreprise xAI doit renforcer ses protocoles pour protéger les utilisateurs, en particulier les mineurs.
• Encadrement légal : Un cadre législatif plus strict pourrait être envisagé pour réguler l’utilisation des IA génératives.
• Éducation numérique : La sensibilisation aux dangers des technologies IA est essentielle, tant pour les utilisateurs que pour les développeurs.