Sachez-le, les amigos, je reprendrai mes lives Twitch début septembre, parce que là j'ai pas vraiment le temps et qu'il fait trop trop chaud. Mais ça ne m'empêche pas de surveiller ce qui s'y passe... Car pendant que la chaîne dort, faut savoir que Twitch a ajouté un réglage que personne n'a demandé comme d'hab : une case qui autorise Amazon à entraîner ses modèles d'IA générative sur le contenu de votre chaîne. Et bien sûr, comme d'hab, c'est coché par défaut.

L'annonce n'est pas passée par le blog officiel mais discrètement via un message du compte Twitch Support sur X, le 12 août, pour expliquer qu'on peut désormais refuser ça. Donc si vous ne faites rien, vous avez déjà accepté...

Alors c'est pas très très nouveau cette histoire d'entraîner des IA avec le contenu des streams puisque dès 2024 , lors d'un événement organisé par The Information, les journalistes demandaient à Mike Minton, alors directeur de la monétisation de Twitch, si Amazon se servait de la plateforme pour entraîner ses modèles. Et sa réponse c'était "Ouais, carrément."

Il précisait quand même que ça se faisait "dans les limites de la confiance des utilisateurs et des réglementations sur la vie privée" et depuis Minton est passé directeur produit, et c'est lui qui a "justifié" en direct la case cochée d'office en expliquant que "* Si c'était en opt-in, personne ne cocherait.*" Au moins c'est clair... J'sais pas si l'IA Act Européen a tenu compte de ce genre de chose mais visiblement, ça ne les concerne pas trop.

Voilà, ce réglage est visible sur tous les comptes, que vous streamiez tous les soirs ou que vous n'allumiez jamais votre webcam. Il couvre vos streams, vos VODs, vos clips, le chat de votre chaîne, ses images et ses textes. Twitch donne comme exemple d'usage, votre voix, qui peut affiner des modèles de reconnaissance vocale réutilisés bien au-delà de la plateforme. Bref, encore un endroit où il est nécessaire de reprendre la main sur ses données .

Décocher la case

Direction twitch.tv/settings/security , la page Sécurité et confidentialité de votre compte. Descendez jusqu'à la section Privacy, tout en bas : le réglage s'appelle "Training for Generative AI". Basculez-le sur off et votre contenu sort du périmètre d'entraînement.

Voilà c'est tout.

Il y a aussi un petit détail que la FAQ de Twitch glisse discrètos... Quand vous écrivez dans le chat d'une autre chaîne, c'est le réglage de cette chaîne qui décide du sort de vos messages, et pas le vôtre. Vous pouvez donc avoir tout coupé chez vous et nourrir quand même l'entraînement IA, ailleurs. Et c'est pareil dans l'autre sens. Ce que vos viewers tapent chez vous suit votre réglage à vous, donc si vous respectez vos viewers, vaut mieux décocher cette case.

Après le refus ne coupe ni AutoMod ni les sous-titres automatiques, qui tournent sans nourrir de modèle génératif et surtout il ne remonte pas le temps puisque ce qui a déjà servi à entraîner l'IA par le passé y restera. Snif.

Source

Md Jueal Mia et Hadi Amini, deux chercheurs de Florida International University , ont mis au point une méthode qu'ils ont baptisée JaiLIP qui permet de forger une image capable de contourner les garde-fous des LLM pour les jailbreaker.

Pour cela, ils utilisent 2 techniques en simultanée. La première dit à l'image "reste identique à l'originale, qu'aucun humain ne voie la moindre différence" et la seconde dit "pousse le modèle à cracher la réponse interdite". Ainsi, en poussant ces 2 curseurs d'un coup, ils obtiennent une photo qui au premier abord a l'air normale mais qui fait dérailler les modèles IA.

Vous, vous repérez un chat, des contours, une scène et vous lui courez derrière pour lui faire des papouilles. L'IA, elle voit une grille de chiffres et des corrélations entre pixels. Du coup sa vie est nulle mais surtout, une retouche minuscule, totalement invisible à votre œil, suffit à déplacer ce qu'elle comprend de l'image.

Sur leurs tests, l'image trafiquée a quasiment doublé la part de réponses dangereuses par rapport à la même image laissée intacte, la toxicité étant mesurée avec des outils standards du domaine. Dans l'un de leurs exemples, ils ont trafiqué une image de signalisation routière qui a permis au modèle ensuite d'expliquer OKLM comment ignorer les règles de circulation et éviter les PV.

Les chercheurs ont testé l'attaque sur deux modèles vision-langage open source, BLIP-2 et MiniGPT-4. GPT-4V, Gemini et les autres gros modèles fermés, eux, n'ont pas été testés dans l'étude. Donc non, contrairement à ce que j'ai pu lire par ci et par là, ce n'est pas une faille prouvée dans ChatGPT ou peu importe l'assistant IA que vous utilisez tous les jours.

Et tromper une IA avec une image bricolée, ça existe depuis une bonne dizaine d'années. Mais la nouveauté de JaiLIP, c'est surtout sa recette d'optimisation. En jouant sur les deux pertes à la fois, l'image reste plus discrète à l'œil tout en se montrant un cran plus efficace que les bidouilles précédentes.

Et ce genre de détournement nous concerne tous parce que des modèles qui regardent des images, il y en a partout maintenant. Les agents IA qui bossent à partir de captures d'écran, les assistants à qui vous balancez vos photos, sans oublier la modération automatique qui trie les images avant publication. À cause de ça, l'image est dorénavant un canal d'attaque, exactement comme l'était déjà le texte...

On l'a vu avec le son inaudible qui pirate les assistants vocaux , on l'a vu avec les IA qu'on manipule sans qu'elles s'en aperçoivent , et c'est toujours la même logique qui revient. Ce n'est pas parce qu'en tant qu'humain, nous ne percevons rien, que l'IA elle n'est pas capable de capter le message 5/5.

Le cousin de cette attaque, côté perception, c'est par exemple le sticker qui trompe une voiture autonome . Et côté parade, nos chercheurs esquissent une piste légère : virer au hasard 10 à 30% des mots passés en entrée, histoire de casser l'attaque sans réentraîner le modèle.

Prometteur d'après eux, mais c'est pas encore une solution blindée. Pour le reste, leurs conseils tiennent du bon sens : Ne passez pas d'infos sensibles en image à un modèle, limitez qui peut envoyer des images à vos systèmes, et auditez sérieusement la sécurité avant de mettre un VLM en prod.

C'est pas le graal mais c'est mieux que rien. Bref méfiez vous des images que vous donnez à vos IA. On ne sait jamais.

Source : le papier JaiLIP sur arXiv