Comme vous le savez, je m'amuse beaucoup avec l'IA en ce moment. Bon, j'en cause surtout sur mon Patreon parce que sinon, je vous saoulerai grave avec toutes mes expériences mais ça c'est un truc que je tenterai bien à l'occasion. Je vous explique...

Cette semaine, 4 chercheurs du MIT CSAIL, Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, ont expliqué sur leur site comment ils ont demandé à GPT-6 Astra, le modèle d'OpenAI, de rendre Qwen3.5-0.8B meilleur en maths en retouchant directement ses poids, sans la moindre descente de gradient.

Et non seulement, l'IA d'OpenAI y est parvenu, mais en plus, le chiffre claque puisque le score sur MATH-500 de ce Qwen est passé de 7,9 % à 48,1 % suite à une modification par Astra de seulement 131 072 poids sur 0,8 milliard, soit 0,016 % du modèle.

Pour ceux qui arrivent (en armure comme Diam's ^^), les poids d'un réseau de neurones, c'est l'IMMENSE liste des nombres que l'entraînement ajuste petit à petit, et que presque personne ne sait ensuite retoucher à la main. C'est d'une telle complexité ! Mais avec un petit budget et 50 passes pour regarder comment le modèle répond à ses retouches, Astra lui à réussi !

Le point de départ des chercheurs, c'est que Qwen tournait en rond sur les problèmes de maths. Ainsi sur ses 96 premières réponses d'entraînement, 85 pédalaient dans la semoule jusqu'à atteindre la limite des 32 768 tokens et donc sans livrer de solution... Snif... Astra a donc remonté ces boucles une par une jusqu'à une direction écrite par les couches 15 et 19 du modèle, puis il l'a soustraite des poids. Et voilà comment la part des réponses interrompues à cause de cette limite en token est tombée de 93 % à 33 %.

Alors, Qwen est-il vraiment devenu bon en maths grâce à Astra ?

Hé bien pas vraiment, et ce sont les auteurs eux-mêmes qui le disent dans leur papier. En fait, réparer des boucles permet surtout au modèle de finir des réponses qu'il savait déjà trouver. Ils ont d'ailleurs refait l'essai sur Gemma 3 270M, un modèle qui boucle rarement, et là, aucune des retouches d'Astra n'a fait bougé le score MATH-500 de plus d'un point. Voilà, donc contrairement aux grandes annonces que j'ai pu lire de ci, de là, retoucher les poids de Qwen a juste permis de lever un obstacle qui cachait une capacité existante, mais n'a en aucun cas ajouté une capacité qui manquait.

Cette expérience a ensuite été refaite par Jonathan Coletti, sur Hugging Face, qui a réévalué les poids publiés avec le prompt, les réglages et le correcteur des auteurs. Et il est passé d'un Qwen à 7,4 % à un Qwen à 50,2 % après, réflexion activée bien sûr (le mode "Thinking" quoi). Ça confirme donc bien le papier.

Mais Jonathan a aussi tenté le coup avec le mode réflexion coupé et là, la retrouche a fait perdre au modèle un peu plus de 2 points.

Quoiqu'il en soit, cette retouche peut se rapprocher de l'effacement d'une direction dans les poids, ce qui en gros est la recette de l'abliteration qu'utilisent déjà ces outils qui virent la censure des LLM . Astra serait donc potentiellement capable de lever des limites sur des modèles open source (dont les poids sont dispo)... Intéressant non ?

Voilà, donc si vous faites tourner ce petit Qwen chez vous et que vous optez pour cette version retouchée par Astra, activez bien ce mode Thinking car avec lui, le modèle aura la bosse des maths !

Source : Sparks of Weight-Space Programming

Les amis, insomnie depuis 3h du mat (ouais j'ai des soucis ^^), alors quoi de mieux que de bosser un peu ! J'avais cet article en brouillon depuis hier et comme j'ai trouvé ça super joli, je vous en parle ! Il s'agit de DiscImageStudio qui est un logiciel qui permet de transformer une image en données à graver sur un CD, un DVD ou encore un BD-R pour les plus riches d'entre vous, et une fois le disque écrit, hé bien votre dessin apparaît à l'œil nu sur sa surface.

Regardez-moi ça comme c'est beau :

Un dessin gravé par DiscImageStudio

L'idée n'est pas nouvelle puisqu'elle vient du projet CDImage , dont l'auteur avait jeté l'éponge en 2008 parce qu'il fallait calibrer l'image pour chaque marque et chaque type de disque. DiscImageStudio est donc reparti de ce code d'entrelacement pour les CD, et y a ajouté le DVD et le BD-R simple couche de 25 Go (ce dernier en mode expérimental...).

Sous Windows, vous importez donc votre image, vous faites vos petits réglages au niveau des calques, vous réglez le tramage, et puis vous exportez le tout ou vous gravez ça direct.

Pour un CD, ce qui est exporté c'est un WAV accompagné de son CUE (cdrecord ou ImgBurn savent le graver), et si c'est c'est un DVD ou un BD-R, ce que vous aurez à l'export c'est une ISO. Et vous pouvez même ajouter un dossier contenant quelques fichiers sur l'anneau intérieur ou extérieur du disque afin qu'il y ait quand même quelque chose de lisible dessus. Et dans ce cas, l'export CD sera là aussi une ISO de données.

L'onglet de conception, avec calques et tramage

Le vrai casse-tête étant la géométrie propre à chaque référence de disque (et c'est ça la raison de l'abandon de CDImage comme je vous le disais plus haut), DiscImageStudio embarque 5 préréglages calibré sur 3 modèles Verbatim, et 2 Ritek.

Pour un autre modèle de disque gravable, il faudra donc passer donc par une calibration assistée. En gros, vous gravez une mire, vous la photographiez, vous marquez une ligne à la main, et le programme cherche alors les paramètres qui la "redressent". Mais le résultat peut être hasardeux donc vérifiez bien la courbe prédite sur votre photo avant d'appliquer les paramètres.

Côté système, l'interface, calibration et gravure directe comprises, exige un Windows 10 2004 ou plus récent. Sur Mac et Linux, la version 1.3.6 sortie récemment dispose d'un mode expérimental en ligne de commande qui génère seulement les images disque, et c'est ensuite à vous de les graver, par exemple en ligne de commande ou avec le logiciel de votre choix.

Voilà, si vous avez des disques vierges dont vous ne faites rien et que vous n'avez pas peur d'en gâcher, ça peut vous faire de jolis éléments de déco.

Source : DiscImageStudio sur GitHub