Connexion
Astra a retouché les poids de Qwen pour qu'il puisse aller jusqu'au bout de sa réflexion
Comme vous le savez, je m'amuse beaucoup avec l'IA en ce moment. Bon, j'en cause surtout sur mon Patreon parce que sinon, je vous saoulerai grave avec toutes mes expériences mais ça c'est un truc que je tenterai bien à l'occasion. Je vous explique...
Cette semaine, 4 chercheurs du MIT CSAIL, Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, ont expliqué sur leur site comment ils ont demandé à GPT-6 Astra, le modèle d'OpenAI, de rendre Qwen3.5-0.8B meilleur en maths en retouchant directement ses poids, sans la moindre descente de gradient.
Et non seulement, l'IA d'OpenAI y est parvenu, mais en plus, le chiffre claque puisque le score sur MATH-500 de ce Qwen est passé de 7,9 % à 48,1 % suite à une modification par Astra de seulement 131 072 poids sur 0,8 milliard, soit 0,016 % du modèle.
Pour ceux qui arrivent (en armure comme Diam's ^^), les poids d'un réseau de neurones, c'est l'IMMENSE liste des nombres que l'entraînement ajuste petit à petit, et que presque personne ne sait ensuite retoucher à la main. C'est d'une telle complexité ! Mais avec un petit budget et 50 passes pour regarder comment le modèle répond à ses retouches, Astra lui à réussi !
Le point de départ des chercheurs, c'est que Qwen tournait en rond sur les problèmes de maths. Ainsi sur ses 96 premières réponses d'entraînement, 85 pédalaient dans la semoule jusqu'à atteindre la limite des 32 768 tokens et donc sans livrer de solution... Snif... Astra a donc remonté ces boucles une par une jusqu'à une direction écrite par les couches 15 et 19 du modèle, puis il l'a soustraite des poids. Et voilà comment la part des réponses interrompues à cause de cette limite en token est tombée de 93 % à 33 %.
Alors, Qwen est-il vraiment devenu bon en maths grâce à Astra ?
Hé bien pas vraiment, et ce sont les auteurs eux-mêmes qui le disent dans leur papier. En fait, réparer des boucles permet surtout au modèle de finir des réponses qu'il savait déjà trouver. Ils ont d'ailleurs refait l'essai sur Gemma 3 270M, un modèle qui boucle rarement, et là, aucune des retouches d'Astra n'a fait bougé le score MATH-500 de plus d'un point. Voilà, donc contrairement aux grandes annonces que j'ai pu lire de ci, de là, retoucher les poids de Qwen a juste permis de lever un obstacle qui cachait une capacité existante, mais n'a en aucun cas ajouté une capacité qui manquait.
Cette expérience a ensuite été refaite par Jonathan Coletti, sur Hugging Face, qui a réévalué les poids publiés avec le prompt, les réglages et le correcteur des auteurs. Et il est passé d'un Qwen à 7,4 % à un Qwen à 50,2 % après, réflexion activée bien sûr (le mode "Thinking" quoi). Ça confirme donc bien le papier.
Mais Jonathan a aussi tenté le coup avec le mode réflexion coupé et là, la retrouche a fait perdre au modèle un peu plus de 2 points.
Quoiqu'il en soit, cette retouche peut se rapprocher de l'effacement d'une direction dans les poids, ce qui en gros est la recette de l'abliteration qu'utilisent déjà ces outils qui virent la censure des LLM . Astra serait donc potentiellement capable de lever des limites sur des modèles open source (dont les poids sont dispo)... Intéressant non ?
Voilà, donc si vous faites tourner ce petit Qwen chez vous et que vous optez pour cette version retouchée par Astra, activez bien ce mode Thinking car avec lui, le modèle aura la bosse des maths !
Source : Sparks of Weight-Space Programming
