Connexion
GPT-5.6 Sol efface la prod - Un an après Replit, rebelote
Vous vous souvenez de Jason Lemkin ?
C'est le malheureux qui, en juillet de l'année dernière, s'est fait vider sa base de prod par l'IA de Replit. Je pense que cette histoire a traumatisé pas mal de développeurs. Eh bien les amis, rebelote avec GPT 5.6 Sol, qui le temps que vous finissiez votre café, avait déjà mangé le Mac de Matt Shumer , la base Neon de Bruno Lemos , les fichiers de Joey Kudish , et la crédibilité du mot "honnête".
Sorti le 9 juillet, Sol c'est le plus costaud de la nouvelle famille d'OpenAI, et on pourrait se dire qu'il est un peu plus intelligent qu'avant et embarque quand même des sécurités pour éviter ce genre de problème. Mais non.
C'est Shumer, qui est quand même investisseur dans l'IA, qui a ouvert le bal : "GPT-5.6-Sol vient de supprimer par accident PRESQUE TOUS les fichiers de mon Mac." Lemos, lui, a eu droit au grand jeu (le veinard) puisque le modèle lui a tout bien fait jusqu'au moment où il a décidé de faire un TRUNCATE TABLE sur sa base utilisateurs EN PROD !!
Le plus drôle, si je puis dire, c'est que quelques heures avant de tout perdre, Lemos était en train de défendre GPT 5.6 sur le Slack de sa société en expliquant que Shumer n'avait qu'à pas le lancer en mode full access. Oups... Les collègues ont dû bien se foutre de sa gueule.
Du coup OpenAI a mis ses meilleurs Colombos sur l'enquête et sa réponse vaut le détour. Thibault Sottiaux, qui dirige l'ingénierie de Codex, explique le mécanisme : "Le modèle tente d'écraser la variable d'environnement $HOME pour définir un dossier temporaire. Il fait une erreur honnête et supprime $HOME par erreur à la place."
En français, ça veut dire que le modèle voulait se bricoler un petit dossier temporaire pour bosser et malheureusement il a écrasé le répertoire perso à la place. Donc pour OpenAI, c'est une erreur "honnête" alors qu'un rm -rf, ça ne serait pas acceptable.
Quand on lit la doc technique de GPT 5.6, OpenAI le dit lui-même : "Nos simulations de déploiement suggèrent que, comparé à GPT-5.5, GPT-5.6 Sol prend plus souvent des actions de sévérité 3." Le niveau 3, c'est un comportement qu'un utilisateur raisonnable n'anticiperait pas et auquel il s'opposerait fermement. Du genre supprimer des données sans validation, désactiver les systèmes de monitoring, contourner les contrôles de sécurité par obfuscation, ou balancer vos credentials sur un service non approuvé.
Voilà, c'était dans la doc, il suffisait de la lire. C'est donc connu que ce nouveau modèle dérape plus que l'ancien. C'est moche.
L'enquête interne montre quand même que les victimes tournaient en Full-Access, sans sandbox et sans Auto-review. Mais Sottiaux reconnaît quand même que ce n'est pas comme ça qu'OpenAI veut que son système se comporte, même quand l'utilisateur fait tourner un modèle en full access sans les protections de base de la sandbox ni auto-review.
Voilà donc pour éviter ça à l'avenir, ce qu'ils ont prévu, c'est de mettre à jour les avertissements pour les développeurs de guider les utilisateurs vers des modes de permission plus sûrs et évidemment d'ajouter des garde-fous supplémentaires.
En tout cas, si chez vous vous faites tourner codex, et bien sachez que par défaut, il tourne dans un bac à sable, ce qui limite ce qu'il peut toucher. Et le mode auto-review, sait parfaitement intercepter toutes les actions à haut risque et les refuser (auto-review, il faut l'activer à la main, pour info). Et le mode full access désactive le bac à sable et les auto-reviews, sachez-le.
Et c'est précisément ce mode que nos trois victimes avaient choisi...
Microsoft has introduced Scout, a new always-on personal AI agent for Microsoft 365. It falls under a new category of AI agents known as Autopilots. These Autopilots can work autonomously with their own identity and act on the users’ behalf. This article covers important highlights of Microsoft Scout. Microsoft Scout is an always-on Personal AI […]
Microsoft and NVIDIA announced a major step towards AI-powered computing with the introduction of Windows PCs powered by the new NVIDIA RTX Spark superchip. The tech giants claim that these PCs will be the world’s most powerful and efficient thin-and-light Windows PCs ever. These computer systems will be capable of running advanced AI models locally, […]
Microsoft has introduced a new artificial intelligence model, VibeVoice, designed to generate speech that closely mimics the natural emotion and rhythm of a human conversation. This is the most advanced TTS (Text-To-Speech) model, capable of generating human-like speech from text input. This article covers important highlights of Microsoft’s new VibeVoice AI model. Microsoft’s new VibeVoice […]
Microsoft has introduced a new feature to Microsoft 365, Copilot Cowork. It is a new AI tool designed to carry out tasks autonomously in a Microsoft 365 environment. Copilot Cowork acts more like a digital coworker that can plan and execute tasks, helping teams complete their work more efficiently. This article covers important highlights of […]
Microsoft has introduced a new Copilot Tasks feature to its AI ecosystem, marking a significant move towards autonomous task execution. This new feature gives Copilot the ability to execute tasks and automate actions on behalf of users, making it more than a traditional AI chatbot. Copilot Tasks: Turning an AI Chatbot into a Personal Assistant […]
The research team at Microsoft discovered a new type of cyberattack called AI Recommendation Poisoning. Unlike a malware-injection attack that targets users’ devices, this attack manipulates the information shown to users, gradually influencing their decisions and acting like digital poison. AI Recommendation Poisoning can influence AI chats AI Recommendation Poisoning occurs when an external actor […]
Did you ever imagine a real-life situation where robots can talk, share their opinions, and no human intervention is allowed? It sounds like a scene from a Sci-fi movie, right? You might have watched similar movies where machines develop their own minds and start communicating independently. Terminator is a perfect example of such a movie. […]
Microsoft brings Agent 365, a single place to manage all AI Agents. AI has changed the way industries used to work. Today, many industries have started using AI to streamline their workflows. Over time, AI agents will multiply, making it challenging for organizations to manage them. Recognizing this challenge, Microsoft introduced Agent 365, a centralized […]
Microsoft announced a major update to all Windows 11 PCs, transforming them into AI-powered assistants. Copilot will be the center of this transformation and deeply integrated into the Windows 11 operating system. This move by Microsoft will show a significant shift in users’ behavior when interacting with their Windows 11 PCs. Microsoft is transforming every […]
Microsoft is expanding its AI offerings significantly and continues to invest in artificial intelligence. In a recent announcement, Microsoft has made Claude models available in Microsoft 365 Copilot. As a result, millions of enterprise users will be able to use Claude through Microsoft’s productivity platform. The move to offer Claude is part of Microsoft’s Frontier […]
In a recent video uploaded on Microsoft’s official YouTube channel, corporate vice president David Weston, also known as DWIZZZLE, shared the company’s bold vision for Windows by 2030. Weston predicted a major change in user interaction with technology could happen by 2030. Expect a shift to AI-Powered UI by 2030 David Weston, who also leads […]
Anthropic has launched the Claude Code extension for Visual Studio Code. This Claude Code extension will integrate the Claude AI directly into the developers’ IDE. You can install Claude AI Code in VS Code now! Claude AI Code is available in VS Code Anthropic’s powerful AI assistant, Claude, now offers deep integration into VS Code. […]
In a recent event, Microsoft CEO Satya Nadella announced that Microsoft is adding native support for MCP Server in Windows 11. According to Microsoft, this integration will offer a standardized framework for AI agents to connect with the native Windows apps. Microsoft is adding native support for MCP Server in Windows 11 MCP, or Model […]
DeepSeek, a Chinese AI company, has recently released its DeepSeek-R1 AI model. After its release, DeepSeek-R1 became the most downloaded app on the App Store. Now, Microsoft has planned to bring the Chinese DeepSeek-R1 model to its Azure AI Foundry platform and GitHub. DeepSeek for Copilot+ PCs is now available on Azure and GitHub. DeepSeek […]