Codex a changé la façon dont les développeurs écrivent des logiciels en transformant le langage naturel en code fonctionnel. Cet article détaille son fonctionnement, ce qu’il sait faire, ses limites, et la manière dont les modèles de code actuels, plus performants, ont pris le relais.
Codex, d’OpenAI, est arrivé en 2021 et a immédiatement redéfini ce que les développeurs croyaient possible. Avant lui, l’autocomplétion servait à terminer un nom de variable. Après lui, vous pouviez taper une phrase en anglais courant et voir apparaître une fonction opérationnelle. Ce passage de l’aide à la syntaxe à la traduction d’intention est ce que cet article explore.
Codex est un grand modèle de langage entraîné à la fois sur du texte en langage naturel et sur un immense corpus de code source extrait de dépôts publics, notamment GitHub. Il descend, à la base, de GPT-3, avec un fine-tuning spécifique pour prédire des tokens de code plutôt que de la prose.
Ses données d’entraînement lui ont donné une connaissance statistique remarquable de la façon dont les humains écrivent des logiciels. Pas seulement des règles de syntaxe, mais aussi les idiomes courants, les conventions des bibliothèques, la manière dont les fonctions sont généralement nommées et le lien entre les commentaires et le code qui les suit. Il a appris la programmation non pas à partir de spécifications formelles, mais à partir de millions d’exemples de programmeurs en train de faire leur travail.
L’architecture est un transformeur, la même famille de réseaux de neurones que celle qui sous-tend aujourd’hui tous les grands modèles de langage. Les transformeurs utilisent un mécanisme appelé auto-attention pour pondérer la pertinence de chaque token du contexte d’entrée par rapport à tous les autres. Pour le code, c’est puissant : une variable définie 200 lignes plus haut reste « visible » pour le modèle lorsqu’il prédit la suite.
Codex existait en deux configurations principales : une variante cushman plus petite (environ 12 milliards de paramètres), optimisée pour la vitesse, et une variante davinci plus grande, axée sur la précision. La variante davinci alimentait le GitHub Copilot original et c’est la configuration qui a réellement impressionné les gens à son lancement.
Les LLM à usage général sont entraînés à tout gérer : dissertations, questions, résumés, conversations. Codex a troqué la largeur contre la profondeur. Son fine-tuning sur le code lui permet de produire de façon fiable un résultat syntaxiquement valide dans des dizaines de langages de programmation, de mieux gérer le contexte propre au code que les modèles orientés prose, et de comprendre à un niveau pratique des concepts abstraits comme la récursivité, l’exécution asynchrone et les contrats d’API.
💡 Un LLM général va décrire un algorithme de tri. Codex va l’écrire, en gérant les cas limites.
Au niveau mécanique, la génération de code consiste à prédire le token suivant. Vous fournissez un prompt, qui peut être un commentaire, une signature de fonction ou un fichier existant, et le modèle calcule une distribution de probabilités sur chaque token possible, puis tire un token au hasard selon cette distribution.
Ce qui rend cette approche puissante pour le code, c’est que les programmes valides n’occupent qu’une infime fraction de toutes les séquences de tokens possibles. L’entraînement sur du code réel apprend au modèle la forme de cet espace valide, si bien que ses prédictions tombent dans cet espace la plupart du temps.
Les modèles de code fonctionnent dans une fenêtre de contexte, c’est-à-dire un nombre maximal de tokens qu’ils peuvent traiter en une fois. Pour Codex, cette limite était de 4 096 ou 8 192 tokens selon la variante. Cela restreint la quantité de code environnant que le modèle peut « voir » lorsqu’il fait une prédiction.
Les modèles de code récents ont largement repoussé cette limite. GPT 4.1 gère jusqu’à 1 million de tokens de contexte, ce qui signifie que des bases de code entières peuvent tenir dans un seul prompt. Granite 8B Code Instruct 128K, d’IBM, propose 128 000 tokens spécialement optimisés pour les tâches de code, une amélioration considérable par rapport aux limites initiales de Codex.
La « magie » apparente de Codex tient au fait qu’il a été entraîné sur des dépôts de code contenant à la fois les commentaires et les implémentations, côte à côte. Il a appris qu’un commentaire comme # parse a JSON file and return a dict précède généralement un type précis de fonction Python. Lui fournir ce commentaire active l’association, et il prédit l’implémentation correspondante.
Ce n’est pas du raisonnement au sens philosophique du terme. C’est une reconnaissance de motifs extraordinairement puissante, opérant à une échelle qui produit des résultats indiscernables de la compréhension.
💡 À noter : Codex n’exécute pas le code et ne le vérifie pas dans un environnement d’exécution. Chaque suggestion est une prédiction statistique. C’est pourquoi le code généré par l’IA doit encore être relu par un humain.
Connaître le profil réel des capacités permet de ne pas attendre trop, ni trop peu, de tout modèle d’IA dédié au code.
OpenAI a mis Codex hors service en mars 2023. Le paysage de la génération de code a énormément évolué depuis, et chaque amélioration notable repose sur deux axes : des fenêtres de contexte plus grandes et un raisonnement intégré.
| Modèle | Fenêtre de contexte | Spécialisation | Disponible |
|---|---|---|---|
| Codex (davinci) | 8K tokens | Axé sur le code | Déprécié |
| GPT 4.1 | 1M tokens | Généraliste + code | PicassoIA |
| Granite 8B Code 128K | 128K tokens | Code uniquement | PicassoIA |
| Granite 20B Code 8K | 8K tokens | Code uniquement | PicassoIA |
| DeepSeek R1 | 128K tokens | Code + raisonnement | PicassoIA |
| Claude 4 Sonnet | 200K tokens | Code + rédaction | PicassoIA |
| Kimi K2 Instruct | 128K tokens | Codage agentique | PicassoIA |
Codex était optimisé pour une seule tâche : prédire le code qui vient ensuite. Les modèles récents associent la génération de code à un raisonnement en chaîne de pensée, en résolvant un problème étape par étape avant de produire le code. Cela comble l’écart sur les tâches de programmation en plusieurs étapes, où la simple reconnaissance de motifs ne suffit pas.
DeepSeek R1 se distingue ici : il produit des traces de raisonnement visibles, ce qui permet de suivre précisément pourquoi il a structuré le code d’une certaine façon. Claude 4 Sonnet explique de la même manière son propre code en langage naturel, sans qu’on le lui demande, ce qui rend la relecture du résultat généré par l’IA nettement plus rapide.
Les modèles qui ont dépassé Codex sont tous disponibles dans la collection de grands modèles de langage de PicassoIA. Aucune clé d’API à gérer, aucune installation d’environnement local. Voici comment les mettre au travail sur de vraies tâches de génération de code.
Granite 8B Code Instruct 128K est le modèle de code dédié d’IBM, entraîné spécifiquement sur des tâches de programmation : génération, débogage, explication et refactoring.
💡 Astuce : pour les tâches de refactoring, collez d’abord la fonction existante, puis ajoutez : « Réécrivez ceci pour gérer [cas limite] tout en conservant la même interface. »
GPT 4.1 excelle lorsque la tâche s’étend sur plusieurs fichiers. Sa fenêtre de 1 million de tokens permet de coller des modules entiers ou plusieurs fichiers liés et de lui demander de raisonner sur l’ensemble en une seule fois. C’est précisément la tâche où Codex échouait le plus nettement, et où GPT 4.1 offre une expérience réellement différente.
Utilisez-le pour :
Les développeurs qui tirent le meilleur parti de la génération de code par IA la traitent comme un premier jet rapide, et non comme un produit fini. Voici à quoi cela ressemble concrètement.
La génération de tests est le domaine où les LLM de code apportent le plus de valeur au quotidien. La plupart des développeurs écrivent leurs tests après l’implémentation, et c’est fastidieux. Vous savez déjà ce que fait la fonction, il vous reste à énumérer les cas.
Un schéma de prompt efficace :
Given this function:
[paste function]
Write pytest unit tests covering:
- The happy path
- Empty input
- Edge case: [specific case you are worried about]
- Error conditions
Kimi K2 Instruct gère particulièrement bien ce schéma. Il a été entraîné pour les flux de travail de codage agentique, ce qui lui permet de produire des suites de tests cohérentes entre elles, plutôt que des fonctions de test isolées qui ne partagent ni fixtures ni configuration.
Le refactoring est un défi différent de la génération. Le modèle doit comprendre le code existant avant de l’améliorer, ce qui fait de la taille de la fenêtre de contexte le facteur déterminant.
Collez le module legacy, décrivez le problème et demandez une version refactorisée qui conserve la même interface externe. Claude 4.5 Sonnet et GPT 4.1 s’en sortent tous deux très bien, car ils peuvent garder en mémoire la fonction d’origine entière pendant la génération du remplacement, au lieu de deviner ce qui s’y trouvait auparavant.
Des prompts médiocres donnent du code médiocre. Des prompts efficaces donnent du code que vous pouvez livrer. La différence tient presque entièrement à la quantité de contexte que vous fournissez au modèle en amont.
Un modèle qui génère du code sans contexte devine vos contraintes. Lui indiquer votre langage et votre framework réduit de moitié le risque qu’il choisisse la mauvaise approche. Lui donner l’interface existante élimine toute une catégorie de bugs d’intégration avant même qu’ils n’apparaissent.
Prompt minimal :
Write a function to parse CSV files
Prompt avec contexte suffisant :
Python 3.11, using the csv module (not pandas).
Write a function parse_csv(filepath: str) -> list[dict]
that reads a CSV with a header row and returns a list of dicts.
Handle FileNotFoundError and return an empty list if the file is empty.
Le second prompt produit du code utilisable. Le premier produit quelque chose de plausible, qui peut ou non s’intégrer à votre base de code.
💡 Si la première réponse est fausse, ne relancez pas simplement le même prompt. Ajoutez une phrase expliquant ce qui était incorrect. Les modèles réagissent bien mieux à des relances correctives qu’à des prompts identiques répétés.
L’un des écarts pratiques les plus importants entre Codex et les modèles actuels ne tient pas à la capacité par token, mais au nombre de tokens qu’ils peuvent traiter simultanément.
Codex, avec 8K tokens, pouvait traiter environ 400 à 600 lignes de code. Cela suffit pour des fonctions isolées, mais cela cède immédiatement dès qu’il s’agit de plusieurs fichiers partageant des types, de gestionnaires d’API qui référencent des modèles de base de données, ou de tests d’intégration couvrant plusieurs modules.
Granite 20B Code Instruct 8K égale la fenêtre de contexte de Codex, mais dispose de bien plus de paramètres et d’un corpus d’entraînement plus récent, ce qui rend sa sortie par token nettement plus précise. Granite 8B Code Instruct 128K échange le nombre brut de paramètres contre la portée : 128K tokens, dans un modèle conçu dès le départ pour les tâches de code.
Pour les opérations sur une base de code entière, GPT 5 représente la pointe actuelle, en combinant un contexte quasi illimité à de larges capacités d’ingénierie logicielle, dans tous les grands langages et frameworks.
Le paradigme de génération établi par Codex était le suivant : fournir du contexte, prédire des tokens. Le paradigme du raisonnement qui a suivi ajoute une étape avant la production : réfléchir d’abord au problème.
Des modèles comme DeepSeek R1 et GPT 5 passent par une chaîne de réflexions intermédiaires avant de produire du code. Cela fait une vraie différence pour :
La trace de raisonnement elle-même est aussi précieuse pour la revue de code. Si le modèle explique qu’il a choisi un certain pattern pour éviter une classe précise de bugs, vous pouvez vérifier ce raisonnement directement, plutôt que d’auditer un résultat en boîte noire.
💡 Remarque pratique : les modèles de raisonnement sont plus lents et coûtent plus cher par token. Réservez-les au code où la justesse est critique. Pour le code répétitif et les tests, un modèle rapide comme Claude 4.5 Haiku est bien plus efficace.
Codex pour la génération de code a été une preuve de concept que tout le secteur a validée, puis dépassée à grande vitesse. Les modèles disponibles aujourd’hui font tout ce que faisait Codex, avec des fenêtres de contexte plus grandes, un meilleur raisonnement et des résultats plus précis sur un éventail plus large de langages et de frameworks.
Si vous n’avez pas encore utilisé sérieusement un modèle de code IA, le plus simple est de commencer par une tâche que vous effectuez chaque semaine mais que vous trouvez fastidieuse. La génération de tests, la rédaction de docstrings et les squelettes de code répétitif ont tous une boucle de retour courte : vous voyez tout de suite si le résultat est utile. Commencez par là, construisez votre intuition sur ce qui fonctionne, et passez à des tâches plus difficiles à mesure que vous affinez votre façon de prompter.
Chaque modèle du tableau comparatif ci-dessus est disponible dès maintenant sur PicassoIA. Aucune configuration. Aucune clé d’API. Choisissez-en un, collez une fonction et voyez ce qu’il en fait en moins d’une minute. Essayez GPT 5 pour le travail complexe multi-fichiers, DeepSeek R1 lorsque vous voulez voir le raisonnement, ou Granite 8B Code Instruct 128K pour une expérience ciblée, rapide et dédiée au code. L’écart entre « j’ai entendu parler des outils de code IA » et « je les utilise chaque jour » tient à un seul après-midi d’expérimentation.
Choisissez votre langue
