Un million de lignes de code générées et affinées par l'IA : la leçon de Paul Dix sur la vérification
Rapporté par Paul Dix et relayé par Simon Willison, un logiciel de 1 million de lignes de code produit par l'IA s'exécute désormais sur des millions de machines. Ce retour d'expérience démontre l'importance capitale des systèmes de vérification pour guider les agents d'IA sur des projets complexes.
Fil « Témoignage sur la création et l'affinage d'un logiciel de 1M de lignes de code par l'IA »
Paul Dix a partagé un retour d'expérience marquant, relayé par Simon Willison : la production et la stabilisation d'un logiciel d'envergure conçu par intelligence artificielle. Au total, l'IA a généré 1 million de lignes de code (LOC, pour Lines of Code), avant de les affiner sur une période de deux mois. Le résultat est un logiciel fiable qui s'exécute aujourd'hui sur des millions de machines de développeurs.
Face à ce résultat, certains observateurs ont nuancé la performance en soulignant la présence d'un oracle (un système de référence servant de modèle de comparaison pour valider la conformité du code lors du passage d'un langage de programmation à un autre). Selon ces critiques, effectuer cette transition avec un repère exact simplifierait la tâche de l'IA.
La boucle de rétroaction comme pilier du développement
Cependant, Paul Dix estime que minimiser cet exploit est une erreur d'appréciation. Selon lui, la véritable avancée réside dans la capacité d'une IA à faire évoluer une base de code massive et complexe lorsqu'elle dispose du cadrage approprié.
« Si vous pouvez construire un système de vérification et donner une direction appropriée, l'IA peut produire une pièce de logiciel extrêmement complexe et sophistiquée, et continuer à l'affiner jusqu'à ce qu'elle fonctionne tout simplement. »
Ce que cela change pour les équipes de développement
Ce cas d'usage concret met en lumière un changement de posture essentiel pour les développeurs qui utilisent des agents d'IA au quotidien :
- La priorité aux systèmes de contrôle : la valeur de l'ingénierie se déplace vers la création d'oracles et de harnais de tests automatisés capables de valider le comportement du code produit.
- L'importance de l'affinage dans le temps : la première génération de code n'est qu'un point de départ ; l'IA a retravaillé le projet pendant deux mois pour atteindre un niveau de fiabilité industrielle.
- Le pilotage par la direction : le rôle de l'équipe humaine consiste à fixer le cap et à fournir les contraintes de vérification, laissant l'IA gérer l'écriture et la correction itérative de la syntaxe.