Piloter Blender sur macOS avec des agents de code
Les modèles d'intelligence artificielle de pointe s'avèrent désormais très efficaces pour manipuler des logiciels 3D comme Blender. En s'appuyant sur l'API Python du logiciel et des agents de développement sur macOS, il devient possible de générer des scènes, des images et des animations par de simples instructions textuelles.
Fil « Utilisation de Blender avec des agents de code sur macOS »
Les modèles de frontière (frontier models, les modèles d'intelligence artificielle les plus avancés) sont devenus particulièrement performants pour interagir avec des outils de création 3D. Simon Willison explique comment utiliser des agents de code (coding agents, des assistants autonomes capables d'exécuter des commandes et d'écrire du code) pour piloter directement l'application Blender sur macOS.
Une génération basée sur l'API Python
L'agent n'interagit pas avec l'interface graphique de manière visuelle, mais s'appuie sur l'API Python (Application Programming Interface, l'interface de programmation permettant de contrôler Blender par du code) de l'application. Cette approche offre plusieurs capacités concrètes :
- La création de fichiers au format .blend, qu'il est ensuite possible d'éditer manuellement dans Blender.
- Le rendu d'images fixes générées à partir de scripts Python.
- La réalisation de films complets en calculant une séquence d'images puis en les assemblant via ffmpeg (un outil en ligne de commande spécialisé dans la manipulation et l'encodage vidéo).
Configuration et exemple d'exécution
Pour mettre en œuvre cette méthode sur un Mac, la démarche est très directe. Il suffit d'installer l'application complète depuis le site blender.org, puis de lancer un agent de développement tel que ChatGPT Codex. On peut ensuite demander à l'agent de s'appuyer sur l'installation locale située dans /Applications/Blender.
Voici le prompt initial utilisé pour lancer le rendu d'une scène :
Use the already install /Applications/Blender to render a scene of a pelican riding a bicycle
L'auteur a ensuite affiné le résultat en enchaînant avec les instructions OK add a background and a lot of flair puis OK make it a whole lot better. L'agent exécute les scripts nécessaires en arrière-plan pour faire évoluer le rendu visuel.
Cette expérience illustre comment les assistants de code dépassent le simple cadre de l'écriture de scripts traditionnels. En combinant un agent de développement, des outils en ligne de commande et des API logicielles en Python, il devient possible d'automatiser la création d'actifs 3D ou de contenus multimédias directement depuis ses outils de travail habituels.