OpenAI a publié une mise à jour importante pour Codex, ajoutant des fonctionnalités telles que l'utilisation de l'ordinateur en arrière-plan, un navigateur intégré, la génération d'images, la mémoire, des automatisations étendues et plus de 90 nouveaux plugins.

La mise à jour est actuellement en cours de déploiement pour les utilisateurs de l'application de bureau Codex qui se sont connectés à ChatGPT sur macOS. Les utilisateurs de l'UE et du Royaume-Uni devraient bientôt avoir accès à l'utilisation de l'ordinateur et aux options de personnalisation pour les comptes Entreprise et Éducation.

Utilisation de l'ordinateur Codex sur Mac et navigateur intégré

Codex a désormais la capacité d'exécuter des applications sur un Mac en voyant, cliquant et tapant avec son propre curseur, sans nécessiter d'intégration API. Plusieurs agents peuvent fonctionner simultanément sans interrompre le travail en cours de l'utilisateur. OpenAI indique que cette fonctionnalité est utile pour tester les modifications de l'interface utilisateur, évaluer les applications et travailler avec des outils qui ne proposent pas d'API.

L'application Codex comprend désormais un navigateur intégré qui permet aux utilisateurs de commenter directement sur les pages web et de donner des instructions précises à l'agent. Actuellement, cet outil est conçu pour le développement front-end et de jeux sur le réseau local. OpenAI a également annoncé son intention d'étendre le contrôle du navigateur au-delà des applications web locales au fil du temps.

Nouveaux outils d'image, mémoire et capacités d'automatisation

Codex a désormais la capacité de générer et d'améliorer des images en utilisant gpt-image-1.5, avec intégration de captures d'écran et de code. Cette fonctionnalité peut être utilisée pour créer des visuels de concepts de produits, concevoir des maquettes front-end et développer des actifs de jeu dans le même flux de travail.

Un aperçu de la mémoire aide Codex à se souvenir du contexte des sessions précédentes ; il contient des préférences personnelles, des corrections et des informations importantes qui prennent beaucoup de temps à rassembler. L'objectif de la mémoire est de permettre un ajustement plus rapide des tâches répétées et d'améliorer la qualité de sortie sans nécessiter d'instructions détaillées.

Les automatisations ont également été étendues, permettant la réutilisation des séries de conversations existantes. Codex peut désormais planifier des tâches futures de manière autonome et redémarrer automatiquement des tâches de longue durée, même sur plusieurs jours ou semaines.

Selon OpenAI, les équipes utilisent les automatisations pour gérer les demandes de tirage ouvertes, suivre les tâches et suivre les activités via Slack, Gmail et Notion. De plus, Codex propose désormais proactivement des suggestions de tâches basées sur le contexte du projet, les plugins connectés et la mémoire. Cela inclut l'identification des commentaires ouverts dans Google Docs, l'extraction d'informations pertinentes à partir d'outils connectés et la fourniture d'une liste d'actions prioritaires.

Améliorations du flux de travail des développeurs et plus de 90 plugins Codex

L'application permet désormais aux utilisateurs de répondre directement aux commentaires de révision GitHub, d'exécuter plusieurs onglets de terminal simultanément et de se connecter à des devboxes distants via SSH en version alpha. Les fichiers, PDF, feuilles de calcul, présentations et documents peuvent être ouverts directement depuis le menu latéral avec des aperçus détaillés. Un nouveau panneau de résumé offre un aperçu des plans, des ressources et des documents de l'agent.

Plus de 90 nouveaux plugins ont été ajoutés, et le support pour les compétences, les intégrations d'applications et les serveurs MCP a été élargi. Parmi les nouveaux plugins figurent Atlassian Rovo pour la gestion de Jira, CircleCI, CodeRabbit, GitLab Issues, Microsoft Suite, Neon de Databricks, Remotion, Render et Superpowers.