OpenAI hat ein wichtiges Update für Codex veröffentlicht und Funktionen wie Computerbenutzung im Hintergrund, einen In-App-Browser, Bildgenerierung, Speicher, erweiterte Automatisierungen und über 90 neue Plugins hinzugefügt.

Das Update wird derzeit an Benutzer der Codex-Desktopanwendung verteilt, die sich auf macOS bei ChatGPT angemeldet haben. Für Benutzer in der EU und im Vereinigten Königreich wird erwartet, dass die Computerbenutzung und Personalisierungsoptionen für Unternehmens- und Bildungskonten bald verfügbar sind.

Codex Computerbenutzung und Eingebauter Browser auf dem Mac

Codex hat jetzt die Fähigkeit, Anwendungen auf einem Mac auszuführen, indem es mit seinem eigenen Cursor sieht, klickt und schreibt, ohne API-Integration zu benötigen. Mehrere Agenten können gleichzeitig arbeiten, ohne die laufende Arbeit des Benutzers zu stören. OpenAI merkt an, dass diese Funktion nützlich ist, um Frontend-Änderungen zu testen, Anwendungen zu bewerten und mit Werkzeugen zu arbeiten, die keine API anbieten.

Die Codex-Anwendung enthält jetzt einen integrierten Browser, der es Benutzern ermöglicht, direkt auf Webseiten zu kommentieren und dem Agenten spezifische Anweisungen zu geben. Derzeit ist dieses Tool für Frontend- und Spielentwicklung im lokalen Netzwerk konzipiert. OpenAI hat auch angekündigt, dass sie planen, die Browserkontrolle im Laufe der Zeit über lokale Webanwendungen hinaus auszudehnen.

Neue Bildwerkzeuge, Speicher und Automatisierungsfähigkeiten

Codex hat jetzt die Fähigkeit, Bilder zu generieren und zu verbessern, indem es gpt-image-1.5 verwendet, einschließlich Screenshots und Code-Integration. Diese Funktion kann verwendet werden, um Produktkonzeptbilder zu erstellen, Frontend-Entwürfe zu gestalten und im selben Arbeitsablauf Spielressourcen zu entwickeln.

Eine Speicher-Vorschau hilft Codex, den Kontext aus früheren Sitzungen zu erinnern; persönliche Vorlieben, Korrekturen und wichtige Informationen, die viel Zeit in Anspruch nehmen, werden gespeichert. Das Ziel des Speichers ist es, die Anpassung wiederkehrender Aufgaben zu beschleunigen und die Ausgabequalität zu verbessern, ohne detaillierte spezielle Anweisungen zu erfordern.

Auch die Automatisierungen wurden erweitert und ermöglichen die Wiederverwendung bestehender Gesprächsstränge. Codex kann jetzt zukünftige Aufgaben eigenständig planen und langwierige Aufgaben automatisch, sogar über mehrere Tage oder Wochen hinweg, neu starten.

Laut OpenAI nutzen Teams Automatisierungen, um offene Anfragen zu verwalten, Aufgaben zu verfolgen und Aktivitäten über Slack, Gmail und Notion zu überwachen. Außerdem bietet Codex jetzt proaktive Arbeitsvorschläge basierend auf dem Kontext des Projekts, den verbundenen Plugins und dem Speicher an. Dies umfasst das Identifizieren offener Kommentare in Google Docs, das Abrufen relevanter Informationen aus verbundenen Tools und das Bereitstellen einer priorisierten To-Do-Liste.

Verbesserungen des Entwickler-Workflows und über 90 Codex-Plugins

Die Anwendung ermöglicht es Benutzern jetzt, direkt auf GitHub-Review-Kommentare zu antworten, mehrere Terminal-Tabs gleichzeitig auszuführen und sich über SSH mit Remote-Devboxen in der Alpha-Version zu verbinden. Dateien, PDFs, Tabellen, Folien und Dokumente können über das Seitenmenü mit detaillierten Vorschauen direkt geöffnet werden. Ein neues Zusammenfassungsfeld bietet einen Überblick über die Pläne, Ressourcen und Dokumente des Agenten.

Über 90 zusätzliche Plugins wurden hinzugefügt, und die Unterstützung für Fähigkeiten, Anwendungsintegrationen und MCP-Server wurde erweitert. Zu den neuen Plugins gehören Atlassian Rovo für Jira-Management, CircleCI, CodeRabbit, GitLab Issues, Microsoft Suite, Neon von Databricks, Remotion, Render und Superpowers.