Apple-Forscher haben die Details eines experimentellen, AI-gestützten Werkzeugs namens SQUIRE veröffentlicht, das Entwicklern hilft, ihre Schnittstellideen mit mehr Kontrolle zu erkunden und zu entwickeln. Hier sind die Einzelheiten.

Interessanter Ansatz für AI-gestütztes Schnittstellen-Prototyping

In einem neuen Artikel mit dem Titel "SQUIRE: Slot QUery Intermediate REpresentations für interaktive UI-Generierung" schlägt eine Gruppe von Apple-Entwicklern einen innovativen Weg vor, um mit von AI generierten Schnittstellen umzugehen.

Die Forscher erklären, dass die natürliche Sprache mehr Flexibilität in viele Aspekte des Entwicklungsprozesses bringt, aber auch zwei Hauptschwierigkeiten mit sich bringt:

Erstens kann natürliche Sprache für sich allein unklar sein, was es Entwicklern erschwert, ihre Absichten genau zu kommunizieren. Zweitens kann das Modell unvorhersehbare Antworten geben, was bedeutet, dass der Entwickler möglicherweise durch Ausprobieren erneut anfragen muss, um unerwünschte Änderungen zu beheben.

Hier kommt SQUIRE ins Spiel. Es ist eine visuelle Schnittstelle, die Entwicklern ermöglicht, Schritt für Schritt UI-Prototypen zu erstellen und zu entwickeln, und bietet eine klarere Kontrolle über die Ergebnisse.

Aus der Studie:

In SQUIRE beginnen Benutzer ein Projekt, indem sie eine Anfrage bereitstellen, die ihre Ziele für die UI definiert, und fügen Beispiel-Daten hinzu, die Informationen enthalten, auf die SQUIRE als Referenz zugreifen kann. Benutzer leiten SQUIRE an, Lücken zu füllen, die die fehlende, aber erwartete Funktionalität darstellen, und bauen die UI als einen Baum von Komponenten von oben nach unten auf. In Antwort auf eine solche Anfrage erstellt SQUIRE eine Liste geeigneter Alternativen, die speziell auf die Ziel-Lücke in der unvollständigen UI abgestimmt sind. Ein Klick auf jede Alternative erleichtert es, Unterschiede zu visualisieren, indem eine Live-Vorschau und der zugrunde liegende Code sofort aktualisiert werden. Der Benutzer kann auch gezielte Anfragen stellen, um das Erscheinungsbild bestimmter UI-Bereiche zu ändern, und es gibt die Garantie, dass kein Code außerhalb des gewünschten Umfangs geändert wird. In Antwort auf eine solche Anfrage erzeugt SQUIRE temporäre Kontrollen, die es dem Benutzer ermöglichen, semantisch verwandte Änderungen schnell zu implementieren, ohne erneut anfragen zu müssen. In allen Fällen verhält sich das LLM wie ein Freund und bietet dem Benutzer angemessene Auswahlmöglichkeiten zur Bewertung, überlässt dem Benutzer jedoch die Autorität, seine Vorschläge anzunehmen oder abzulehnen.

Mit anderen Worten, natürliche Sprachabfragen sind immer noch der Weg, wie Entwickler mit SQUIRE interagieren, aber jede Anfrage war mit einem bestimmten Teil der UI verbunden und beeinflusste nicht die gesamte Schnittstelle auf einmal.

Basierend auf Beobachtungen von 11 Frontend-Entwicklern, die SQUIRE zur Entwicklung von Schnittstellen-Prototypen verwendet haben, fanden die Forscher heraus, dass die Teilnehmer in der Lage waren, verschiedene UI-Designs mit einem starken Gefühl der Kontrolle zu erkunden und zu iterieren, und dass sie das System auch in Bezug auf Benutzerfreundlichkeit und allgemeine Zufriedenheit hoch bewerteten.

Sie stellen auch fest, dass dieses zusätzliche Gefühl der Kontrolle den Entwicklern mehr Vertrauen gab, Wege zu erkunden, bei denen Änderungen leicht gemacht, vorhergesagt und zurückgenommen werden konnten.

Noch einmal aus der Studie:

Durch die gesammelten Daten von 11 Frontend-Entwicklern stellen wir fest, dass (1) die Interaktionen von SQUIRE die Teilnehmer häufig zum Erkunden anregen, sie SQUIRE nicht nur als Code-Beschleuniger verwenden, (2) die Teilnehmer ermutigt werden, Risiken einzugehen, während sie Änderungen vornehmen, da sie wissen, dass die Folgen unkonventioneller Entscheidungen immer reibungslos zurückgenommen werden können, (3) die Teilnehmer Vertrauen haben, dass SQUIRE ihre Absichten beim Vornehmen von Änderungen erfüllt, und (4) die Teilnehmer insgesamt mit der Qualität des von dem System generierten Codes und der Grafiken zufrieden sind.

Die interne Struktur von SQUIRE

Anstatt direkt aus Benutzeranfragen Schnittstellencode zu generieren, erstellt SQUIRE zunächst eine eigene Zwischenrepräsentation der Schnittstelle, die SquireIR genannt wird, und modelliert die UI als einen Baum von Komponenten mit benannten Lücken, die im Laufe der Zeit ausgefüllt werden können, wie im folgenden Beispiel:

Diese Struktur kann auch Platzhalter für noch nicht definierte Teile enthalten (z. B. ein Button-Label, ein Bild oder einen Inhaltsbereich) und mehrere mögliche UI-Alternativen. Beispielsweise kann der gleiche Inhalt als Liste oder als Raster dargestellt werden.

Anschließend übersetzt SQUIRE diese Darstellung in Code unter Verwendung von HTML, CSS und JavaScript und verwaltet die endgültige UI-Struktur mit Web Components.

Ein weiterer wichtiger Aspekt von SQUIRE ist, wie es Änderungen verwaltet.

Wenn ein Entwickler einen Button anpassen oder ein Layout ändern möchte, wird nur dieser Teil aktualisiert, während alles andere unverändert bleibt.

Forscher zufolge hilft dies, die in vielen AI-Coding-Tools beobachteten Versuch-und-Irrtum-Zyklen zu vermeiden; da das allgemeine Unvorhersehbarkeitsverhalten von LLMs dazu führen kann, dass das Modell mehr Änderungen vornimmt, als der Entwickler beabsichtigt hat.

Diese Struktur ermöglicht es SQUIRE auch, bei jedem Schritt mehrere Optionen vorzuschlagen, sodass Entwickler verschiedene Versionen schnell vergleichen können, ohne ihre vorherigen Arbeiten zu verlieren.

Im Gegensatz zu vielen technischen Artikeln gibt diese Arbeit keine detaillierten Informationen über das Modelltraining, die Architektur oder die Daten. Obwohl die Forscher anmerken, dass SQUIRE mit OpenAI's GPT-4o arbeitet, liegt der Fokus des Artikels auf dem Systemdesign und dem Interaktionsmodell.

SQUIRE ist insgesamt nicht allgemein verfügbar und die Nutzung ist auf die 11 Entwickler beschränkt, die an der Studie teilgenommen haben. Es ist jedoch nicht schwer, sich vorzustellen, wie dies in zukünftigen Xcode-Versionen oder anderen von Apple entwickelten Entwicklungstools implementiert werden könnte.

Für weitere Informationen über SQUIRE können Sie diesem Link folgen.

Produkte, die es wert sind, bei Amazon überprüft zu werden

  • David Pogue – 'Apple: Die ersten 50 Jahre'
  • MacBook Neo
  • Logitech MX Master 4
  • AirPods Pro 3
  • AirTag (2. Generation) – 4er-Pack
  • Apple Watch Series 11
  • Drahtloser CarPlay-Adapter