Am 9. September kommt es zur Herbst-Keynote von Apple. Nach dem Stabwechsel von Tim Cook zu Hardware-Chef John Ternus und den damit verbundenen Erwartungen und neuen Produktvorstellungen interessiert mich vor allem, was aus dem Cook-Baby Apple Vision Pro wird. Wr lesen von Stellenabbau, Konzentration auf Smart Glases, aber das Betriebssystem wird mit VisionOS 27 weitergeführt.
Bei all den Spekulationen und Gerüchten finde ich vor allem ein ausführliches Gespräch mit Justin Ryan von „Spatial Insider“ hat Steve Sinclair, Senior Director im weltweiten Produktmarketing von Apple und verantwortlich für Produktmanagement und Produktmarketing rund um VisionOS, die wichtigsten Neuerungen von VisionOS 27 vorgestellt. Ich bin gespannt, was davon eintritt. Im Mittelpunkt standen dabei Siri AI, visuelle Intelligenz, neue Umgebungen, Verbesserungen bei Bedienung und Aufzeichnung sowie neue Werkzeuge für Entwickler. Ich habe das Video mal zusammengefasst.
Ein zentrales Thema der diesjährigen WWDC war die Weiterentwicklung von Siri durch künstliche Intelligenz. Sinclair beschrieb die neue Siri AI als deutlich fähiger, persönlicher und dialogorientierter. Sie solle Nutzer genau in dem Moment unterstützen, in dem Hilfe gebraucht werde. Dafür greife Siri auf persönlichen Kontext, breites Weltwissen aus dem Internet und die Integration mit Apps auf dem Gerät zurück. Für VisionOS gewinnt diese Entwicklung eine besondere Qualität, weil Siri nicht mehr nur als Stimme oder abstrakte Assistenz erscheint, sondern als räumliches Objekt in der Umgebung platziert werden kann.
Nutzer können den Siri-Orb in VisionOS 27 an einem beliebigen Ort im Raum ablegen, etwa auf einem Tisch oder in der eigenen Arbeitsumgebung. Dort bleibt Siri sichtbar und abrufbar. Wer eine Frage stellen möchte, blickt den Orb einfach an und spricht. Das klassische Aktivierungswort ist in diesem Zusammenhang nicht mehr zwingend nötig. Siri reagiert mit Animationen, die signalisieren, dass die Anfrage verstanden wurde, Informationen gesucht werden oder eine Antwort vorbereitet wird. Die Antwort erscheint anschließend in einem kleinen Fenster, das bei Bedarf vergrößert werden kann. Ryan bezeichnete diese Art der Interaktion als nahezu science-fictionhaft: Man schaut ein Objekt an, spricht es an und erhält unmittelbar eine Antwort.
Auch die visuelle Intelligenz wird in VisionOS 27 erheblich erweitert. Weil Siri AI ein Bewusstsein für den Bildschirm und bei VisionOS zugleich für die reale Umgebung entwickelt, können Nutzer Fragen zu digitalen Inhalten ebenso stellen wie zu physischen Objekten im Raum. Sinclair verwies auf ein Beispiel aus der WWDC-Keynote: Eine Person sieht online einen Rucksack und fragt, ob dieser als Handgepäck für eine anstehende Reise geeignet sei. Siri kann dabei persönliche Reisedaten, Flugzeugtyp und Maße des Rucksacks einbeziehen. Anschließend kann die Person auf Schuhe im Raum blicken und fragen, ob diese ebenfalls in den Rucksack passen würden. Siri erkennt den Zusammenhang zur vorherigen Frage und bezieht die realen Objekte in die Antwort ein. Genau diese Verbindung aus persönlichem Kontext, digitalem Inhalt und physischer Umgebung soll nach Apples Vorstellung den Nutzen von Spatial Computing deutlich erweitern.
Eine weitere Neuerung betrifft Panoramen und persönliche Umgebungen. Bereits mit Spatial Scenes konnten Fotos mithilfe generativer KI um Tiefe und räumliche Wirkung erweitert werden. Mit VisionOS 27 wird dieses Prinzip auf Panoramabilder übertragen. Nutzer können eigene Panoramen aus ihrer Fotomediathek als persönliche Umgebung verwenden. Die Bilder erhalten Tiefe, Parallaxe und eine räumliche Wirkung, sodass man sich stärker an den aufgenommenen Ort zurückversetzt fühlt. Diese Umgebungen können beim Arbeiten, beim Medienkonsum oder in anderen Nutzungssituationen als Hintergrund dienen. Die Qualität hängt dabei unter anderem von der Auflösung des Ausgangsbildes und der Menge an Bildinformationen ab, aus denen die KI eine überzeugende Tiefenkarte erzeugen kann.
Zusätzlich bringt Apple eine neue eigene Umgebung in VisionOS: Thorsmork in Island. Die Landschaft zeigt tagsüber ein Tal mit Flusslauf und nachts Polarlichter über dem Nutzer. Sinclair deutete an, dass Apples Designteam große Freude daran habe, solche Orte auszuwählen. Die Umgebungen sollen nicht nur schön aussehen, sondern eine besondere Stimmung erzeugen und das Gefühl vermitteln, an einen anderen Ort versetzt zu werden.
Neben großen KI-Funktionen hat Apple auch zahlreiche Verbesserungen an der Bedienung vorgenommen. Benachrichtigungen lassen sich künftig komfortabler nutzen: Wer nach oben blickt und eine eingehende Mitteilung anschaut, kann sie erweitern, ohne sie sofort aktiv öffnen zu müssen. Bei Nachrichten erscheint ein kleines Messages-Fenster, in dem direkt reagiert werden kann, ohne die vollständige App zu öffnen. Auch das Kontrollzentrum wurde überarbeitet, um häufig genutzte Funktionen leichter erreichbar zu machen.
Besonders wichtig für Entwicklerinnen, Entwickler und Content Creator ist die verbesserte Bildschirmaufnahme. Bisher waren Aufzeichnungen aus VisionOS stark auf den Blickfokus ausgerichtet, wodurch Randbereiche unscharf wirkten. Für klassische 2D-Videos war das oft problematisch. Mit VisionOS 27 ermöglicht Apple Aufnahmen in 4K bei 30 Bildern pro Sekunde, bei denen die gesamte Szene scharf dargestellt wird. Diese Aufnahmen sind bis zu drei Minuten lang möglich und können direkt auf dem Gerät erstellt werden, ohne Verbindung zu einem Mac. Sinclair erwartet, dass Entwickler diese Funktion für bessere Marketingvideos nutzen werden und Creator hochwertigere Inhalte aus VisionOS produzieren können.
Auch Safari, Apple TV und Freeform erhalten neue Darstellungsoptionen. Die aus dem Mac Virtual Display bekannte gekrümmte Fensterdarstellung hält Einzug in weitere Apps. In Safari lassen sich breite Fenster ergonomisch um den Nutzer herumziehen. Außerdem gibt es eine neue Tab-Übersicht, die an Coverflow erinnert: Tabs erscheinen als räumlich angeordnetes Karussell, durch das man blättern kann. In der Apple-TV-App soll die gekrümmte Darstellung besonders bei Mehrfachansichten zur Geltung kommen, etwa bei Sportübertragungen mit mehreren Kameraperspektiven. Sinclair nannte als Beispiel Formel-1-Übertragungen, bei denen verschiedene Feeds gleichzeitig um den Nutzer herum angezeigt werden können.
Einen großen Schwerpunkt legt Apple außerdem auf Entwicklerwerkzeuge. Reality Composer Pro wurde vollständig überarbeitet und liegt nun in Version 3 vor. Die Anwendung wurde aus Xcode herausgelöst und als eigenständige App im Entwicklerbereich verfügbar gemacht. Damit soll sie nicht nur klassischen App-Entwicklern, sondern auch Kreativen und Designern leichter zugänglich sein. Reality Composer Pro 3 unterstützt unter anderem Charakteranimation, Szenenaufbau, Live-Preview auf der Vision Pro und einen neuen Script-Graph-Modus. Dabei handelt es sich um eine node-basierte Entwicklungsumgebung, mit der Abläufe und Animationen visuell zusammengestellt und schnell ausprobiert werden können.
Apple hat zudem Verbesserungen bei Mixed-Reality-Licht, Stoffsimulationen, Charakteranimation und Workflows für Apple Immersive Video angekündigt. Ziel sei es, digitale Inhalte möglichst glaubwürdig in den realen Raum einzubetten. Sinclair betonte, dass Spatial Computing von Beginn an darauf angelegt gewesen sei, digitale Inhalte so in die Umgebung zu bringen, dass sie sich anfühlen, als gehörten sie dorthin. Es gehe nicht allein um realistische Grafiken, sondern auch um Ton, räumliche Präsenz und das Gefühl, tatsächlich an einem anderen Ort zu sein oder ein digitales Objekt als real wahrzunehmen.
Ein neues Framework namens Spatial Preview soll besonders für professionelle Arbeitsabläufe interessant werden. Es ermöglicht, Inhalte aus macOS-Apps in den Raum zu bringen, während man eine Apple Vision Pro trägt. Änderungen auf dem Mac können in der räumlichen Darstellung sichtbar werden, wodurch schnelle Iterationen möglich sind. Das Framework unterstützt SharePlay, sodass mehrere Personen gemeinsam an einem Objekt oder Entwurf arbeiten können – lokal nebeneinander oder aus der Ferne. Apple sieht Einsatzmöglichkeiten vor allem bei Architekten, Innenarchitekten, Produktdesignern, Schmuckdesignern und anderen kreativen Berufen. Spatial Preview unterstützt unter anderem USD-Dateien, Apple-Immersive-Video-Stills, PDFs und klassische 2D-Inhalte. Als Beispiele nannte Sinclair Integrationen mit SketchUp von Trimble und Cinema 4D.
Auch erfolgreiche VisionOS-Apps kamen zur Sprache. Sinclair hob zwei Gewinner der Apple Design Awards hervor: die NBA-App, die für Innovation ausgezeichnet wurde, und „Primary“, eine journalistische App mit spatialen Videos, die für sozialen Einfluss prämiert wurde. Die NBA-App habe über mehrere Versionen hinweg gezeigt, wie Sporterlebnisse auf Vision Pro neu gedacht werden können – von Multiview-Funktionen bis hin zu immersiven Live-Erlebnissen. „Primary“ wiederum nutze räumliches Video, um journalistische Geschichten eindringlicher und näher am Geschehen zu erzählen.
Zum Abschluss ging es um die Frage, wie ernst Apple die Plattform Vision Pro und VisionOS langfristig weiterverfolgt. Sinclair widersprach dem Eindruck, Apple habe Vision Pro zurückgestellt oder das Engagement reduziert. Spatial Computing stehe noch am Anfang. Apple lerne weiter, investiere weiter und verbessere die Plattform kontinuierlich. VisionOS 27 solle zeigen, dass Apple sowohl für private Nutzer als auch für professionelle Anwendungen neue Möglichkeiten erschließt, die auf anderen Geräten nicht in gleicher Weise realisierbar seien.
Justin Ryan zog ein enthusiastisches Fazit. Für ihn sei VisionOS heute ähnlich spannend wie iOS in den Jahren 2007 bis 2009. Jedes Jahr bringe die Plattform neue Ebenen an Funktionalität und Möglichkeiten. Besonders die Kombination aus Siri AI, visueller Intelligenz, persönlichen Umgebungen, verbesserten Aufnahmen und neuen Entwicklerwerkzeugen zeige, wie sehr sich Vision Pro weiterentwickle. Sinclair dankte zum Schluss ausdrücklich der Entwickler- und Creator-Community. Deren Apps, Filme und räumliche Inhalte seien entscheidend dafür, dass Spatial Computing lebendig werde und sein Potenzial entfalten könne.
