Oggi condividiamo Solaris: il primo modello di una nuova famiglia di sistemi AI che chiamiamo Modelli di Mondo Interfaccia. Solaris inizia con una domanda: cosa succede quando un sistema operativo genera applicazioni e siti web mentre li utilizzi?
Ogni sistema operativo, dai terminali precoci a Linux e macOS, ha sempre determinato ciò che viene visualizzato sullo schermo e cosa accade quando una persona o un programma agisce su di esso. Le applicazioni vengono costruite sopra e rimangono fisse fino a quando qualcuno non rilascia un aggiornamento. Solaris, invece, rende quel livello direttamente. È un modello interattivo in tempo reale che genera l’interfaccia stessa, fotogramma per fotogramma. Ogni fotogramma è sintetizzato mentre interagisci, consentendo all’interfaccia di rispondere continuamente alle tue azioni.
Il design è più visivo che mai, con mockup pixel-perfect e modelli di immagini che possono generare intere schermate che sono quasi indistinguibili dai prodotti finiti. Ma le immagini non funzionano come un sito web o un’app. Ogni pezzo di software costruito oggi richiede comunque una traduzione: il design visivo deve prima essere convertito in una rappresentazione intermedia (ad esempio, codice) prima di poter fare qualcosa.
Questa rappresentazione intermedia limita ciò che un’interfaccia può essere e come risponde all’interazione umana e agenziale. Ogni comportamento deve essere definito ed implementato esplicitamente in anticipo, quindi il software viene spedito come una compressione lossy dello spazio delle possibili interazioni, congelato prima che un utente arrivi. Lo stesso processo di traduzione sacrifica anche la fedeltà visiva. Una volta che un design è ridotto a una rappresentazione semplificata, l’interfaccia può rispondere rapidamente, ma solo a costo di rinunciare alla ricchezza del design originale.
Solaris gestisce il rendering e le interazioni congiuntamente, rimuovendo molti dei compromessi a cui associamo il design oggi. Un singolo modello di mondo genera ogni fotogramma e ogni risposta all’input dell’utente, eliminando la necessità di una rappresentazione intermedia. Poiché non c’è alcun passo di conversione, non c’è perdita e l’intero fotogramma diventa l’interfaccia.
Riteniamo che Solaris apra nuove vie per costruire siti web, app e altre interfacce online. Ma è anche un nuovo modo di addestrare agenti in ambienti molto più dinamici. Anche i migliori LLM oggi faticano a completare compiti basici di utilizzo del computer, come prenotare un hotel o ordinare generi alimentari. Poiché i modelli basati su testo sono addestrati per utilizzare interfacce codificate, tendono ad apprendere il layout specifico su cui sono stati addestrati e non riescono ad adattarsi a interfacce leggermente diverse (ad esempio, due siti web di hotel differenti).
Cosa c’è di nuovo
Solaris porta tre nuove capacità nel software.
In primo luogo, Solaris è completamente visivo. Quando un’immagine diventa l’applicazione stessa, non c’è bisogno di un secondo passo di implementazione nascosto sotto le immagini che un utente vede. Immagina di navigare in un negozio virtuale di abbigliamento dove il showroom stesso è l’interfaccia. Utilizzando una singola immagine di te come riferimento, puoi prendere una maglietta da uno scaffale, trascinarla su di te per provarla o riorganizzare la disposizione proprio come faresti in un negozio fisico.
In secondo luogo, è vivo. Poiché l’applicazione è continuamente renderizzata, è sempre in evoluzione anziché attendere la prossima azione dell’utente. I riflessi cambiano con l’illuminazione e gli oggetti reagiscono naturalmente mentre vengono manipolati. Un utente può dire qualcosa di semplice come: “Sposta il tavolo così posso vedere come appare” o “Cambia il colore del divano”. Il risultato è un software che sembra meno come navigare tra pagine scriptate e più come interagire con un ambiente vivente.
Perché non è esistito fino ad ora?
Le interfacce digitali sono costruite su due sistemi che, fino ad ora, hanno vissuto in mondi diversi. I sistemi che conoscono le cose (ad esempio, motori di ricerca e assistenti AI) rispondono con contenuti statici: testo, un’immagine, forse un video incorporato. I sistemi che rispondono in tempo reale (ad esempio, JavaScript/CSS, motori di gioco e, più recentemente, modelli di mondo interattivi) creano esperienze ricche e interattive, ma non sanno nulla dei tuoi prodotti, del tuo compito o di cosa stai cercando di realizzare.
Tradizionalmente, abbiamo pensato alle interfacce software come programmi deterministici e ai modelli di mondo come generatori di contenuti visivi. Un Modello di Mondo Interfaccia deve essere entrambi: un sistema che comprende la tua intenzione mentre renderizza continuamente un mondo interattivo attorno ad essa.
Come funziona Solaris
Solaris si basa sul nostro modello di generazione video Gen-4.5, che abbiamo adattato per (1) comprendere l’interazione e (2) rispondere in tempo reale. Segue il percorso che abbiamo aperto con GWM-1, il nostro modello di mondo generale.
Apprendimento dell’interazione. Solaris tratta l’input dell’utente come condizionamento per il fotogramma successivo, allo stesso modo in cui tratta testo o immagini. Il modello osserva clic, trascinamenti e altre interazioni mentre genera, utilizzandoli come segnali per ciò che verrà dopo.
Valutazione di Solaris
Il costo della traduzione. In precedenza, abbiamo sostenuto che la traduzione delle interfacce in una rappresentazione intermedia degrada inevitabilmente l’informazione. Per misurare tale perdita, abbiamo testato quanto fedelmente i modelli di linguaggio multimodali all’avanguardia possono ricreare un’interfaccia da uno screenshot.
Per misurare ciò, abbiamo valutato modelli di linguaggio multimodali all’avanguardia, inclusi Claude Fable 5, nel compito di ricreare interfacce web da uno screenshot singolo. Misuriamo la preservazione delle informazioni in due modi complementari. Prima, la similarità strutturale (SSIM) confronta l’interfaccia ricostruita con l’originale, catturando quanto fedelmente l’apparenza visiva è riprodotta.
Più che mai, Solaris è un passo iniziale verso un nuovo strato operativo, e vediamo emergere diversi nuovi modelli di interazione. L’app smette di essere l’unità con cui interagire. Oggi, svolgere un compito significa aprire l’app preconfezionata dedicata ad esso – una per lo shopping, un’altra per le notizie, un’altra per le prenotazioni al ristorante.
Solaris è il nostro primo Modello di Mondo Interfaccia, e siamo entusiasti di continuare ad esplorare cosa può diventare il software generato. Stiamo lavorando con partner chiave per lanciare Solaris pubblicamente. Compila il modulo qui sotto per richiedere accesso anticipato.