GitHub Copilot ha ora la capacità di leggere e controllare applicazioni desktop locali, ampliando il suo utilizzo a operazioni che richiedono di interagire tramite un’interfaccia grafica. La prima domanda pratica riguarda quali applicazioni può controllare e per quanto tempo.
GitHub ha annunciato la preview pubblica dell’uso computerizzato il 1° ottobre. Questa funzionalità è disponibile nel Copilot CLI e nell’app GitHub Copilot per sessioni locali su macOS e Windows. GitHub descrive la possibilità di leggere i contenuti delle applicazioni accessibili e il contesto visivo, di cliccare sui controlli, digitare, scorrere e navigare tra le applicazioni.
Scegliere un compito che richiede il controllo desktop
Secondo la guida sul concetto di uso computerizzato di GitHub, Copilot preferisce utilizzare strumenti diretti, come API, operazioni sul filesystem, integrazioni MCP o automazione del browser, quando questi possono svolgere il compito. L’interazione desktop si applica nei casi in cui questi metodi non siano sufficienti.
Questa selezione è una regola sensata per un primo tentativo. Un’operazione da linea di comando già produce un file strutturato e uno stato di uscita chiaro. Riprodurlo attraverso i menu aggiungerebbe un ulteriore insieme di elementi da esaminare. Un compito desktop diventa più interessante quando le informazioni necessarie o l’azione desiderata sono disponibili solo all’interno di un’applicazione esistente.
Controllare disponibilità e abilitarlo
L’uso computerizzato è disabilitato per impostazione predefinita e rimane in anteprima pubblica. La guida CLI di GitHub elenca i seguenti comandi interattivi:
/computer show
Mostra lo stato del plugin per l'uso computerizzato, server MCP e competenze associate
/computer on
Abilita la funzionalità inclusa e salva la preferenza
/computer off
Disabilita l'uso computerizzato
Nell’app GitHub Copilot, apri Impostazioni, quindi Uso Computer, e abilita la funzionalità. Su macOS, concedi i requisiti di Accessibilità e Registrazione dello Schermo documentati. L’app ha un controllo “Controlla di nuovo” se non viene rilevata una modifica nelle autorizzazioni. Anche Windows è supportato per sessioni locali; la procedura di autorizzazione di macOS non dovrebbe essere presentata come un requisito per la configurazione di Windows.
Capire cosa fa un’approvazione
La modalità di autorizzazione attiva determina se Copilot richiede conferma prima di controllare un’applicazione. Nella CLI, puoi utilizzare /permissions show per reportare la modalità. Nell’app, rivedi le Autorizzazioni Strumento sotto Sessioni. Le regole di diniego configurate hanno la precedenza sulle approvazioni salvate e sul comportamento automatico delle autorizzazioni.
Un primo approccio che puoi verificare
Qui c’è un prompt di osservazione originale da adattare a un’applicazione locale che sei autorizzato a ispezionare. Utilizza dati di esempio e specifica la finestra o il documento che li contiene:
In [applicazione], ispeziona la finestra [aperta o documento]. Riporta i valori di [tre campi nominati] e dove ciascuno appare. Non modificare campi, salvare file, inviare moduli, inviare messaggi o passare a un’altra applicazione. Se un valore non è leggibile o la finestra richiesta è mancante, riferisci quel problema e fermati.
Questa guida definisce il comportamento previsto e non sostituisce le autorizzazioni dell’applicazione o le impostazioni dello strumento di Copilot. Dopo l’esecuzione, confronta i valori restituiti campo per campo, inclusi unità, date e posizioni decimali. Assicurati che l’applicazione sia rimasta invariata, poiché un’indicazione falsa di completamento potrebbe falsare i risultati.
Fermare l’operazione e verificare il risultato
GitHub documenta che per interrompere un’operazione CLI attiva, occorre premere Esc due volte. Nell’app, clicca su Stop o premi Esc. Poiché le interfacce desktop possono cambiare tra le versioni, attento a clic ripetuti, obiettivi scorretti o operazioni che continuano dopo il risultato previsto.
Successivamente, conserva un registro delle interventi. Un compito che termina dopo diverse correzioni può comunque essere utile, ma risponde a una domanda diversa rispetto a uno che si completa in modo autonomo. Dopo un primo tentativo, interrompi l’operazione, chiudi la sessione, ispeziona le approvazioni salvate dell’app e disabilita l’uso computerizzato se non intendi continuare a utilizzarlo.
Nota editoriale: Accesso e comandi sono stati verificati rispetto alla documentazione di GitHub il 2 ottobre 2023. Questo è una guida per la configurazione e la valutazione, non una recensione pratica o una garanzia di costo, successo dei compiti o disponibilità in ogni account.