Ho trasformato gli scarabocchi in videoclip in pochi minuti con il nuovo strumento video AI di Runway: ecco come

Segui ZDNET: Aggiungici come fonte preferita su Google.

I principali punti salienti di ZDNET

• Una nuova funzionalità di Runway ti consente di generare video dagli scarabocchi.
• È impressionante, ma funziona meglio se tenuto con attenzione.
• L’accesso richiede il pagamento di (almeno) un account Customary Runway.

Una famiglia di coloni, ammirando un branco di bisonti, si mette a correre mentre due creature alate demoniache volano sopra di loro. La bambina attraversa un palo della recinzione come un fantasma.

Questa scena surreale di cinque secondi è stata creata grazie a una nuova funzionalità all’interno della piattaforma AI Runway chiamata Movement Sketch. Come suggerisce il nome, genera video da semplici scarabocchi che puoi realizzare direttamente sopra un’immagine fissa.

Nel caso della clip qui sotto, ho iniziato generando un’immagine utilizzando Nano Banana Professional di Google – uno dei modelli di conversione testo-immagine offerti attraverso la piattaforma Runway – quindi ho semplicemente disegnato un’infarinatura di forme simili a uccelli e due frecce che puntano nella direzione in cui la famiglia e il bisonte dovrebbero fuggire. Ho aggiunto alcuni suggerimenti di testo come ulteriore guida e il modello ha fatto il resto.

La funzione necessita ancora di un po’ di attenzione, più o meno allo stesso modo in cui ChatGPT spesso richiede più istruzioni ben realizzate per generare l’output che stai cercando. Tuttavia, potrebbe segnare un grande passo avanti per i video generati dall’intelligenza artificiale e per i professionisti dei settori creativi che preferiscono pensare più visivamente che verbalmente.

“La funzionalità è utile per tutti i tipi di utenti”, ha dichiarato a ZDNET Aditi Poduval, Product Supervisor della pista. “In definitiva, stiamo aiutando le persone a eseguire movimenti precisi senza la necessità di creare uno specifico suggerimento scritto.”

Ecco cosa ho imparato dopo essermi dilettato con Movement Sketch.

I miei esperimenti

Dopo il mio esperimento iniziale con l’immagine della famiglia di coloni inzaccherata, ho deciso di aumentare l’imprecisione, per così dire.

Avevo generato l’immagine della famiglia utilizzando un messaggio di testo. Ma Nano Banana Professional tramite Runway può anche creare un’immagine basata esclusivamente su uno scarabocchio, che puoi realizzare direttamente sulla piattaforma à la Microsoft Paint. Sono uno scrittore, non un artista visivo, ma ho fatto del mio meglio per abbozzare quello che speravo assomigliasse vagamente a un serpente appeso al ramo di un albero.

Quindi mi sono rivolto a Movement Sketch. Come accennato, avevo incontrato il modello a metà dell’esperimento della famiglia dei coloni aggiungendo alcuni suggerimenti di testo oltre ai miei scarabocchi, ma questa volta volevo vedere come avrebbe funzionato senza alcuna guida scritta. Speravo di generare una clip del serpente che striscia verso destra, quindi ho disegnato alcune semplici frecce che indirizzano il movimento lungo il suo corpo. Qualsiasi bambino di sei anni sarebbe in grado di capire cosa significano quelle frecce, ma come si comporterebbe l’intelligenza artificiale? Ho impostato la durata su 10 secondi, ho selezionato Runway’s Gen-4.5 modello video (sono disponibili anche Veo 3 e Veo 3.1 di Google) e ha fatto clic su Genera.

Mi aspettavo una clip relativamente fluida del serpente che si muove lungo il ramo ed esce dall’angolo in basso a destra dello scatto, ma quello che ho ottenuto è stato molto più stravagante. Il serpente ha lasciato parte del suo corpo a sinistra dello sparo, e un altro serpente è emerso dal suo corpo ed è caduto dall’albero. Advert un certo punto, sembrava che gli fossero cresciuti dei piedi simili a quelli di un alligatore, che usava per trascinarsi lungo il ramo. Anche le frecce originali che avevo disegnato sono apparse brevemente all’inizio della clip prima di disintegrarsi.

Per essere onesti, i serpenti sono una meraviglia biologica e modellare accuratamente i loro movimenti non è un compito da poco per qualsiasi animatore, umano o macchina che sia. E il modello sembrava interpretare erroneamente le mie frecce a number of come un’istruzione per il serpente di muoversi in più direzioni contemporaneamente, il che chiaramente lo confondeva. Quindi sono tornato indietro e ho aggiunto un semplice messaggio di testo alla mia immagine originale con le frecce: “Il serpente striscia lungo il ramo”.

Il prodotto finale questa volta period un po’ più vicino a quello che avevo in mente (nessuna duplicazione improvvisa dei corpi dei serpenti o la comparsa delle gambe). Il movimento sembrava ancora imbarazzante, ma ancora una volta, il movimento del serpente è una questione piuttosto ardua, con molta fisica complicata e a grana advantageous coinvolta.

Un altro esperimento: volevo vedere quanto bene il modello potesse funzionare con le foto reali, quindi ne ho caricato una dal mio laptop computer: uno scatto che avevo scattato alcuni mesi prima di Prospect Bark a Brooklyn.

Ho disegnato quella che è effettivamente un’icona universale per il fuoco: linee rosse ondulate intarsiate di arancione e che si irradiano verso l’alto. Ancora una volta, non pretendo di essere un illustratore di talento, ma la maggior parte degli esseri umani sarebbe in grado di riconoscere ciò che stavo cercando di fare con questo. Anche il modello della passerella lo ha notato e ha lanciato un enorme falò al centro della tranquilla scena in riva al lago catturata nella mia foto. Ancora una volta, il mio schizzo è apparso brevemente nella clip prima di scomparire in un movimento psichedelico di linee sinuose che si accorciano gradualmente. E forse me lo sto immaginando, ma gli alberi accanto al falò sembravano addirittura anneriti sotto il suo calore.

L’asporto

Come ogni altro strumento di intelligenza artificiale generativa, Movement Sketch ha le sue imperfezioni e i suoi difetti (la bambina che passa attraverso una trave di legno, il serpente che fa spuntare una gamba, le linee ondulate dei miei schizzi originali che appaiono brevemente nei video clip finali). Tuttavia, sono impressionato.

Ecco un assaggio di un formato completamente nuovo per generare video con l’intelligenza artificiale, che potrebbe abbassare la barriera tra immaginazione e produzione più che mai. “QUESTO è quello che stavo aspettando”, un utente X pubblicato sotto l’annuncio di martedì di Runway. “Disegnare la tua visione e poi guardarla renderizzata come video? Un punto di svolta assoluto per i creatori che non possono guidare l’ingegneria per tutta la vita.”

In questo momento, se hai una visione specifica in mente, sono ancora necessari un bel po’ di tentativi ed errori, ma è comunque un’entusiasmante anteprima di ciò che il futuro potrebbe riservare. E vale sicuramente la pena di giocarci, anche – e forse soprattutto – se ci stai affrontando con spirito creativo, senza una visione chiara in mente di ciò che ti piacerebbe effettivamente produrre.

Come accedere

Movement Sketch richiede (come minimo) un abbonamento Customary a Runway, che costa $ 12 per utente al mese e embody 625 crediti mensili.

Per accedere dalla dashboard dell’utente, fai clic su “App” nel menu a sinistra, quindi seleziona Movement Sketch sotto la raccolta “Esplora Gen-4.5” o sotto la finestra di anteprima nella metà destra dello schermo, dove vedrai un pulsante etichettato “Provalo adesso”.

Da lì, carica la tua immagine e fai clic su “Schizzo” —> “Esporta schizzo” —> Genera.