Video generati dall'AI con personaggi e scene coerenti? Test pratico di Vidu.com
Problemi di intelligenza artificiale.
Vidu.com sostiene che la sua AI può generare video con personaggi e ambienti coerenti. Questo significherebbe che si possono mettere insieme più sequenze con gli stessi "attori" e potenzialmente creare interi (brevi) film. Ma funziona davvero? Lo abbiamo messo alla prova.Christian Hintze (traduzione a cura di DeepL / Ninh Duy) Pubblicato 🇺🇸 🇩🇪 ...
Verdetto - Potenziale enorme, ma non è ancora arrivato
Il potenziale (e i rischi) sono impressionanti. L'AI rimodellerà senza dubbio non solo la creazione di contenuti, ma anche l'industria cinematografica e dei giochi. Avere personaggi, ambientazioni e ambienti coerenti è un passo importante per rendere i generatori di video AI pratici, al di là dell'uso come novità.
In questo momento, però, non è ancora arrivato. Che senso ha se la persona rimane la stessa (ammesso che lo faccia), ma poi cammina attraverso oggetti solidi, si duplica improvvisamente o le crescono sei dita su una mano?
Al momento, Vidu.com sembra più un giocattolo. È divertente, ma la tecnologia non è ancora abbastanza affidabile per un uso professionale nel cinema, nella pubblicità o in settori simili. Ci sono semplicemente troppi difetti.
Pro
Contro
Prezzi e disponibilità
Chiunque può provare Vidu.com gratuitamente dopo aver creato un account. Il sistema funziona a crediti. I nuovi utenti ricevono alcuni crediti iniziali, e si possono guadagnare altri crediti attraverso determinate azioni.
Esistono anche opzioni di abbonamento mensile e annuale.
Nonostante le valide critiche, troviamo affascinante l'AI in questo spazio. Ma la qualità dei risultati varia enormemente: da un lato, è possibile ottenere ambienti incredibilmente dettagliati direttamente dalla propria immaginazione. Dall'altro, le persone generate dall'AI spesso fissano il vuoto o si muovono in uno strano slow-motion.
Perciò, abbiamo dato al nuovo generatore di video AI Vidu.com un giro noi stessi. Gli sviluppatori hanno gentilmente aggiunto 500 crediti al nostro conto per il test. Il modello di punta della piattaforma, Vidu Q1, può elaborare fino a sette immagini di riferimento in una singola sequenza video. Gli elementi mancanti possono essere generati attraverso suggerimenti testuali.
Cosa può fare con Vidu?
Con Vidu, può generare video AI utilizzando questi strumenti:
- Da testo a video: Digiti un messaggio che descrive ciò che dovrebbe accadere nel video
- Da immagine a video: Generare un video da una singola immagine. Ancora più bello: imposti un fotogramma iniziale e uno finale, e Vidu riempie la transizione
- Riferimento al video: La funzione più interessante. Carichi immagini di personaggi, luoghi o oggetti e l'intelligenza artificiale cercherà di mantenerli coerenti in un video.
l'output è Full HD, 16:9, con formato smartphone opzionale. I video possono anche essere upscalati, ad esempio a 4K.
Esperienza diretta - curva di apprendimento, suggerimenti precisi
Il nostro piano ambizioso:
- Scena 1: Un redattore di Notebookcheck si trova in un ufficio per testare un computer portatile.
- Scena 2: Digita una valutazione mediocre.
- Scena 3: Taglio su un altro ufficio, dove uomini in giacca e cravatta guardano il filmato di sorveglianza del redattore che inserisce la valutazione mediocre.
- Scena 4: Uno degli uomini in giacca e cravatta preme un pulsante di allarme.
- Scena 5: Viene inviata una squadra di tipo SWAT.
In totale, abbiamo tracciato 10 scene grezze.
1. Scena: Il redattore testa un computer portatile
Abbiamo utilizzato una vecchia foto, non del tutto aggiornata, di uno dei nostri redattori come riferimento del personaggio, oltre a una foto dell'ufficio per l'ambientazione. Abbiamo aggiunto il nostro logo Notebookcheck, un computer portatile e il logo di un marchio di PC fittizio ("Lavani"). Poi abbiamo dato il seguente suggerimento:
In breve: il nostro redattore (Immagine 1) dovrebbe essere in piedi nell'ufficio (Immagine 2), a testare un computer portatile. Sul muro di mattoni sullo sfondo, dovrebbe apparire il logo Notebookcheck (Immagine 3).
Il rendering di una clip di 5 secondi con il modello Vidu Q1 richiede solo 1-2 minuti e costa 15-20 crediti. Il risultato?
Non eravamo molto soddisfatti dei seguenti problemi:
- Perché l'acconciatura del nostro personaggio non corrisponde alla foto di riferimento? Rimarrà coerente nelle scene successive?
- Perché il nostro logo di riferimento è stato trasformato in "notobochech"?
- Perché non è stato incluso l'angolo di ripresa "sopra le spalle" richiesto?
- Perché il montatore continua a parlare in un microfono per tutto il tempo?
Per i registi, questo rende difficile ottenere gli angoli di ripresa e le configurazioni esatte che descrivono.
Abbiamo modificato il nostro prompt, ma più aggiungevamo dettagli, più spuntavano problemi. Ora l'acconciatura era corretta, ma improvvisamente c'erano due redattori gemelli sullo schermo. Poi il nostro redattore ha attraversato una scrivania.
L'IA ha avuto problemi anche con il posizionamento del primo piano. E nonostante le ripetute richieste, non ha mai prodotto l'inquadratura sopra le spalle richiesta. In breve, i nostri input di testo non sono stati seguiti con precisione.
Da immagine a video
Abbiamo accantonato la nostra ambiziosa idea di cortometraggio e abbiamo provato la tecnica Image-to-Video e le transizioni tra due immagini di riferimento.
l primo ha funzionato abbastanza bene. Ad esempio, la nostra immagine di Illidan (da *Warcraft 3*) è stata trasformata in una breve clip. La telecamera ha effettuato uno zoom sul volto del cacciatore di demoni, mentre era accigliato. Per motivi di copyright, non mostreremo l'immagine o il video qui.
Infine, abbiamo testato una transizione tra due fotogrammi:
- Illidan si trova su una roccia.
- Illidan atterra a terra.
L'idea: Illidan dovrebbe saltare dalla roccia (Immagine 1) e atterrare a terra (Immagine 2). Ma nel video generato, Illidan si è trasformato in un'ombra nera simile a un uccello nel mezzo. Completamente inutilizzabile.
Sommario
Generare video con Vidu.com è semplicissimo. Ma ottenere le scene, le angolazioni e le azioni esatte che desidera è tutt'altro che semplice. I suggerimenti non vengono seguiti con attenzione, le immagini di riferimento vengono distorte (logo, acconciatura), gli oggetti perdono consistenza fisica (camminare attraverso una scrivania) o si verificano altri inconvenienti (editor duplicato).
Tutto sommato, è un po' frustrante e attualmente rende quasi impossibile creare video veramente coerenti e adattati alla sua visione.
