Fish Audio Drama 3 permette alle voci IA di cambiare emozione a metà frase

Fish Audio ha lanciato Drama 3, un modello di sintesi vocale progettato per far sì che i dialoghi generati dall'IA sembrino meno una lettura di un copione e più una vera interpretazione. Rilasciato il 13 ottobre, il modello permette ai creatori di controllare emozioni, ritmo e interpretazione vocale usando il linguaggio comune.

Anziché affidarsi a impostazioni vocali predefinite di base, gli utenti possono inserire istruzioni direttamente nei loro copioni. Un personaggio potrebbe iniziare a parlare con calma, diventare sempre più frustrato e concludere una frase sussurrando, il tutto senza passare da una registrazione all'altra. Persino gli attori sintetici ora devono seguire le indicazioni di regia.

Drama 3 supporta anche conversazioni tra più personaggi e 83 lingue. Le istruzioni possono essere applicate a singole parole o passaggi, consentendo ai creatori di dare risalto a espressioni specifiche senza modificare il resto del copione.

Secondo Fish Audio, il modello ha raggiunto un'accuratezza del 93,2% nel benchmark Pronunciation Robustness di Artificial Analysis, rispetto all'88,1% del suo predecessore, S2.1 Pro. Tuttavia, l'accuratezza della pronuncia non garantisce necessariamente interpretazioni emotive convincenti.

L'azienda sta inoltre sviluppando due strumenti di editing avanzati. Interactive Editing consentirà agli utenti di perfezionare le interpretazioni tramite istruzioni successive, mentre Audio Inpainting è progettato per sostituire singole parole senza rigenerare intere registrazioni. Entrambi sono ancora in fase di test limitati, accessibili solo su invito.

Drama 3 è disponibile tramite il sito web, le app mobili e l'API di Fish Audio. È inoltre possibile scaricare i pesi del modello, sebbene l'uso commerciale sia soggetto a restrizioni di licenza.

Fino al 12 novembre, l'accesso all'API costa 10 dollari per milione di caratteri, con uno sconto dell'80% rispetto alla tariffa ordinaria di 50 dollari. Anche i nuovi abbonamenti per i creator sono scontati del 50% durante il periodo promozionale.