A Microsoft apresentou hoje uma novidade interessante, uma nova tecnologia da empresa pode clonar a voz humana usando uma amostra de apenas 3 segundos.
O programa, chamado VALL-E, foi projetado para síntese de texto-para-fala. Uma equipe de pesquisadores da Microsoft criou-o fazendo com que o sistema ouvisse 60.000 horas de narração de audiolivro em inglês de mais de 7.000 pessoas diferentes.
Tudo isso foi para tentar aprimorar o programa. Esta amostra é centenas de vezes maior do que a de outros programas de conversão de texto em fala.
A equipe da Microsoft criou inclusive um site com várias demonstrações do VALL-E em ação. Como você pode ouvir, o programa AI pode não apenas clonar a voz de alguém usando um clipe de áudio de 3 segundos, mas também manipular a voz do clone para dizer o que for desejado. Além disso, o programa pode replicar a emoção na voz de uma pessoa ou ser configurado em diferentes estilos de fala.
Fala Humana
Vall-E
Fala Humana
Vall-E
A clonagem de voz não é novidade. Mas a abordagem da Microsoft se destaca por facilitar a replicação da voz de qualquer pessoa com apenas um pequeno trecho de dados de áudio. Portanto, não é difícil imaginar a mesma tecnologia sendo usada para o cibercrime – que a equipe da Microsoft reconhece como uma ameaça potencial.
“Como o VALL-E poderia sintetizar a fala que mantém a identidade da voz original ela pode acarretar riscos potenciais no uso indevido do modelo, como a identificação falsa da voz ou a imitação de uma pessoa específica”, escreveram os pesquisadores em seu trabalho.
Talvez seja possível construir programas para identificar audios criados pela VALL-E
Dito isto, a equipe observa que talvez seja possível construir programas que possam “discriminar se um clipe de áudio foi sintetizado pela VALL-E”.
O VALL-E interpreta o discurso em áudio como “tokens discretos”, e depois reproduz o token para falar com um texto diferente.
“VALL-E gera tokens acústicos correspondentes condicionadas às fichas acústicas da gravação de 3 segundos inscritos”, escreveram os pesquisadores. “Finalmente, tokens acústicos gerados são usados para sintetizar a forma de onda final com o correspondente decodificador de codec neural”.
Entretanto, a tecnologia está longe de ser perfeita. Em seu trabalho de pesquisa, a equipe da Microsoft observa que o VALL-E pode, às vezes, lutar ou não pronunciar certas palavras. Em outros momentos, as palavras podem soar gargarejadas, sintetizadas artificialmente, robotizadas ou apenas tonalmente.
Então, ao que tudo indica falta um pouco para o sistema fazer dupla com o ChatGPT por exemplo e criar histórias com vozes de pessoas e afins, mas seria uma ideia interessante!
