Na segunda-feira, pesquisadores da Microsoft apresentaram o Kosmos-1, um modelo multimodal que pode alegadamente analisar imagens para conteúdo, resolver quebra-cabeças visuais, realizar reconhecimento visual de texto, passar nos testes visuais de QI e entender instruções de linguagem natural.
Os pesquisadores acreditam que a IA multimodal – que integra diferentes modos de entrada como texto, áudio, imagens e vídeo – é um passo fundamental para a construção de inteligência geral artificial (AGI) que pode realizar tarefas gerais no nível de um humano.
Sendo uma parte básica da inteligência, a percepção multimodal é uma necessidade para alcançar inteligência geral artificial, em termos de aquisição de conhecimento e fundamentação para o mundo real”
O novo assistente de IA pode navegar, pesquisar e usar aplicativos web como “Sendo uma parte básica da inteligência, a percepção multimodal é uma necessidade para alcançar inteligência geral artificial, em termos de aquisição de conhecimento e fundamentação para o mundo real”, os pesquisadores escrevem em seu trabalho acadêmico, Language Is Not All You Need: Alinhando Percepção com Modelos de Linguagem.
Exemplos visuais do artigo Kosmos-1 mostram o modelo analisando imagens e respondendo perguntas sobre elas, lendo texto de uma imagem, escrevendo legendas para imagens e fazendo um teste de QI visual com 22-26 por cento de precisão
Os pesquisadores chamam sua criação de um “modelo multimodal de linguagem grande” (MLLM) porque suas raízes estão no processamento de linguagem natural, como um LLM somente de texto, como o ChatGPT.
Para que o Kosmos-1 aceite a entrada de imagens, os pesquisadores devem primeiro traduzir a imagem em uma série especial de fichas (basicamente texto) que o LLM possa entender.
A Microsoft treinou o Kosmos-1 usando dados da web, incluindo trechos do The Pile (um recurso de texto em inglês de 800GB) e do Common Crawl.
Após o treinamento, eles avaliaram as habilidades do Kosmos-1 em vários testes, incluindo compreensão do idioma, geração de linguagem, classificação de texto sem reconhecimento ótico de caracteres, legendagem de imagens, resposta a perguntas visuais, resposta a perguntas da página web e classificação de imagem zero.
Em muitos destes testes, o Kosmos-1 superou os modelos atuais de última geração, de acordo com a Microsoft.
O futuro, integração e Código para devs
A Microsoft diz que planeja disponibilizar o Kosmos-1 para os desenvolvedores, o que pode vir a gerar resultados interessantes, ainda estou esperando a ferramenta IA ideal, uma combinação do ChatGPT, com Midjourney e por ai vai.
Conversar com uma IA que entende não apenas contexto de um texto mas imagens também seria incrível, especial para se gerar novas imagens com conteúdo mais preciso, se pudéssemos mostrar uma imagem para o Midjourney e explicar com linguagem natural o que queremos seria bem mais fácil de se chegar ao resultado desejado.
