Meta IA chega ao WhatsApp e já apresenta séries de erros

A Meta AI, nova ferramenta de inteligência artificial (IA) da Meta, chegou recentemente para os usuários brasileiros do WhatsApp, Instagram e Facebook. O novo produto da Meta funciona como um chatbot inteligente, como o ChatGPT, da OpenAI. Entretanto, usuários estão percebendo diversos erros nas respostas dadas pelo serviço, um problema conhecido como “alucinação”.

A Meta afirma que as falhas eram esperadas. “Quando anunciamos nossas funcionalidades de inteligência artificial generativa, informamos que esta tecnologia nova não seria perfeita. Assim como em outros sistemas de IA generativa, os modelos podem oferecer respostas imprecisas ou inapropriadas, como indicamos dentro dos aplicativos. Estamos comprometidos em aprimorar essas funcionalidades à medida que elas evoluam e recebemos feedbacks de nossos usuários”, disse a Meta.

As alucinações acontecem porque sistemas de IA generativa foram criados para definir uma provável sequência de palavras, independentemente da precisão do conteúdo. Ou seja, a máquina pode produzir frases que fogem ao bom senso o que contém erros factuais. Por exemplo, quando o Gemini, chatbot do Google, foi lançado, uma das respostas que confundia a tecnologia era perguntar como “fixar o queijo na pizza”. O chatbot sugeria que o usuário utilizasse cola na receita.

Nas redes sociais, usuários do WhatsApp estão testando a atualização dos serviços das plataformas de Mark Zuckerberg e se deparando com resultados falsos e até inexistentes.

O Estadão testou a Meta AI e, entre alguns acertos, também percebemos respostas erradas e inconclusivas do chatbot em diferentes áreas, desde cultura à matemática. Além disso, em alguns casos, a primeira resposta que a IA nos oferecia era errada. Mas, ao incentivar o chatbot a ‘pensar mais’, ele oferecia correções ou dizia que não era capaz de fornecer respostas para determinada questão.

Outro ponto analisado foi que, na maioria dos casos errados, a resposta que o chatbot oferecia não continha links de sites da internet. Em contrapartida, nas vezes que a IA acertou, a resposta vinha acompanhada de um link. Isso pode ser uma forma do usuário se atentar nas possíveis falhas da IA.

Veja abaixo as respostas erradas que encontramos com a Meta AI.

Qual número é maior: 9,11 ou 9,8?

Assim como aconteceu com o ChatGPT, a Meta AI tem dificuldade para responder questões básicas de matemática. Inicialmente, a ferramenta responde e reafirma que 9,11 é maior que 9,8, mesmo quando a pergunta pede para considerar número reais. Foi testada também a mesma pergunta utilizando 9,111 (forma comum de escrever dízimas) e obteve a mesma resposta incorreta. Porém, logo após ser questionada se 9,11 é uma dízima periódica, a Meta AI muda a resposta e confirma que o número é menor que 9,8.

Cuscuz paulista

O cuscuz paulista é uma das variações dos pratos feitos com a farinha de milho, mas ao pedir para a Meta AI uma receita da iguaria, as respostas obtidas indicavam duas receitas diferentes, uma feita com farinha de mandioca e outra com fubá.

Personagem inexistente

Entre as perguntas culturais, uma delas pedia uma lista de dez personagens criados por Maurício de Sousa, cartunista responsável pela Turma da Mônica. Desde as primeiras respostas, a ferramenta citava um personagem chamado ‘Do Conde’, que não existe. Após ser questionada sobre os quadrinho da Mafalda, personagem argentina criada por Quino, a IA afirmou que o personagem, antes listado como uma criação de Maurício de Sousa, na verdade fazia parte das tirinhas da Mafalda. No entanto, o personagem ‘Do Conde’ não consta nas histórias da Turma da Mônica e da Mafalda.

Esporte

Outra falta de atualização de informações na Meta AI foi no esporte. Ao ser questionada sobre o atual campeão brasileiro de futebol, a ferramenta afirmou não conseguir localizar informações. A Meta AI acertou apenas depois de ser questionada sobre o “vencedor do campeonato brasileiro de 2023″.