Com o início da temporada da NFL, uma nova safra de jogadores faz sua estreia. Para os fãs, identificar um novato em campo pode ser um desafio. Para uma Inteligência Artificial Generativa, seria de se esperar que fosse simples. Decidi testar essa hipótese com um experimento direto, e os resultados revelaram uma lição profunda para qualquer líder que esteja implementando uma estratégia de IA hoje.
O Teste: Uma pergunta simples, dois idiomas
A preparação foi simples. Usei uma única imagem de um jogo do Los Angeles Chargers. Nela, um jogador com a camisa número 20 estava claramente visível. Em seguida, fiz exatamente o mesmo prompt para dois dos poderosos modelos do Google, Gemini Pro e Gemini Flash, oito vezes:
-
Quatro vezes em inglês: “Analyse the image in attached, identify the sport, the teams, and the player using blue t shirt, yellow pants and number 20…”
-
Quatro vezes em português: “Analise a imagem em anexo, identifique o esporte, os times e o jogador usando camiseta azul, calça amarela e o número 20…”
A resposta correta é Cam Hart, um cornerback novato dos Chargers. O objetivo era ver a confiabilidade da IA para realizar essa tarefa básica de identificação.
O Problema: Uma Taxa de Falha de 75% e uma Anomalia Bizarra
Os resultados foram surpreendentes. Em oito tentativas, os modelos de IA falharam em identificar corretamente o jogador em 75% das vezes.
As respostas dos modelos incluíram estrelas consagradas como Derwin James Jr., ex-jogadores como Austin Ekeler e outros defensores como Alohi Gilman. Mas dois padrões críticos emergiram dessa falha:
-
O Time Estava Sempre Certo: Em cada uma das oito respostas, a IA identificou corretamente o time como o Los Angeles Chargers. Não teve problemas com a marca, mas falhou consistentemente no indivíduo.
-
O Sucesso Só Veio em Português: As duas únicas vezes em que a IA identificou corretamente Cam Hart foram com o modelo mais avançado, o Gemini Pro, e — esta é a parte crucial — apenas quando o prompt foi escrito em português.
Isso criou um mistério fascinante. Por que a IA conseguia sempre identificar o time, mas não o jogador? E, mais importante, por que ela foi mais precisa em português do que em inglês ao analisar um jogo de futebol americano?
A Explicação: Como o Contexto Local Supera o Viés Global
A resposta não está na inteligência bruta da IA, mas no contexto de seus dados. Minha hipótese, que uma análise mais profunda confirmou, é que o desempenho da IA foi ditado pela pegada de dados específica do evento.
-
Por que o Time Foi Fácil: Conhecimento Estável vs. Dinâmico
A identidade de um time da NFL — seu logo, cores e nome — é um conhecimento estável. É como a marca de uma empresa, consolidada por décadas de dados e milhões de imagens. Para a IA, identificar os Chargers é fácil porque o padrão é esmagadoramente forte e consistente em todos os seus dados de treinamento globais.
Um jogador, especialmente um novato, é um conhecimento dinâmico. Os elencos mudam, e um novo jogador tem uma pegada de dados muito pequena em comparação com uma estrela experiente. Quando usei o prompt em inglês, a IA recorreu ao seu massivo banco de dados global, com peso histórico. Nesse oceano de dados, a probabilidade estatística de um jogador dos Chargers ser um nome famoso como Derwin James Jr. é muito maior do que ser um novato como Cam Hart. A IA não estava "vendo" incorretamente; estava fazendo um palpite estatisticamente enviesado, uma forma clássica de alucinação de IA.
-
A Jogada Vencedora: O Poder de um Conjunto de Dados Local
A chave para resolver o mistério foi uma única e vital peça de contexto: aquele jogo específico foi realizado no Brasil.
Este evento histórico criou uma explosão massiva, recente e altamente relevante de dados em português. A mídia esportiva brasileira, fóruns de fãs e redes sociais discutiram o jogo, os times e os jogadores — incluindo o novato Cam Hart — em português.
Quando fiz o prompt em português, eu não estava apenas mudando o idioma; estava dando uma poderosa pista contextual. O idioma agiu como um filtro, sinalizando para o modelo priorizar os dados recentes e geograficamente específicos do jogo no Brasil em detrimento de seus dados globais mais antigos e enviesados. Nesse conjunto de dados localizado, Cam Hart não era um ninguém estatístico; ele era um jogador relevante naquele evento específico. A IA teve sucesso porque o prompt a guiou para os dados certos.
Para executivos, líderes de produto e cientistas de dados, este simples experimento é uma lição poderosa. O valor da IA, como de qualquer ferramenta, não está no produto em si, mas em nossa capacidade de usá-lo para extrair o melhor valor. Para fazer isso, devemos entender o produto.
Produtos de IA Generativa agem de acordo com o prompt e o contexto, interpretando-os e atuando com base no que entenderam. Precisamos entender profundamente como eles funcionam para evitar erros e extrair seu valor máximo. Um produto de IA que ignora o contexto dinâmico, local e linguístico dos dados do seu negócio é uma IA destinada a alucinar. A verdadeira inovação vem de saber não apenas o que perguntar, mas como — e em que contexto — perguntar.
Links Interessantes:
Uma aula magna sobre alucinações em Generative AI, dada pelo chatGPT.
GenAI pode criar uma imagem como essa?
https://medium.com/productmanagerslife/genai-pode-criar-uma-imagem-como-essa-fad6f8db320c
