Cientistas inventaram uma doença falsa e a IA disse às pessoas que ela era real

Está com os olhos doloridos e coçando? Você provavelmente é uma das milhões de pessoas que passam tempo demais olhando para telas, sendo bombardeadas pela luz azul. Esfregar os olhos com muita frequência pode fazer com que suas pálpebras adquiram um leve tom rosado.

Até aqui, tudo normal. Mas, se nos últimos dezoito meses você digitou esses sintomas em uma série de chatbots populares e perguntou o que havia de errado, talvez tenha recebido uma resposta estranha: bixonimania.

A condição não aparece na literatura médica padrão, até porque ela não existe. Trata-se de uma invenção de uma equipe liderada por Almira Osmanovic Thunström, pesquisadora médica da Universidade de Gotemburgo, na Suécia, que criou essa condição de pele e depois publicou dois estudos falsos sobre a condição em um servidor de pré-prints no início de 2024. Osmanovic Thunström realizou esse experimento incomum para testar se modelos de linguagem de grande porte (LLMs) absorveriam a desinformação e depois a reproduziriam como se fosse uma orientação de saúde confiável.

O problema foi que o experimento deu certo. Em poucas semanas após a publicação das informações sobre a suposta condição, atribuídas a um autor fictício, grandes sistemas de inteligência artificial começaram a repetir a doença inventada como se fosse real.

De forma ainda mais preocupante, os artigos falsos passaram então a ser citados na literatura revisada por pares. Osmanovic Thunström afirmou que isso sugeriu que alguns pesquisadores estão confiando em referências geradas por IA sem ler os artigos originais.

Fabricando uma doença

A bixonimania não existia antes de 15 de março de 2024, quando dois posts de blog sobre a doença apareceram no site Medium. Depois, em 26 de abril e 6 de maio daquele ano, dois pré-prints sobre a suposta condição surgiram na rede social acadêmica SciProfiles (ver https://doi.org/qzm5 e https://doi.org/qzm4). O autor principal era um pesquisador fictício chamado Lazljiv Izgubljenovic, cuja fotografia foi criada com o uso de IA.

Osmanovic Thunström conta que a ideia de inventar Izgubljenovic e a bixonimania surgiu a partir de estudos sobre como funcionam os modelos de linguagem de grande porte. Ao ensinar seus alunos sobre como sistemas de IA formulam seu “conhecimento”, ela demonstrou como o banco de dados Common Crawl, uma enorme varredura do conteúdo da internet, influencia as respostas geradas. Ela também demonstrou como a prompt injection, fornecer a um chatbot um comando que o faça sair de suas barreiras de segurança, pode manipular os resultados.

Como trabalha na área médica, ela decidiu criar uma condição relacionada à saúde e escolheu o nome bixonimania porque, segundo ela, “soava ridículo”. “Eu queria deixar bem claro para qualquer médico ou profissional de saúde que se trata de uma condição inventada, porque nenhuma doença ocular seria chamada de mania, isso é um termo psiquiátrico”, explicou.

Se isso não fosse suficiente para levantar suspeitas, Osmanovic Thunström espalhou várias pistas nos pré-prints para alertar os leitores de que o trabalho era falso. Izgubljenovic trabalha em uma universidade inexistente chamada Asteria Horizon University, localizada na igualmente fictícia Nova City, Califórnia. Nos agradecimentos de um dos artigos, os autores agradeceram à “professora Maria Bohm, da Academia da Frota Estelar, por sua gentileza e generosidade em contribuir com seu conhecimento e com seu laboratório a bordo da USS Enterprise”. Ambos os artigos afirmaram ter sido financiados pela “Fundação Professor Sideshow Bob, por seu trabalho em trapaças avançadas. Este trabalho faz parte de uma iniciativa maior de financiamento da Universidade da Sociedade do Anel e da Tríade Galáctica”.

Mesmo que os leitores não chegassem até o final dos artigos, encontrariam sinais de alerta logo no início, como afirmações de que “todo este artigo é inventado” e que “cinquenta indivíduos fictícios, com idades entre 20 e 50 anos, foram recrutados para o grupo de exposição”.

Pouco depois de Osmanovic Thunström publicar pela primeira vez informações sobre a condição falsa, ela começou a aparecer nas respostas dos chatbots baseados em LLMs mais usados. Em 13 de abril de 2024, o Copilot do Microsoft Bing afirmava que “a bixonimania é, de fato, uma condição intrigante e relativamente rara”, e, no mesmo dia, o Gemini, do Google, informava aos usuários que “a bixonimania é uma condição causada pela exposição excessiva à luz azul” e aconselhava as pessoas a procurar um oftalmologista. Em 27 de abril de 2024, o mecanismo de respostas Perplexity AI detalhou até mesmo sua prevalência, uma em cada 90 mil pessoas seria afetada, e, naquele mesmo mês, o ChatGPT, da OpenAI, dizia aos usuários se seus sintomas caracterizavam ou não bixonimania. Algumas dessas respostas surgiram quando se perguntava diretamente sobre bixonimania, outras vieram em resposta a perguntas sobre hiperpigmentação nas pálpebras causada pela exposição à luz azul.

Respostas desse tipo, geradas por LLMs, alarmaram alguns especialistas. “Se o próprio processo científico e os sistemas que o sustentam são sofisticados, e mesmo assim não conseguem identificar e filtrar coisas como essas, estamos perdidos”, afirmou Alex Ruani, pesquisadora de doutorado em desinformação em saúde no University College London. “Isso é uma aula magistral de como a desinformação e a má informação funcionam.”

Ruani disse que os detalhes do experimento da doença falsa podem parecer bobos, mas que existe uma questão maior e mais fundamental. A desinformação on-line não é novidade. O Google há muito tempo combate tentativas de manipular seus rankings de busca com conteúdos falsos ou enganosos. A empresa e outras passaram anos refinando algoritmos para classificar e filtrar as informações apresentadas aos usuários, mas os LLMs têm dificuldades nesse aspecto.

Desde que os artigos falsos foram publicados, algumas versões dos principais LLMs se tornaram sofisticadas o suficiente para demonstrar desconfiança em relação à bixonimania. Quando questionado sobre a condição em 11 de março de 2026, por exemplo, o ChatGPT declarou que ela “provavelmente é um rótulo inventado, marginal ou pseudocientífico”. Mas, poucos dias depois, o mesmo ChatGPT mostrou-se menos cético, dizendo: “A bixonimania é um novo subtipo proposto de melanose periorbital (olheiras), que se acredita estar associado à exposição à luz azul de telas digitais.”

Em meados de março, o Microsoft Copilot afirmou que a bixonimania “ainda não é um diagnóstico médico amplamente reconhecido, mas vários artigos emergentes e relatos de caso a discutem como uma condição benigna frequentemente diagnosticada de forma incorreta, ligada à exposição prolongada a fontes de luz azul, como telas”.

E, em janeiro deste ano, o Perplexity descrevia a bixonimania como “um termo emergente”. Ao ser informado dessa resposta, um porta-voz do Perplexity disse: “A principal vantagem da tecnologia é a precisão. Não afirmamos ser 100% precisos, mas afirmamos ser a empresa de IA mais focada em precisão.”

Um porta-voz da OpenAI declarou: “Os modelos que impulsionam a versão atual do ChatGPT são significativamente melhores em fornecer informações médicas seguras e precisas, e estudos conduzidos antes do GPT-5 refletem capacidades que os usuários não encontrariam hoje.”

Quando questionado sobre respostas anteriores do Gemini que tratavam a bixonimania como uma condição real, um porta-voz do Google afirmou que esses resultados refletiam o desempenho de um modelo anterior. Acrescentou ainda: “Sempre fomos transparentes quanto às limitações da IA generativa e fornecemos avisos no aplicativo para incentivar os usuários a conferir as informações. Para temas sensíveis, como aconselhamento médico, o Gemini recomenda que os usuários consultem profissionais qualificados.”

A Microsoft não respondeu a um pedido de comentário.

Parte do problema é que os modelos de IA podem oferecer resultados extremamente diferentes dependendo exatamente do que é perguntado e de quais tipos de informação estão utilizando como base. Se você pesquisar por “bixonimania”, a visão geral de IA do Google pode tratá-la como uma condição legítima. Mas, se perguntar “A bixonimania é real?”, essa mesma visão geral pode confirmar que ela não é legítima.

Mahmud Omar, médico e pesquisador especializado em aplicações de IA na área da saúde na Harvard Medical School, em Boston, Massachusetts, afirmou que a velocidade com que as empresas de IA estão lançando novos modelos dificulta alcançar “um fluxo de validação, um consenso ou uma metodologia para testar automaticamente cada modelo”.

O formato do experimento da doença falsa, e o fato de os resultados se apresentarem como vindos de uma fonte oficial, ou seja, um artigo acadêmico, pode ter sido um fator-chave para o seu sucesso. Em um estudo separado com 20 LLMs, Omar constatou que esses modelos são mais propensos a alucinar e a elaborar desinformação quando o texto que processam tem aparência médica profissional, formatado como uma nota de alta hospitalar ou um artigo clínico, do que quando se trata de conteúdo de redes sociais. “Quando o texto parece profissional e escrito da forma como um médico escreve, há um aumento nas taxas de alucinação”, afirmou.

O alcance do experimento se espalhou para a literatura médica publicada. A pesquisa sobre bixonimania foi citada por alguns pesquisadores, incluindo um estudo publicado na Cureus, revista editada pela Springer Nature, por pesquisadores do Maharishi Markandeshwar Institute of Medical Sciences and Research, em Mullana, na Índia. Esse estudo citou um dos pré-prints falsos e afirmou: “A bixonimania é uma forma emergente de melanose periorbital ligada à exposição à luz azul; mais pesquisas sobre o mecanismo estão em andamento”.

O autor correspondente não respondeu a um pedido de comentário para esta reportagem. Depois que a Nature entrou em contato com a Cureus para solicitar um posicionamento, a revista retratou o artigo no dia 30 de março. O aviso de retratação afirma: “Este artigo foi retratado pelo editor-chefe devido à presença de três referências irrelevantes, incluindo uma referência a uma doença fictícia. Como resultado, a equipe editorial da revista não tem mais confiança na precisão ou na procedência do trabalho, o que torna necessária a retratação. Os autores discordam da decisão de retratar”.

Ruani afirmou que o problema vai além dos LLMs, porque o experimento da bixonimania também enganou pessoas que citaram a pesquisa falsa.

Atualmente, Osmanovic Thunström está dividida sobre o que fazer com os dois artigos falsos e pretende discutir a questão com outros pesquisadores. “Se forem retratados, pode ser difícil para outras pessoas encontrar a fonte e verificar nosso caminho”, diz ela. “Se permanecerem disponíveis, continuarão a aparecer em buscas.” A questão que ela sente precisar enfrentar é se deixar os pré-prints no ar causa mais dano do que o benefício de demonstrar os problemas potenciais da IA.

O experimento da bixonimania é uma nova abordagem de um problema mais amplo: a contaminação dos sistemas de IA por pessoas que manipulam a literatura acadêmica. Elisabeth Bik, microbiologista e investigadora de integridade em pesquisa, observou que pesquisadores já criaram livros e artigos falsos para inflar suas contagens de citações no Google Scholar, explorando, assim, os mesmos sistemas automatizados de indexação que alimentam os dados de treinamento dos LLMs. A preocupação é que, quanto mais conteúdo falso for incorporado aos modelos de IA, maior a probabilidade de que esses modelos reproduzam informações falsas, nos afastando ainda mais dos fatos e da realidade.

Isso é particularmente perigoso quando informações fabricadas acabam infiltrando orientações médicas geradas por LLMs. E à medida que mais empresas de IA lançam produtos focados em saúde, o dano potencial caso algo dê errado aumenta.

A OpenAI contesta essa visão. “O ChatGPT Health é alimentado por nossos modelos mais recentes, que oferecem o mais alto desempenho em usos reais na área da saúde, raciocínio clínico mais robusto, menos erros factuais e melhor desempenho em avaliações”, afirmou um porta-voz da OpenAI. Eles acrescentam que os resultados observados por Osmanovic Thunström “refletem capacidades que os usuários não encontrariam hoje no ChatGPT ou no ChatGPT Health”.

Mas, para alguns pesquisadores, cresce o ceticismo em relação às capacidades dos modelos de IA na medicina. Questionado sobre esse tipo de uso, Cohen afirmou: “Há questões em aberto sobre o quanto isso merece confiança, especialmente no que se refere a aplicações específicas”.

A tendência acrítica da IA de absorver informações, muitas vezes sem verificar sua precisão, significa que existe o risco de surgirem “assimetrias de informação”. Um único artigo corretivo sobre pesquisa em câncer, por exemplo, pode ser abafado por centenas de artigos que repetem uma afirmação falsa. O ChatGPT é bastante confiante ao preencher lacunas e fornecer às pessoas todo tipo de informação sobre de onde veio determinada linhagem celular, o paciente do qual ela se originou, como foi usada na literatura, sua utilidade na pesquisa e assim por diante. E, se os LLMs podem ser contaminados (“envenenados”), isso é algo preocupante.

Outra preocupação é que os modelos possam ser manipulados, potencialmente para benefício comercial. Osmanovic Thunström afirmou que um agente mal-intencionado poderia explorar a mesma técnica que ela usou, visando lucro. “E se eu fosse uma vendedora de óculos contra luz azul e quisesse usar isso como argumento?”, questionou.

Uma forma de enfrentar esse problema seria criar um sistema automatizado e de acesso aberto para avaliação, uma bateria padronizada de testes pela qual todo modelo de saúde voltado ao consumidor teria de passar antes de ser lançado, verificando não apenas alucinações, mas também a suscetibilidade à desinformação, vieses sociodemográficos e outros pontos críticos.

O tempo é essencial, porque Byrne teme que o problema identificado por Osmanovic Thunström seja apenas a ponta do iceberg. “É preocupante quando afirmações tão importantes simplesmente atravessam a literatura sem contestação, ou passam pela revisão por pares sem serem questionadas”, disse. “Acho que provavelmente há muitos outros problemas que ainda não foram descobertos.”

Isso também preocupa outros especialistas, à medida que a IA se torna um elemento comum em todas as áreas da vida, inclusive na forma como as pessoas pensam sobre sua saúde.