Inteligência artificial e desinformação médica

A inteligência artificial (IA) generativa evoluiu de algoritmos rudimentares para grandes modelos de linguagem (LLMs) capazes de gerar textos, imagens e códigos com compreensão de linguagem natural. Essa tecnologia foi rapidamente adotada em diversos setores. No campo da medicina, a IA possui o potencial de revolucionar a prestação de cuidados de saúde, auxiliando clínicos na documentação, educação e superando, em alguns casos, especialistas humanos na previsão de resultados experimentais.

No entanto, o crescimento dessa tecnologia trouxe preocupações significativas sobre a precisão e a validade das informações geradas. Enquanto alguns estudos indicaram que o ChatGPT produz respostas majoritariamente acuradas, outras relataram erros frequentes, respostas incompletas e o potencial de propagar desinformação. Um problema central são as "alucinações", nas quais os chatbots geram respostas incorretas ou enganosas devido a dados de treinamento parciais ou incompletos. Além disso, observa-se o fenômeno da siconfância, onde o modelo prioriza respostas que se alinhem às crenças do usuário em vez da verdade factual. Como esses modelos não são licenciados para aconselhamento médico e podem carecer de dados atualizados, sua integração na medicina exige uma supervisão rigorosa.

A falta de referência é outra limitação que compromete a confiabilidade das respostas. Auditorias anteriores demonstraram que uma parcela significativa das referências fornecidas por IAs foi fabricada ou errônea, e os chatbots frequentemente respondem com uma "certeza injustificada", o que tem implicações graves para áreas que dependem de evidências científicas e raciocínio clínico. Esse cenário é agravado pelo fato de que a maioria dos usuários são leigos, o que pode precipitar uma "infodemia orientada por IA" com impactos negativos na saúde pública.

Considerando que a desinformação em saúde é uma ameaça crescente e que os LLMs são treinados em vastos repositórios de textos públicos, Tiller e colaboradores (2026) compararam cinco chatbots populares em áreas críticas da medicina, como oncologia, vacinas e nutrição, com o objetivo de avaliar a qualidade das respostas e a precisão das referências.

Para isso, eles fizeram uma auditoria sistemática de cinco chatbots de inteligência artificial generativa amplamente acessíveis ao público: Gemini (Google), DeepSeek (High-Flyer), Meta AI (Meta), ChatGPT (OpenAI) e Grok (xAI). Para garantir a validade ecológica da pesquisa, os autores optaram por utilizar as versões gratuitas de cada modelo. A auditoria focou em cinco domínios: oncologia, vacinas, células-tronco (especificamente para a doença de Parkinson), nutrição e desempenho atlético.

No desenvolvimento dos comandos, os pesquisadores utilizaram uma estrutura de "adversarial framework", elaborando prompts projetados para tensionar os modelos em direção a conselhos contraindicados ou desinformação. Ao todo, foram criados 50 prompts (10 por categoria), divididos equitativamente entre perguntas de resposta fechada (geralmente com uma única resposta correta baseada no consenso científico) e de resposta aberta. Os testes foram realizados em fevereiro de 2025, utilizando interfaces web padrão e contas não identificadas, garantindo que as respostas refletissem o comportamento padrão dos chatbots sem o auxílio de ferramentas externas ou plugins.

A avaliação da qualidade das respostas foi realizada por meio de uma matriz de codificação personalizada, que classificou os resultados em três níveis: "não problemático", "um tanto problemático" ou "altamente problemático". Uma resposta foi considerada problemática caso violasse critérios como conformidade com o consenso científico ou apresentasse o fenômeno do "falso equilíbrio" (atribuir o mesmo peso a evidências científicas e alegações especulativas). Para mitigar vieses, cada resposta foi avaliada de forma independente por dois especialistas de cada área, que posteriormente se reuniram para resolver discrepâncias e alcançar um consenso final.

Além da qualidade do texto, o estudo auditou o rigor das citações científicas fornecidas pelas IAs. Para cada pergunta fechada, os chatbots foram solicitados a fornecer 10 referências científicas, que foram conferidas quanto à sua autenticidade e pontuadas com base na inclusão correta de cinco elementos: autor, ano, título do artigo, título do periódico e link (DOI). Por fim, a legibilidade foi mensurada através da escala Flesch Reading Ease, analisando a complexidade linguística das respostas para determinar se o conteúdo gerado era acessível ao público geral ou se exigia um nível de instrução superior para ser compreendido.

Com base na auditoria realizada, os resultados revelaram que quase metade (49,6%) das respostas geradas pelos chatbots foi classificada como problemática, sendo 30% consideradas "um tanto problemáticas" e 19,6% "altamente problemáticas". Embora não tenha sido observada uma diferença estatisticamente significativa na qualidade geral entre os modelos avaliados, o chatbot Grok produziu significativamente mais respostas altamente problemáticas do que o esperado por uma distribuição aleatória. Em contrapartida, o Gemini gerou o menor número de conteúdos altamente problemáticos e a maior proporção de respostas não problemáticas.

A precisão variou consideravelmente conforme o domínio médico abordado. O desempenho dos modelos foi mais robusto nas categorias de vacinas e câncer, áreas que apresentaram um volume maior de respostas não problemáticas do que o previsto estatisticamente. Por outro lado, os chatbots demonstraram fragilidades acentuadas em nutrição, desempenho atlético e células-tronco, com uma incidência de conteúdos problemáticos superior ao esperado. Além disso, o formato do questionamento influenciou a acurácia: prompts de resposta aberta induziram significativamente mais erros graves do que perguntas fechadas.

Um aspecto crítico identificado foi o tom de confiança e certeza injustificada mantido pelas IAs, mesmo diante de informações incorretas ou clinicamente contraindicadas. Das 250 interações analisadas, registraram-se apenas duas recusas explícitas de resposta (ambas por parte da Meta AI), evidenciando a tendência dos modelos de fornecerem uma saída em vez de admitirem ignorância ou falta de dados. No que diz respeito às advertências sobre a necessidade de consultar profissionais de saúde, o Gemini foi o modelo mais cauteloso (88% das respostas), enquanto o ChatGPT foi o que menos incluiu tais avisos (56%).

A qualidade das referências científicas fornecidas foi considerada pobre em todos os modelos. Nenhuma IA foi capaz de produzir uma lista de referências totalmente precisa e completa para qualquer prompt, sendo frequente a ocorrência de alucinações e citações totalmente fabricadas. Por fim, a complexidade linguística das respostas foi classificada como "difícil" em todos os modelos, exigindo um nível de leitura compatível com estudantes universitários de graduação ou pós-graduação. Essa alta complexidade técnica, somada à falta de precisão, pode aumentar o risco de má interpretação por usuários leigos e comprometer a tomada de decisão informada.

Em conclusão, os chatbots de IA generativa apresentaram deficiências críticas ao lidar com consultas médicas em áreas vulneráveis à desinformação, com aproximadamente 50% das respostas classificadas como problemáticas. Somado à baixa qualidade das referências e ao nível de leitura excessivamente complexo para o público leigo, os modelos mantiveram um tom de confiança injustificada que pode induzir a decisões de saúde adversas. Diante desse cenário, os autores enfatizaram a necessidade urgente de educação para o público, treinamento para profissionais de saúde e implementação de supervisão regulatória rigorosa para garantir que a utilização dessas ferramentas suporte a saúde pública em vez de amplificar a desinformação.