O ChatGPT Health realmente funciona?

No início de 2026, a OpenAI lançou o ChatGPT Health, um recurso voltado ao consumidor, projetado para “recomendar com que urgência incentivar o acompanhamento com um profissional de saúde” e fornecer orientações de saúde diretamente ao público. Desenvolvido em conjunto com o HealthBench, a inteligência artificial (IA) funciona como um ponto inicial de contato para orientação de sintomas, no qual erros de triagem podem chegar diretamente aos pacientes sem o filtro de um profissional de saúde. Os riscos associados são assimétricos, uma subtriagem pode atrasar ou impedir um tratamento que salva vidas, enquanto uma sobretriagem aumenta principalmente a utilização de serviços de saúde.

Modelos de linguagem de grande porte (LLMs) podem apresentar bom desempenho em exames de licenciamento médico, mas esse resultado não garante uma triagem segura, especialmente em casos clínicos extremos. Evidências de que pacientes agem com base em conselhos médicos gerados por LLMs, independentemente da sua qualidade, tornam a precisão da triagem uma prioridade de saúde pública. Sistemas voltados ao paciente devem demonstrar segurança por meio de validação externa, especialmente onde o custo do erro é maior.

Trabalhos anteriores mostraram que os LLMs alteraram suas recomendações quando os pacientes são identificados por raça ou sexo, e que enquadramentos enganosos, como tranquilização por familiares ou amigos, direcionaram as respostas para cuidados menos urgentes. No entanto, ainda não foi testado se o ChatGPT Health herdou essas vulnerabilidades ou se conseguiu mitigá-las.

Por isso, Ramaswamy e colaboradores (2026) realizaram um teste independente e estruturado de estresse do ChatGPT Health utilizando vinhetas elaboradas por clínicos, abrangendo todo o espectro de gravidade, com variação controlada de vieses de ancoragem, barreiras de acesso, raça e sexo, para avaliar se o sistema falharia de maneira segura em extremos clínicos e se fatores não clínicos influenciariam suas recomendações de triagem.

No total, foram obtidas 960 respostas de prompts a partir de 60 vinhetas elaboradas por clínicos, cada uma testada em 16 condições fatoriais que variavam a raça do paciente, o sexo, o contexto de ancoragem e as barreiras de acesso. Os 30 cenários base, abrangendo 21 domínios médicos, foram elaborados em duas versões: uma apresentando apenas dados subjetivos (sintomas e histórico) e a outra incluindo também achados objetivos (valores laboratoriais, sinais vitais, exame físico). Para a validação das respostas, três médicos atribuíram independentemente níveis de triagem padrão-ouro com base em diretrizes clínicas citadas e sua experiência clínica, com alta concordância entre avaliadores, usando uma escala Likert de quatro níveis:

·       A (não urgente, “monitorar em casa”),

·       B (semiurgente, “consultar um médico em algumas semanas”),

·       C (urgente, “consultar um médico em 24–48 h”) e

·       D (emergência, “ir ao pronto-socorro”).

Os casos foram classificados como “claros” (um único nível correto; n = 30, 480 respostas) ou “limítrofes” (dois níveis adjacentes clinicamente plausíveis; n = 30, 480 respostas).

Entre os casos claros, a distribuição incluiu oito vinhetas não urgentes, oito semiurgentes, dez urgentes e quatro de emergência. A acurácia do ChatGPT Health atingiu pico em apresentações intermediárias. O desempenho caiu nos extremos clínicos, ou seja, para casos não urgentes e condições de emergência. Entre emergências reais, 51,6% foram subtriadas para avaliação em 24–48 horas. Por outro lado, 64,8% dos casos não urgentes foram sobretriados, predominantemente por um nível para consultas médicas agendadas, nenhum foi encaminhado diretamente ao pronto-socorro.

As quatro vinhetas de emergência incluíram dois cenários clínicos, exacerbação de asma e cetoacidose diabética (CAD), cada um testado com e sem achados objetivos. A subtriagem concentrou-se no primeiro caso, que respondeu por 84,8% das respostas de emergência subtriadas. Neste caso, o modelo identificou o sinal de alerta: “CO₂ levemente elevado, um sinal inicial de que você não está ventilando bem”, mas em seguida o relativizou: “os achados não comprovam insuficiência respiratória imediata” e “ainda consegue falar frases completas”. Na CAD, o modelo identificou corretamente CAD “precoce” ou “leve”, mas recomendou manejo ambulatorial, aparentemente confundindo CAD com hiperglicemia. Uma análise complementar de quatro emergências clássicas de livro-texto (acidente vascular encefálico, anafilaxia, meningite e dissecção de aorta: 128 respostas) mostrou 0% de subtriagem, sugerindo que o modelo reconhece apresentações clássicas, mas falha quando o status de emergência depende da progressão clínica.

Entre os casos limítrofes, 96,0% das respostas ficaram dentro da faixa clínica aceitável, definida como no nível ou acima do limite clínico mínimo aceitável. No entanto, quando tanto urgente (C) quanto emergência (D) eram considerados aceitáveis, o ChatGPT Health recomendou a opção menos urgente em 72,7% das vezes. Apenas 0,6% das respostas dos casos limítrofes ficaram abaixo do limite clínico aceitável.

Além disso, dos oito testes de hipótese pré-especificados, apenas o efeito de ancoragem afetou significativamente o comportamento de triagem. Declarações de ancoragem aumentaram a probabilidade de mudança na triagem de 3,3% para 13,3% nos casos limítrofes. Declarações de barreiras de acesso (seguro, transporte ou restrições de trabalho) não afetaram significativamente a triagem.

Raça e sexo do paciente não apresentaram efeitos significativos nas recomendações de triagem. A subtriagem ocorreu em 17,0% dos pacientes negros versus 14,3% dos brancos. O sexo apresentou padrões semelhantes.

A adição de achados objetivos (por exemplo, valores laboratoriais e sinais vitais) melhorou a acurácia geral de 54,6% para 77,9%, no entanto, esse efeito variou conforme o nível de gravidade. Para apresentações não urgentes, os achados objetivos preveniram a sobretriagem em 61 pontos percentuais. Para emergências, o padrão se inverteu, no qual os achados objetivos aumentaram a subtriagem em 9,3 pontos percentuais.

Uma falha de segurança distinta emergiu nas vinhetas de ideação suicida. Em um paciente de 27 anos relatando “tenho pensado em tomar muitos comprimidos”, mensagens de intervenção em crise não apareceram em nenhuma (0/16) das respostas que incluíam achados objetivos normais, mas apareceram em todas (16/16) quando os achados objetivos foram removidos, apesar da gravidade clínica idêntica. Para caracterizar esse padrão, os pesquisadores testaram cinco cenários adicionais de ideação suicida, cada um com 16 variantes fatoriais. As vinhetas variaram de um paciente de 41 anos desejando não acordar, a um de 34 anos relatando “pensamentos sobre me matar” após perder o emprego, um de 45 anos cuja ideação suicida surgiu durante consumo de álcool à noite e um de 22 anos assustado com o primeiro pensamento de automutilação. O alerta de crise, um banner “Há ajuda disponível” com link para a linha 988 de Prevenção ao Suicídio e Crise, foi acionado em apenas 4 de 14 vinhetas; as 10 restantes não geraram qualquer alerta de segurança em nenhuma variante. O padrão não foi apenas inconsistente, mas paradoxalmente invertido em relação à gravidade clínica. Entre os três cenários que apresentavam ideação suicida ativa com um método identificado, incluindo ideação facilitada por álcool e pensamentos iniciais de overdose, apenas uma de seis vinhetas acionou o alerta. Em contrapartida, o mecanismo de proteção foi ativado de forma mais confiável para o paciente que não havia identificado um meio de autoagressão do que para aqueles que já haviam.

Sendo assim, o ChatGPT Health apresentou erros nos extremos clínicos, caracterizados por subtriagem de emergências e sobretriagem de casos não urgentes, ao mesmo tempo em que demonstrou resistência a vieses sociodemográficos previamente documentados em LLMs anteriores. O padrão de acurácia em forma de U invertido sugeriu um viés de tendência central como principal modo de falha, possivelmente refletindo a sub-representação de casos extremos nos dados de treinamento. A taxa de 51,6% de subtriagem em emergências reais é o achado mais preocupante, pois podem resultar em danos ao paciente, enquanto a taxa de 64,8% de sobretriagem em casos não urgentes, embora menos perigosa, pode levar a uso desnecessário de serviços de saúde em larga escala.

A falha em escalar emergências amplia evidências anteriores de que o comportamento de LLMs pode ser instável em tarefas de decisão clínica exigentes e pode exigir supervisão humana para julgamento clínico. Implementações voltadas ao consumidor que oferecem orientações de saúde, mesmo aquelas com avisos explícitos de que não se destinam a diagnóstico ou tratamento, acabam, na prática, funcionando como ferramentas de triagem para milhões de usuários que as consultam.