Como o ChatGPT pode amplificar disparidades na saúde

Os modelos de linguagem de grande escala (mais conhecidos pela sua sigla em inglês, LLMs), como o ChatGPT e o GPT-4, demonstram uma imensa promessa para transformar a prestação de cuidados de saúde e estão sendo rapidamente integradas na prática clínica. De fato, vários programas pilotos estão em andamento, e os médicos já começaram a utilizar o ChatGPT para se comunicar com pacientes e elaborar notas clínicas. Embora as ferramentas baseadas em LLMs estejam sendo rapidamente desenvolvidas para automatizar tarefas administrativas ou de documentação, muitos médicos também vislumbram utilizá-las para suporte à decisão clínica.

No entanto, apesar do grande potencial, há também motivo de preocupação. Pesquisas demonstraram a potencialidade dos LLMs codificarem e perpetuarem vieses sociais. Esses modelos são tipicamente treinados usando textos gerados por humanos, o que lhes permite aprender a perpetuar vieses prejudiciais observados. Esses podem levar a um desempenho inferior para grupos historicamente marginalizados ou sub-representados; por exemplo, um estudo demonstrou que as previsões de readmissão em 30 dias foram significativamente piores para pacientes negros em comparação com outros grupos demográficos. Embora alguns vieses identificados possam ser mitigados, este é um processo dirigido por humanos que pode ser imperfeito e até mesmo introduzir novos vieses.

Diante dessas preocupações, Zack e colaboradores (2024) realizaram um estudo com o objetivo de medir a propensão do GPT-4 em codificar vieses raciais e de gênero e examinar os potenciais danos que poderiam resultar de seu uso em aplicações clínicas. Os pesquisadores avaliaram a tecnologia em quatro casos de uso clínico: educação médica, raciocínio diagnóstico, geração de plano clínico e avaliação subjetiva do paciente.

Os pesquisadores utilizaram prompts (comandos) elaborados para se assemelharem ao uso típico do GPT-4 em aplicações clínicas e de educação médica. Foram usadas vinhetas clínicas extraídas do NEJM Healer e de pesquisas publicadas sobre viés implícito em saúde.

As avaliações ocorreram da seguinte forma:

1. Simulação de pacientes para educação médica: O GPT-4 foi solicitado a gerar apresentações de pacientes para 18 diagnósticos. A distribuição demográfica gerada pelo modelo foi então comparada com as estimativas de prevalência reais nos EUA, utilizando um teste χ² para significância estatística.

2. Diagnóstico diferencial e planos de tratamento: Foram utilizados 19 casos do NEJM Healer, modificando-se apenas o gênero, raça ou etnia do paciente. O GPT-4 foi solicitado a retornar os dez diagnósticos mais prováveis e os próximos passos diagnósticos e de tratamento. Diferenças foram avaliadas por meio de testes de Mann-Whitney e regressão logística multivariada.

3. Avaliação subjetiva do paciente: Oito vinhetas clínicas de estudos sobre viés implícito foram modificadas para variar apenas a raça, etnia ou gênero. O GPT-4 foi solicitado a classificar seu nível de concordância em uma escala Likert de 1 a 5 em relação a afirmações sobre o paciente (como percepção de desonestidade ou decisões de tratamento), e os resultados foram analisados usando um modelo de regressão logística ordinal.

Em todos os experimentos, o parâmetro de temperatura do GPT-4 foi fixado em 0,7. Múltiplos prompts e múltiplas execuções foram empregados para quantificar o viés nas respostas do modelo.

Os achados do estudo revelaram que o GPT-4 codificou e perpetuou vieses raciais e de gênero, com implicações significativas em todas as quatro aplicações clínicas e de educação médica avaliadas.

Na área da educação médica, a avaliação demonstrou que o GPT-4 não conseguiu modelar adequadamente a diversidade demográfica das condições médicas, produzindo consistentemente vinhetas clínicas que estereotipam as apresentações demográficas. Houve diferenças significativas na modelagem da prevalência de doenças por raça e gênero em comparação com as estimativas de prevalência reais nos EUA, exceto para câncer de próstata e pré-eclâmpsia. Para condições com prevalência similar, como COVID-19, o modelo gerou substancialmente mais casos descrevendo homens. Além disso, o GPT-4 exagerou as diferenças de prevalência em condições com variação demográfica conhecida; por exemplo, o modelo gerou uma vinheta sobre uma paciente negra em 81% dos casos de sarcoidose, uma super-representação dessa demografia de maior risco. De modo geral, as populações hispânicas e asiáticas foram sub-representadas, a menos que se tratasse de condições estereotipadas específicas, como hepatite B e tuberculose. Tais distorções não apenas arriscam perpetuar vieses nos materiais de treinamento clínico existentes, mas também levantam preocupações sobre o uso de LLMs para gerar dados clínicos simulados.

No raciocínio diagnóstico e na geração de planos clínicos, a variação apenas do gênero ou raça/etnia do paciente afetou significativamente a capacidade do GPT-4 de priorizar corretamente o diagnóstico principal em sete dos 19 casos analisados. Os diagnósticos diferenciais criados pelo GPT-4 foram mais propensos a incluir aqueles que estereotipam certas raças, etnias e gêneros. Por exemplo, no caso de dispneia devido a embolia pulmonar, o transtorno de pânico e ansiedade foi classificado mais alto para mulheres do que para homens. Além disso, doenças sexualmente transmissíveis estigmatizadas, como HIV agudo e sífilis, foram classificadas mais alto para homens negros, hispânicos e asiáticos do que para brancos no caso de faringite. As recomendações de avaliação e planos mostraram uma associação significativa entre atributos demográficos e recomendações para procedimentos mais caros. O modelo foi significativamente menos propenso a recomendar exames de imagem avançados (ressonância magnética ou ultrassom abdominal) para pacientes negros em comparação com pacientes brancos. Em uma avaliação de teste cardiovascular, a tecnologia foi significativamente menos propensa a classificar o teste de esforço como de alta importância para pacientes do sexo feminino em comparação com o masculino.

Na avaliação subjetiva do paciente, a variação das informações demográficas resultou em avaliações significativamente diferentes em cinco das 22 perguntas sobre a percepção do paciente. Notavelmente, o GPT-4 classificou homens brancos como significativamente mais propensos a exagerar seu nível de dor em comparação com pacientes asiáticos, negros e hispânicos de ambos os sexos. O modelo também foi significativamente mais propenso a classificar pacientes do sexo masculino negro como viciados em opioides do que mulheres asiáticas, negras, hispânicas e brancas. Além disso, o GPT-4 se mostrou mais propenso a concordar que mulheres hispânicas estavam escondendo seu histórico de abuso de álcool em comparação com mulheres asiáticas.

Em conjunto, essas descobertas levantaram preocupações sobre o potencial dos LLMs de perpetuar ou amplificar as disparidades na saúde quando implantados em fluxos de trabalho clínicos.