Como o ChatGPT responde as perguntas de médicos e pacientes?

A rápida expansão da assistência médica virtual levou a um aumento nas mensagens dos pacientes, juntamente com mais trabalho e desgaste entre os profissionais de saúde. Os assistentes de inteligência artificial (IA) poderiam ajudar a criar respostas para as perguntas dos pacientes, compondo respostas que poderiam ser revisadas pelos médicos.

Com isso, Ayers e colaboradores (2023) avaliaram a capacidade de um assistente de chatbot de IA (ChatGPT), lançado em novembro de 2022, para fornecer respostas com qualidade e empatia às perguntas dos pacientes.

Realizaram um estudo transversal através de um banco de dados público e não identificável de perguntas de um fórum público de mídia social (R/AskDocs do Reddit). O mesmo foi usado para selecionar aleatoriamente 195 perguntas de outubro de 2022 nas quais um médico verificado respondeu a mesma.

As respostas do chatbot foram geradas inserindo a pergunta original em uma nova sessão (sem perguntas anteriores feitas na sessão) em 22 e 23 de dezembro de 2022.

A pergunta original, juntamente com as respostas anônimas e ordenadas aleatoriamente do médico e do chatbot, foram avaliadas em triplicado por uma equipe de profissionais de saúde licenciados. Os avaliadores escolheram “qual resposta foi melhor” e julgaram tanto “a qualidade da informação prestada” (muito ruim, ruim, aceitável, boa ou muito boa) quanto “a empatia ou tratamento dispensado à beira do leito” (não empático, pouco empático, moderadamente empático, empático e muito empático). Os resultados médios foram ordenados em uma escala de 1 a 5 e comparados entre chatbot e médicos.

Das 195 perguntas e respostas, os avaliadores preferiram as respostas do chatbot às respostas do médico em 78,6% (95% CI, 75,0-81,8%) das 585 revisões.

As respostas médias (IQR) dos médicos foram significativamente mais curtas do que as respostas do chatbot (52 [17-62] palavras vs 211 [168-245] palavras; t  = 25,4; P  < 0,001). E as respostas do chatbot foram classificadas como de qualidade significativamente superior às respostas dos médicos (t= 13,3; P  < 0,001).

A proporção de respostas classificadas como de qualidade boa ou muito boa (≥ 4), por exemplo, foi maior para o chatbot do que para os médicos (chatbot: 78,5%, IC 95%, 72,3-84,1 %; médicos: 22,1%, IC 95% , 16,4%-28,2%;) e também foram consideradas mais empáticas (t = 18,9; P  < 0,001).

No estudo transversal, um chatbot gerou respostas empáticas e de qualidade a perguntas de pacientes feitas em um fórum online. É necessária uma exploração mais aprofundada dessa tecnologia em ambientes clínicos, como o uso de chatbots para compor respostas que os médicos podem editar. Ensaios randomizados poderiam avaliar ainda mais se o uso de assistentes de IA poderia melhorar as respostas, reduzir o desgaste do médico e melhorar os resultados dos pacientes.