A mensagem do seu médico? Pode ter sido escrita por IA!

Todos os dias, pacientes enviam centenas de milhares de mensagens aos seus médicos através do MyChart, uma plataforma de comunicação quase onipresente em hospitais dos EUA.

Nessas mensagens, eles descrevem suas dores e sintomas — a textura de suas erupções cutâneas, a cor de suas fezes — confiando que o médico do outro lado irá orientá-los.

Porém, cada vez mais, as respostas para essas mensagens não são escritas inteiramente pelo médico. Cerca de 15.000 médicos e assistentes em mais de 150 sistemas de saúde estão utilizando um novo recurso de inteligência artificial no MyChart para redigir respostas a essas mensagens.

Muitos pacientes que recebem essas respostas não fazem ideia de que foram escritas com a ajuda de inteligência artificial. Em entrevistas, representantes de vários sistemas de saúde que utilizam a ferramenta do MyChart reconheceram que não informam aos pacientes que as mensagens contêm conteúdo gerado por IA.

A tendência preocupa alguns especialistas, que temem que os médicos possam não ser suficientemente vigilantes para identificar possíveis erros perigosos em mensagens redigidas por IA.

Em uma indústria que tem utilizado a tecnologia principalmente para tarefas administrativas, como resumir anotações de consultas ou apelar de negativas de seguro, críticos receiam que a ampla adoção da ferramenta do MyChart tenha permitido que a IA avance para áreas de tomada de decisões clínicas e relacionamento entre médico e paciente.

A ferramenta já pode ser instruída a escrever no estilo de cada médico individual. No entanto, nem sempre gera respostas corretas.

"A proposta de venda é que a ferramenta deve economizar tempo dos médicos para que eles possam dedicar mais tempo conversando com os pacientes", disse Athmeya Jayaram, pesquisador do Hastings Center, um instituto de bioética em Garrison, Nova York.

“Neste caso, estão tentando economizar tempo conversando com os pacientes usando IA generativa.”

Durante o auge da pandemia, quando consultas presenciais eram frequentemente reservadas para os pacientes mais graves, muitos recorreram às mensagens do MyChart como uma rara linha direta de comunicação com seus médicos.

Anos depois, esses profissionais perceberam que tinham um problema: mesmo após a maioria dos aspectos do atendimento médico voltar ao normal, eles ainda estavam sobrecarregados com mensagens de pacientes.

Médicos já sobrecarregados passaram a gastar intervalos e noites respondendo a essas mensagens. Líderes hospitalares temiam que, se não encontrassem uma maneira de reduzir esse trabalho extra — em grande parte não remunerado —, as mensagens se tornariam uma grande causa de esgotamento profissional.

Assim, no início de 2023, quando a Epic, gigante de software que desenvolveu o MyChart, começou a oferecer uma nova ferramenta que utilizava IA para compor respostas, alguns dos maiores centros médicos acadêmicos do país estavam ansiosos para adotá-la.

Em vez de iniciar cada mensagem com uma tela em branco, o médico vê uma resposta gerada automaticamente acima da pergunta do paciente. Essa resposta é criada com uma versão do GPT-4 (a tecnologia por trás do ChatGPT) que está em conformidade com as leis de privacidade médica.

A ferramenta do MyChart, chamada In Basket Art, utiliza o contexto de mensagens anteriores do paciente e informações de seus registros médicos eletrônicos, como uma lista de medicamentos, para criar um rascunho que os profissionais podem aprovar ou modificar.

Ao permitir que os médicos atuem mais como editores, os sistemas de saúde esperavam que eles pudessem lidar com as mensagens dos pacientes mais rapidamente e com menor desgaste mental.

Estudos iniciais indicaram que isso tem sido parcialmente comprovado: o Art reduziu a sensação de esgotamento e a carga cognitiva, embora não tenha necessariamente economizado tempo.

Centenas de profissionais da U.C. San Diego Health, mais de cem provedores da U.W. Health em Wisconsin e todos os profissionais licenciados de atenção primária do Stanford Health Care — incluindo médicos, enfermeiros e farmacêuticos — têm acesso à ferramenta de IA.

Dezenas de médicos da Northwestern Health, N.Y.U. Langone Health e U.N.C. Health estão testando o Art, enquanto os líderes avaliam uma expansão mais ampla.

Na ausência de regulamentações federais rígidas ou de estruturas éticas amplamente aceitas, cada sistema de saúde decide como testar a segurança da ferramenta e se informa os pacientes sobre seu uso.

Alguns sistemas hospitalares, como o U.C. San Diego Health, colocam uma divulgação no final de cada mensagem, explicando que ela foi “gerada automaticamente” e revisada e editada por um médico.

"Eu, pessoalmente, não vejo nenhuma desvantagem em ser transparente", disse o Dr. Christopher Longhurst, diretor clínico e de inovação do sistema de saúde.

Segundo ele, os pacientes em geral aceitaram a nova tecnologia.

Outros sistemas — incluindo Stanford Health Care, U.W. Health, U.N.C. Health e N.Y.U. Langone Health — decidiram que notificar os pacientes causaria mais mal do que bem.

Alguns administradores temiam que os médicos pudessem ver a declaração de transparência como uma desculpa para enviar mensagens aos pacientes sem revisá-las adequadamente, disse o Dr. Brian Patterson, diretor administrativo de IA clínica na U.W. Health.

E informar os pacientes de que a mensagem continha conteúdo gerado por IA poderia diminuir o valor do conselho clínico, mesmo que fosse aprovado pelos médicos, afirmou o Dr. Paul Testa, diretor de informações médicas da NYU Langone Health.

Para o Dr. Jayaram, decidir se deve ou não divulgar o uso da ferramenta se resume a uma pergunta simples: o que os pacientes esperam?

Quando os pacientes enviam uma mensagem sobre sua saúde, eles presumem que seus médicos considerarão seu histórico, preferências de tratamento e dinâmica familiar — intangíveis que surgem de relacionamentos de longa data.

“Quando você lê uma anotação de um médico, você a lê na voz do seu médico”, disse ele. “Se um paciente soubesse que, na verdade, a mensagem que está trocando com seu médico foi gerada por IA, acho que se sentiria legitimamente traído.”

Para muitos sistemas de saúde, criar um algoritmo que imita de forma convincente a “voz” de um médico específico ajuda a tornar a ferramenta útil. De fato, a Epic começou a dar ao seu recurso maior acesso a mensagens anteriores, para que seus rascunhos pudessem imitar o estilo de escrita individual de cada médico.

Brent Lamm, diretor de informações da U.N.C. Health, disse que isso atende a queixas comuns que ouviu de médicos: “Minha voz pessoal não está sendo transmitida” ou “Eu conheço esse paciente há sete anos. Ele vai saber que não sou eu.”

Os administradores de saúde costumam se referir ao Art como um uso de baixo risco de IA, já que, idealmente, um profissional está sempre revisando os rascunhos e corrigindo erros.

Essa caracterização irrita pesquisadores que estudam como os humanos interagem com a inteligência artificial. Ken Holstein, professor do instituto de interação humano-computador da Carnegie Mellon, afirmou que essa representação “vai contra cerca de 50 anos de pesquisa.”

Os humanos têm uma tendência bem documentada, chamada de viés de automação, de aceitar as recomendações de um algoritmo, mesmo que isso contradiga sua própria expertise, disse ele. Esse viés pode fazer com que os médicos sejam menos críticos ao revisar rascunhos gerados por IA, permitindo que erros perigosos cheguem aos pacientes.

E o Art não está imune a erros. Um estudo recente descobriu que sete de 116 rascunhos gerados por IA continham o que são chamados de alucinações — fabricações pelas quais a tecnologia é notoriamente conhecida.

O Dr. Vinay Reddy, médico de família na U.N.C. Health, lembrou de um caso em que uma paciente enviou uma mensagem a um colega para verificar se precisava tomar a vacina contra hepatite B. O rascunho gerado pela IA garantiu com confiança à paciente que ela havia tomado as vacinas e forneceu datas para elas. Isso era completamente falso e ocorreu porque o modelo não tinha acesso aos registros de vacinação dela, explicou ele.

Um pequeno estudo publicado no The Lancet Digital Health descobriu que o GPT-4, o mesmo modelo de IA que fundamenta a ferramenta da Epic, cometeu erros mais insidiosos ao responder a perguntas hipotéticas de pacientes.

Médicos que revisaram suas respostas descobriram que os rascunhos, se deixados sem edição, apresentariam um risco de dano severo cerca de 7% das vezes.

O que tranquiliza o Dr. Eric Poon, diretor de informações de saúde da Duke Health, é que o modelo produz rascunhos que ainda são “moderados em qualidade”, o que ele acredita que mantém os médicos céticos e vigilantes para identificar erros.

Em média, menos de um terço dos rascunhos gerados por IA são enviados aos pacientes sem edição, de acordo com a Epic, o que indica aos administradores hospitalares que os médicos não estão apenas carimbando as mensagens.

“Uma questão que fica na minha mente é: e se a tecnologia melhorar?” disse ele. “E se os clínicos começarem a baixar a guarda? Os erros vão passar despercebidos?”

A Epic incorporou barreiras de segurança na programação para direcionar o Art a não fornecer conselhos clínicos, disse Garrett Adams, vice-presidente de pesquisa e desenvolvimento da empresa. O Sr. Adams afirmou que a ferramenta é mais adequada para responder a perguntas administrativas comuns, como “Quando é minha consulta?” ou “Posso remarcar meu exame de saúde?”

No entanto, os pesquisadores ainda não desenvolveram maneiras de forçar os modelos a seguir instruções de forma confiável, segundo o Dr. Holstein.

O Dr. Anand Chowdhury, que ajudou a supervisionar a implementação do Art na Duke Health, disse que ele e seus colegas ajustaram repetidamente as instruções para impedir que a ferramenta fornecesse conselhos clínicos, com pouco sucesso.

“Não importa o quanto tentássemos, não conseguimos eliminar seu instinto de tentar ser útil”, disse ele.

O Dr. Longhurst, da U.C. San Diego Health, disse que o modelo “desempenhou melhor” quando a linguagem que instruía o Art a não “responder com informações clínicas” foi removida. Os administradores se sentiram confortáveis em dar mais liberdade à IA, já que os médicos revisam suas mensagens.

O Stanford Health Care assumiu um “risco controlado” para permitir que o Art “pensasse mais como um clínico”, após algumas das barreiras de segurança mais rigorosas parecerem tornar seus rascunhos genéricos e pouco úteis, disse o Dr. Christopher Sharp, diretor de informações médicas do sistema de saúde.

Além das questões de segurança e transparência, alguns bioeticistas têm uma preocupação mais fundamental: É assim que queremos usar a IA na medicina?

Ao contrário de muitas outras ferramentas de IA na saúde, o Art não é projetado para melhorar os resultados clínicos (embora um estudo sugira que as respostas podem ser mais empáticas e positivas), e não está direcionado estritamente a tarefas administrativas.

Em vez disso, a IA parece estar invadindo momentos raros em que pacientes e médicos poderiam se comunicar diretamente — o tipo de momentos que a tecnologia deveria estar permitindo, disse Daniel Schiff, co-diretor do Laboratório de Governança e IA Responsável da Universidade Purdue.

“Mesmo que fosse impecável, você realmente quer automatizar uma das poucas maneiras que ainda temos de interagir uns com os outros?”