Falhas humanas: são mais suscetíveis com a introdução da inteligência artificial?

Atualmente, o uso da inteligência artificial (IA) no cuidado ao paciente é um dos tópicos mais empolgantes e controversos. Está previsto para se tornar uma das indústrias de crescimento mais rápido, e os políticos estão apoiando isso, tanto para melhorar o atendimento quanto para explorar novas oportunidades econômicas.

No Reino Unido, utiliza-se o aplicativo GP at Hand como forma de serviço gratuito para o cuidado ao paciente. Oferece serviços médicos gerais através de um aplicativo móvel. Além de fornecer serviços presenciais. Por mais conhecido no país, não está isento de controvérsias. Um relatório recente encontrou que, em média, os pacientes atraídos pelo aplicativo são significativamente mais jovens e saudáveis do que os encontrados nas clínicas de prática geral. Isso pode ter significativas implicações de financiamento, que ainda não foram devidamente avaliadas e compreendidas.

Resultados encorajadores foram alcançados em uma ampla gama de serviços de IA, particularmente em domínios que dependem de reconhecimento de padrões, classificação e previsão. Exemplos incluem o uso de redes neurais profundas (DNNs) para determinar se lesões na pele são malignas ou benignas. Pesquisadores desenvolveram um aplicativo baseado em DNNs que pode detectar mudanças na atividade vascular usando a luz e a câmera dos smartphones das pessoas para determinar se uma pessoa provavelmente sofrerá de diabetes. O uso preditivo de DNNs foi demonstrado em um estudo que desenvolveu um algoritmo para apoiar os cuidados paliativos ao prever a mortalidade no hospital. Em relação à saúde mental, foram desenvolvidos aplicativos baseados em IA para oferecer terapia cognitivo-comportamental. Um pequeno ensaio prospectivo de um chatbot de IA descobriu que, para um tamanho de amostra limitado, os resultados alcançados por este aplicativo foram superiores a outras formas de contato terapêutico.

Embora todos esses desenvolvimentos ofereçam possibilidades de benefícios significativos, também é oportuno dar um passo atrás e considerar se é seguro usar a IA no cuidado ao paciente ou, mais especificamente, que tipo de evidência está disponível e que tipos de desafios podem precisar ser enfrentados. Enquanto desafios técnicos, como a qualidade dos dados de treinamento e a possível introdução de viés, foram reconhecidos e discutidos, menos ênfase foi dada ao impacto da integração da IA nos processos e serviços clínicos. É neste nível, onde humanos e IA se encontram, que é provável que surjam desafios de fatores humanos.

Foco tecnológico dos estudos de avaliação

Diversos estudos publicados sobre IA no cuidado ao paciente focam na tecnologia em si, pois os desenvolvedores querem demonstrar o seu funcionamento. É comum encontrar alegações que comparam o desempenho, por exemplo, de uma DNN com o dos clínicos ao realizar uma tarefa bem definida e estreita. Exemplos incluem a identificação de câncer de pele, identificação de lesões mamárias de alto risco que não requerem excisão cirúrgica e detecção de retinopatia diabética. Esses estudos mostraram que os sistemas de IA frequentemente superam os humanos em tarefas como essas. No entanto, a base de evidências até o momento permanece fraca; os tamanhos das amostras são frequentemente pequenos; e os ensaios prospectivos são pouco frequentes.

Comparado com o grande número de estudos de avaliação realizados pelos desenvolvedores de algoritmos de IA, os estudos de avaliação independentes são relativamente pouco frequentes. Quando há uma avaliação independente, os números principais nem sempre são reproduzidos. Por exemplo, uma auditoria de 23 verificadores de sintomas voltados para pacientes descobriu que o diagnóstico correto foi listado como o mais provável em apenas cerca de um terço dos casos de teste. Há uma mudança significativa de validar a tecnologia em si para avaliar seu uso no cuidado ao paciente.

É crucial considerar a integração nos sistemas clínicos ao fornecer cuidados ao paciente, mas até agora os ensaios prospectivos de IA ainda são a exceção. Situações em que a tecnologia fornece um serviço por si só serão muito menos comuns do que cenários em que equipes clínicas de profissionais de saúde e sistemas de IA estarão cooperando e colaborando para fornecer cuidados ao paciente. É provável que alguns desses sistemas sejam agentes autônomos que operam como parte da equipe clínica. Um exemplo é o futuro uso de bombas de infusão autônomas em unidades de terapia intensiva, onde essas podem ajustar ou interromper infusões independentemente. Os clínicos continuam sendo responsáveis globalmente, mas precisam gerenciar e cooperar com esses agentes autônomos. Isso não é muito diferente dos pilotos supervisionando sistemas de gerenciamento de voo em aeronaves modernas, com todos os problemas e perigos de fatores humanos que acidentes recentes importantes, como o Boeing 737 Max, trouxeram à atenção.

Integração da IA nos sistemas clínicos

Quando a automação começou a ser implementada em larga escala, pesquisas sobre fatores humanos explicaram alguns dos problemas que surgiram com a sua introdução. A falácia fundamental foi a suposição de que a automação pode substituir pessoas, mas na realidade, o seu uso muda e transforma o que elas fazem. Os sistemas clínicos não são necessariamente comparáveis a aeronaves comerciais ou veículos autônomos. No entanto, uma análise entre essas diferentes indústrias pode ser útil para destacar potenciais desafios dos fatores humanos que provavelmente exigirão consideração ao adotar IA no cuidado ao paciente. Esses relacionam-se a aspectos cognitivos (viés de automação e desempenho humano), transferência e comunicação entre clínicos e sistemas de IA, consciência situacional e impacto na interação com os pacientes.

Viés de automação

Estudos na aviação descobriram que pilotos frequentemente deixavam de monitorar indicadores de voo importantes ou não desligavam o piloto automático e os sistemas automatizados de gerenciamento de voo na cabine em caso de mau funcionamento. Por exemplo, em 1985, a Junta Nacional de Segurança nos Transportes dos EUA (NTSB) investigou um incidente envolvendo um Boeing 747 SP-9 da China Airlines voando de Taipei para Los Angeles. Quando a aeronave estava próxima a San Francisco, um motor falhou. O piloto automático tomou medidas mitigadoras, mas não alertou aos pilotos sobre o problema. Esses só ficaram cientes da falha após desligarem o piloto automático e a aeronave começou a inclinar e mergulhar em uma descida descontrolada. O relatório concluiu que "a causa provável deste acidente foi a preocupação do capitão com uma falha em voo e sua falha em monitorar adequadamente os instrumentos de voo da aeronave [...] Contribuindo para o acidente foi a confiança excessiva do capitão no piloto automático [...]".

Esse fenômeno é conhecido como viés de automação, e representa um exemplo de tomada de decisão inadequada como resultado da confiança excessiva na tecnologia. Pode levar a erros de omissão, nos quais as pessoas não tomam uma ação necessária porque a automação não as alertou, e pode levar a erros de comissão, nos quais as pessoas seguem o conselho inadequado de um sistema automatizado.

A área da saúde está transitando rapidamente para ambientes clínicos digitais e com suporte de IA, e podemos e devemos esperar que os clínicos confiem e dependam cada vez mais da tecnologia. Isso traz consigo o risco de viés de automação, o que foi destacada em diversas pesquisas. Um estudo inicial comparando o desempenho de radiologistas na interpretação de mamografias descobriu que, em certas situações, o desempenho dos profissionais especializados piorava quando apoiados por um sistema de suporte à decisão que destacava áreas específicas para focar. Uma pesquisa investigando o impacto do suporte à decisão na precisão da interpretação de ECG descobriu que, enquanto a classificação correta da decisão aumentava a precisão dos clínicos (não cardiologistas), a classificação incorreta diminuía a precisão dos clínicos de 56% para 48%. Outro estudo descobriu que o suporte à decisão clínica reduziu os erros de prescrição quando funcionava corretamente, mas também aumentou os erros em cerca de um terço nos casos em que o sistema não alertava o clínico para um problema potencial ou fornecia o conselho errado.

Impacto no desempenho humano

A expertise é construída por meio de exposição e treinamento frequentes. A geração atual de motoristas de carro é razoavelmente habilidosa em lidar com situações de tráfego complexas porque muitos de nós o fazemos diariamente. A geração que cresceu com veículos autônomos terá os mesmos níveis de habilidades básicas de direção que lhes permitam retomar o controle em situações de tráfego potencialmente críticas e complexas quando o sistema de IA falhar? Isso é particularmente relevante na área da saúde, onde os profissionais de saúde se orgulham de suas habilidades profissionais. A expertise dos radiologistas se deteriorará quando eles forem expostos apenas a imagens específicas selecionadas por um sistema de IA, em vez da ampla gama de imagens com as quais treinam diariamente?

Ironicamente, os algoritmos de IA frequentemente são treinados e validados com base em dados básicos desenvolvidos a partir do desempenho humano (por exemplo, a leitura de imagens por radiologistas), e a erosão das oportunidades de treinamento e habilidades práticas para os clínicos como resultado da introdução dessas tecnologias pode criar um círculo vicioso onde a qualidade dos dados básicos se deteriora a longo prazo.

Transição

Um argumento-chave para a segurança dos veículos autônomos é que o motorista é capaz de retomar o controle em caso de emergências ou situações imprevistas. No entanto, os acidentes fatais demonstram tragicamente que esses nem sempre o retomam quando necessário. Pesquisas questionaram se tal suposição é realista em primeiro lugar, considerando o curto tempo de reação disponível.

A transição é uma tarefa reconhecida como crítica para a segurança na prestação de cuidados.  O sistema de IA precisa reconhecer a necessidade dessa. Embora isso possa ser alcançável, a tecnologia também precisa descobrir o que deve ser transferido, como isso deve ser feito e quando. Na transição humana, reconhecemos a necessidade de protocolos de comunicação estruturados para transmitir claramente as características relevantes de uma situação, por exemplo, idade, tempo, mecanismo, lesões, sinais, tratamentos para cuidados de emergência ou situação, antecedentes, avaliação, recomendação de forma mais geral. Deveria haver um equivalente para a transição humano-IA?

Por exemplo, se uma bomba de infusão autônoma fornecendo insulina começar a reconhecer que está lutando para manter os níveis de açúcar no sangue, em que momento ela deve acionar um alarme para iniciar a transição? Identificar o momento preciso requer equilibrar a precisão com a rapidez. A transição deve simplesmente transmitir a incapacidade da bomba de infusão de manter os níveis de açúcar no sangue, ou a bomba de infusão deve fornecer mais informações sobre ajustes anteriores? A melhor estratégia é esperar que a bomba de infusão acione um alarme e inicie a transição, ou devemos garantir que o clínico seja capacitado a reconhecer que surgirá a necessidade de retomar o controle?

Consciência da situação

Indivíduos e equipes têm um desempenho mais bem-sucedido quando possuem uma boa consciência da situação. A transição tradicional contribui para o desenvolvimento de consciência compartilhada e permite discussão e diálogo. Embora seja possível criar agentes autônomos com alta confiabilidade, surgem questões sobre o que o sistema autônomo deve comunicar aos clínicos durante a operação normal para permitir que esse mantenha a consciência da situação. Isso não é simples de responder apenas olhando para um sistema de IA isoladamente, porque os clínicos podem estar interagindo com muitos agentes autônomos (por exemplo, múltiplas bombas de infusão) simultaneamente, e o design da comunicação deve considerar as necessidades e limitações humanas de informação.

Os agentes autônomos também precisam desenvolver consciência da situação. Uma bomba de infusão autônoma precisa saber se o paciente recebe outros medicamentos que possam afetar a fisiologia e a resposta do paciente. Esses medicamentos podem ser administrados por outras bombas de infusão ou pelo clínico. O ditado "se não está documentado, não aconteceu" se aplica aqui com consequências críticas: se houver atividades relevantes ocorrendo que não estão documentadas e comunicadas ao agente autônomo (por exemplo, a bomba de infusão), então, para a IA, essas atividades literalmente não aconteceram porque o sistema não tem como saber sobre elas. Os resultados poderiam ser catastróficos.

Interação com o paciente

A IA pode melhorar a eficiência dos processos clínicos e liberar o tempo dos clínicos para realizar outras tarefas. Isso é potencialmente útil em um sistema de saúde pressionado. No entanto, outra maneira de ver isso é que pode haver um número menor de clínicos que têm outras tarefas a realizar, potencialmente longe do paciente. As unidades de terapia intensiva habilitadas por IA poderiam se contentar com menos enfermeiros e, portanto, aumentar o número de pacientes por enfermeiro? Isso pode ser uma preocupação para os pacientes, porque eles podem ver menos de seus clínicos e podem achar mais difícil fornecer feedback sobre seu cuidado e sua condição. Por exemplo, se uma agulha se soltar, o paciente pode estar ciente disso antes do sistema de IA - e potencialmente evitar e mitigar qualquer efeito adverso - mas para quem os pacientes comunicam isso?

Fornecer cuidados de saúde significa ser responsivo às necessidades fisiológicas, pessoais e emocionais do paciente. Em alguns cenários clínicos, como a unidade de terapia intensiva, o vínculo entre enfermeiro e paciente é muito forte, e para muitos desses, seu episódio na terapia intensiva é traumático. Como a introdução de IA e sistemas autônomos nesses ambientes afetará esse relacionamento único? Argumentou-se que a IA pode realmente criar mais oportunidades para empatia e cuidado porque pode permitir que os clínicos se concentrem mais nesses aspectos do cuidado. No entanto, se isso é verdadeiro, ou se o aspecto de cuidado é erodido pela transformação, por exemplo, do cuidado de enfermagem em enfermeiras especialistas em IA que "cuidam" dos sistemas autônomos (ou seja, supervisionam-os), permanece a ser visto.

Sendo assim, a introdução da IA tem o potencial de mudar fundamentalmente e perturbar a comunicação entre pacientes e seus clínicos. Os hospitais se tornarão semelhantes aos caixas automáticos de supermercado, com clientes frustrados esperando que um funcionário sobrecarregado atenda às frequentes complicações no caixa? Até o momento, essas questões têm recebido pouca atenção em comparação com o foco na precisão e desempenho da IA isoladamente.