|
Puntos clave Pregunta En respuesta a las preguntas de los pacientes sobre el cáncer en un foro en línea, ¿cómo se comparan los chatbots conversacionales de inteligencia artificial con los médicos autorizados en términos de empatía, calidad de respuesta y legibilidad? Hallazgos En este ensayo de equivalencia, después de controlar la duración de las respuestas a 200 preguntas de pacientes, 6 evaluadores de médicos oncológicos calificaron consistentemente las respuestas de los chatbots con mayor empatía, calidad y legibilidad según el estilo de escritura. El nivel medio de lectura de las respuestas de los médicos fue inferior al de 2 de 3 chatbots, lo que sugiere que las respuestas de los chatbots pueden ser más difíciles de leer según la longitud de las palabras y las oraciones. Significado Los resultados de este estudio pueden motivar el desarrollo futuro de colaboraciones entre médicos y chatbots en la práctica clínica para ampliar el acceso a la atención para más pacientes y disminuir el agotamiento de los médicos, en donde los chatbots pueden proporcionar plantillas de respuesta empática para que los médicos las editen para lograr precisión médica utilizando su experiencia y experiencia clínica. |
Importancia
Los chatbots de inteligencia artificial (IA) brindan la oportunidad de redactar plantillas de respuestas a las preguntas de los pacientes. Sin embargo, aún queda por probar la capacidad de los chatbots para generar respuestas basadas en conocimientos específicos sobre el cáncer.
Objetivo
Evaluar la competencia de los chatbots de IA (GPT-3.5 [chatbot 1], GPT-4 [chatbot 2] y Claude AI [chatbot 3]) para generar respuestas legibles, empáticas y de alta calidad a las preguntas de los pacientes sobre el cáncer.
Diseño, entorno y participantes
Este estudio de equivalencia comparó las respuestas del chatbot de IA y las respuestas de 6 oncólogos verificados con 200 preguntas de pacientes sobre el cáncer en un foro público en línea. Los datos fueron recopilados el 31 de mayo de 2023.
Exposiciones
Una muestra aleatoria de 200 preguntas de pacientes relacionadas con el cáncer de un foro público en línea (Reddit r/AskDocs) que abarca desde el 1 de enero de 2018 hasta el 31 de mayo de 2023 se planteó a 3 chatbots de IA.
Principales resultados y medidas
Los resultados primarios fueron calificaciones piloto de la calidad, la empatía y la legibilidad en una escala Likert de 1 (muy pobre) a 5 (muy buena). Dos equipos de especialistas en oncología evaluaron cada respuesta basándose en medidas piloto de calidad, empatía y legibilidad por triplicado. El resultado secundario fue la legibilidad evaluada mediante el nivel de grado de Flesch-Kincaid.
Resultados
Las respuestas a 200 preguntas generadas por el chatbot 3, el chatbot de IA con mejor rendimiento, obtuvieron calificaciones consistentemente más altas en las medidas generales de calidad (media, 3,56 [IC del 95 %, 3,48-3,63] frente a 3,00 [IC del 95 %, 2,91-3,09] ; P < 0,001), empatía (media, 3,62 [IC del 95 %: 3,53-3,70] frente a 2,43 [IC del 95 %: 2,32-2,53]; P < 0,001) y legibilidad (media, 3,79 [IC del 95 %: 3,72-3,87] frente a 3,07 [IC del 95%, 3,00-3,15] P < 0,001) en comparación con las respuestas de los médicos.
El nivel de grado medio de Flesch-Kincaid de las respuestas de los médicos (media, 10,11 [IC del 95 %, 9,21-11,03]) no fue significativamente diferente de las respuestas del chatbot 3 (media, 10,31 [IC del 95 %, 9,89-10,72]; P > 0,99 ), pero fue inferior a los del chatbot 1 (media, 12,33 [IC del 95 %, 11,84-12,83]; P < 0,001) y al chatbot 2 (media, 11,32 [IC del 95 %, 11,05-11,79]; P = 0,01) .
|
Conclusiones y relevancia Los hallazgos de este estudio sugieren que los chatbots pueden generar respuestas de calidad, empáticas y legibles a las preguntas de los pacientes, comparables a las respuestas de los médicos obtenidas en un foro en línea. Se requieren más investigaciones para evaluar el alcance, la integración de procesos y los resultados de las interacciones facilitadas por chatbot para pacientes y médicos. |