ChatGPT puede aprobar el examen de licencia médica de EE. UU.
|
Rendimiento de ChatGPT en USMLE: potencial para la educación médica asistida por IA utilizando modelos de lenguaje grandes Resumen Evaluamos el rendimiento de un gran modelo de lenguaje llamado ChatGPT en el Examen de licencia médica de los Estados Unidos (USMLE), que consta de tres exámenes: Paso 1, Paso 2CK y Paso 3. ChatGPT se realizó en o cerca del umbral de aprobación de los tres exámenes. sin ninguna formación especializada o refuerzo. Además, ChatGPT demostró un alto nivel de concordancia y perspicacia en sus explicaciones. Estos resultados sugieren que los modelos de lenguaje extenso pueden tener el potencial de ayudar con la educación médica y, potencialmente, con la toma de decisiones clínicas. Resumen del autor Los sistemas de inteligencia artificial (IA) son una gran promesa para mejorar la atención médica y los resultados de salud. Como tal, es crucial garantizar que el desarrollo de la IA clínica se guíe por los principios de confianza y explicabilidad. Medir el conocimiento médico de la IA en comparación con el de los médicos humanos expertos es un primer paso fundamental para evaluar estas cualidades. Para lograr esto, evaluamos el desempeño de ChatGPT, una IA basada en lenguaje, en el Examen de Licencias Médicas de los Estados Unidos (USMLE). El USMLE es un conjunto de tres pruebas estandarizadas de conocimiento de nivel experto, que se requieren para obtener la licencia médica en los Estados Unidos. Descubrimos que ChatGPT funcionó en o cerca del umbral de aprobación del 60% de precisión. Siendo el primero en lograr este punto de referencia, esto marca un hito notable en la maduración de la IA. Sorprendentemente, ChatGPT pudo lograr este resultado sin el aporte especializado de entrenadores humanos. Además, ChatGPT mostró un razonamiento comprensible y conocimientos clínicos válidos, lo que brindó una mayor confianza a la explicabilidad. Nuestro estudio sugiere que los modelos de lenguaje extenso, como ChatGPT, pueden ayudar potencialmente a los estudiantes humanos en un entorno de educación médica, como preludio de la futura integración en la toma de decisiones clínicas. |
Concordancia y conocimiento de ChatGPT en USMLE. Para los pasos 1, 2CK y 3 del USMLE, los resultados de la IA se adjudicaron según la concordancia y la densidad de conocimiento (DOI) en función del sistema de puntuación ACI proporcionado en S2 Data. R: Concordancia general en todos los tipos de exámenes y formatos de codificación de preguntas. B: Tasas de concordancia estratificadas entre resultados precisos e inexactos, en todos los tipos de exámenes y formatos de codificación de preguntas. p <0,001 para resultados precisos frente a imprecisos mediante la prueba exacta de Fisher. C: prevalencia general de conocimiento, definida como la proporción de resultados con ≥1 conocimiento, en todos los exámenes para preguntas codificadas en formato MC-J. D: DOI estratificado entre resultados precisos e inexactos, en todos los tipos de exámenes para preguntas codificadas en formato MC-J. La línea horizontal indica la media. Valor de p determinado por prueba ANOVA paramétrica de 2 vías con Benjamini-Krieger-Yekutieli (BKY) post hoc para controlar la tasa de descubrimiento falso.
Comentarios
ChatGPT puede calificar en o alrededor del 60 por ciento del umbral de aprobación del Examen de Licencias Médicas de los Estados Unidos (USMLE), con respuestas que tienen un sentido interno coherente y contienen información frecuente, según un estudio publicado el 9 de febrero de 2023 en acceso abierto. revista PLOS Digital Health por Tiffany Kung, Victor Tseng y colegas de AnsibleHealth.
ChatGPT es un nuevo sistema de inteligencia artificial (IA), conocido como modelo de lenguaje grande (LLM), diseñado para generar una escritura similar a la humana mediante la predicción de secuencias de palabras próximas. A diferencia de la mayoría de los chatbots, ChatGPT no puede buscar en Internet. En su lugar, genera texto usando relaciones de palabras predichas por sus procesos internos.
Kung y sus colegas probaron el desempeño de ChatGPT en el USMLE, una serie de tres exámenes altamente estandarizados y regulados (Pasos 1, 2CK y 3) necesarios para obtener la licencia médica en los Estados Unidos. Tomado por estudiantes de medicina y médicos en formación, el USMLE evalúa el conocimiento que abarca la mayoría de las disciplinas médicas, desde la bioquímica hasta el razonamiento diagnóstico y la bioética.
Comentarios
Para ver los comentarios de sus colegas o para expresar su opinión debe ingresar con su cuenta de IntraMed.
