Evaluación de la calidad de los datos quirúrgicos del mundo real

Los datos de los registros médicos electrónicos (RME) son utilizados para apoyar estudios para mejorar la calidad y la eficiencia de las prestaciones médicas. Seleccionados de un solo sitio o de múltiples sitios, estos datos del mundo real (DMR) tienen el potencial de transformar la atención de la salud. Los DMR, tal como son descritos por la US FDA, incluyen datos derivados de los RME, así como datos de registro y datos generados por el paciente.

En esencia, los DMR son los datos recopilados que tienen la capacidad de informar el estado de salud [1,2]. Distribuidos en redes de investigación, tales como la Patient-Centered  Outcomes Research Network (PCORnet), la American College of Surgeons NSQIP, y los Society of Thoracic Surgeons National Registries, son evidencia en desarrollo del mundo real para contestar cuestiones claves sobre los servicios de salud, calidad y seguridad, e investigación fundamental [3-6].

A pesar del uso de los DMR, los procesos de garantía de calidad de los datos estándar no son uniformemente adoptados, y el rigor de muchos proyectos de DMR es cuestionable. Los editores de estadísticas han expresado recientemente sus preocupaciones de que muchas presentaciones no alcanzan el umbral para la revisión por pares, debido a fallas en el enfoque analítico o en la calidad de los datos [7].

Las principales revistas han publicado recientemente consideraciones estadísticas para conducir la investigación realizada sobre DMR agrupados [8], y una serie de guías para el uso de datos para los 11 conjuntos de datos más utilizados en la investigación quirúrgica [9-18].

Están surgiendo tecnologías que permiten la obtención automatizada de datos de los RME para la investigación, pero continúan enfrentando desafíos [19-23]. Aunque los RME están siempre presentes en todos los hospitales en los Estados Unidos [24], y pueden ser una manera costo-efectiva de obtener DMR, se requieren inversiones considerables para asegurar la calidad de los datos [25,26].

La PCORnet confrontó esos desafíos al involucrar a expertos para crear un marco de calidad de datos unificados [27]. Esa estructura ha sido aplicada a los RME agrupados provenientes de los sitios de la PCORnet [28], pero aún no se ha adaptado y validado en un sitio específico para investigación quirúrgica. Hasta donde llega el conocimiento de los autores de este trabajo, no ha sido validado ningún marco de calidad de datos para apoyar la calidad específica para cirugía y los estudios de investigación realizados con DMR de los RME.

Los autores buscaron adaptar y aplicar un marco de calidad de datos descrito previamente, para evaluar la calidad de su repositorio de DMR específico del sitio, que selecciona automáticamente los datos de los RME para apoyar la investigación quirúrgica.

Proponen varias adaptaciones a ese marco de trabajo para mejorar la evaluación de la calidad, y demuestran también cómo las cuestiones de investigación quirúrgica pueden ser mapeadas en 2 tipos diferentes de controles de calidad de datos (básicos y específico del estudio), para asegurar que los DMR son aptos para su uso para un análisis propuesto.

La Junta de Revisión Institucional de la Universidad de Duke aprobó este estudio con una dispensa para el consentimiento informado. Se trata de un estudio retrospectivo de un único centro asistencial constituido por un gran sistema hospitalario cuaternario, con múltiples sitios, con 70.000 operaciones y 68.000 admisiones en el año 2017, y que es reportado según las guías del Strengthening the Reporting of Observational Studies in Epidemiology.

> Cohorte

Se desarrolló una línea de datos electrónicos para obtener automáticamente datos de los RME de pacientes quirúrgicos adultos [23]. Los encuentros para procedimientos con código CPT para procedimientos invasivos, definidos por el Surgery Flags Software para ICD-9-CM (Healthcare Cost and Utilization Project), fueron incluidos de los encuentros con internación y ambulatorios.

El modelo de datos incluyó características identificadas por un grupo interdisciplinario de investigadores quirúrgicos locales y aquellos en el modelo de datos comunes de la PCORnet [29]. Los análisis de la calidad de los datos se basaron sobre una cohorte de 241.695 pacientes, sometidos a 412.182 procedimientos (definidos de acuerdo con el código CPT 1), entre el 1 de octubre de 2014 y el 31 de agosto de 2018.

> Verificación de la calidad de los datos

Para evaluar la calidad del repositorio de DMR se construyó sobre un marco armonizado de calidad de datos conteniendo los siguientes grupos de controles de calidad: conformidad, integridad y plausibilidad [27]. Se desarrolló una serie de "consultas" quirúrgicas específicas que llevaron a cada control de calidad de los datos.

Esos tipos de consultas representaron ya sea una hipótesis de investigación, o un proyecto para mejora de la calidad. Las comprobaciones de conformidad probaron que el tipo de variable, el valor, el rango y el resultado computacional coincidían con las expectativas previamente especificadas [27].

Por ejemplo, se evaluó el grado en que los nombres de los medicamentos en los datos coincidían con un estándar externo, mediante comparación de la ortografía. Esto se completó al tokenizar los nombres de medicamentos sin procesar y las cadenas coincidentes, con las cadenas de nombres de medicamentos RxNorm [30].

Los nombres que no coincidían fueron limpiados manualmente por expertos. Las verificaciones de integridad informaron el porcentaje de falta de datos, y las verificaciones de plausibilidad probaron la credibilidad variable de los datos dentro de contextos clínicos.

Las verificaciones de plausibilidad también probaron la validez de las variables en las tablas de datos, y se dividieron en los siguientes tipos: unicidad, atemporal y temporal. Las verificaciones de plausibilidad de unicidad determinaron si las variables que representaban entidades individuales eran únicas (por ejemplo, cada paciente tenía un número de historia clínica único).

Las verificaciones de plausibilidad atemporales probaron la validez de las relaciones variables sin tener en cuenta el tiempo (por ejemplo, todos los encuentros quirúrgicos tenían un código de diagnóstico documentado asociado).

Las verificaciones de plausibilidad temporal probaron la validez de las relaciones variables con respecto al tiempo (por ejemplo, todas las fechas de alta hospitalaria ocurrieron después de las fechas del procedimiento hospitalario).

Las comprobaciones de conformidad, integridad y plausibilidad se dividieron en subtipos básicos y específicos del estudio. Las comprobaciones básicas fueron análisis de calidad generales que abarcaban todos los puntos de datos, y las comprobaciones específicas del estudio se centraron en preguntas clínicas más específicas. Las consultas representan preguntas de investigación o mejora de la calidad que evalúan una incógnita, y los controles de calidad de los datos son la confirmación de una calidad conocida dentro de un activo de datos.

Se adaptó el marco de calidad de datos armonizado mediante el desarrollo de los siguientes tipos nuevos de verificaciones de plausibilidad temporal: verificaciones de desplazamiento de datos y de desvío de datos. Estas comprobaciones requieren conocimiento institucional de un cambio esperado en los datos, debido a una modificación en la prestación de atención médica o en la codificación/captura de datos.

Los controles de cambio de datos probaron si se podía observar un cambio repentino en la práctica clínica. Por ejemplo, demostrar el cambio esperado de los códigos ICD-9 a ICD-10 después de la implementación de ICD-10 es una verificación de cambio de datos.

El experimento específico de estudio de los autores para esta verificación de cambio de datos utilizó los nuevos códigos CPT para procedimientos de columna vertebral (22853, 22854 y 22859) introducidos en enero de 2017, en comparación con el antiguo código CPT 22851. No obstante, los controles de desvío de datos probaron si se podía observar un cambio gradual esperado en la práctica clínica.

Por ejemplo, si los cambios de política específicos del sitio podrían replicarse en los datos del RME. Se analizó la respuesta del proveedor a los cambios recomendados por la política estatal/hospitalaria para la prescripción de dolor. Este cambio institucional conocido debe visualizarse dentro de los DMR en el tiempo esperado.

Identificar los cambios en la política y la práctica por adelantado y declarar explícitamente los cambios y las derivaciones de datos esperados, puede ayudar a prevenir la interpretación errónea de los hallazgos [31,32]. La confirmación de que se observan estos cambios esperados en los sistemas ilustra cuán bien una fuente de datos representa la realidad dinámica de cómo se brinda la atención dentro de la institución.

Para demostrar cómo las consultas quirúrgicas interactúan con los controles de calidad de los datos, se crearon 5 consultas quirúrgicas prototípicas que abarcan marcos de tiempo preoperatorios, intraoperatorios y posoperatorios (Cuadro 1).

Cada consulta se utilizó para controlar los tipos de controles de calidad de datos básicos y específicos del estudio. Se incluyeron controles de plausibilidad temporal de desplazamiento de datos y de desvío de datos para las consultas 1 y 5.

Las verificaciones fundamentales fueron necesarias para determinar la calidad de los DMR, pero no fueron suficientes para determinar la idoneidad de los datos para ninguna pregunta específica. Algunas verificaciones específicas del estudio requerían conocimientos de política institucional para completarse. En conjunto, las verificaciones de conformidad, integridad y plausibilidad básicas y específicas del estudio aseguran que los DMR se evalúen rigurosamente o sean "aptos para su uso" para responder a la consulta.

Cuadro 1

Los elementos de datos de las 5 consultas se evaluaron con comprobaciones básicas de integridad, conformidad y plausibilidad. Se completaron verificaciones de plausibilidad específicas del estudio para garantizar que los DMR fueran aptos para su uso.

> Verificaciones básicas

Se estudiaron las verificaciones básicas estándar en todas las variables. Estos tipos de comprobaciones fundamentales no son preguntas específicas de investigación y se aplican a través de una fuente de datos para mediciones basales de calidad. La mayoría de estas comprobaciones aseguran la conformidad con el diccionario de datos adjunto.

• Preoperatorio

Las comprobaciones fundamentales para la consulta 1 demostraron que todos los procedimientos dentro de un encuentro hospitalario y ambulatorio tenían un código CPT asociado que coincidía con los valores numéricos definidos por la Asociación Médica Americana

• Intraoperatorio

Las comprobaciones fundamentales para la consulta 2 revelaron que todos los valores de los signos vitales y las dosis de medicación intraoperatoria fueron numéricos. Un análisis posterior demostró que el 99% de los encuentros de procedimiento tenían signos vitales registrados para el mismo encuentro, ya sea antes o después de la operación.

Sin embargo, solo el 69% de los procedimientos tenía signos vitales intraoperatorios registrados en el RME dentro del encuentro correcto. Después de la tokenización, todos los nombres de cadena de medicamentos para la presión arterial intraoperatoria coincidieron con los estándares de ortografía de RxNorm [30]. Sin embargo, la cadena completa no coincidía exactamente.

• Postoperatorio

Las comprobaciones fundamentales para la consulta 3 mostraron una baja tasa de faltas en los identificadores de casos de quirófano y las fechas de los encuentros procesales. No obstante, la "nota de procedimiento" específicamente codificada en los campos de tipo de nota para encuentros de procedimiento, faltaba en aproximadamente el 15% de los casos. Los tipos de notas demostraron estabilidad a lo largo del tiempo con “nota de progreso” y “resumen de descarga” como las 2 notas más comunes.

Para la consulta 4, una verificación básica de plausibilidad evaluó si las fechas de encuentro con pacientes hospitalizados tenían valores de laboratorio entre las fechas de admisión y alta. También se realizaron análisis para determinar si las marcas de tiempo de muerte del paciente se registraron después de los procedimientos.

Cada ingreso hospitalario tuvo al menos 1 resultado de laboratorio durante la internación. Se observaron ocho muertes antes de un procedimiento. La revisión de las historias clínicas confirmó que el 96,3% de esos pacientes eran donantes de órganos sometidos a la obtención de los mismos. Las comprobaciones fundamentales para la consulta 5 demostraron el nombre correcto de la medicación. Después de la tokenización y la limpieza manual, todos los nombres de medicamentos coincidieron con las convenciones de RXnorm [30].