Calidad de los reportes de los ensayos controlados aleatorios quirúrgicos

Existe un amplio acuerdo de que los ensayos controlados randomizados (ECR) producen la evidencia más confiable sobre los beneficios y riesgos de las intervenciones clínicas desarrolladas recientemente o ya existentes, llevando finalmente a una mejor atención para los pacientes [1-3].

Para permitir juicios informados sobre la validez externa y la calidad metodológica de los ECR, es de suma importancia un reporte adecuado [4]. Para los ECR publicados, varios estudios de investigación han identificado serias limitaciones en ese reporte [3,5-9].

En la década pasada, ha habido esfuerzos considerables para mejorar la calidad de los reportes de estudios individuales de investigación.

Comúnmente, este desafío se ha abordado con el desarrollo de guías para los reportes, que brindan un asesoramiento estructurado sobre la información mínima necesaria en un artículo de investigación, para permitir a los lectores una evaluación adecuada de la metodología del estudio, y la relevancia y validez de los hallazgos de la investigación.

La última actualización de los Consolidated Standars of Reporting Trials (CONSORT) Statement, la guía más importante para los reportes destinada a mejorar la transparencia y calidad de los ECR reportados, fue publicada simultáneamente en 10 revistas médicas líderes en 2010 [10].

A pesar de cierta mejora con la implementación de la Declaración CONSORT, aún persisten importantes deficiencias en los reportes de los ECR publicados [11].  En comparación con los ensayos sobre fármacos, los ECR quirúrgicos enfrentan varios desafíos específicos (por ej., curva de aprendizaje, alta proporción de cruces debidos a la preferencia y falta de ocultamiento (blinding) de datos [12], y una calidad particularmente baja de los reportes de ensayos quirúrgicos [13]. Por lo tanto, Boutron y col., desarrollaron una extensión de la Declaración CONSORT, específicamente para el reporte de los ensayos de tratamientos quirúrgicos y no farmacológicos (CONSORT-NPT) [14,15].

Los reportes deficientes no son solo un problema en las publicaciones de texto completo, sino también en los resúmenes de las revistas, así como en los resúmenes de las conferencias [16]. Eso puede tener implicaciones importantes porque el resumen frecuentemente es la única parte leída por los médicos de un artículo, debido a las restricciones de tiempo, o porque la publicación del texto completo no está disponible gratuitamente [17]. 

Por lo tanto, un reporte deficiente puede conducir a decisiones equivocadas en la práctica clínica. De aquí en adelante, el grupo CONSORT desarrolló y publicó en 2008 una extensión CONSORT, para reportar específicamente los resúmenes de los ECR (CONSORT-A) [18]. En el presente estudio, los autores apuntan a evaluar la calidad de los reportes de los resúmenes de ECR en las revistas quirúrgicas mejor clasificadas, antes y después de que se publicara CONSORT-A,

> Estrategia de búsqueda y criterios de inclusión

Se buscó en PubMed los ECR publicados en los años 2005-2007 (antes de que se publicara la extensión CONSORT-A), en las cinco revistas quirúrgicas con el mayor factor de impacto en 2007 (Annals of Surgery, British Journal of Surgery, American Journal of Transplantation, The Journal of Heart and Lung Transplantation, y Journal of Neurology, Neurosurgery and Psichiatry, de acuerdo con Thomson Reuters InCities Journal Citation Reports) [19].

No se consideraron las revistas que estaban listadas entre las mejor clasificadas pero que fueron fundadas después de 2005. Se incluyeron reportes primarios de ECR (esto es, aquellos reportes sobre resultados primarios) que evaluaron procedimientos quirúrgicos así como otras intervenciones, si estaban claramente asociadas con un procedimiento quirúrgico (esto es, directamente antes o después de la cirugía; por ej., ejercicio físico antes de la cirugía, intervención dietética después de la cirugía).

Se excluyeron los artículos que no eran sobre un ECR, los realizados adicionalmente, los análisis secundarios de un ECR o un estudio dentro de un ensayo (SWAT), los etiquetados explícitamente como pilotos y los de factibilidad, y los ECR que no tenían nada que ver con cirugía, o que no fueron efectuados directamente antes, durante o después de la cirugía (por ej., evaluación de tratamientos nuevos 1 año después del trasplante de un órgano).

También se excluyeron los artículos sobre ECR si el punto temporal de los resultados no incluía claramente el resultado primario (por ej., resultados adicionales a largo plazo, 10 años después de la cirugía). Dos revisores seleccionaron independientemente títulos y resúmenes para su elegibilidad (BS, KAM, AA, VG, DG y MB). El texto completo fue considerado sólo cuando no estaba claro, basado en el resumen, si el artículo debía ser incluido. Los desacuerdos se resolvieron mediante discusión.

> Extracción de datos

Dos revisores extrajeron independientemente datos de cada uno de los resúmenes incluidos. Cada extractor de datos recibió un manual explicando los criterios de inclusión y los ítems específicos para extraer. La extracción se comprobó primero como prueba piloto, para asegurarse que los extractores de datos aplicaban el mismo juicio sobre los diferentes ítems de CONSORT-A.

Un total de 15 ítems de CONSORT-A [18] fue evaluado por duplicado si eran reportados adecuadamente (si/no). Se usaron las explicaciones y elaboraciones de CONSORT publicadas por Hopewell y col. [14]. Los dos ítems específicos del resumen de la conferencia "autores" y "reclutamiento" no se consideraron. Para evaluar si el estado de ocultamiento fue reportado adecuadamente, se copió la declaración sobre ocultamiento.

En un primer escenario, el ocultamiento fue asumido como adecuado sólo si era mencionado claramente el estatus que involucraba a personas (esto es, profesionales, pacientes, asesores de resultado). En un segundo escenario menos estricto, se aceptaron también términos generales como “doble ciego” o “simple ciego”.

Asimismo, cada vez que al menos una de las ramas de tratamiento incluía una intervención no farmacológica, los dos ítems para resúmenes, de los resúmenes no farmacológicos, fueron evaluados de acuerdo con una extensión publicada por Boutron y col. [14].

> Cálculo del tamaño de la muestra

El objetivo de este estudio fue comparar el número de ítems reportados en los ensayos quirúrgicos antes y después de la publicación de la extensión CONSORT para guía de los resúmenes, en 5 revistas de cirugía relevantes.

Un estudio previo analizando las principales revistas médicas reportó una diferencia media de alrededor de 3 sobre la cantidad de ítems reportados (media en 2007: 9,06; desvío estándar [DE]: 2,15; media en 2012: 12,11; DE: 2,22), con un DE por debajo de 2 [20]. Ese estudio, realizado por Mbuagbaw y col., evaluó todos los 17 ítems de CONSORT-A.

Cuando sólo se toman en cuenta los mismos 15 ítems que los autores del presente estudio planificaron evaluar, el puntaje promedio de Mbuagbaw y col., sería 8,0 (2007) y 11,0 (2012). Desde una perspectiva práctica podría ser de interés detectar diferencias medias tan bajas como 1,5 ítems.

Asumiendo conservadoramente un DE de 2,5, los autores necesitaron 60 artículos por período de estudio para tener un poder estadístico del 90%, para detectar una diferencia media de 1,5 a un nivel de significación del 5%, usando la prueba de t.

Dado que no tenían información previa sobre la distribución de artículos a través de las diferentes revistas, y debido al carácter bastante descriptivo de este estudio, no se consideró directamente el agrupamiento antes de realizar el estudio, y se decidió incluir a todos los artículos relevantes.

Esto les proporcionó una muestra inflada con respecto a la necesaria bajo el supuesto de independencia; no obstante, tuvieron que tener en cuenta el hecho de que con datos agrupados necesitaban inflar el tamaño de la muestra por el factor de inflación de varianza [21].

> Medidas de resultado y análisis estadístico

El resultado primario fue la diferencia media, con intervalos de confianza (IC) del 95%, en la frecuencia del reporte adecuado de los 15 ítems CONSORT, es decir, la diferencia de puntajes generales entre los dos períodos de tiempo (2005-2007 vs 2014-2016). La prueba t no emparejada de Student fue utilizada para comparar las medias.

Para evaluar si un aumento en la frecuencia de reportes adecuados podía ser explicado simplemente por una tendencia temporal, se visualizaron diagramas de caja por año de publicación.  Además, se modeló la probabilidad general de reportar un ítem mediante una regresión logística de efectos mixtos.

Para cada artículo, se consideraron resultados binarios para todos los ítems (reportado/no reportado) y se ajustó un modelo con un efecto aleatorio, tanto para la revista como para el ítem, mientras se ajustó por el tamaño de la muestra para cada estudio.

Se excluyeron 3 ECR porque no tenían claro el tamaño de la muestra. Los resultados secundarios fueron la frecuencia de reportes adecuados de los ítems del CONSORT-A por separado, que fueron comparados mediante la prueba de chi-cuadrado y calculando las odds ratios (OR). El reporte de los 2 ítems para los resúmenes de los resúmenes no farmacológicos, fue presentado descriptivamente.

Se identificaron 339 artículos potencialmente elegibles en la fase pre-CONSORT-A y 348 en la fase post-CONSORT-A. De ellos, un total de 192 (2005-2007) y 164 (2014-2016) fueron elegibles para ser incluidos. La gran mayoría de los artículos incluidos (274 de 356; 77,0%) provino de 2 revistas (Annals of Surgery y British Journal of Surgery).

La media del tamaño de la muestra en los ECR en los resúmenes incluidos fue de 106 (rango intercuartil [RIC]: 68-200) para la fase pre-CONSORT-A, y de 130 (RIC: 80-240) para la fase post-CONSORT-A. En la mayoría de los casos, el resumen no contenía información para determinar si el ECR era de un único centro asistencia o multicéntrico (poco claro en general en el 70,8%).