Actualmente, existe un debate sustancial sobre si los resultados de estudios no randomizados son consistentes con los resultados de pruebas controladas randomizadas sobre el mismo tema. A partir de un reciente estudio, un grupo de investigadores se propuso comparar los resultados de estudios randomizados y no randomizados que evaluaron las intervenciones médicas y examinaron las características que pueden explicar las diferencias entre los dos tipos de estudios mencionados.
Durante el estudio se recabaron datos a partir de una búsqueda de información en la base de datos MEDLINE (entre 1966 y marzo de 2000), en la Biblioteca de Cochrane (Volumen 3, 2000) y en los principales periódicos norteamericanos. Se identificaron 45 temas diversos para los cuales tanto las pruebas randomizadas (n = 240) como los estudios no randomizados (n = 168) se habían considerado en los meta-análisis de los resultados binarios.
Se extrajeron datos de los eventos por paciente en cada parte del estudio; el plan y las características de cada estudio considerados en cada meta-análisis fueron extraídos y sintetizados separadamente para estudios randomizados y no randomizados.
De acuerdo a los datos obtenidos, se observó una muy buena correlación entre las proporciones de odds ratios sumarias para los estudios randomizados y no randomizados (r = 0.75; P<.001); sin embargo, los estudios randomizados tendieron a mostrar efectos de tratamiento más prolongados (28 frente a 11; P = .009). La heterogeneidad entre los estudios fue frecuente entre las pruebas randomizadas solas (23%) y muy frecuente entre los estudios no randomizados. Los resultados sumarios para los dos tipos de diseño difirieron más allá del azar en 7 casos (16%). Las discrepacias más allá del azar resultaron menos comunes cuando solo fueron considerados los estudios prospectivos (8%). Las diferencias ocasionales en el tamaño de la muestra y el tiempo de publicación también se hallaron entre estudios randomizados y no randomizados discrepantes. En 28 casos (62%) el logaritmo natural de la odds ratio difirió al menos un 50% y en 15 casos (33%) la odds ratio varió al menos 2 pliegues entre los estudios no randomizados y las pruebas randomizadas.
A pesar de la buena correlación entre las pruebas randomizadas y los estudios no randomizados en particular, ocurrieron discrepancias en los estudios más allá del azar. A partir de los resultados obtenidos por esta investigación, los investigadores consideran que son muy comunes las diferencias en la magnitud estimada de efecto del tratamiento.