¿Es imparcial la evaluación de los revisores de artículos científicos?

La evaluación de un artículo científico por parte de expertos revisores se debería basar sólo sobre el mérito científico, que incluye aspectos como la calidad de la metodología, la originalidad de la hipótesis y la utilidad práctica de los resultados.
Sin embargo, cuando los expertos revisores tienen conocimiento de los autores o del prestigio de la institución o del país de procedencia, se generan sesgos por prejuicios en la evaluación del trabajo analizado.

El objetivo de este artículo es analizar el efecto sobre la evaluación de un trabajo científico según que los revisores tengan conocimiento (evaluación abierta) o no (evaluación cerrada o “blinded”), de los autores y de la fuente de información. La investigación se basa sobre los trabajos científicos presentados en los congresos de la American Heart Association.

Métodos

Durante los años 2000 y 2001, los resúmenes de los trabajos científicos enviados a los congresos de la American Heart Association se evaluaron en forma abierta, o sea que los revisores expertos conocían la fuente y la autoría de los trabajos. Como consecuencia de diversos debates sobre el margen de distorsión de esta metodología, a partir del 2002 la política de evaluación cambió y los revisores no tuvieron acceso a esta información. En otros términos, los resúmenes de los trabajos se evaluaron en forma cerrada, es decir con desconocimiento de la autoría y de la fuente de los mismos.
Cada resumen recibido fue sometido a la evaluación por parte de 8 a 10 revisores en forma independiente y se le otorgó un puntaje de 1 (malo) a 10 (excelente) según criterios de organización, utilidad, presentación y calidad técnica.

Categorización de los resúmenes

Todos los resúmenes fueron clasificados y categorizados según varios parámetros: fuente (prestigio de la institución), autor, país de origen (de EEUU o de otros países). Los resúmenes extranjeros a los EEUU a su vez se clasificaron según fueran provenientes de países de lengua inglesa o de otra lengua. También se valoró si los trabajos de EEUU eran o no patrocinados por un ente oficial como el National Institute of Health. 

Resultados

El total de resúmenes analizados fue de 67.275, de los cuales se aceptaron 19.198 (28,5%). No hubo diferencias significativas sobre la aceptación global de trabajos entre el período de evaluación abierta y el de evaluación cerrada (29,6% y 27,7%, respectivamente).

Efecto país. Durante el período de evaluación abierta, el 40,8% y el 22,6% de los trabajos aprobados provinieron de EEUU y de países extranjeros, respectivamente. Cuando se implementó la evaluación cerrada la relación fue de 33,4% y 23,7% para los resúmenes de EEUU y para los extranjeros, respectivamente. Esto demostró que el método cerrado hizo disminuir en forma significativa la relación entre aceptación del artículo y país de origen.
Efecto lengua. El sistema de evaluación cerrada atenuó en forma significativa la asociación entre los países de habla inglesa y las posibilidades de aceptación del artículo.
Efecto prestigio de la institución. Tomando en cuenta los resúmenes provenientes de instituciones académicas de los EEUU, durante la evaluación abierta se aceptaron el 51.3%, el 42.7% y el 32.6% de los resúmenes provenientes de instituciones de alto prestigio, de mediano prestigio y de bajo prestigio, respectivamente. Con la implementación de la evaluación cerrada, se aceptó el 38,8%, 34,3% y el 29.0% de los resúmenes, respectivamente.

Esto señala que la evaluación cerrada atenuó en forma significativa la asociación entre una institución de alto prestigio y las posibilidades de aceptación del trabajo. No hubo diferencias significativas entre las instituciones de bajo prestigio cuando se comparó entre el sistema abierto y el cerrado.

Efecto según el sexo del autor. Tanto en el sistema abierto como en el cerrado, ambos sexos tuvieron similares posibilidades de aceptación.

Efecto según el tipo de institución (gubernamental versus no gubernamental). Considerando solamente los trabajos provenientes de los EEUU, durante la evaluación abierta el 65,2% y el 41,0% de los trabajos aceptados provinieron de instituciones gubernamentales y no gubernamentales, respectivamente. Tras la implementación del sistema cerrado, la aceptación fue del 45,5% y el 33,5% respectivamente. O sea que el sistema cerrado atenuó en forma significativa la asociación entre institución gubernamental y las posibilidades de aceptación del trabajo. Todos estos datos se detallan en la Tabla 1.
 

Conclusiones

Sobre la base de los resúmenes enviados al comité de selección de los congresos de la American Heart Association, la evaluación cerrada redujo todos los parámetros considerados que influyen en las posibilidades de aceptación de un trabajo, excepto el sexo. Este estudio demostró la existencia de sesgos con el método de evaluación abierta, caracterizado por un favoritismo hacia los resúmenes provenientes de los EEUU, de los países de habla inglesa, del prestigio académico de la institución y del tipo de patrocinamiento.

El sistema cerrado no logra eliminar totalmente los sesgos, ya que los revisores expertos logran identificar al autor y la fuente sólo por las características del resumen en más de un 20% de los trabajos. A pesar de esto, los resultados de este estudio sugieren que la adopción del sistema cerrado confiere un beneficio sustancial sobre la imparcialidad de la evaluación.

Aspectos destacados

¿Qué se sabía del tema?

La evaluación de un artículo científico por parte de expertos revisores se debería basar sólo sobre el mérito científico, que incluye aspectos como la calidad de la metodología, la originalidad de la hipótesis y la utilidad práctica de los resultados.
Sin embargo, cuando los expertos revisores tienen conocimiento de los autores o del prestigio de la institución o del país de procedencia, se generan sesgos por prejuicios en la evaluación del trabajo analizado.

¿Qué aporta el estudio?

Sobre la base de los resúmenes enviados al comité de selección de los congresos de la American Heart Association, la evaluación cerrada redujo todos los parámetros considerados que influyen en las posibilidades de aceptación de un trabajo, excepto el sexo. Este estudio demostró la existencia de sesgos con el método de evaluación abierta, caracterizado por un favoritismo hacia los resúmenes provenientes de los EEUU, de los países de habla inglesa, del prestigio académico de la institución y del tipo de patrocinamiento.

¿Cómo se vincula a la práctica?

El trabajo sugiere que el método cerrado de evaluación o “ciego” reduce en forma significativa el sesgo causado por la influencia de determinados parámetros, los cuales pueden distorsionar en más o en menos el valor de un trabajo.