Más de la mitad de los estudios en psicología no se pueden replicar

Por Daniel Mediavilla

La metodología o las circunstancias necesarias para un estudio pueden dificultar la réplica de sus resultados / Universidad de Nottingham

 A principios de 2011, el psicólogo social holandés Diederik Stapel publicó en la prestigiosa revista Science un artículo con resultados llamativos: los entornos desordenados favorecen los estereotipos y la discriminación. Pocos meses después, una investigación encabezada por Pim Levelt, antiguo presidente de la Academia Holandesa de Ciencias, concluyó que Stapel se había inventado los resultados de su trabajo, desde la recopilación de datos hasta las encuestas que apoyaban sus conclusiones.

No era la primera vez que lo hacía y, poco a poco, decenas de artículos del mismo autor fueron retirados por las revistas que los habían publicado. Estudios que aseguraban que a veces el fracaso hace sentir mejor, que los anuncios de belleza hacen sentir feas a las mujeres o que el poder hace más probable la infidelidad, eran fruto de la mente de un trilero y no de un trabajo científico honesto. En una entrevista con The New York Times, el investigador holandés trató de explicar sus motivos. Él amaba la psicología social, pero siempre se había sentido frustrado por el caos de los datos obtenidos en los experimentos, con los que era raro llegar a conclusiones claras. Su obsesión por la elegancia y el orden le había llevado a inventar resultados atractivos que gustaban en las revistas científicas. Este tipo de escándalos, que también se han producido en otros campos, pero preocupan especialmente en la ciencia psicológica, iniciaron un debate sobre la validez de los controles en este campo de la ciencia.

En un estudio, el 33,7% de los científicos reconoció prácticas reprobables

Aunque casos como el de Stapel son extremos, la selección de datos para mostrar resultados más atractivos y más fáciles de colocar en las revistas científicas es frecuente. En un artículo que se publicó en 2009 en la revista PLoS One, Daniele Fanelli, de la Universidad de Edimburgo, revisó una serie de estudios en los que se preguntaba a los investigadores si ellos o sus colegas había manipulado sus propias investigaciones para adaptarlos a sus intereses. Los resultados mostraban que un 1,97% de los científicos explicaba que había inventado, falsificado o modificado datos o resultados al menos en una ocasión, y el 33,7% reconocía otras prácticas reprobables aunque menos graves. Cuando se les preguntaba por el comportamiento de los compañeros, hasta un 14,1% afirmaba conocer casos de falsificación de datos y un 72% decía haber sido testigo de otros actos cuestionables.

Este tipo de actitudes, alimentadas por la presión por publicar sus investigaciones, han sembrado dudas sobre la posibilidad de replicar estudios en psicología, algo fundamental para que se la considere una ciencia seria. Los propios investigadores no tienen incentivos para ser fieles del todo a los datos ni para tratar de repetir los resultados de sus colegas, lo que provoca un círculo vicioso. Las revistas científicas prefieren resultados distintos y sorprendentes frente a trabajos que repliquen otros ya conocidos, y todos estos factores facilitan que la mala conducta o las pequeñas triquiñuelas pasen desapercibidos.

Afrontar el problema

Esta semana, en la revista Science, la misma que publicó el estudio fraudulento de Stapel, se publica el mayor trabajo conjunto para replicar estudios científicos en psicología. Un grupo de 270 investigadores de todo el mundo intentó repetir los resultados de 100 artículos relevantes en la materia. Pese a contar con la colaboración de los propios autores para conocer su metodología y las condiciones en las que obtuvieron sus resultados, solo fue posible obtenerlos de nuevo en un 39% de los casos. En algunos casos, los resultados obtenidos fueron los contrarios a los de la investigación de referencia. Según comentan los autores del trabajo, liderados por Brian Nosek, investigador de la Universidad de Virginia (EE UU), que no fuese posible replicar los resultados de un estudio no significa necesariamente que sean erróneos, pero son una señal de que se han de realizar cambios para facilitar que se pueda hacer.

Los incentivos favorecen la búsqueda de trabajos innovadores aún a costa de que se puedan reproducir