¿Cuán confiables son los estudios científicos?

Recientemente, la BBC publicó un estudio sobre la fiabilidad de los estudios científicos que han mostrado errores y que se repiten en cadena.

Hasta hace poco, el anestesiólogo alemán Joachim Boldt era un reconocido especialista en la administración de líquidos intravenosos. Recientemente se descubrió que cerca de 90 de sus trabajos tiene errores y una docena de ellos han sido retractados de las publicaciones por mala praxis, incluida la falsificación de datos. Pero el daño ya está hecho.

Sus estudios han permitido la utilización de un tipo de coloide en pacientes quirúrgicos que -se sabe ahora- puede acarrear consecuencias fatales. Se trata del hydroxyethyl starches (HES), un fluido sintético usado comúnmente desde hace décadas en prácticas clínicas, que aumenta el riesgo de muerte y problemas de riñón.

Este caso extremo refleja un creciente problema en la comunidad científica: en los últimos años el número de retractaciones se ha multiplicado de 30 a principios de 2000, a 400 para la segunda década del nuevo milenio. En cambio la cantidad de estudios publicados sólo aumentó un 44%, según datos de la revista Nature.

Cuando una publicación es retractada, significa que la investigación tiene tantos errores que hay que eliminarla de toda literatura científica. Se considera por muchos como el peor de los castigos para un especialista.

Pero también tiene graves implicaciones para la ciencia. Si bien estas cifras representan alrededor del 1% de los casi 30.000 ensayos que salen cada año, la forma en que funciona la comunidad científica amplifica su impacto.

Reacción en cadena

La manera como funciona actualmente la comunidad científica es confiar en que la literatura se corrija a sí misma.

Es a partir de los resultados publicados que otros científicos basan sus nuevos estudios, por lo que una investigación con errores puede ser citada decenas de veces por otros expertos, cuyos trabajos serán usados a su vez por muchos otros, antes de que se descubra un error.

“La ciencia depende de que otros repliquen, no necesariamente exacto, pero sí de una forma en que te den la seguridad de que los resultados pueden ser reproducibles”, le explica a BBC Mundo Nigel Hooper, profesor de la Facultad de Ciencias Biológicas de la Universidad de Leeds.

“Nosotros no salimos y pedimos a alguien que repita el estudio, sino que forma parte del proceso científico”, agrega.

“La literatura no se corrige a sí misma”, refuta la científica australiana Elizabeth Iorns. “Es como decir que con el tiempo se sabrá (si tienen fallas), pero no será así porque entre los científicos no existe la cultura de buscar financiación para validar sus estudios, y si lo hacen, no hay forma de publicar (los resultados de la réplica)”.

Peer review

Para que un trabajo llegue a ser publicado, las editoriales lo someten a un proceso de revisión por pares (conocido en inglés como peer review) que consiste en validar los trabajos escritos a través del escrutinio de la metodología de la investigación por otros expertos con un mismo rango o superior.

“El asunto es que el peer review no está exento de problemas”, le aclara a BBC Mundo Damian Pattinson, editor ejecutivo de la publicación científica PLoS One.

“Es muy difícil entender qué pasa en un ensayo a no ser que veas todos los datos”, dice Pattison. El problema está en que en la mayoría de los casos los científicos no incluyen toda la data en sus ensayos, “por lo que pueden haber muchos motivos para que un estudio pase el peer review y más tarde se compruebe que es poco fiable”, señala Pattinson.

Iorns muestra poca fe a esta técnica, pues asegura que el panel de experto sólo puede analizar los datos que se les presenta y muchos especialistas “eligen minuciosamente los mejores resultados”.

Además, “la mayoría de las veces los revisores no están calificados para evaluar todos los experimentos que se le presentan en un estudio”, agrega. “Tampoco podemos esperar que un investigador evalúe todo tipo de experimento. Un buen ejemplo son los análisis estadísticos, muchos estudios tienen erroresporque en general a los biólogos no se les enseña mucho de estadística”.

Los trabajos de Joachim Boldt lograron burlar las revisiones por pares y pasar inadvertidos por otros especialistas que se basaron en sus estudios.

Validación independiente

El problema de buscar una validación independiente está en la financiación.

A fin de evitar o corregir esta falla en el actual sistema de publicación de literatura científica, Iorns creó hace poco menos de un año Reproducibility Initiative (RI), un organismo independiente que ofrece validar las investigaciones -antes o después de su publicación- repitiendo los estudios con exactitud.

“(Nosotros) sólo conducimos los estudios para cerciorarnos de que dan los mismos resultados”, le explica a BBC Mundo.

Iorns sostiene que actualmente las investigaciones que se publican, incluso en las revistas de más renombre como Science oNature, tienen una tasa muy baja de validación. “Se estima que sólo el 20% de ellos son lo suficientemente robustos como para ser validados”.

Esta científica advierte que el problema se agrava cuando los estudios preclínicos de laboratorios académicos llaman la atención de las farmacéuticas, pues más del 70% de esos ensayos no son reproducibles.

“Así que dejan de ser objeto de desarrollo de medicamentos, lo que resulta en un tremendo desperdicio de tiempo y dinero”, agrega Iorns.

RI no pretende ser una especie de organismo de control de la comunidad científica, sino una herramienta o una opción para que los expertos aumenten la credibilidad de sus estudios o -en caso de tener un resultado negativo- eviten la retractación, que es vista como el peor de los castigos para un investigador.

Sin embargo, esta opción tiene el problema de la financiación, validar un estudio de forma independiente puede representar el 10% del presupuesto de la investigación. Si bien Iorns ha conseguido científicos interesados en replicar sus trabajos, no tienen dinero para ello.

Contador de errores

Existen otras iniciativas más dedicadas a alertar sobre el creciente problema de la publicación de estudios poco fiables.

Retraction Watch fue fundada hace dos años por los periodistas de ciencia Ivan Oransky y Adam Marcus. Ellos se dedican a publicar en este blog todos los casos de retractación, errores y correcciones que puedan descubrir en la comunidad científica.

Y a juzgar por un estudio realizado por Danielle Fanelli, de la Universidad de Edimburgo, este par de periodistas tienen mucho trabajo por delante.

De acuerdo con la investigación de Fanelli, basada en la metadata de varias encuestas, cerca del 2% de los científicos admite haber fabricado, falsificado o modificado al menos una vez. Un tercio de los especialistas confiesa haber realizado otras “prácticas cuestionables”, incluido descartar datos basados en un presentimiento y cambiar el diseño, metodología y resultado del estudio debido a presiones externas.

Mientras que más del 70% asegura haber presenciado un comportamiento irregular de sus colegas.

¿Son fiables?

Especialistas coinciden que la tasa de fallas en los estudios se debe a errores humanos.

Si este es el panorama, ¿qué tan fiables son los estudios que se publican? “En realidad no puedo responder a esa pregunta”, dice Pattinson.

El editor ejecutivo de PLoS ONE admite que actualmente hay un verdadero problema con la disponibilidad de datos. “Los científicos pueden publicar sus resultados o el sumario sin tener que ofrecer toda la data”, explica.

“Estamos presionando para que toda la información (de la investigación) esté disponible. De esta forma la gente podrá ver en detalle qué es lo que se ha hecho y cuál es el verdadero resultado”.

“Hacemos lo que podemos. Confiamos en los peer reviews y en que otros científicos revisan con cuidado los resultados de sus colegas”.

Elizabeth Iorns confieza que no sabría determinar cuán fiable son los estudios publicados a diario, si se toma en cuenta las estimaciones que indican que más del 70% de los resultados no pueden ser reproducibles de forma independiente.

Los especialistas consultados por BBC Mundo coinciden en que la mayoría se debe a errores humanos que poco tienen que ver con la mala praxis.

BBC