Dadle a la Ciencia...

Columna Tecnológica por José Miguel Santibáñez

Un estudio reciente demostró que más de la mitad de los estudios científicos que circulan por Internet, son falsos. La noticia sería interesante, si no fuera porque ese estudio también es falso, es decir, nunca se hizo, o al menos no se hizo de manera científica.

Es un problema serio, desde estudios sobre vacunas con timerosal, pasando por toda clase de alimentos que podrían sanarnos de lo que fuera, en Internet hay citas a estudios para todo, pero no todos son estudios realmente científicos.

Es por ello, que recientemente (Noviembre de 2013) la revista Nature consideró útil, sacar un listado de 20 sugerencias a tener presentes cuando se tiene a la vista un “estudio científico”. No se trata de poner en duda a la Ciencia, se trata de tener algunas herramientas para distinguir estudios científicos realmente serios, de aquellos que son meras falsificaciones. Y no sólo esto, también se trata de sugerencias que permiten entender mejor lo que cada estudio presenta.

Algunas de las más importantes:

Diferenciar entre Causa y Azar en las variaciones. Quizá sea uno de los aspectos más difíciles de entender, pues casi todo en la ciencia, es intentar encontrar las causas de las variaciones que se experimentan. La más famosa, es la del cambio climático: ¿a qué se debe? ¿Hay una (o unas pocas) causas específicas o son más bien la suma de tantos efectos pequeños, que bien pueden ser considerados azar?

Ninguna medida es exacta. Pídale a 10 personas que midan una caja con una regla y de manera exacta (al milímetro) y anoten sus resultados. Lo más seguro, es que se registren valores diferentes. Todos debieran ser más o menos similares, pero algunos verán “un poquito más” que otros. Las medidas tienen márgenes de error. Si además cada persona usa su propia regla, verá que las diferencias son aún mayores.

El sesgo es muy común. Sin quererlo ni buscarlo, cuando se hace una encuesta, la forma en que se hagan las preguntas, generará una predisposición a las respuestas. Y si la muestra es escogida bajo ciertos criterios (por ejemplo, gente que responde encuestas en Internet), entonces habrá un segundo nivel de sego... No es malo, pero hay que reconocerlo.

Una muestra grande, debiera ser mejor que una pequeña. Aunque no siempre es así. Hay que tener en cuenta el sesgo bajo el cual se define la muestra misma respecto del universo.

Correlación no implica causalidad. Que dos efectos se den simultáneamente, no quiere decir que uno sea –necesariamente- causa de otro. No siempre es fácil demostrar la causalidad, sobre todo si no hay como controlar el efecto que se cree causa (razón por la cual, aún hay científicos que creen que el calentamiento global, NO se debe a errores de los hombres)

Ojo con la falacia de tasa base. Desde que tomamos conciencia del problema del VIH, el test más utilizado, se denomina “test de ELISA” que permite saber con un 100% de certeza que una persona no tiene VIH, pero puede dar “falsos positivos”, es decir el test es 100% efectivo en uno sólo de sus resultados, no en el otro. Y eso también pasa con los tests de embarazo, con remedios o con limpiadores que matan al 99.99% de los gérmenes. Hay que saber cuál es, realmente, la medición garantizada.

Podría extenderme más. Las otras sugerencias son:

  • Controles son importantes;
  • el azar previene el sesgo;
  • buscar repetición y no seudo repetición (estudios independientes);
  • los científicos también son humanos (!);
  • la “significancia es significante”;
  • separar el “sin efecto” del “sin significancia”;
  • el tamaño del efecto importa;
  • la relevancia del estudio limita la generalización;
  • los sentimientos influyen en la percepción de riesgo;
  • las dependencias cambian los riesgos;
  • los datos pueden ser recogidos o escogidos;
  • medidas extremas pueden inducir a error.

El artículo original, en PDF y en inglŕs: Twenty tips for interpreting scientific claims

Y para cerrar, una ironía cavernícola respecto de muchos de los estudios científicos:


Algo no está bien. Nuestro aire es limpio, nuestra agua es pura, hacemos ejercicio y todo lo que comemos es orgánico y libre, y aún así, ninguno vive más de 30 años” Alex Gregory, publicado en The New Yorker, 22 de mayo de 2006.