¿Cómo deben interpretar los científicos sus datos? Tras salir de sus laboratorios después de pasar días, semanas, meses e incluso años midiendo y registrando datos, ¿cómo llegan los investigadores a conclusiones sobre los resultados de sus experimentos? Los métodos estadísticos se utilizan ampliamente, pero nuestra investigación reciente en Nature Methods revela que uno de los estadísticos clásicos de la ciencia, el valor P, quizá no sea tan fiable como creemos.
A los científicos les gustan los números porque pueden compararlos con otros números. Y a menudo estas comparaciones se hacen mediante análisis estadísticos para formalizar el proceso. La idea general que subyace a todos los análisis estadísticos es que permiten al investigador evaluar los resultados de sus experimentos de manera algo objetiva.
¿Qué fármaco es más eficaz?
Los científicos suelen realizar experimentos para investigar si existe una diferencia entre dos condiciones: ¿se recuperan antes las personas tras tomar la pastilla azul (condición uno) o la roja (condición dos)? El método más común para evaluar si las pastillas difieren en su eficacia consiste en realizar un análisis estadístico de los casos en que a algunos pacientes se les administró la pastilla azul y a otros la roja y, a partir de ello, determinar si hay pruebas sólidas de que un color es más eficaz que el otro.
Para evaluar los resultados experimentales, los científicos utilizan muy a menudo un «valor P» (P de probabilidad). Se usa para indicar cuán convincentes son esos resultados: si el valor P es pequeño, consideran que los hallazgos son reales y no una mera casualidad. En nuestro ejemplo de las pastillas, si P es pequeño, se considera una prueba sólida de que existe una diferencia en la eficacia de las pastillas de ambos colores.
Aunque P nunca demuestra que exista una diferencia —los estudios científicos nunca demuestran las cosas, solo aportan cierto grado de evidencia a su favor—, se considera que los estudios con valores P bajos son convincentes y, por eso, no suelen repetirse para comprobar que los resultados sean correctos. Esto puede parecer razonable, porque en la ciencia el dinero y el tiempo son limitados: quizá no merezca la pena verificar de nuevo los resultados de un estudio que parecen muy claros cuando hay nuevos descubrimientos por hacer.
Los valores P son amigos volubles
Sin embargo, hemos utilizado modelos sencillos para demostrar que el valor P suele variar drásticamente cuando se replica un estudio. Nuestros modelos representan un escenario sencillo. Se han medido muestras de dos condiciones. Se realiza una prueba estadística llamada prueba t para investigar si hay pruebas sólidas de que las condiciones son distintas, y el resultado de la prueba se interpreta mediante el cálculo de un valor P.
En nuestro escenario, las dos condiciones son, efectivamente, algo distintas, por lo que cabría esperar que un tamaño de muestra razonable permitiera detectar esa diferencia. Es decir, un tamaño de muestra razonable arrojará un valor P bajo asociado a la prueba t. Sin embargo, cuando repetimos muchas veces el experimento del modelo, observamos que el valor P varía drásticamente cada vez.
Si un amigo te invita a cenar a su casa la semana que viene, pero en los días previos no deja de ponerse en contacto contigo y de darte horarios de llegada muy distintos, pronto concluirás que tienes muy poca idea de a qué hora será realmente la cena. Del mismo modo, si P varía considerablemente cada vez que se realiza un experimento, el valor P resulta poco fiable y es una medida deficiente de la solidez de la evidencia obtenida en una sola ejecución de ese experimento.
Las implicaciones para el análisis de datos son enormes: es probable que un valor P bajo obtenido en un estudio dependa tanto de la suerte como de la presencia de un patrón importante en los datos y, a su vez, una repetición del experimento bien podría arrojar un valor P muy distinto. Por tanto, un valor P bajo en un único experimento no puede considerarse una prueba sólida de que exista una diferencia entre las condiciones.
Esta debilidad bien podría explicar por qué hallazgos científicos célebres del pasado, fundamentales para los cimientos de muchas disciplinas, no se están confirmando ahora que por fin los estudios originales están siendo examinados de nuevo.
Entre ellos figuran la falta de reproducibilidad en la investigación sobre el cáncer y la aparente desaparición del fenómeno llamado «ensombrecimiento verbal», por el que las personas a quienes se muestra un rostro y se les pide que lo describan tienen menos probabilidades de reconocerlo después que si simplemente lo hubieran observado.
Entonces, ¿por qué el valor P es tan variable, tan voluble? Por desgracia, parece que cierto grado de variabilidad entre las muestras de cada repetición de un experimento genera un valor P inestable.
Pasemos a otra cosa
Así pues, si no usamos el valor P, ¿qué deberíamos utilizar para analizar e interpretar nuestros datos? Abogamos por un cambio fundamental de enfoque: dejar de preguntarnos «¿existe una diferencia?» y empezar a preguntarnos «¿cuán grande es la diferencia?». Al fin y al cabo, los científicos rara vez quieren saber simplemente si hay una diferencia entre las condiciones.
Siempre hay una diferencia, aunque sea extremadamente pequeña. Lo más pertinente es preguntarse si es lo bastante grande como para resultar interesante o importante. Si la pastilla roja es apenas un 0,01 % más eficaz que la azul, existe una diferencia entre ambas, pero no es digna de mención: en la práctica, una pastilla es tan buena como la otra, sea cual sea su color.
Se puede prescindir del valor P y centrarse, en cambio, en cuán grande es la diferencia entre las condiciones según el experimento. También se pueden proporcionar valores fáciles de calcular que indiquen cuán precisa probablemente será esa diferencia al generalizarla más allá del laboratorio.
Así pues, una vez terminada la recopilación de datos, los científicos deberían centrarse en estimar cuán grande es la diferencia entre la eficacia de las pastillas azul y roja, y cuán precisa probablemente será esa estimación. Los investigadores ya conocen estos conceptos sencillos —los tamaños del efecto y los intervalos de confianza—; solo tienen que empezar a darles más importancia y dejar que el valor P pase a la historia.
Por desgracia, aunque algunas revistas han empezado a prohibir el valor P al reconocer algunos de sus defectos, recientemente al menos una revista también ha prohibido el uso del intervalo de confianza, aparentemente porque su definición estadística precisa entraña el riesgo de que se interprete en exceso y se malentienda.
Un argumento razonable en contra de este punto de vista es que los intervalos de confianza son una herramienta valiosa para estimar el margen de error de nuestros hallazgos: son una medida fundamental para traducir nuestra muestra de datos recopilados en el laboratorio en una comprensión de situaciones del mundo real, donde los resultados realmente importan.
Este artículo se publicó originalmente en The Conversation. Lea el artículo original. La publicación no implica que el Foro Económico Mundial respalde estas opiniones.
Para mantenerse al día con la Agenda, suscríbase a nuestro boletín semanal.
Autor: Lewis Halsey es profesor titular de Fisiología Comparada y Ambiental en la University of Roehampton.
Imagen: Se muestra una biblioteca robótica de cintas utilizada para el almacenamiento masivo de datos digitales. REUTERS/Thomas Peter.
