¿Por qué debería importarle a un docente eso de los p-valores?
Hay expresiones que parecen diseñadas para expulsar a la gente normal de una conversación. “P-valor” o “valor p” es una de ellas. Uno la oye y de inmediato imagina una clase con fluorescentes, una pizarra llena de símbolos y alguien diciendo “asintótico” sin pestañear. Sin embargo, detrás de esa expresión hay una idea que cualquier docente reconoce muy bien: cómo distinguir una señal real de una casualidad, del ruido.
En educación vivimos rodeados de afirmaciones. “Esta metodología mejora el aprendizaje”. “Esta intervención aumenta la motivación”. “Este programa reduce la brecha”. “Este recurso funciona”. Algunas de estas afirmaciones son verdaderas, otras son exageradas, otras dependen mucho del contexto y otras, sencillamente, son ruido vestido de innovación. El problema no es que los docentes no sepamos pensar; el problema es que la realidad educativa es tremendamente variable, como ya hemos dejado escrito por aquí tantas veces. Un grupo no es igual a otro. Un curso no es igual al siguiente. Un mismo alumno no rinde igual un lunes a primera hora que un jueves después del recreo, y esto último no necesita revisión por pares: basta con haber pisado un aula.
Por eso importan las herramientas de inferencia estadística. No porque sustituyan el juicio profesional, sino porque nos ayudan a no confundir una impresión con una conclusión. El valor p, bien entendido, no es una varita mágica ni un sello de garantía. Es una herramienta concreta para responder a una pregunta concreta: si no hubiera un efecto real, ¿sería raro observar unos datos como estos o incluso más extremos?
La frase es un poco enrevesada, lo admito. Pero conviene mantenerla así, porque muchas confusiones nacen precisamente de simplificarla mal. En resumen, un valor p no nos dice que una hipótesis sea verdadera. Tampoco nos dice que una intervención “funcione” en sentido literal. No nos dice que el resultado vaya a repetirse. No nos dice que el efecto sea importante en la práctica.
Lo que nos dice es algo muy útil: hasta qué punto los datos observados serían sorprendentes bajo un modelo nulo, es decir y por poner el ejemplo más común, bajo la suposición de que no hay una diferencia real. Si los datos observados serían raros si no hubiese diferencias reales, entonces el p-valor será bajo, por ejemplo, por debajo de 0,05 que es un valor que se ha vuelto el estándar por razones bastante ridículas.
Esto es crucial para educación, porque muchas decisiones educativas se basan en comparaciones: antes y después de una intervención, grupo experimental y grupo control, estudiantes que usan una estrategia y estudiantes que usan otra, centros que aplican un programa y centros que no. Cuando observamos una diferencia, la pregunta importante no es solo “¿hay diferencia?”, sino “¿esa diferencia es mayor de lo que cabría esperar por una variación aleatoria?”. Ahí entra la lógica de los test de hipótesis.
Ahora bien, entender los valores p también sirve para evitar algunos errores muy frecuentes. El primero es pensar que un resultado no significativo demuestra que “no hay efecto”. No lo demuestra. Puede que no haya efecto, sí, pero también puede que el estudio no tenga suficiente potencia estadística para detectarlo, por ejemplo cuando la la muestra es muy pequeña.
El segundo error es pensar que un resultado significativo demuestra que la hipótesis alternativa es verdadera. Tampoco. Un resultado significativo puede aparecer incluso cuando no hay efecto real; eso es lo que llamamos un falso positivo o error Tipo I. La estadística frecuentista no elimina el error, nos permite decir: “si usamos este procedimiento muchas veces, nos equivocaremos como máximo cierto porcentaje de veces bajo determinadas condiciones”.
El tercer error es confundir significación estadística con importancia educativa. Una intervención puede producir una diferencia estadísticamente significativa y, aun así, ser irrelevante en el aula. Con muestras enormes, diferencias minúsculas pueden aparecer como “significativas”. Pero que algo sea detectable no significa que merezca cambiar la programación, formar a todo el claustro, comprar una licencia anual y convocar tres reuniones con café malo. La pregunta educativa no acaba en el valor p. Después hay que mirar el tamaño del efecto, los costes, la viabilidad, la equidad, el contexto y la plausibilidad teórica.
Aquí es donde estas ideas se vuelven especialmente importantes para los docentes. La educación necesita evidencia, pero no cualquier evidencia. Necesita una lectura cuidadosa de los resultados. Necesita distinguir entre “hay indicios”, “hay apoyo sólido”, “el efecto es pequeño”, “el estudio no permite concluir demasiado” o “esto parece más una campaña de marketing que una intervención robusta”. La estadística no nos ahorra pensar; nos obliga a pensar con más precisión.
Además, entender los valores p ayuda a leer mejor la investigación educativa. Cuando un artículo dice que una intervención tuvo un efecto significativo, conviene preguntarse: ¿cuál era el tamaño de la muestra?, ¿qué tamaño del efecto se observó?, ¿había suficiente potencia?, ¿se había definido previamente la hipótesis?, ¿se han probado muchas cosas hasta encontrar alguna significativa?, ¿el resultado se ha replicado?, ¿la diferencia observada importa en términos educativos? Estas preguntas no son tecnicismos. Son defensas básicas contra la credulidad.
También son una defensa contra el cinismo. Porque la alternativa a creerlo todo no debería ser no creer nada. El objetivo no es decir “todos los estudios son imperfectos, así que me quedo como estoy”. El objetivo es aprender a graduar la confianza. Algunas evidencias son débiles; otras, acumulativas y convergentes. Algunas intervenciones tienen efectos consistentes; otras dependen de condiciones muy específicas. Algunas ideas merecen entrar en el aula; otras merecen quedarse en una presentación con demasiados iconos.
Por eso es tan valioso, en mi opinión, acercar estos conceptos a docentes, formadores y personas interesadas en educación.
La enseñanza es una profesión práctica, pero no debería ser una profesión impresionista. Las intuiciones docentes importan, la experiencia importa y el contexto importa. Precisamente por eso necesitamos herramientas que nos ayuden a separar patrones de anécdotas.
El valor p es una de esas herramientas: limitada, malinterpretada con frecuencia, pero útil cuando se entiende dentro de una arquitectura más amplia de inferencia, potencia, tamaño del efecto, replicación y juicio teórico.
He empezado a trabajar en una traducción al castellano de materiales de Daniel Lakens sobre inferencia estadística, con la idea de hacer más accesibles estas discusiones a quienes investigan, enseñan o leen investigación educativa. El proyecto está disponible aquí:
Inferencias estadísticas — traducción al castellano
Y el repositorio en GitHub puede consultarse aquí:
Gracias por tu material ¡es un oasis entre tanto chiringuito gentrificado! Como alumna de un sistema educativo tradicional no aprendí la belleza y el valor de la estadística hasta que la apliqué en el doctorado y aún así, me cuesta mucho separar el polvo de la paja. Tus artículos son un faro... Ya voy preparabdo papel y lápiz para ponerme con la traducción de las inferencias estadísticas.