Validez y uso de un examen de “pensamiento crítico” a escala de zona escolar
Cada bimestre, la zona escolar 14 aplica a 480 alumnos de sexto grado de once primarias un examen de 40 reactivos de opción múltiple llamado “pensamiento crítico y resolución de problemas”. El resultado se usa como calificación bimestral y para comparar escuelas en el consejo técnico de zona. En la última aplicación la media fue de 31.4 aciertos, con desviación estándar de 2.1. Los docentes observan que quienes mejor puntúan son los alumnos que leen más rápido. Al revisar la tabla de especificaciones, 22 reactivos piden recordar definiciones de falacias, 8 miden comprensión literal de un texto y 10 plantean situaciones cotidianas. Una supervisora propone “subir el nivel” agregando reactivos más difíciles del mismo tipo. Dos maestras proponen sustituirlo por un ensayo argumentativo calificado con rúbrica, pero el jefe de sector advierte que “un ensayo no es objetivo” y que la zona necesita un número comparable entre escuelas.
1. Analice la validez y la confiabilidad del instrumento con la evidencia disponible. ¿Qué se puede concluir de la media y de la desviación estándar?
Read the worked answer
Validez de contenido: la tabla de especificaciones no corresponde al constructo declarado. De 40 reactivos, 22 miden memoria de definiciones y 8 comprensión literal; solo 10 se acercan a situaciones problema. El constructo “pensamiento crítico y resolución de problemas” queda escasamente muestreado, así que el puntaje no autoriza a inferir ese constructo.
Evidencia en contra (validez discriminante): la correlación observada con velocidad lectora sugiere que una parte importante de la varianza se debe a la habilidad lectora, no al razonamiento. Eso es varianza de método irrelevante al constructo.
Media y desviación estándar: 31.4 de 40 con DE de 2.1 indica efecto techo: poco margen de mejora y variabilidad mínima. Un instrumento con poca varianza no discrimina entre alumnos; no significa que “todos sean muy buenos”. Además, con varianza restringida cualquier estimación de confiabilidad (alfa, KR-20) puede ser alta por homogeneidad de reactivos y aun así el instrumento ser inválido. La confiabilidad es condición necesaria, no suficiente: un reloj descompuesto es consistente y aun así no mide bien la hora.
Agregar reactivos “más difíciles del mismo tipo” agravaría el problema: se mediría más de lo mismo con mayor exigencia lectora.
2. Diseñe la alternativa del ensayo argumentativo con rúbrica y responda a la objeción de que “un ensayo no es objetivo”, manteniendo la posibilidad de comparar entre escuelas.
Read the worked answer
Diseño: fuente breve común (un texto de una cuartilla con dos posturas), consigna única, 40 minutos, ensayo de dos párrafos con tesis, evidencia y objeción. Rúbrica analítica de cuatro criterios por cuatro niveles: tesis y postura, uso de evidencia del texto, reconocimiento de la objeción contraria, y claridad/coherencia. Calendarizar una aplicación común en todas las escuelas.
Sobre la objetividad: la objetividad no depende del formato, sino del procedimiento. Un examen de opción múltiple también es subjetivo en su construcción (qué se pregunta, cómo se distractoriza). Lo que se controla es: criterios definidos antes de calificar, tres trabajos ancla calificados por el equipo técnico, y doble calificación ciega de una muestra (por ejemplo 20% de los ensayos).
Evidencia de acuerdo: calcular kappa de Cohen entre jueces por criterio. Si kappa < 0.60, moderar, redefinir descriptores ambiguos y recalificar. Registrar el acuerdo alcanzado en el informe de zona.
Comparabilidad: con la misma consigna, la misma rúbrica y la misma muestra doble, los puntajes son comparables, igual que con un examen. Reportar el acuerdo entre jueces es precisamente lo que hace defendible la comparación.
3. ¿Cómo deberían usarse los resultados a nivel de zona sin convertirlos en un ranking injusto entre escuelas?
Read the worked answer
Primero, cambiar la pregunta: de “qué escuela es mejor” a “qué necesita cada escuela”. Con once escuelas y alrededor de 44 alumnos por escuela, el error de muestreo es grande; ordenar escuelas por diferencias de uno o dos puntos produce un ranking que refleja azar, no calidad. Conviene reportar intervalos de confianza y no posiciones.
Segundo, privilegiar la comparación consigo mismo (progreso entre aplicaciones) sobre la comparación entre escuelas, y desagregar por grupo y por contenido en lugar de un solo número global.
Tercero, acompañar el número con evidencia cualitativa: muestras de ensayos por nivel de desempeño, para que los docentes vean qué tipo de razonamiento se está produciendo y discutan sobre textos reales.
Cuarto, regla de uso explícita: los resultados sirven para planear apoyos y formación, no para sancionar ni para publicar listas. Si la zona quiere comparar, que sea con la misma vara, con la misma consigna y con evidencia de acuerdo entre jueces a la vista.