Evaluación
El dominio de Evaluación examina si el interno sabe elegir instrumentos, juzgar su calidad psicométrica, interpretar resultados y tomar decisiones justas y defendibles. Se pregunta por niveles de Miller, validez y confiabilidad, análisis de ítems, métodos de estándar de corte, evaluación en el lugar de trabajo y retroalimentación.
Reglas centrales
- Miller: saber (pruebas escritas), saber cómo (pruebas de competencia, simulaciones), mostrar (OSCE), hacer (práctica real). Cada nivel requiere instrumento distinto.
- Validez: el instrumento mide lo que dice medir para un propósito y población definidos; se acumula con evidencia de contenido, respuesta, estructura interna, relación con otras variables y consecuencias.
- Confiabilidad: consistencia; depende de la longitud de la prueba y del número de estaciones u observaciones. La fórmula de Spearman-Brown predice el efecto de alargar.
- Análisis de ítems: índice de dificultad (p) y de discriminación (D o punto-biserial). Un ítem con p muy alto o muy bajo discrimina poco; discriminación negativa obliga a revisar el enunciado o la clave.
- Estándar de corte: criterio-referenciado. Angoff y Ebel usan juicio de expertos; la curva ROC y el método de contraste usan evidencia empírica. Nunca fijar el corte por el porcentaje que se desea aprobar.
Evaluación en el lugar de trabajo
Mini-CEX, DOPS, EPA (entrustable professional activities) y escalas de observación requieren múltiples observadores y ocasiones; la confiabilidad se construye con muestreo, no con un formulario perfecto. El feedback debe ser específico, oportuno y orientado a la brecha.
Ejemplo trabajado
Tras aplicar un examen de 100 ítems, un ítem muestra p = 0,92 y D = 0,05. Razonamiento: casi todos aciertan y el ítem no separa a quienes saben de quienes no; probablemente es trivial o su clave es obvia. No se elimina por gusto: se revisa, se reescribe con distractores plausibles y se vuelve a pilotear. En cambio, un ítem con D negativa indica error de clave o ambigüedad grave y debe retirarse provisionalmente del cálculo, documentando la decisión.
Trampas que cuestan puntos
- Tratar la validez como propiedad fija del instrumento.
- Confundir dificultad con discriminación.
- Usar un examen de selección múltiple para certificar desempeño clínico.
- Fijar el estándar de corte mirando la distribución observada.
- Evaluar con una sola observación de un solo docente y llamarlo evaluación de competencias.