A prova que todos passam e ninguém aprende
Em uma avaliação nacional de desempenho de estudantes, uma questão de múltipla escolha sobre interpretação de gráficos apresentou índice de acerto de 0,87. Ao analisar a questão, a equipe técnica percebeu que o enunciado trazia no próprio texto a conclusão que o aluno deveria extrair do gráfico, de modo que era possível acertar sem ler o gráfico. A questão foi classificada com alta dificuldade prevista, mas o comportamento observado foi o oposto. Outras duas questões do mesmo bloco tiveram acerto de 0,30 e 0,33. O relatório final precisa decidir se mantém, anula ou revisa a questão no banco.
1. O índice de acerto de 0,87 indica que a questão é fácil ou que ela é inválida? Explique com base na relação entre o construto e o item.
Read the worked answer
Indica problema de validade do item, não facilidade do conteúdo. Um índice alto só é interpretável como "fácil" se o item exigir o construto pretendido - interpretação de gráficos. Como o enunciado entrega a conclusão em texto, o aluno pode acertar por leitura do enunciado, sem mobilizar a habilidade avaliada.
Nesse caso, o acerto alto é evidência contra a validade: o item mede outra coisa (compreensão textual simples) e não discrimina quem sabe interpretar gráficos. A decisão correta é retirar ou revisar o item, não classificá-lo como fácil.
2. Como a equipe deve proceder com as outras duas questões (acerto 0,30 e 0,33) antes de concluir que o conteúdo é difícil?
Read the worked answer
Não concluir dificuldade sem checar qualidade do item e do ensino. Passos: (1) verificar se há distratores plausíveis ou se o item tem erro de formulação, ambiguidade ou gabarito problemático; (2) analisar a curva de resposta e a correlação item-total - item difícil que discrimina bem é informativo; item difícil que não discrimina pode estar mal construído; (3) comparar com o currículo e com o que foi efetivamente ensinado.
Só depois de descartar falhas de item se pode interpretar o baixo acerto como dificuldade de aprendizagem. A ordem importa: validação do instrumento antes da inferência sobre o aluno.
3. Qual deve ser a decisão final sobre a questão de 0,87 e como registrá-la no relatório para preservar a credibilidade da avaliação?
Read the worked answer
Anular ou revisar o item, retirando-o do cálculo do escore do bloco, e registrar a justificativa técnica: o item não mede o construto declarado porque a resposta é obtida sem consulta ao gráfico.
No relatório, explicitar: (1) o construto pretendido; (2) a evidência de que o item não o mede; (3) a decisão e seu efeito no escore; (4) recomendação de reescrita (remover a conclusão do enunciado e exigir leitura do gráfico). Transparência sobre o erro do instrumento preserva a credibilidade mais do que manter o item para não admitir falha.