A manchete que a pró-reitoria quer publicar: tutoria e evasão
A pró-reitoria de uma universidade pública pede a uma equipe de estudantes de Ciências Sociais um parecer sobre o Programa de Tutoria implantado em 2023. Os dados disponíveis: 1.200 alunos cursavam o primeiro ano; 380 aderiram voluntariamente à tutoria; a evasão até o fim do ano foi de 12% entre os participantes e de 18% entre os não participantes. A coordenação aplicou também um questionário on-line, respondido por 300 alunos, dos quais 78% eram de estudantes que permaneceram no curso. O pró-reitor quer publicar no site institucional a manchete “tutoria reduz a evasão em 33%”. A equipe tem duas semanas, acesso apenas a esses registros administrativos e ao questionário, e não pode aplicar novos instrumentos.
1. A manchete “reduz a evasão em 33%” é defensável com esses dados? Justifique indicando os problemas que você identificaria no parecer.
Read the worked answer
Não é defensável. Três problemas se somam:
- Seleção autoinduzida. A adesão foi voluntária. Quem procura tutoria tende a diferir de quem não procura em motivação, tempo disponível, desempenho prévio e rede de apoio. Essas variáveis afetam a evasão por conta própria, então a diferença de 6 pontos percentuais não pode ser atribuída ao programa.
- Ausência de linha de base. Não há informação sobre o desempenho nem sobre o risco de evasão dos dois grupos antes da tutoria. Sem isso, não é possível descartar que os participantes já estivessem em situação mais confortável - ou, ao contrário, que fossem o grupo mais vulnerável e o efeito real seja maior.
- Formulação enganosa do número. 12% contra 18% é redução relativa de 33%, mas absoluta de 6 pontos percentuais. A manchete apresenta a versão mais favorável e omite a base.
O parecer deve falar em associação observada, não em efeito, e informar os dois números (absoluto e relativo) com o desenho do estudo ao lado.
2. O questionário teve 78% de respondentes entre quem permaneceu. Isso invalida a medição de evasão? Como escrever a seção de limitações?
Read the worked answer
É preciso separar as duas fontes de dados, e é aí que está o julgamento:
- A evasão de 12% e 18% vem de registros administrativos que cobrem os 1.200 alunos. Ela não é afetada pelo viés de resposta do questionário.
- O questionário é que está comprometido: se 78% dos respondentes são de quem ficou, as razões declaradas para evadir ou para permanecer estão sub-representadas justamente no grupo de maior interesse. Qualquer afirmação do tipo “os alunos citam X como motivo de permanência” vale só para quem respondeu.
Na seção de limitações, o texto deveria: (a) declarar a taxa de resposta e sua composição; (b) explicitar que as estimativas de evasão e as estimativas de opinião têm qualidades distintas; (c) abster-se de usar o questionário para explicar causalmente a evasão; (d) evitar qualquer extrapolação para o conjunto dos 1.200 ou para outros campi. Uma boa solução é apresentar o questionário como estudo exploratório sobre percepções dos estudantes que permaneceram, não como evidência sobre a efetividade do programa.
3. Proponha um desenho viável em um semestre, com os recursos existentes, que permita uma inferência mais forte.
Read the worked answer
O desenho precisa usar o que já existe e não prometer o que não se pode entregar:
- Reconstruir a linha de base com registros já disponíveis: coeficiente de rendimento no ingresso, curso, turno, idade, bolsa/trabalho, distância de casa. Isso permite comparar participantes e não participantes em características observáveis.
- Pareamento por escore de propensão (ou regressão com ajuste) entre os 380 e os 820 não participantes, verificando o equilíbrio das covariáveis antes de estimar a diferença. Se o pareamento deixar muitos participantes sem par, isso já é um resultado a relatar.
- Aproveitar variação institucional: se algum curso ou turno introduziu a tutoria em momento diferente, usar diferenças em diferenças em vez de comparação transversal.
- Análise de sensibilidade: calcular quanto uma variável não observada precisaria pesar para derrubar o resultado (por exemplo, o clássico cálculo de viés de seleção de Rosenbaum).
- Pré-registrar as decisões analíticas antes de rodar, para não escolher o modelo que agrada ao pró-reitor.
Só isso autoriza linguagem causal cautelosa; sem randomização, o texto deve dizer que o resultado é compatível com efeito, não que o comprova.