Indicador composto sob prazos e interesses
Uma equipe deve construir um indicador composto de qualidade de serviços em 40 unidades, com quatro dimensões: acesso, tempo de espera, resolutividade e satisfação. Os dados de satisfação existem para apenas 22 unidades; tempo de espera tem distribuição muito assimétrica, com poucos casos extremos; resolutividade é medida em escala de 0 a 100; acesso é binário por unidade. Um gestor sugere dar peso 50% à resolutividade, dimensão em que suas unidades se destacam, e 20% a cada uma das demais. O prazo é curto e há pressão para que o ranking seja divulgado com nomes.
1. Que problemas metodológicos existem na proposta de pesos do gestor e como tratá-los?
Read the worked answer
O peso de 50% para resolutividade não tem justificativa substantiva; ele coincide com a dimensão em que as unidades do gestor se destacam, o que caracteriza escolha orientada pelo resultado. Em indicador composto, os pesos devem refletir a importância da dimensão para o objetivo público, definida antes de ver os dados. A correção é fixar pesos por critério declarado - por exemplo, importância para o usuário ou para o mandato da política - e registrar a decisão.
Além disso, pesos iguais (25% cada) são um padrão defensável quando não há base para diferenciar. O teste de sensibilidade é obrigatório: recalcular o ranking com pesos alternativos e verificar se a posição das unidades muda. Se o ranking for sensível aos pesos, ele não deve ser divulgado como se fosse robusto.
2. Como lidar com a satisfação ausente em 18 unidades e com a assimetria do tempo de espera?
Read the worked answer
Para satisfação ausente, há três opções: excluir a dimensão do cálculo (perdendo informação), imputar (introduzindo suposição) ou calcular o indicador apenas para as 22 unidades com dado completo. A opção mais honesta é calcular para as 22 e não ranquear as demais, ou apresentar o indicador parcial com a dimensão ausente marcada. Imputar a média geral esconderia que a ausência pode estar associada a pior serviço, justamente o que se quer medir.
Para o tempo de espera assimétrico, a média é dominada pelos casos extremos. O adequado é usar mediana ou transformação (por exemplo, escala logarítmica) antes de normalizar, e declarar o tratamento. Normalizar por posto também reduz o efeito dos extremos. O ponto comum às duas decisões é que a regra deve ser definida antes do cálculo e aplicada igualmente a todas as unidades.
3. O ranking com nomes deve ser divulgado? Justifique considerando os limites do indicador.
Read the worked answer
A divulgação nominal de ranking é arriscada quando o indicador tem cobertura desigual (18 unidades sem satisfação), tratamento sensível de uma dimensão assimétrica e pesos que alteram posições. Nesse cenário, diferenças pequenas no indicador podem não ser substantivas, e o ranking pode punir unidades por problemas de medição, não de serviço.
Uma conduta defensável é divulgar o indicador com faixas de incerteza e sem ordenação nominal completa, ou divulgar o ranking apenas se o teste de sensibilidade mostrar estabilidade das posições. Se a divulgação nominal for exigida, deve vir acompanhada da nota metodológica, da indicação das unidades com dado incompleto e da advertência de que o indicador é um retrato parcial. O critério é: só se publica ordenação que sobrevive a variações razoáveis de método.