Tingkat Kelulusan Sertifikasi yang Berbalik Arah Saat Dipecah
Panitia penjaminan mutu membandingkan tingkat kelulusan ujian sertifikasi profesi dua program magister. Prodi A memiliki 120 peserta dan 84 lulus; Prodi B memiliki 120 peserta dan 90 lulus. Ketua panitia menyimpulkan Prodi B lebih baik dan mengusulkan pemotongan anggaran pembinaan Prodi A sebesar 20%. Seorang anggota panitia meminta data dipecah menurut jalur masuk. Hasilnya: Prodi A diikuti 20 peserta jalur reguler dengan 18 lulus, dan 100 peserta jalur karyawan dengan 66 lulus; Prodi B diikuti 100 peserta jalur reguler dengan 78 lulus, dan 20 peserta jalur karyawan dengan 12 lulus. Anggota itu berargumen kesimpulan awal keliru. Ketua panitia bertahan karena "angka total tidak bisa dibantah". Diketahui pula bahwa peserta yang gagal boleh mengulang ujian, dan peserta jalur karyawan rata-rata belajar 6 jam per pekan sementara jalur reguler 15 jam per pekan.
1. Hitung tingkat kelulusan total dan per jalur, lalu jelaskan mengapa arah perbandingan bisa berbalik.
Read the worked answer
Total: Prodi A 84/120 = 70,0%; Prodi B 90/120 = 75,0%. Di tingkat total, B unggul 5 poin persen.
Jalur reguler: A 18/20 = 90,0%; B 78/100 = 78,0%. A unggul 12 poin. Jalur karyawan: A 66/100 = 66,0%; B 12/20 = 60,0%. A unggul 6 poin.
Jadi A lebih baik di kedua jalur, tetapi kalah di angka total. Penyebabnya komposisi, bukan mutu. Prodi A terdiri atas 83% peserta jalur karyawan, kelompok dengan tingkat kelulusan rendah; Prodi B hanya 17% karyawan. Angka total adalah rata-rata berbobot, dan bobotnya berbeda tajam antarprodi, sehingga perbandingan total membandingkan campuran peserta, bukan kemampuan membina.
Resapan angkanya: bila Prodi A memiliki komposisi seperti B (100 reguler, 20 karyawan), perkiraan kelulusannya 78 + 12 = 90 dari 120, setara B. Sebaliknya bila B memiliki komposisi A, perkiraannya 18 + 60 = 78 dari 120, di bawah A. Selisih 12 peserta itu murni efek komposisi.
2. Perbandingan mana yang tepat untuk tujuan apa? Rumuskan ulang pertanyaan evaluasinya.
Read the worked answer
Tidak ada satu perbandingan yang benar untuk semua tujuan; pilihan ukuran harus mengikuti pertanyaan.
Bila pertanyaannya "berapa peluang seorang peserta lulus di prodi ini?", angka total adalah jawaban yang tepat - 70% versus 75% benar sebagai probabilitas bagi pendaftar acak. Untuk tujuan ini ketua panitia tidak salah.
Bila pertanyaannya "seberapa baik prodi ini membina mahasiswa?", perbandingan per jalur yang tepat, karena jalur masuk adalah variabel perancu yang harus ditahan konstan. Untuk tujuan ini anggota panitia yang benar.
Karena usulan yang diambil adalah pemotongan anggaran pembinaan, pertanyaan yang relevan adalah yang kedua, bukan yang pertama. Menghukum Prodi A atas komposisi peserta yang sebagian besar ditentukan oleh kebijakan penerimaan fakultas, bukan oleh kinerja pengajaran, adalah kesalahan atribusi.
Rumusan ulang yang lebih tajam: "Berapa tingkat kelulusan tiap prodi setelah memperhitungkan jalur masuk, dan apakah selisih antarkelompok lebih besar daripada selisih antarprodi?" Jawabannya ya - jurang reguler-karyawan (90 vs 66 di A) jauh lebih lebar daripada jurang A-B (70 vs 75). Intervensi yang berdampak paling besar adalah pada jalur karyawan, bukan pada salah satu prodi.
3. Sebelum pemotongan anggaran diputuskan, data apa lagi yang harus diperiksa? Kaitkan dengan informasi pengulangan ujian dan jam belajar.
Read the worked answer
Pertama, perlakuan terhadap pengulangan. Bila angka 84 dan 90 menghitung setiap kejadian ujian, bukan setiap orang, maka prodi dengan peserta yang sering mengulang akan tampak lebih buruk meski akhirnya semua lulus. Yang harus dipakai adalah status kelulusan akhir per mahasiswa, bukan kelulusan per percobaan. Ini bisa membalik kesimpulan sepenuhnya.
Kedua, seleksi diri. Peserta jalur karyawan yang memilih ikut sertifikasi mungkin sudah merasa siap, sehingga tingkat kelulusan 66% mereka bukan cerminan pembinaan prodi. Sebaliknya, bila prodi mewajibkan semua mahasiswa ikut, angkanya lebih jujur.
Ketiga, perbedaan 6 jam versus 15 jam belajar per pekan. Ini menjelaskan sebagian besar kesenjangan antarkelompok, tetapi tidak boleh dipakai sebagai alasan pasif. Pertanyaannya: apakah prodi menyediakan kelas malam, bahan asynchronous, atau izin belajar khusus bagi karyawan? Prodi yang menyediakan dan tetap 66% berbeda keadaannya dengan prodi yang tidak menyediakan apa pun.
Keempat, ukuran biaya per kelulusan, bukan hanya persentase. Bila Prodi A menghabiskan dana lebih besar per peserta, pertanyaan anggarannya sah - tetapi dasar pemotongannya harus efisiensi biaya, bukan angka kelulusan yang sudah terbukti menyesatkan.