Metodologi Asesmen dan Teknik Pengumpulan Data
Domain ini menguji kemampuan merancang asesmen yang dapat dipertanggungjawabkan: data apa yang dikumpulkan, dengan teknik apa, dari siapa, dan bagaimana keputusannya dijustifikasi. Asesor yang baik tidak hanya rajin mengumpulkan dokumen, tetapi tahu mengapa suatu teknik dipilih.
Rancangan asesmen
Asesmen umumnya bergerak dari asesmen kecukupan berbasis dokumen ke asesmen lapangan untuk verifikasi. Sumber data mencakup dokumen, wawancara, observasi, kuesioner, dan data sistem informasi seperti PDDikti. Prinsip bukti yang dipakai adalah cukup, kompeten, dan relevan: jumlahnya memadai, sumbernya kredibel, dan terkait langsung dengan butir yang dinilai.
Triangulasi dan sampling
Triangulasi dapat dilakukan antar-sumber (pimpinan, dosen, mahasiswa, lulusan, pengguna), antar-teknik (dokumen, wawancara, observasi), dan antar-waktu. Sampel tidak harus acak; untuk asesmen mutu, purposive sampling sering lebih tepat, misalnya memilih mahasiswa tingkat akhir dan lulusan dua tahun terakhir. Tetap jelaskan kriteria pemilihan dan keterbatasannya.
Instrumen
Pertanyaan wawancara harus terbuka dan tidak mengarahkan. Kuesioner perlu diuji keterbacaannya, memiliki definisi operasional, dan menghindari pertanyaan ganda. Untuk data kuantitatif, catat periode, populasi, dan response rate.
Contoh kerja
Prodi mengklaim 90% lulusan memperoleh pekerjaan dalam enam bulan. Asesor memeriksa: definisi 'bekerja' (formal, informal, lanjut studi?), jumlah lulusan yang menjadi populasi, response rate tracer study, instrumen yang dipakai, dan konsistensi dengan PDDikti. Jika response rate hanya 25% dan responden dipilih dari alumni yang aktif di grup prodi, klaim 90% tidak dapat digeneralisasi. Asesor menurunkan tingkat keyakinan dan menuliskan keterbatasan data, bukan menolak seluruh data.
Jebakan
- Menyimpulkan dari satu sumber atau satu wawancara.
- Menganggap response rate rendah tetap representatif.
- Mengajukan pertanyaan yang mengandung jawaban, misalnya 'Bukankah prodi ini sudah baik?'.
- Mewawancarai hanya pimpinan sehingga data tidak teruji.
- Tidak mencatat tanggal dan metode pengumpulan data.