Laporan Pelatihan Kewirausahaan: Dari Korelasi ke Klaim Kausal
Sebuah organisasi pemuda mengadakan pelatihan kewirausahaan untuk 120 undangan. Sebanyak 45 orang hadir, dan 30 di antaranya mengisi survei sebelum dan sesudah pelatihan. Dari 30 responden itu, 27 orang (90%) melaporkan pendapatan usaha meningkat rata-rata 40% dalam tiga bulan. Laporan internal menyimpulkan bahwa pelatihan 'terbukti meningkatkan pendapatan peserta'. Panitia menambahkan bahwa peserta termotivasi karena mendapat modal awal Rp500 ribu dan pendampingan gratis selama satu bulan. Survei hanya menyasar peserta yang sudah memiliki usaha sebelum pelatihan; 15 peserta lain belum berusaha. Tidak ada kelompok pembanding. Penyelenggara ingin mengajukan dana lanjutan dan memakai laporan ini sebagai bukti utama. Sebagian peserta mengaku mengisi survei agar tetap mendapat pendampingan. Data pendapatan dilaporkan sendiri tanpa bukti catatan keuangan. Pelatihan diadakan pada bulan ramai menjelang hari raya.
1. Apa kelemahan paling serius dalam inferensi laporan tersebut? Jelaskan mekanismenya, bukan hanya menyebut istilah.
Read the worked answer
Kelemahan paling serius adalah klaim kausal tidak dapat ditarik dari data yang tidak memiliki pembanding dan penuh faktor lain. Angka 90% berasal dari 30 orang yang memilih mengisi survei, dari 45 yang hadir, dari 120 yang diundang. Artinya, 90 dari 120 undangan tidak masuk hitungan, dan 15 peserta yang belum berusaha dikeluarkan. Mereka yang menjawab mungkin justru yang merasa berhasil dan ingin tetap mendapat pendampingan; mereka yang gagal atau berhenti berusaha lebih mungkin tidak menjawab. Ini adalah bias seleksi dan bias respons, bukan sekadar sampel kecil.
Selain itu, peserta menerima modal awal Rp500 ribu dan pendampingan gratis bersamaan dengan pelatihan. Kenaikan pendapatan bisa berasal dari modal, pendampingan, musim menjelang hari raya, atau motivasi awal yang sudah tinggi. Tanpa kelompok pembanding, efek pelatihan tidak dapat dipisahkan dari faktor-faktor itu. Pendapatan yang dilaporkan sendiri tanpa catatan keuangan menambah risiko bias pelaporan: peserta bisa membulatkan atau melebih-lebihkan karena tahu laporan itu dipakai untuk mencari dana.
Ukuran sampel 30 juga membuat ketidakpastian besar. Proporsi 27 dari 30 memang terlihat tinggi, tetapi rentang kepercayaan statistiknya lebar; yang lebih penting, bias seleksi tidak hilang hanya dengan menambah jumlah responden.
2. Tuliskan satu kalimat kesimpulan yang jujur berdasarkan data yang ada dan satu kalimat yang tidak boleh dipakai. Jelaskan alasannya.
Read the worked answer
Kalimat yang jujur: 'Di antara 30 responden yang sudah memiliki usaha dan mengisi survei, 90% melaporkan kenaikan pendapatan rata-rata 40% dalam tiga bulan; data ini belum dapat memisahkan efek pelatihan dari modal, pendampingan, musim, dan bias pelaporan.' Kalimat ini mempertahankan populasi yang benar (30 responden), menyebut sumber data (laporan sendiri), dan tidak mengklaim sebab-akibat.
Kalimat yang tidak boleh dipakai: 'Pelatihan terbukti meningkatkan pendapatan peserta sebesar 40%.' Kalimat itu melakukan tiga lompatan sekaligus. Pertama, 'terbukti' menyiratkan desain eksperimental yang tidak ada. Kedua, 'peserta' terlalu luas, padahal hanya 30 dari 120 undangan yang dianalisis. Ketiga, angka 40% adalah rata-rata laporan sendiri, bukan hasil pengukuran yang diverifikasi, dan tidak boleh diperlakukan sebagai efek kausal pelatihan.
Perbedaan ini bukan soal kata-kata. Kalimat pertama masih mendukung keputusan untuk melanjutkan program dengan evaluasi yang lebih baik. Kalimat kedua menyesatkan pemberi dana dan dapat merusak kredibilitas organisasi ketika program berikutnya tidak menghasilkan angka yang sama.
3. Rancang satu perbaikan desain evaluasi yang layak untuk putaran berikutnya. Sebutkan variabel yang harus diukur dan satu kendala praktisnya.
Read the worked answer
Desain yang layak adalah uji acak dengan daftar tunggu: dari pendaftar yang memenuhi syarat, acak menjadi dua kelompok, yaitu kelompok yang langsung dilatih dan kelompok yang dilatih tiga sampai enam bulan kemudian. Kelompok daftar tunggu menjadi pembanding yang wajar karena sama-sama ingin ikut dan sama-sama mendapat insentif. Modal awal dan pendampingan sebaiknya diberikan kepada kedua kelompok atau dipisahkan sebagai variabel tersendiri, agar efek pelatihan tidak tercampur dengan efek modal.
Variabel yang diukur: pendapatan usaha bulanan dari catatan penjualan atau mutasi rekening, bukan hanya laporan lisan; jumlah jam usaha; jumlah pelanggan; tingkat bertahan usaha; dan tingkat respons survei. Ukur pada baseline, tiga bulan, dan enam bulan. Karena pelatihan berlangsung menjelang hari raya, catat juga bulan pengamatan dan bandingkan bulan yang sama antar kelompok.
Kendala praktisnya adalah keberatan etis dan ekspektasi peserta: menunda pelatihan bagi kelompok kontrol bisa dianggap tidak adil. Solusinya, jelaskan daftar tunggu sejak pendaftaran, jamin semua pendaftar eventually mendapat pelatihan, dan beri kompensasi waktu pengisian survei yang tidak bergantung pada jawaban. Kendala lain adalah biaya pelacakan; anggaran terbatas memaksa memilih sedikit variabel inti dan melacak semua peserta, bukan hanya yang mudah dihubungi.