...

Evaluasi

by user

on
Category: Documents
0

views

Report

Comments

Description

Transcript

Evaluasi
Evaluasi? Mengapa kita perlu
mengevaluasi?
Hector Salazar Salame
J-PAL SEA
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi?
Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Kendala dan Tantangan
5. Evaluasi dari Awal sampai Akhir
6. Analisis Keefektifan Biaya
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi?
Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Kendala dan Tantangan
5. Evaluasi dari Awal sampai Akhir
6. Analisis Keefektifan Biaya
Apa yang dimaksud dengan
Monitoring dan Evaluasi?
Monitoring &
Evaluasi
Evaluasi
Program
Evaluasi Dampak
Apakah perbedaan antara:
Monitoring dan Evaluasi
A. Tidak ada. Kedua kata
tersebut menggambarkan
tindakan yang sama
B. Monitoring merupakan
tindakan yang bersifat
internal, sedangkan Evaluasi
merupakan tindakan yang
bersifat eksternal
C. Monitoring adalah untuk
manajemen, sedangkan
Evaluasi untuk akuntabilitas.
D. Tidak tahu.
E. Lain-lain
Evaluasi Program
Monitoring&
Evaluasi
Evaluasi
Program
Evaluasi Dampak
Komponen Evaluasi Program
• Analisis kebutuhan
• Apa permasalahnya?
• Penilaian Teori Program
• Bagaimana, secara teoritis,
program tersebut dapat
menyelesaikan masalah?
• Evaluasi Proses
• Apakah program berjalan sesuai
rencana?
• Evaluasi Dampak
• Apakah tujuan akhir tercapai?
Berapa besar dampak?
• Cost Effectiveness
• Dilihat dari besar dampak dan
biaya yang dikeluarkan, apakah
terdapat cara lain sebagai
alternatif?
Biasanya, sebuah evaluasi harus dilakukan:
A. Secara eksternal dan
independen dari pelaksana
program yang dievaluasi
B. Secara eksternal dan
terintegrasi dengan
pelaksana program
C. Secara internal
D. Tidak tahu
Untuk siapakah evaluasi ini ?
•
•
•
•
•
•
Pembuat kebijakan
Pelaksana kebijakan
Akademisi
Penerima manfaat (beneficiary)
Donor
Pihak pendukung, pihak skeptis
Siapakah audiens terpenting Anda dari hasil
evaluasi?
A.
Pembuat kebijakan
B.
Pelaksana kebijakan
C.
Penerima manfaat (beneficiary)
D.
Donor
E.
Akademisi
F.
Pihak pendukung, pihak skeptis
Apakah kami mengetahui cara
menanggulangi kemiskinan?
Jeff Sachs
“Saya telah menemukan bentuk
investasi tertentu yang
dibutuhkan [untuk mengatasi
masalah kemiskinan]; telah
menemukan cara untuk
menyusun dan menerapkannya;
[dan] menunjukkan bahwa cara
itu dapat dilakukan.”
Jeffrey Sachs
End of Poverty
Apakah Anda percaya Jeff Sachs?
A. Ya
B. Tidak, kita belum
menemukan bentuk
investasi khusus yang
dibutuhkan tersebut.
C. Tidak, kita belum
menemukan cara untuk
menyusun dan
menerapkannya.
D. Tidak, kita belum melihat
cara-cara itu dapat dilakukan
E. Tidak, tapi dengan alasan
lain
Bill Easterly
“Setelah menghabiskan $2.3 triliun
selama lebih dari 5 dekade, mengapa
kebutuhan paling mendasar kaum
miskin di dunia masih secara tragis
belum juga terpenuhi?
Apakah ini berarti waktunya untuk
menghentikan impunitas program
bantuan asing?”
Bill Easterly
The White Man’s Burden
Apakah debat ini terdengar relevan untuk Anda?
A. Ya
B. Tidak
C. Sebagian
Apakah pertanyaan “Bagaimana caranya menanggulangi
kemiskinan” dapat terjawab dengan melakukan Evaluasi
Dampak?
A. Ya
B. Tidak
C. Tidak Tahu
Di manakah posisi J-PAL dalam
debat ini?
• Di antara keduanya
• Kami percaya program penanggulangan
kemiskinan dapat membantu
• Namun kita masih harus banyak belajar
bagaimana caranya.
Bagaimana evaluasi dampak ini dapat
membantu kita?
• Masih sedikit bukti yang dapat menjelaskan apa yang bekerja
• Dapat melakukan hal lebih banyak dengan anggaran tertentu,
dengan bukti yang lebih baik
• Apabila anggaran akan diberikan kepada program yang berhasil,
maka akan membantu meningkatkan kantong bagi programprogram penanggulangan kemiskinan.
• Pertanyaan bukan tentang “Apakah program penanggulangan
kemiskinan berhasil?” melainkan :
– Program mana yang paling berhasil, mengapa dan kapan?
– Konsep mana yang berhasil, mengapa dan kapan?
– Bagaimana kita meningkatkan yang berhasil ini?
• Tambahan ke daftar yang sudah terbukti
– Bagian dari strategi evaluasi (riset) yang telah disusun dengan penuh
pertimbangan
Sebuah Contoh di Kenya
MENINGKATKAN KUALITAS
AIR/SANITASI
Menurut Anda, apakah cara yang paling efektif
dari segi biaya untuk mengurangi masalah diare?
A. Mengembangkan
infrastruktur pipa air
B. Meningkatkan kualitas
sumber air yang ada
C. Meningkatkan suplai dan
kebutuhan akan klorin
D. Pendidikan tentang sanitasi
dan kesehatan
E. Meningkatkan jumlah
kompor untuk memasak dan
merebut air
F. Meningkatkan infrastruktur
sanitasi
Identifikasi masalah
ANALISIS KEBUTUHAN
Kebutuhan
• Secara Umum
– Hampir 2 juta anak meninggal per tahun karena
diare
– 20% dari kematian anak (di bawah 5 tahun)
adalah karena diare
• Indonesia
– 36 persen anak terhambat pertumbuhannya
• Diare, kekuranan gizi dilihat sebagai faktor utama
Permasalahan
• 13% dari populasi dunia tidak mempunyai
akses “sumber air yang baik”
• Kurangnya akses terhadap solusi purifikasi air
• Berdasarkan laporan, masyarakat dapat memperoleh akses
air bersih dengan bersedia membayar $1 agar terhindar dari
diare, atau $24 per DALY (Kremer et al 2009)
7/2009
Spring Cleaning - SITE
24
Tujuan Akhir
• MDG: “Mengurangi sampai setengah dari
jumlah populasi penduduk yang tidak
mendapat akses berkelanjutan ke air bersih
untuk minum”
Solusi
Apakah program ini sendiri dapat
menyelesaikan permasalahan?
• Kualitas air hanya sedikit membantu jika tidak higienis
(Esrey, 1996)
– 42% rumah tangga hidup tanpa toilet di dalam rumah
• Masyarakat lebih tertarik membayar air yang bersifat
convenient daripada membayar untuk mendapatkan air bersih
• Kurang dari 10% rumah tangga membeli alat treatment air
– Di Zambia, $0,18 per bulan untuk keluarga dengan enam anggota
keluarga
– Di Kenya, $0,30 per bulan
• 25% kepala rumah tangga dilaporkan merebus air untuk
kebutuhan air minum sehari sebelumnya
Solusi Alternatif?
Mengembangkan Solusi
• Apakah teori yang melandasi solusi Anda?
• Bagaimana memetakannya ke dalam teori
masalah yang dihadapi?
Blueprint untuk Perubahan
PENILAIAN TEORI PROGRAM
Penilaian Teori Program
•
•
•
•
Kerangka Kerja Logis (LogFrame, LFA)
Teori Perubahan
Kerangka Hasil
Pemetaan Hasil
Theory of Change
MODIFIKASI
SUMBER AIR
(untuk
mencegah
kontaminasi)
Asumsi sampel: sumber air dipelihara
dengan baik, dan terdapat suplai air
yang konsisten
AIR BERSIH
DISIMPAN DI
RUMAH
Asumsi sampel: air ditampung dalam
wadah yang bersih, dan wadah
dipertahankan agar tetap bersih
ANGGOTA
RUMAH
TANGGA
MENGKONSU
MSI AIR
Asumsi sampel: Anggota RT
mengkonsumsi air dari sumber air
yang bersih dan bukan sumber air
yang berpotensi terkontaminasi
OUTCOME
KESEHATAN
DITINGKATKAN
(misal. Insiden
diare
berkurang)
Asumsi sampel:
Tingkah laku yang
berubah tetap
konsisten dari waktu
ke waktu
Penilaian Teori Program
• Bagaimana program tersebut akan menjawab kebutuhan
yang terdapat dalam analisis kebutuhan?
– Apakah pra-syarat yang dibutuhkan untuk memenuhi kebutuhan
tersebut?
– Bagaimana dan mengapa kebutuhan tersebut kurang atau gagal
dipenuhi saat ini?
– Bagaimana program ini bermaksud untuk mengatasi kekurangan
yang ada?
– Layanan apa yang akan ditawarkan?
Kerangka Logis
Tujuan
Dampak Menurunnya
(Maksud/ tingkat diare
Tujuan
keseluruhan)
Hasil Rumah
(Tujuan tangga
Proyek) meminum air
yang lebih
bersih
Output Sumber air
lebih bersih;
keluarga
mendapat air
yg lbh bersih
Input Proteksi
(Kegiatan) sumber air
dibangun
Indikator
Sumber
Verifikasi
Asumsi/
Ancaman
Tingkat diare
Survei di
tingkat rumah
tangga
Penyakit
ditularkan melalui
air adalah sebab
utama diare
(Δ dalam)
sumber air
minum;
E. coli
CFU/100ml
Survei rumah
tangga, uji
kualitas air di
penampungan
air rumah
Beralih dari
sumber air kotor.
Tidak ada
kontaminasi ulang
E. coli
CFU/100ml;
Uji kualitas air
pada sumber
Pemeliharaan
berkelanjutan,
pengetahuan
praktek
pemeliharaan
Terdapat
proteksi
sumber air,
berfungsi
Kunjungan ke
sumber/ survei
Bahan memadai,
pendanaan,
tenaga
Analisa
Kebutuhan
Evaluasi
Dampak
Evaluasi
Proses
Sumber Roduner, Schlappi (2008) Logical Framework Approach and Outcome Mapping, A constructive Attempt of Synthesis,
Menjadikan program berhasil
EVALUASI PROSES
Evaluasi Proses
• Sisi Suplai
– Logistik
– Manajemen
• Sisi Permintaan
– Asumsi Tanggapan
– Perubahan Perilaku?
Evaluasi Proses: Logistik
• Konstruksi (184/200, $1024/sumber air)
– Membangun perlindungan di sumber air
– Memasang pagar
– Memasang drainase
• Mengatur perawatan pengguna ($35/tahun)
– Menambal beton
– Membersihkan penampungan area
– Membersikan saluran drainase
Evaluasi Proses: Logistik Suplai
Evaluasi Proses: Sisi Permintaan
• Apakah rumah tangga tersebut mendapatkan air
dari sumber yang telah dilindungi?
– Untuk rumah tangga yang mengambil dari berbagai
sumber air, terdapat peningkatan penggunaan sumber
yang telah dilindungi sebanyak 21 persen
• Apakah tempat penampungan terkontaminasi
ulang?
• Apakah masyarakat minum dari air “bersih”?
– Tidak terdapat perubahan yang signifikan dalam cara
menyalurkan, menyimpan atau perilaku treatment.
Prosesnya oke, maka ….
• Apa yang terjadi dengan diare?
Mengukur sejauh mana keberhasilannya
EVALUASI DAMPAK
Apakah tujuan tercapai?
• Hasil utama (dampak): apakah dengan adanya
perlindungan di sumber air mengurangi
diare?
• Juga pertanyaan tambahan: Apakah
dampaknya terhadap rumah tangga dengan
praktek sanitasi yang baik vs yang buruk`?
Bagaimana cara mengukur dampak?
• Apakah yang akan terjadi jika program
tersebut tidak ada?
• Perbedaan antara
-
apa yang terjadi (dengan adanya program tsb) …dan
apa yang bisa saja terjadi (tanpa adanya program tsb)
= DAMPAK dari program
Membangun Counterfactual
• Counterfactual sering dibangun dengan memilih
kelompok yang tidak terpengaruh oleh program
tersebut.
• Metode Acak:
– Gunakan pengelompokan acak dari program untuk
membentuk kelompok kontrol yang mewakili
counterfactual.
• Tanpa-metode acak
– Menyatakan bahwa kelompok tertentu yang tidak
termasuk dalam program mewakili counterfactual.
Bagaimana perbedaan dampak dengan
proses?
• Ketika kita menjawab pertanyaan proses, kita
perlu menjelaskan apa yang terjadi.
• Ketika kita menjawab pertanyaan dampak,
kita perlu membandingkan apa yang terjadi
dengan apa yang bisa terjadi tanpa adanya
program tersebut.
“Standar Emas” untuk Evaluasi Dampak
EVALUASI ACAK
Sampel Acak dan Pengelompokan Acak
Secara acak
pilih sampel
dari area
yang
dimaksud
Sampel Acak dan Pengelompokan Acak
Secara acak
pilih sampel
dari area yang
dimaksud
Secara acak
kelompokkan
ke perlakuan
dan kontrol
Secara acak
pilih sample
Kelompok
perlakuan dan
kontrol
Sampel Sumber air bersih
Tidak
dievaluasi
(0)
Total Populasi
(562 sumber air)
Target
Populasi
(200)
Tahun 1
(50)
Sampel
Evaluasi
(200)
Pengelompokkan Acak
Tahun 2
(50)
Tahun 3,4
(100)
Dampak
• 66% penurunan konsentrasi bakteri E. coli
pada sumber air
• 24% penurunan konsentrasi bakteri E. coli
pada rumah tangga
• 25% penurunan tingkat diare
Menentukan dari beberapa pilihan
Intervensi
Dampaknya terhadap Diare
Perlindungan sumber air (Kenya)
25% penurunan penyakit diare pada anak
usia 0-3
Menentukan dari beberapa pilihan
Intervensi
Dampaknya terhadap diare
Perlindungan sumber air(Kenya)
25% penurunan tingkat diare pada anak
usia 0-3
Dispenser sumber klorin (Kenya)
20-40% penurunan diare
Distribusi klorin ke rumah (Kenya)
20-40% penurunan diare
Cuci tangan (Pakistan)
53% penurunan tingkat diare pada anak
di bawah usia 15 tahun
Masuknya pipa air (pinggiran Maroko)
0.27 penurunan jumlah hari diare pada
anak per bulan
Pembuatan Kebijakan Berbasis Bukti
ANALISIS COST-
EFFECTIVENESS
Diagram Cost-Effectiveness
KAPANKAH WAKTU YANG
TEPAT UNTUK MELAKUKAN
EVALUASI ACAK….
Kapankah waktu yang tepat untuk
melakukan evaluasi acak?
A. Setelah program dimulai dan
Anda tidak berniat memperluas
ke arah lain
B. Ketika dampak positif telah
terbukti menggunakan
metodologi yang ketat
C. Ketika Anda melaksanakan suatu
program dengan maksud untuk
memperluas cakupannya
D. Ketika program masih dalam
cakupan yang sangat kecil. Mis.
Hanya untuk beberapa rumah
tangga
Kapan evaluasi acak dilakukan?
• Ketika Anda ingin menjawab pertanyaan penting dan
ingin tahu jawabannya
• Faktor waktu—tidak terlalu dini dan tidak terlalu
terlambat
• Program bersifat representatif, bukan program ‘gold-plated’
semata
– Atau menguji konsep dasar yang perlu Anda uji
• Waktu, keahlian, dan uang untuk melakukan hal yang
benar
• Mengembangkan sebuah strategi evaluasi untuk
menentukan prioritas
Kapan evaluasi acak sebaiknya tidak
dilakukan?
• Ketika program masih prematur dan masih perlu
‘perbaikan’ di sana sini agar berhasil
• Ketika proyek masih dalam skala yang terlalu kecil
untuk diacak menjadi dua kelompok yang cukup
‘representatif’
• Bila dampak positif telah terbukti dengan menggunakan
metodologi yang ketat serta sumber data memadai
untuk semua orang
• Setelah program dimulai dan Anda tidak berencana
untuk memperluas ke arah lain
Bagaimana evaluasi dampak dapat gagal
• Tidak ada yang mengajukan pertanyaan yang
jawabannya diberikan oleh studi/kajian
tersebut
• Mengukur hasil yang salah
• Meninggalkan terlalu banyak pertanyaan
penting yang tidak terjawab
• Menghasilkan hasil yang bias
Program dan Evaluasinya:
Dimana kita memulainya?
Intervensi
Evaluasi Program
• Mulai dengan masalah
• Verifikasi masalah tersebut
memang benar terjadi
• Buatlah sebuah teori
mengapa masalah tersebut
timbul
• Desain program
• Pertimbangkan apakah solusi
tersebut bersifat cost effective
• Mulai dengan pertanyaan
• Verifikasi pertanyaan tersebut
belum terjawab
• Buatlah sebuah hipotesis
• Desain evaluasi
• Pastikan apakah nilai jawaban
setara dengan biaya evaluasi
• Bila Anda menanyakan dengan pertanyaan yang benar,
berarti Anda cenderung peduli
Komponen Evaluasi Program
• Analisa kebutuhan
• Apa masalahnya?
• Penilaian Teori Program
• Bagaimana, secara teoritis,
program tersebut dapat
menyelesaikan masalah?
• Evaluasi terhadap proses
• Apakah program berjalan sesuai
rencana?
• Evaluasi Dampak
• Apakah tujuan akhirnya tercapai?
Signifikankah?
• Cost Effectiveness
• Dilihat dari signifikansi dan biaya
yang dikeluarkan, apakah terdapat
cara lain sebagai alternatif ?
Selanjutnya …
PEREMPUAN SEBAGAI
PEMBUAT KEBIJAKAN
Fly UP