Penelitian Evaluasi

PENELITIAN EVALUASI(EVALUATION RESEARCH)

A.    Pengertian Penelitian Evaluasi

Menurut Gall (2003: 542) evaluasi pendidikan adalah proses membuat penilaian tentang manfaat, nilai, atau keseimbangan program pendidikan. Fokus evaluasi pada bagian ini adadalah program untuk berbagai fenomena, metode, material, organisasi, perorangan, dll. Penelitian evaluasi sudah berkembang sejak lama dimana digunakan sebagai pelayanan dalam bidang layanan evaluasi.

Penelitian menjadi begitu penting karena berkaitan langsung dengan analisiskebijakan danmanajemen program. Sehubungan dengananalisiskebijakan, penelitian evaluasimenghasilkandata pentingtentang biaya, manfaat, danketerbatasanalternatifprogram yangbervariasi. Analis kebijakandapatmenggunakandata iniuntuk mempersiapkanrencana program, yang kemudianditinjau olehindividu dengan otoritas pengambilan keputusan, sepertianggota dewandanpejabat pemerintah. Penelitian evaluasi juga digunakan untuk membuat advokasi terhadap kebijakan potlitik.

Penelitian evaluasi juga telah menjadi komponen yang semakin penting dari manajemen program. Evaluasi manfaat biaya (juga disebut evaluasi efisiensi) dilakukan untuk menentukan apakah program menghasilkansesuatu yang bermanfaat sesuai dengan anggaran yang digunakan. Penggunaan lain dari evaluasi adalah menharuskan pimpinan bertanggung jawab untuk memproduksi hasil. Evaluasi juga dilakukan untuk membantu pimpinan membuat keputusan yang tepat terkait dengan rancangan program, personel, dan anggaran.

B.     Hubungan Antara Penelitian dan Evaluasi

Dalam prakteknya, evaluatormenggunakan sebagian besardesainyang sama dalampenelitian, alat ukur, dan teknikanalisis datayang merupakanmetodologipenelitian pendidikan. Untuk alasanini, peneliti mengacu padastudi evaluasi. Meskipun demikian, menurut Gall (2003: 542-543) evaluasiberbeda darijenis penelitiandalam beberapa cara.

Pertama, studievaluasibiasanyadimulai dengankebutuhanseseoranguntuk mengambil keputusanmengenai kebijakan, manajemen, ataustrategi politik. Tujuan daripenelitianevaluasi adalahuntuk mengumpulkan datayangakanmemfasilitasikeputusan ini. Sebaliknya, tujuan penelitianadalah untuk mengembangkanpemahaman tentangfenomenakhusus. Temuan daristudi penelitianjuga dapat digunakanuntuk memandupengambilan keputusan, sedangkan evaluasidapat mengembangkanpemahaman tentangfenomenatertentu.

Kedua, penelitiandan evaluasijuga berbeda dalamsejauh manatemuandapat digeneralisasikan. Evaluasidilakukanuntuk tujuan yang sangatspesifik. Pengambil keputusanmendapat keuntungan daristudi evaluasikhususuntuk mengumpulkandata yang relevan denganmasalahkhusus mereka. Sebaliknya, para penelitilebih cenderungtertarikdalam menemukanhubunganantaravariabel yang digeneralisasikanataumenemukanartibahwa individuatau kelompokmenganggaprealitassosial. Para penelitimerekrutkelompok tertentu,pendidikatau siswauntuk berpartisipasi dalamstudi mereka, tetapi biasanya mereka dilihat sebagaisampelpopulasi yang lebih besardimanatemuanakandigeneralisasi, atau sebagaikasusuntuk mereplikasitemuanyang relevan denganteori. Sekali lagi, perbedaan tersebut tidakmurni: Beberapastudi evaluasiyang dirancang untukmenghasilkantemuansecara luasdigeneralisasikan, dan beberapapenelitian dasartelah membatasigeneralisasi.

Ketiga, evaluasidan penelitianberbeda dalampenilaian yang merekanilai. Studi evaluasidirancang untukmenghasilkandata mengenainilai, jasa, ataunilaifenomenapendidikan. Temuan merekacenderungdinyatakan dalamungkapan-ungkapan seperti"program membaca inilebih unggul dariprogramlain sehubungan dengan..." atau"Para guru di kabupaten iniberpikir bahwapendekatan baru untukpelatihanin-servicelebih unggul dari pendekatanyang adakarena___'Sebaliknya, penelitimerancangstudi merekauntuk menemukankarakteristikpenting darifenomenapendidikan. Temuan merekacenderungdikemas dalamfrase seperti"tampak bahwavariabelXmemiliki pengaruh terhadapvariabelY," atau"Menggunakan pendekatan grounded theory, kami menemukan bahwakonseloratributperilakuberisikosiswa untukdua jenismotivasi." pendidikdapatmembuat penilaiandankeputusan berdasarkantemuan nilaipenelitian tersebut, tapi iniadalah penggunaansekunderdaritemuan.

Penelitian evaluasi merupakan suatu prosedur ilmiah yang sistematis yang dilakukan untuk mengukur hasil program atau proyek (efektifitas suatu program) sesuai dengan tujuan yang direncanakan atau tidak, dengan cara mengumpulkan, menganalisis dan mengkaji pelaksaaan program yang dilakukan secara objektif. Kemudian merumuskan dan menentukan kebijakan dengan terlebih dahulu mempertimbangkan nilai-nilai positif dan keuntungan suatu program.

C.    Langkah dalam evaluasi program

Menurut Gall (2003: 543-548) langkah-langkah dalam penelitian evaluasi sebagai berikut:

1.      Mengklarifikasi alasan untuk evaluasi

Sebuah studi evaluasi dapat dimulai karena evaluator  berminat melakukannya, karena individu lain atau lembaga yang diminta, atau karena evaluator mempunyai kepentingan pribadi dan agensi juga perlu untuk evaluasi. Jika kita akanmelakukan evaluasiuntuk menjawab pertanyaanterutama yang menarik, kita hanya perluuntukmengklarifikasiumengapapenelitianperlu dilakukan. Penelitian tersebutdimotivasiolehminat penelitidalam menggunakanmetodependidikanuntuk menyorotiaspek-aspek tertentudariinstruksi dalamkelas. Ketikaevaluasidiminta, evaluatorharus mempertimbangkan dan menyelidikiuntuk menentukansemuaalasanpermintaanevaluasi. Evaluasidapat dimintakarenamereka diwajibkanolehbadan akreditasiatau lembagapendanaan. Evaluasitersebutbiasanyadisahkan.

Evaluasijugadapat dimintauntuk suatualasanyang meragukan. Seseorangmungkin ingin menggunakanevaluasi untukmemperbaiki perilaku diristaf program, dalam hal ini, evaluasimelayani fungsipenjagaan. Seseorangmungkin inginevaluatormengumpulkan buktiuntuk membenarkankeputusanyang sudahdibuat untukmengakhiri programataupengurangandanaatauuntukmendapatkann informasiyangakan mencerminkanbaik tidaknyapadabeberapa anggotastaf program. Jikaanggota stafmerasa bahwatujuan tersebutmendasarievaluasi, merekadapat bekerjauntuk menyabotupayaevaluator.

Untuk menentukanlegitimasipermintaanevaluasi, evaluatorperlumenghabiskan waktumewawancaraiindividu kunci untukmemutuskan apakah permintaantersebut wajardan etis. Ahlievaluasimenyarankan Andamenolak untukmelakukan evaluasijika adapelanggaranetikatelah terjadiatau mungkinterjadi

2.      MemilihModelEvaluasi

Memilihmodelevaluasi yang tepatmembutuhkankehati-hatian,karena adabanyak modelyang dapat dipilih. Menurut Gall (2003: 545) yang harus diperhatikan dalam memilih model penelitian evaluasi adalah :

·         Tujuan darievaluasi danpertanyaan-pertanyaanyang ditanyakan

·         Metodepengumpulan data

·         Hubungan antaraevaluator, administrator yang mengawasievaluasi, danindividu-individudalam programatau organisasiyang dievaluasi.

Dalam studisekolah menengah, Strahan, CooperdanWardmemilihmodel evaluasikolaboratifuntuk memanduproses evaluasimereka. EvaluasiColaborativeadalahevaluasisetiapdi manaada tingkatsignifikankolaborasiataukerjasama antaraevaluatordanpara pemangku kepentingandalam perencanaandan/ataumengkondisikanevaluasi. Dengan demikianindividuyang dievaluasiadalah pesertaaktifdalam menentukanarah danpenggunaanevaluasi, bukanobyekpasifstudi. Modelevaluasikolaboratifmirip dalamhal-hal tertentudengan modelevaluasiresponsif.

3.      Mengidentifikasipemangku kepentingan

Pemangku kepentinganadalahorangyang terlibatdalam programyang sedangdievaluasiatauyang mungkinakan terpengaruholeh atautertarik padatemuanevaluasi. Hal ini pentinguntuk mengidentifikasistakeholderpada awalstudievaluasi. Merekadapat membantumenjelaskanalasan mengapapenelitiandiminta, pertanyaan yang membimbingevaluasi, pilihan desainpenelitian, interpretasi hasil, dan bagaimanatemuanharus dilaporkandan kepada siapa.

Mengabaikanbeberapajenispemangku kepentingandapatmemiliki konsekuensipolitik yang serius. Kelompokspesifikatau individudapatmenyabotaseprosesevaluasi ataumendiskreditkanhasilnya jikamereka melihatevaluatortidak melihatkeinginan merekauntukterlibat. Namun, tidakperlumelibatkan semuapemangku kepentinganpada tingkat yang sama. Beberapakeinginanpemangku kepentinganhanya untukdisimpan sebagai informasi, sedangkan lainnyamungkin inginmempengaruhipertanyaanyang memandustudi dandesainevaluasi.

EvaluasiSekolahmenengahyang kita gunakansebagai contohadalah komprehensif dankolaboratif, sehinggaada banyakpemangku kepentingan. Administratorkabupatenmemiliki hakdalammemastikanbahwa17sekolah menengahmengajukanrencana perbaikansekolah formalsetiap tahundan bahwarencanatermasukkeamanansekolah danpenggunaanhasildigunakantes prestasi. KantorPenelitiankabupatenmemiliki kekuasaandalam memastikanvaliditas dankegunaaninstrumen surveiyang digunakanuntuk mengumpulkandatatentangpersepsiguru, siswa, dan orang tua,termasukefektivitassekolah. Sebuahtim kepemimpinanuntuk setiap sekolah, yang terdiri dariguru, orang tua, administrator, danevaluator/fasilitator, bertanggung jawabuntuk rencanaperbaikansekolah. Timkepemimpinansendiri adalahstakeholderyang penting dalam prosesevaluasi. Setiap timsesekalidimintawawancaradankuesionerdata darisiswa, guru, dan orang tuadi sekolah, yang jugapemangku kepentingan.

4.      Memutuskanapa yang akandievaluasi

Salah satu tugasyang dihadapievaluatoradalahmenggambarkanprogramdanproses identifikasikarakteristik yang paling pentingdariprogram yang akandievaluasi. Dalam bagian ini evaluator hasrus memutuskan komponen program yang akan dievaluasi. Komponen programdapat dikelompokkanke dalamkategori berikut: tujuan program, sumber daya program,  prosedurprogram, manajemenprogramdanhasil program. Kategori-kategori inibergunauntukmerancang sebuahstudi evaluasiterlepas darimodelevaluasiyang digunakan.

a.       TujuanProgram

Memutuskan tujuanprogram merupakan halpenting bagikebanyakan studievaluasi. Tujuan adalahtitiktujuan, efek, atau akhirbahwapengembangprogramtercapai. Jikaprogram tidakmemiliki tujuan, atau jikatujuantidak dianggap berharga, sulit untukmembayangkan bagaimanaprogram itu sendiridapatmemiliki manfaat.

Beberapa program memiliki tujuan yang spesifik. Setelah tujuan program telah diidentifikasi, evaluator mungkin diminta oleh pemangku kepentingan untuk menentukan sejauh mana program ini benar-benar mencapai tujuan. Dalam program evaluasi formatif, tugas yang diberikan dapat membantu para pengembang menentukan apa tujuan dari program. Kemudian pada program evaluasi sumatif, evaluator berusaha untuk menentukan sejauh mana program ini memenuhi tujuannya.

Tujuan dari evaluasi belajar sekolah menengah adalah tujuan perbaikan sekolah, karena penelitian mencakup beberapa tahun, data evaluasi dari satu tahun, disajikan dalam laporan individu untuk 17 tim, membentuk tujuan perbaikan untuk tahun berikutnya. Sebagai contoh, Strahan, Cooper, dan Ward mengamati bahwa: "...... semua 17 tim menggunakan informasi dari laporan tahun pertama mereka sebagai salah satu dari beberapa pertimbangan dalam menyempurnakan rencana perbaikan sekolah mereka untuk tahun kedua. Informasi laporan termasuk hasil prestasi belajar siswa pada hasil tes negara, wawancara dan kuesioner diberikan kepada berbagai kelompok pemangku kepentingan.

Analisis evaluator dari rencana peningkatan tahun kedua mengungkapkan hal berikut:Semua 17 tim mengidentifikasi tujuan prioritas untuk perbaikan Intructional dalam matematika dan menulis, 16 tim dalam membaca. Semua 17 tim mengidentifikasi keamanan sekolah sebagai prioritas lain untuk perbaikan, daerah lain untuk perbaikan bahwa tim ditargetkan  adalah pendidikan penasehat Program / karakter (15), disiplin seluruh sekolah (15), dan keterlibatan orang tua (15).

Kita dapat menyimpulkan bahwa tujuan-tujuan ini memiliki manfaat di mata stakeholder, karena mereka menghasilkan data yang digunakan untuk mencapai tujuan. Hal ini tampaknya menjadi salah satu manfaat dari model evaluasi kolaboratif.

b.      Sumber dayadan Prosedur

Sumber dayaadalahpribadi, peralatan, ruang, danitem biayalain yang dibutuhkan untukmenerapkan prosedurprogram. Proseduradalahteknik, strategi, danproses lainnya yang digunakandalam hubungannya dengansumber daya untuk mencapaitujuan. Evaluasisumberdaya programdan prosedursangat membantuuntuk memahamiefek yang diamatidari sebuah program. Misalkanprogrampembelajaranbarudiobservasimemilikiefek yang dapat diabaikanpadaprestasi siswa. Pembuatkeputusanmungkin memilihuntuk menghentikanprogram karenahasilevaluasinegatif. Namunprogram inimungkintidak efektifkarenabahan yang dibutuhkantidaktiba tepat waktu, atau karenagurumengalami banyakgangguanyang mengurangitotalwaktu yang dialokasikan untukpelaksanaan program. Jikaevaluatortelahmengumpulkan datamasalahsumber dayadanproseduralini, para pengambil keputusanmungkin telah memilihalternatiftindakan.Keputusan tentangrevisiprogram dapatdibuat lebihefektifjikapengembangtahu seberapa baikprogram yang adabekerja, dan mengapa.

c.       Manajemenprogram

Kebanyakan programmemiliki sistemmanajemenuntuk memantausumber daya danprosedursehinggamereka digunakansecara efektifuntuk mencapaitujuan program. Kita mungkinberpikir bahwamanajemenhanya beroperasidalam programberskala besar, seperti sistempendidikan menengahatau koordinasikurikulumdidistrik sekolah. Namunbanyak programkurikulumberisiprosedurmanajemenuntuk memantausiswa(misalnya, kuishariandan akhir-of-unit test). Juga bisamemperluaskonsepmanajemenuntuk memasukkanmanajemen diri(misalnya, gurumemantaupengajaran di kelasmereka sendiridalam rangka meningkatkankinerja mereka /on-the-job).

Beberapastudi evaluasifokus padasistem manajemendalam menanggapipertanyaan-pertanyaan seperti"Apakah sistem manajemenmemastikanpenggunaansumber daya secara efektif? Apakahsistem manajemen bisaefisien?"Apakah prosedurmanajemenyang digunakansebagaimana dimaksudolehpengembang?" Masing-masing pertanyaanini memerlukanevaluatoruntuk merancang penelitianyang menggambarkansistemmanajemendanmemeriksaoperasidalam praktek.

Dalam studievaluasisekolah menengah, timkepemimpinan dimasing-masing dari17 sekolahadalahelemen kuncidalam sistemmanajemen yang digunakanolehdistrik sekolahuntuk membawaperbaikan sekolah. Paraevaluatortidakmembuat penilaian tentangtimkepemimpinanselainmencatatbahwakepala sekolahmenyatakan bahwa"tim kepemimpinanmenetapkan prioritasyang lebih jelasdanmemantau kemajuanyang lebihsistematisdaripada merekabeberapatahun yang lalu." Ini menunjukkanbahwa modelevalusikolaboratiftidakjugacocok untukmengumpulkandata tentangsistem manajemensepertimodelevaluasi lainnya, terutamamodelCIPPdijelaskankemudian dalam bab ini

d.      Hasil Program

Biasanya, dalam evaluasibaikprogram yang adaatau yangbaru didirikan, adalahuntuk mengevaluasihasil program. Kamimemperkenalkankomponenkunciprogrampada bagianpengumpulan dan analisis dataevaluasi danmsecara rinci dalamdeskripsiberikutnyapendekatan yang berbeda untukevaluasi.

5.      MengidentifikasiPertanyaanEvaluasi

Masalahpenelitiandapat dinyatakandalam bentukpertanyaan, hipotesa, atau tujuan. Kisaran format yang samadapat digunakandalam studievaluasi, meskipunyang paling umum untukpertanyaannegara.

LeeCrobachmembedakandua fasedalam memilihpertanyaanuntukstudi evaluasi. Tahapdivergenmelibatkanmenghasilkandaftar lengkappertanyaan, masalah, keprihatinan, dan kebutuhaninformasiyang mungkindibahasdalam studievaluasi. (Perhatikan bahwa masalah, keprihatinan, dan kebutuhaninformasi dapatdiulangkemudiansebagaipertanyaanuntuk mempertahankanformat yang konsisten). Sebagaievaluator, Andaharus mengundangsemuastake holderuntuk berkontribusike daftarini. Selain itu, Andadapat menyarankanpertanyaanyang mungkinuntuk belajar. Pendekatankhusus untukevaluasi yangtelah Anda pilihuntuk memandustudi Andajugadapatmemintaide-ide untukpertanyaan. Misalnya, pada bagianformatifdansumatifevaluasi, termasukchecklistuntuk mengevaluasiprodukpendidikan. Para pemangku kepentingandapatdiminta untukmengisibeberapa atausemua itemchecklistuntuk dimasukkandalam penelitian ini. Itemyangtelahkitanyatakan dalambentuk pertanyaan, dapat ditambahkankedaftar pertanyaanyang dihasilkandengan cara lain.

Fasekedua Cronbanchadalahfasekonvergen.Ini mengurangijumlah daftar awalpertanyaanevaluasi. Fase inidiperlukankarena biayayang terlibat dalammenjawabberbagaipertanyaanevaluasi. Evaluator, dalampertanyaan yangdapat dijawabdengan sumber dayayang tersedia.

D.    MengembangkanEvaluasi DesaindanTime Line

Menurut Gall (2003: 548) banyak studievaluasimirip denganpenelitianstudidalam desain, pelaksanaan, dan pelaporan. Dengan demikian, salah satuprosedurpenelitian yang diuraikandalam bab-babsebelumnyadapat dimasukkanke dalam desainstudievaluasi. Studievaluasi, dapat pulahadirbeberapa isuyang tidakmuncul dalamstudi penelitian.

Salah satumasalah adalahapakahevaluasiharus dilakukanolehevaluatorinternal ataueksternal. Evaluatorinternal adalah anggotastafdari programyang sedangdievaluasi.

Evaluatoreksternal tidakdipekerjakan dalam programregulernamundigunakankhususuntuk melakukanevaluasi. Orang inikadang-kadangdisebutevaluatorpihak ketigaataukontraktorevaluasi.

Sebagian besarjenis evaluasidapat dilakukanolehevaluatorinternalterutamaketikatemuanevaluasi akandigunakanuntuk memanduprogram manajemendan pengambilan keputusan.

Evaluasi formatif difungsikan sebagai pengumpulan data pada waktu pendidikan masih berlangsung. Data hasil evaluasi ini dapat digunakan untuk “membentuk” (to form) dan memodifikasi program kegiatan. Jika pada pertengahan kegiatan sudah diketahui hal-hal apa yang negatif dan para pengambil keputusan sudah dapat menentukan sikap tentang kegiatan yang sedang berlangsung maka terjadinya pemborosan yang mungkin akan terjadi, dapat dicegah.

Evaluasi sumatif dilangsungkan jika program kegiatan sudah betul-betul selesai dilaksanakan. Evaluasi sumatif dilaksanakan untuk menentukan sejauh mana sesuatu program mempunyai nilai kemanfaatan, terutama jika dibandingkan dengan pelaksanaan program-program yang lain. Penilaian sumatif bermanfaat datanya bagi para pendidik yang akan mengadopsi program yang dievaluasi berkenaan dengan hasil, program atau prosedur.

E.     PengumpulandanAnalisaEvaluasi Data

Pengumpulan dan analisis datadalam studievaluasi danstudi penelitianserupa. Sebagaicontoh,studi evaluasisekolah menengahterutamamelibatkandesain deskriptifdi manapersepsi pemangku kepentingandanprestasi siswadiukursetiap tahun ajaran. Menurut Gall (2003: 550) instrumenpengumpulan dataadalah sebagai berikut:

1.    Survey yang komprehensif diSekolahmenengah, kuesioner yangdiberikankabupaten untuk mengukurpersepsipemangku kepentingandariberbagaielementsekolahmenengah, sepertiinstruksidibedakan,  saran penasehat/program, penjadwalanblok/penjadwalan yang fleksibel, kelompokinterdisipliner, keamanan sekolahdan disiplin,danketerlibatan orang tua.

2.    tes akhirprestasikelas, untuk menilaihasil program.

3.    Wawancaraterstruktur

4.    kuesionerInformaldikembangkan untuk digunakansekolah lokal

5.    iklim sekolahdansurveikeamanan, kuesioneryang mengukurpersepsigurudansiswatentang keamanansekolah

Selain itu,evaluatorbekerjadengan kantorpenelitiankabupatenuntuk merevisisurveiyang komprehensifdi sekolahmenengahuntuk membuatnya lebihdigunakan olehpara pemangku kepentingan

F.      PelaporanHasilEvaluasi

Sebuah studipenelitianyang khasakanmenghasilkansatu laporan, misalnya, tesis master, disertasi doktor, ataulaporan teknis. Sebuahversidarilaporanselanjutnyamungkindisajikan sebagaimakalahpada konferensiprofesional atauditerbitkansebagaiartikel jurnal.

Pelaporanstudievaluasikadang-kadanglebih rumit karenaberbagai jenispemangku kepentinganyang terlibat, danmasing-masing memilikikebutuhaninformasi yang berbeda. Dalam studievaluasisekolah menengah, evaluatorberkolaborasi denganmasing-masing timpimpinan sekolah untukmemberikan laporan berdasarkananalisis. Laporanini diberikan kepada parapemangku kepentingan lainnyadengan baik. Selain itu, tampak bahwaberbagai laporaninformaldipersiapkanuntuk penggunaan internaloleh individuyang terlibatlangsung dalam proses evaluasikolaboratif. Akhirnya, evaluatormenyiapkanartikel jurnaluntuk berbagitemuan merekakepadamasyarakat luas.

Jika melakukan studievaluasiuntukgelardoktor/master, Andamungkin perluuntukmengkomunikasikantemuanAndadalam beberapa bentukuntuk memenuhikebutuhanadministratorprogram danpemangku kepentingan lainnya. Selain itu, Andaakanperlu untukmelaporkanhasil dalamtesisatau disertasi. Oleh panitia, tesis atau disertasiAndamungkin akandiminta untuk menggunakanformat yang sama sepertiuntukmelaporkansebuah studi penelitian. Sebagai contoh,Andamungkin perluuntukmenulistinjauan ekstensif dariliteratur, yang umumnyatidak ditemukan dalamlaporanevaluasi program.

Tesisatau disertasiharus mencakupdiskusi tentangbagaimanahasil evaluasidigunakan. Ini adalahmasalah yangcukup menarikpara ahlievaluasi. Bahkan, penelitian telah dilakukantentang bagaimanatemuan-temuan evaluasisebenarnyadimanfaatkanolehpengambil keputusan. Fiturlain yang umumdaristudi evaluasidilaporkan sebagaitesisataudisertasiadalahdiskusi tentangsignifikansi penelitian. Sebagai contoh, hasil penelitianAndamungkin memilikisignifikansiteoretis ataubisa berfungsisebagaireplikasitemuansebelumnya padamasalah yang sama. Jika demikian,Andaharus mendiskusikanstudi dariperspektif ini.

Banyak proyekevaluasidapat dilihat sebagaistudi kasusdaripenerapanmodelevaluasitertentu. Jika sesuai, bagianpembahasantesisataudisertasiharus mempertimbangkanstudi dariperspektif ini.

G.    KriteriaPenelitianEvaluasi Efektif

1.      ProgramEvaluasi Standar

Menurut Gall (2003: 553) komitebersama menyimpulkan bahwastudievaluasi yang baikmemenuhiempatkriteria penting: utilitas, kelayakan, kepatutan, dan akurasi.

1.      Utilitas: Sejauh manaevaluasiinformatif, tepat waktu, danberguna untukorang-orangyang terkena dampak.

a.       IdentifikasiStakeholder. Semuakelompokyang terkena dampakevaluasiharus diidentifikasi.

b.      Kredibilitas evaluator. Evaluatorharus kompetendan dapat dipercaya.

c.       LingkupInformasi danseleksi.Informasi yangdikumpulkanharusberhubunganlangsungdenganpertanyaanevaluasi dankekhawatiranpemangku kepentingan.

d.      IdentifikasiNilai. Dasarevaluatoruntukmembuatpertimbangan nilaidarihasil yang diperolehharus dibuat jelas.

e.       Kejelasan Laporan. Laporanpenilaiharuskomprehensifdanmudah dipahami.

f.       Ketepatan waktu laporandansosialisasi. Laporan evaluasi, termasuk laporaninterim, harusdisebarluaskankepada penggunapada waktu yang tepat.

g.      DampakEvaluasi. Evaluasiharus dilakukansehingga mendorongtindakan yang tepatolehstakeholder.

2.      Kelayakan: Sejauh manadesainevaluasiadalah (a) yang sesuaidenganpengaturandi manapenelitian ini dilakukandan(b) efektivitas biaya.

a.       ProsedurPraktis, prosedurevaluasiharus praktisdanminimalmengganggupeserta.

b.      kelangsungan hiduppolitik. Evaluatorharus mendapatkankerja sama darikelompok-kelompok kepentinganyang terkena dampakdan menjagasalah satu dari merekadarimenumbangkanproses evaluasi.

c.       Efektivitas biaya. Manfaatyang dihasilkan olehevaluasiharusmembenarkansumber daya yang digunakandi atasnya.

3.      Kepatutan: Sejauh manaevaluasidilakukansecara legaldanetis.

a.       Orientasi layanan. Evaluasiharus membantupemangku kepentinganmemenuhikebutuhan semuaklien merekadanlingkunganyang besar.

b.      perjanjianformal. Para pihakformal untukevaluasiharus menyatakankewajibandan kesepakatanmereka dalamkontrak tertulis.

c.       Haksubjek manusia. Hak dan kesejahteraanorangterlibat dalamevaluasiharus dilindungi.

d.      interaksimanusia. Evaluatorharusmenunjukkan rasa hormatdalam interaksi mereka denganorang-orang yangterlibat dalam penelitian ini.

e.       penilaian yang adil dan lengkap. Kekuatandan kelemahandarientitasyang sedang dievaluasiharus dieksplorasisepenuhnyadan adil.

f.       Pengungkapantemuan. Individu mengetahuihukumdengan baik danmereka yang terkena dampakhasilharus diberitahu tentanghasilevaluasi.

g.      Konflik kepentingan. Jikakonflik kepentinganmuncul, harus diperlakukansecara terbuka dan jujur.

h.      Tanggung jawabfiskal. Pengeluaransumber dayauntuk evaluasiharusberhati-hatidanbertanggung jawab secara etis.

4.      Akurasi: Sejauh manaevaluasimenghasilkaninformasi yang valid, dapat diandalkan, dankomprehensif untukmembuat penilaianberharga dari program yangdievaluasiitu.

a.       DokumentasiProgram. Semuaaspekterkaitaspekprogram yang sedangdievaluasiharusdijelaskan secara rinci

b.      AnalisisKonteks. Aspekkonteksyang mempengaruhievaluasiharus dijelaskansecara rinci

c.       tujuandan prosedurharus diijelaskan. Tujuandan prosedurevaluasiituharusdijelaskan secara rinci.

d.      sumberinformasi. Sumberdata harusdijelaskan secara rincidan cukup bahwakecukupanmerekadapat dinilai.

e.       InformasiValid. Prosedurpengumpulan dataharus menghasilkaninterpretasiyang valid.

f.       Informasi yang dapat dipercaya. Prosedurpengumpulan dataharus menghasilkantemuanyang dapat diandalkan.

g.      Informasiyang sistematis. Dataevaluasi harusditinjaudan diperbaiki, jika perlu.

h.      Analisiskuantitatifinformasi. Analisisdata kuantitatifdalamstudi evaluasiharusmenyeluruh danharus menghasilkaninterpretasiyang jelas.

i.        Analisiskualitatif informasi. Analisis datakualitatif dalamstudievaluasiharus menghasilkaninterpretasiyang jelas.

j.        Justifikasi kesimpulan. Evaluatorharusmemberikanjustifikasiyang jelas untukkesimpulan mereka.

k.      pelaporanyang netral. Laporan evaluasiharus bebasdaribias danperasaanpribadisalah satu dari merekayang terhubung keevaluasi.

l.        Metaevaluasi. Evaluasiharus dikenakanformatifdan evaluasisumatifmenggunakandaftarstandar ini.

2.      StandarEvaluasiPersonil

Komite Bersamajuga menghasilkanstandaryangdikembangkan untukevaluasidiripendidikan, yang disebut Evaluasi StandarPersonalia. Standarmelibatkanempat kriteriayang samayang ditetapkanuntukstandarevaluasi program. StandarEvaluasiPersoniltelah digunakanuntuk berbagai tujuantermasukmenilai kualitassistem evaluasibagi gurudanpengawas.

3.      StandarlainnyauntukEvaluasiPendidikan

Stufflebeamtelah mengembangkanseperangkatpedomanbaruyang komprehensifuntuk penggunaanevaluasiorganisasi pelayananpendidikan ataulainnya. Dokumenmerekomendasikan bahwaorganisasimelembagakansatu pendekatanuntuk program, klien, dan evaluasipersonil. Ini termasukdaftar periksamendefinisikan18persyaratansistem evaluasisuara danmenggambarkan10komponensistem evaluasiberfungsi penuh.

Menjelaskan penelitianeksperimentalyang melibatkanpercobaan terkontrol acaksebagai standartujuanuntuk mendirikanapa yang berhasilmemberikantiga langkahuntuk mengevaluasiintervensipendidikan. Rekomendasinyasaatsubyekkontroversidalam penelitianpendidikan, terutama di kalanganpeneliti kualitatif.

Sepertipenelitian pendidikan, evaluasi pendidikanmengambilbentuk yang beragam. Hal ini karenaevaluatordari waktu ke waktutelah mengembangkantujuan yang berbeda, filosofi, dan metodologiuntuk evaluasi. Perbedaan-perbedaan inisecara bertahapmenyebabkanpengembanganberbagai pendekatan untukpenelitian evaluasi. Bagianyang tersisadaribab inimenggambarkansejumlah pendekatankuantitatif dankualitatifpenting untukpenelitian evaluasi.

H.      Pendekatankuantitatif untukEvaluasi

Pendekatankuantitatifyang dijelaskan terutamamengandalkan metodepositivisdalaminquiry. Merekamenekankantujuan pengukuran, sampel yang representatif, kontrol eksperimental, dan penggunaanteknik statistikuntuk menganalisisdata.

1. EvaluasiIndividu

Evaluasiterutamamelibatkanpenilaianperbedaan individudalam kecerdasansiswa danprestasi sekolah. Hasil tesyangdigunakan untukmenetapkannilaidanuntuk memilihsiswa menjaditrek yang berbedakemampuan, layanan khusus, atau programpendidikan lanjutan.Sepertidalam penilaiansiswa, evaluasipribadiberfokus padapengukuranperbedaan individu, dan penilaianyang dibuatdengan membandingkanindividudengankriteria atauseperangkat norma.

2. Tujuan-BerdasarkanEvaluasi

Menganalisis suatu tujuan dari hasil evaluasi yang telah dilakukan. Jika Anda berencana mempelajari prestasi siswa dari tujuan instruksional. Salah satu keprihatinan utama Anda akan menjadi pengukuran tujuan tersebut. Untuk memudahkan pengukuran, akan sangat membantu untuk tujuan  dalam hal perilaku, yang berarti bahwa hasil program dinyatakan sebagai perilaku yang siapa pun, termasuk evaluator, dapat mengamati dalam peserta program. Jenis obyektif, biasa disebut tujuan perilaku, biasanya memiliki tiga komponen: pernyataan objektif yang diamati, hasil perilaku; kriteria keberhasilan kinerja perilaku; dan konteks situasional di mana perilaku yang akan dilakukan.

Masalahlain dalamtujuan evaluasiberbasistujuan. Evaluatorsering mengandalkanpengembangprogramatauspesialismateri pelajaranuntuk membuatkeputusan ini. MichaelScriven, berpendapat bahwa evaluatortidakharus mengetahuitujuan programdi muka,karena merekamungkin menjadimemiliholeh merekadan dengan demikianlebihterlihatefek laindari program ini, efek sampingmerugikan. Scrivenmenyarankan bahwauntuk menghindarimasalah ini, evaluatorharusmelakukan penelitianuntuk mengetahui pengaruhsebenarnya dariprogramdalam operasi, yang mungkinsangat berbedadaritujuanprogrampengembangmenyatakan. Strategi iniuntuk evaluasitelah datang untukdikenalsebagai tujuanevaluasi gratis.

a.       Penilaian Kebutuhan

Dalampenelitian evaluasikebutuhandapat didefinisikansebagaiperbedaan antarasetadakondisidan satu setyang diinginkankondisi. Misalnya,seorang pendidikmembuatpernyataan, "Kita perlu lebih menekankanpada pengembangankompetensi siswaSDdalam ilmu pengetahuan. "Pendidik mengatakanberlakubahwa adaperbedaan antarakurikulumilmu pengetahuan yang adadankurikulumyang diinginkan, sebagaimana dibuktikanoleh masalahdalam belajarkonsepsains. Pernyataankebutuhanmencerminkanpenilaiantentangmanfaatkurikulum sekarang. Juga, perhatikan bahwapenilaiankebutuhan inimemberikan dasaruntukmenetapkan tujuanuntukkurikulumatauprogram pembangunan. Karenamenjadimempertimbangkanpenilaian kebutuhanyang akandisampaikanerat dengantujuanmodelberbasisevaluasi. Kamimemperlakukannyasebagaipendekatan kuantitatif. Namunpenilaian kebutuhankualitatifjugadilakukandalam pendidikan.

b.      ContohPenilaianKebutuhan

Metode penelitian kuantitatifmemungkinkan para penelitiuntuk mengukur sejauh manayang tepat dariperbedaan antaranegara yang adadankeadaan yang diinginkan. Sebuah contoh daripenilaian kebutuhankuantitatifadalahpenelitian yang dilakukan olehThomasPierce, DeborahDeutschSmith, danJaneClarke. Tujuan daristudi merekaadalahuntuk memperbaruidan memperluasbasisdata yang adadalam pasokandan permintaanpendidikan khususlulusandoktoruntukmengisiposisistaf pengajar dilembagapendidikan tinggi(IHES) di Amerika Serikat. Perbedaan antarajumlah dan jenismencetak tenagadoktoryang tersedia danjumlahposisifakultasyang tersediadipandangsebagai ukurankebutuhan tenagakepemimpinan dalampendidikan khusus.

3.      Context-input-proses-Produk (CIPP)

Menurut Gall (2003: 560) pendekatan evaluasi yang telah dijelaskan sebelumnya dirancang untuk memberikan cakupan evaluasi program, yang berarti bahwaevaluatorberfungsi sebagaipengambil keputusanutamadalam menentukansecara spesifikapayang akandievaluasidan bagaimanamengevaluasinya. Dalampendekatan lain untukmengevaluasi, evaluatorbekerja lebiherat denganstafprogramatau programyang sedang berlangsungdalam pengembangan.Mereka biasanyamenjaditertarik pada bagaimanamerekadapatberkontribusi padaprosesmanajemen programdan pengembangan program. Evaluatorseringmengumpulkan datauntuk membantupimpinan programmembuat keputusan penting.

Menurut Gall (2003: 560) modelCIPPdirumuskanolehDanielStufflebeamdan rekan-rekannyauntuk menunjukkan bagaimanaevaluasidapatberkontribusi padaproses pengambilan keputusandalam programmanagement. CIPPadalah singkatanuntukempat jenisfenomenayang biasanyadievaluasioleh penggunamodel evaluasiini: Konteks,input,Process, danProduct. Setiap jeniskejadianmelibatkansatu setyang berbedadarikeputusan yang dibuatdalam perencanaan danpengoperasianevaluasi. Setiap jenisevaluasimembutuhkantiga tugasyang luasyang akan dilakukan: menggambarkanjenisinformasi yang diperlukanuntuk pengambilan keputusan, memperolehinformasi, dansintesisinformasisehinggabergunadalam membuat keputusan. Pada bagian pertama dan ketiga(delinasi dansintesis) harus dilakukansebagaiupaya kolaborasi antaraevaluatordanpengambil keputusan. Langkah kedua, memperolehinformasi, merupakan kegiatanteknis yangdapat didelegasikanterutama untukevaluator.

a.       Konteks evaluasi melibatkanidentifikasi masalahdan kebutuhanyang terjadidalam pengaturanpendidikan khusus, yangmemberikan dasarpenting untukmengembangkan tujuandariprestasihasil dalampeningkatan program.

b.      Input evaluasi melibatkanpengumpulan informasiuntuk membuat penilaian tentangsumber daya danstrategi yang diperlukan untukmencapai tujuandansasaran program danuntuk ditetapkan berbagai kendala, seperti apakahsumber daya tertentutidak tersediaatau terlalumahal. Hal ini jugamelibatkanmenentukanseberapa baikstrategi tertentuuntuk mencapaitujuan program, apakahstrategitertentusecara hukumataumoraldapat diterima, dancara terbaik untuk memanfaatkanpersonelsebagai sumber daya. Input evaluasimembutuhkanevaluatoruntuk memilikiberbagai pengetahuantentang kemungkinansumber daya danstrategi, sertapengetahuanpenelitian tentangkeevektifandalam mencapaiberbagai jenishasil program.

c.       Proses Evaluasimelibatkanpengumpulan dataevaluatifuntuk memantauprogramdalam kegiatannnya. Sebagai contoh, program catatan kehadiran guru menghadiri program pelatihanberdasarkan partisipasisukarela. Jikadata kehadiranmengungkapkanpenyimpangan dariapa yangdiantisipasi(misalnya, penurunanhadirgurudisesi pelatihandari waktu ke waktu), pengambil keputusandapatmengambil tindakanberdasarkandata. Tanpa sistempencatatantersebut, program inimungkinmemburuksebelumpengambil keputusanmenyadarimasalahoperasional. Fungsi lain dariproses evaluasiadalah untukmenyimpan catatanperistiwa selama program berlangsung. Catatan inimungkinbergunadi kemudian haridalam mendeteksikekuatan dan kelemahanprogramyang menjelaskanhasilyangdiamati.

d.      Produk evaluasimelibatkanpenentuansejauh manatujuan dariprogram telah dicapai. Dalam jenisevaluasi, langkah-langkahtujuanyangdikembangkan dandikelola, dan datayang dihasilkandigunakan untuk membuatkeputusan tentangmelanjutkanataumemodifikasiprogram.

ModelCIPPmenggabungkanunsur-unsurtujuanberbasisevaluasi danpenilaian kebutuhan, yangdijelaskan sebelumnya. Hal ini jugamenyerupai evaluasi formaif dan evaluasisumatif, yangdijelaskan dalampenelitian dan pengembangan (RND). ModelCIPPdibedakan dengankelengkapannya, faktabahwa itu adalahproses yang berkelanjutan, dan tujuannyamembimbingprosespengambilan keputusandalam pengelolaan program. Meskipundigunakan terutamadalam penelitianevaluasi kuantitatif, dapat disesuaikanuntuk penelitianevaluasidari perspektifkualitatif.

I.     Pendekatankualitatif untukEvaluasi

Menurut Gall (2003: 562) pendekatan yang dijelaskan di atas kurang dapat diterapkan dalam menangani aspek penting dalam evaluasi.Pendekatan berbasis tujuan, misalnya, cenderung untuk mengambiltujuanprogramatauefekdiamati sebagaikodrat. Merekatidak menawarkan banyakbimbinganmengapatujuantertentudinilaiatau mengapastakeholdertertentusetuju atautidak setujupada nilaitujuantertentu.

Politik evaluasi tidak memberikanperhatian seriuspada sebagian pendekatan kuantitatif. Berbagai kelompokdengankepentingan dalamhasilstudievaluasidapatmencobaproses evaluasi. Sebagaievaluator, harusmenolakpengaruh-pengaruhpolitik ataumencobauntuk memasukkan merekake dalam desainstudievaluasi. Masalah lain adalah bahwaevaluasidapatlebih berbahaya dalam kondisi tertentu, seperti disebutkandi atas, kebanyakan orangtidak sukadievaluasi, sehinggaproses evaluasiitu sendiri mungkinmenghambatkinerjauntuk dinilai. Bagaimanaevaluatordapat bekerjadengan kliensehinggaevaluasimenghasilkanbanyak keuntungandankerugian? Penelititelah mengembangkanpendekatan evaluasiyang sangat bergantung pada pendekatan penelitiankualitatif.

Pendekatankualitatifdidasarkanpada asumsi bahwanilai darisebuahprogram pendidikansangat bergantung padanilai-nilaidan perspektifmereka yang melakukanpenilaian. Kedepan,  pemilihanindividu dan kelompokuntuk terlibat dalamevaluasisangat penting. Dalamkeprihatinan mereka terhadapmenangkapperspektifemic, peneliti kualitatifmemberikan penekanan khusus padapemeriksaanpersepsistakeholder. Sebagai contoh, misalkanseorang penelitievaluasikualitatiftelahmelakukan studidarikebutuhan pendidikan khusus, sepertiPiercedan rekan-rekannyamelakukanstudikuantitatif. Kemungkinan besarpenelitiiniakanmenggunakanmetode yang lebihterbukauntuk bertanya tentangkualifikasiyang diinginkanorang dalampendidikan khusus, penelitimungkinjugaberusaha untuk memeriksakebutuhanseperti yang dirasakan olehkelompoktersebutstake-holdersebagaianggota, mahasiswa pendidikan khusus, para gurupendidikan khusus, atau keluargamenerima layanansekolahpendidikan khusus. Pendekatankualitatif untukevaluasidijelaskanberikutnyasemuamenekankan pentingnyapertambanganperspektifsemua kelompok pemangku kepentinganyang relevansehubungan denganprogram ataufenomenayang dievaluasi. Dalam prosesnya, merekamemanfaatkan berbagai metode pengumpulan data, denganpenekanan padametodepengumpulan datakualitatifyang dijelaskan dalam baagian sebelumnya.

1.       Evaluasi Responsive

RobertStakememeloporipendekatankualitatif untukevaluasi pendidikan. "Pendekatannya,disebutevaluasiresponsif, berfokus padamengatasimasalahdan isu-isustakeholder. Kekhawatiranadalahsegala haltentangdimana para pemangku kepentinganmerasa terancam, ataumengklaim bahwamereka inginmembuktikan. Masalahadalahtitik pertentanganantara para pemangku kepentingan, dan isu-isuKekhawatiranmemberikan fokusyang lebih luasuntuk evaluasidarimelakukanperilaku yang menjadi fokus utama daribeberapa pendekatankuantitatif untukevaluasi.

a.       ContohEvaluasi Responsive

EgonGubadanLincolnYvonnamengidentifikasiempat faseutama yangterjadi dalamevaluasi responsive: (1) memulaidan mengaturevaluasi, (2) mengidentifikasiisu-isu kuncidankekhawatiran, (3) mengumpulkaninformasi yang berguna, dan(4 )hasilpelaporansecara efektifdan membuatrekomendasi. Mereka menggambarkanevaluasiresponsifdaristrukturtata kelolasistemsekolah tertentu. Fokusevaluasiadalah apakahstruktur sistem kelola sekolahiniterbuka untukmasukan dari berbagaikelompok pemangku kepentingandalam membangunkebijakan sekolah. Selamatahap pertama, para pemangku kepentingandiidentifikasi. Merekatermasuk anggotadewansekolah, administrator sekolah, guru sekolah, siswa dan orang tuamereka, stafpemerintahandarikotadi manasistem sekolahterletak, dan anggotaberpengaruhdarimasyarakat. Selama faseini, GubadanLincolnmerekomendasikanbahwaevaluatordan klienbernegosiasikontrakevaluasiyang menentukanhal-hal sepertiidentifikasi entitas yang akan dievaluasi, tujuan evaluasi, hak akses untuk merekam, dan jaminan kerahasiaan dan anonimitas. Selama tahap kedua, beberapa isu kunci dan kekhawatiran diidentifikasi melalui wawancara dengan para pemangku kepentingan.

Masalah-masalah utama termasuk apakah perumusan kebijakan sekolah harus terpusat atau desentralisasi, apakah kebijakan harus dirumuskan oleh para profesional atau oleh kelompok awam, dan apakah dewan sekolah harus dipilih atau ditunjuk. Kekhawatiran termasuk persepsi di luar warga pengambilan keputusan (misalnya, dewan sekolah dituduh telah dieliminasi program pendidikan seni meski ditentang orangtua), dan arogansi kekuasaan oleh elit kecil (misalnya, anggota staf sekolah mengatakan bahwa mereka merasa memiliki sedikit kepentingan dalam urusan sekolah). Masalah dan kekhawatiran tersebut mengekspresikan nilai-nilai yang mendasari perbedaan dari para pemangku kepentingan yang berbeda. Sebagai contoh, beberapa-tetapi tidak berarti semua-pihak yang ditemukan untuk menempatkan nilai besar pada kurikulum berkualitas tinggi, proses pengambilan keputusan rasional, kesetaraan perwakilan dalam pengambilan keputusan, dan akuntabilitas.

Pada tahap ketiga, evaluator mengumpulkan informasi lebih lanjut tentang isu-isu, perhatian, dan nilai-nilai yang diidentifikasi oleh para pemangku kepentingan. Mereka juga mengumpulkan deskripsi informasi tentang entitas yang dievaluasi (struktur tata kelola sistem sekolah) dan tentang standar yang akan digunakan dalam membuat penilaian tentang entitas ini. Informasi tersebut dapat dikumpulkan melalui berbagai metode, termasuk observasi naturalistik, wawancara, kuesioner, dan tes standar. Misalnya, dalam evaluasi struktur organisasi sekolah, beberapa pihak khawatir bahwa dewan sekolah telah membuang program pendidikan seni dasar meskipun ada penentangan orangtua.

b.      Desain yang Muncul

Berbeda dengan jenis penelitian evaluasi yang dijelaskan di atas, evaluator melakukan evaluasi responsive tidak menentukan desain penelitian pada awal pekerjaan mereka. Sebaliknya, evaluator responsive menggunakan desain yang muncul, yang berarti bahwa desain dari perubahan penelitian sebagai evaluator mendapatkan wawasan baru ke dalam masalah dan isu-isu pemangku kepentingan. Sebagai contoh, Kuba dan Lincoln menggambarkan teknik sampling muncul sebagai perbandingan desain penelitian tradisional:Sampling hampir tidak pernah mewakili atau acak tetapi purposive, dimaksudkan untuk mengeksploitasi kemampaun pandangan dan perspektif baru semaksimal mungkin. Sampling berhenti ketika informasi menjadi berlebihan daripada subyek yang representatif sampel.

2.       Generasi Keempat Evaluasi

Karena buku mereka pada evaluasi responsif muncul, Guba dan Lincoln melanjutkan konsep pendekatan mereka untuk evaluasi dan menamainya generasi keempat evaluation. Langkah evaluasi generasi keempat ditunjukkan pada Gambar 1.1. Menurut Guba dan Lincoln, langkah-langkah ini tidak selalu linear: Sebaliknya, grafik menunjukkan kemajuan hanya secara umum; itu adalah kasus yang sering kembalidan sebagainya, kadang-kadang  melompat melalui beberapa langkah, tidak hanya mungkin tetapi diinginkan. Anda akan mencatat bahwa grafik mengacu pada lingkaran hermeneutik sebagai bagian dari proses evaluasi. Hermeneutika merupakan penelitian kualitatif tradisi yang kita dijelaskan sebelumnya. Sebuah lingkaran hermeneutik adalah proses interpretasi yang melibatkan menafsirkan arti dari setiap bagian dari teks dan teks secara keseluruhan.

Penafsiran teks secara keseluruhan membantu interpretasi bagian dan sebaliknya. Dalam konteks adalah evaluasi responsif, teks akan semua bahan dan data yang telah dikumpulkan sebagai bagian dari studi evaluasi. Evaluasi responsif dan evaluasi generasi keempat merupakan perkembangan penting dalam evaluasi pendidikan.

Tabel generasi keempat Evaluasi

 

3.       Model kuasi-Legal Evaluasi

Menurut Gall (2003: 566) Evaluasi kuasi dan evaluasi peradilan dua pendekatan untuk evaluasi yang meniru prosedur yang berasal dari bidang hukum.

a.       Evaluasi kuasi

Evaluasi kuasi dibedakan dengan menggunakan beragam data; sidang testimony; dan, yang paling penting, pendekatan permusuhan, yang berarti bahwa kedua belah pihak pra  penilaian positif dan negatif yang dikirim, masing-masing, tentang program yang sedang dievaluasi. Berikut ini adalah empat tahap evaluasi kuasi: (1) menghasilkan berbagai isu-isu tentang program dengan survei berbagai pemangku kepentingan; (2) mereduce jumlah penggugat, misalnya, melalui peringkat prioritas oleh sekelompok rekuasi; (3) pembentukan dua tim evaluasi yang berkuasian, yang masing-masing mempersiapkan argumen baik dalammendukungatau bertentangan denganprogram padasetiap masalah; dan(4) melakukansesiprasidang dansidangformal,di manatimpermusuhanmenyajikankasusmereka sebelummereka yang harusmembuat keputusantentang program.

Evaluasikuasidigunakanoleh NationalInstitute ofEducationuntuk mengevaluasikompetensiprogram pengujianpada saatadakontroversitentang bentuktesting. Dua timberpendapatmanfaatprogramini sebelumpetugasmendapat temuan,  penengahperselisihankualifikasisaksi dankemampuankesaksian. Evaluasikuasi telahterbukti bergunadalam mengungkapkekuatan dan kelemahanprogramdanmengajukan pertanyaan-pertanyaanyangharus dijawab. Namun, evaluatorjuga menemukanbahwa evaluasikuasi dapat bias jika pembuat argumen dari kedua belah tidak memiliki kemampuan yang sama. Beberapaevaluatortelah memodifikasiunsur-unsurmodeluntuk menanganiproblems. Namun, masalah laindengan pendekatan inidibangunke dalam desainevaluasi, dan karenanyatidakmudahdiubah. Jenis evaluasi ini jarang ditemukan dalam penelitian pendidikan.

b.      LegalEvaluasi

Model evaluasiperadilanmensimulasikanpenggunaanprosedur hukumuntuktujuan mempromosikanpemahaman yang luas dariprogram, menjelaskansifathalus dan kompleksmasalahpendidikanyang ditimbulkan, dan menghasilkanrekomendasidan pedomankebijakan yang mengarah ke pertumbuhan kelembagaan dan / atau meningkatkan practice. seperti evaluasi kuasi, model evaluasi peradilan tidak melibatkan perdebatan antara dua tim evaluasi, dengan kemenangan atau persuasi hasil yang diinginkan.

Dalam evaluasi peradilan, presentasi publik data dibuat, mengikuti format sidang di pengadilan. Sebuah panel yang terdiri dari para pembuat kebijakan, warga, dan pemangku kepentingan lainnya dihadirkan untuk mendengar bukti. Presenter kasus memanggil saksi yang menyampaikan pandangan mereka untuk membuat kasus relatif terhadap suatu masalah, Semua saksi dapat dikenakan dua tahap pemeriksaan langsung dan pemeriksaan silang oleh dua presenter kasus. Seperti dalam pengadilan hukum, pembukaan dan penutupan argumen disajikan. Setelah semua bukti yang disajikan,  panel sengaja membuat rekomendasi.

Evaluasi Legal telah terbukti berguna dalam kedua evaluasi formatif dan sumatif program pendidikan. Sementara evaluasi peradilan penuh cenderung mahal dan memakan waktu, prosedur dapat diperkecil tanpa menghilangkan kealamihan huku.

4.       Evaluasi Berbasis Keahlian

Penggunaan ahli untuk membuat penilaian tentang nilai dari program pendidikan adalah metode yang banyak digunakan dalam evaluasi, disebut evaluasi berbasis keahlian. Contoh, sebagian besar program kelembagaan ditinjau secara berkala oleh dewan akreditasi terdiri dari individu dengan pengetahuan yang cukup dan pengalaman profesional dengan fenomena dengan lembaga mana yang bersangkutan.  Jika kta melakukan tesis atau disertasi, kualitasnya akan dinilai oleh panel profesor yang berada dalam peran yang sama, karena keahlian yang mereka miliki.

Evaluasi berbasis keahlian telah mengambil bentuk baru dengan pertumbuhan yang cepat dalam penggunaan tradisi penelitian kualitatif dalam pendidikan. Antropologi Pendidikan, misalnya, dapat menggunakan metode penelitian kualitatif etnografi untuk mengevaluasi, serta untuk menggambarkan, fenomena yang menarik perhatian mereka.

a.       Pendidikan keahlian dan Kritik

Bentuk spesifik evaluasi-keahlian berbasis connoisseurship pendidikan dan kritik, yang dikembangkan oleh Elliott Eisner, seorang pendidik.  Pendekatan ini melibatkan dua aspek: keahlian dan kritik.

1)      Aspek pertama,  keahlian, adalah proses menghargai  kualitas dari program pendidikan dan artinya. Untuk melakukan peran ini dengan baik, ahli harus memiliki pengetahuan  program yang sedang dievaluasi serta program lain yang relevan. keahlian ini mirip dengan kritikus seni yang memiliki apresiasi khusus dari sebuah karya seni karena studi intensif karya terkait seni dan teori seni. Pelaku pendidikan akan menyadari nuansa lebih dari program pendidikan daripada  pendidik pemula atau awam.

2)      Aspek kedua, kritik pendidikan, adalah proses menggambarkan dan evaluasi apa yang telah dihargai.Kualitas keahlian pendidikan dan kritik sangat bergantung pada keahlian dari evaluator. Kondisi ini juga merupakan fitur yang menonjol dari pendekatan kualitatif  lain untuk evaluasi yang dijelaskan di atas. Kritik pendidikan berbeda dari evaluasi responsif dan pendekatan kuasi hukum untuk evaluasi.  namun, dalam hal ini cenderung menjadi usaha bersama dan pertanyaan-pertanyaan yang memotivasi penyelidikan biasanya ditetapkan oleh evaluator sendiri daripada bersama dengan para pemangku kepentingan.

b.      Contoh Evaluasi Berbasis Keahlian

Gail McCutcheon menggunakan metode keahlian pendidikan dan kritik dalam studi kasus kelas empat. Tujuan dari penelitian ini adalah untuk menjawab beberapa pertanyaan tentang kelas: Apa yang terjadi di sini? Apakah layak dilakukan? Apakah itu dilakukan dengan baik? Apa anak-anak cenderung untuk belajar sebagai hasilnya? Perhatikan bahwa beberapa pertanyaan meminta deskripsi, dan beberapa hal untuk evaluasi.McCutcheon melakukan enam minggu kerja lapangan di kelas guru, pengumpulan data dengan cara observasi, rekaman video, wawancara, dan pemeriksaan pekerjaan siswa.

Deskripsi  bagian dari laporannya menggunakan gaya sastra untuk menangkap kualitas tertentu dari guru kelas. Kemudian bagian laporan ini adalah evaluatif, seperti yang digambarkan oleh komentar berikut:

(1) Dalam pelajaran ini, maka, anak-anak memiliki kesempatan untuk belajar banyak hal-hal tentang tata surya, konstruksi, visual pemecahan masalah, pengendalian diri, dan interaksi sosial. Kita mungkin bertanya-tanya, meskipun, tanggung jawab untuk pengambilan keputusan, perencanaan sosial, dan pengendalian diri adalah pelajaran berharga ... tidak anak-anak belajar tanggung jawab ini pula-di rumah, masyarakat, dan sekolah tanpa begitu banyak penekanan ditempatkan atas mereka.

(2) Ketika sekolah dipandang sebagai bagian integral dari kehidupan anak-anak, anak-anak mungkin lebih cenderung untuk menerapkan pembelajaran sekolah dan mempertimbangkan melakukan hal-hal schoollike di rumah. Sebuah kehidupan yang lebih terpadu dapat membuat sekolah tampak lebih relevan. Semakin sedikit formal pengaturan kelas ini dan Mr Clement mengakui adanya kepentingan pribadi anak-anak dapat bekerja menuju akhir.

Perhatikan bahwa komentar evaluatif pertama sangat penting, sedangkan yang kedua adalah tidak. Evaluator harus sensitif terhadap kekuatan dan kelemahan program yang dievaluasi.Penelitian ini menggambarkan bagaimana keahlian pendidikan dan kritik dapat menerangi alam dan nilai program, instruksi kelas empat cara yang akan sulit untuk dicapai dengan menggunakan metode evaluasi kuantitatif. Menurut Guba dan Lincoln, pendekatan untuk evaluasi pendidikan adalah model pertama untuk memecahkan  paradigma.

5.       Evaluasi pemberdayaan

Menurut Gall (2003: 588) evaluasi pemberdayaan adalah bentuk terbaru dari evaluasi di mana masyarakat menggunakan evaluasi diri dan refleksi untuk meningkatkan program. Komunitas melakukan evaluation mereka sendiri, dengan evaluator eksternal bertindak sebagai pelatih dan fasilitator. Berbagai alat teknologi yang digunakan untuk memfasilitasi komunikasi, pengumpulan data, dan analisis.

a.       Pendekatan ini menggunakan prinsip:(1) perbaikan, (2) kepemilikan masyarakat, (3) inklusi, (4) demografikoleh:Partisipasi demokratis, (5) keadilan sosial, (6) pengetahuan masyarakat, (7) strategi berbasis bukti, (8) pengembangan kapasitas, (9) pembelajaran organisasi, dan (10) akuntabel.

Proses evaluasi mencakup tiga langkah kunci:

1)      Menetapkan misi atau visi masyarakat, dengan evaluator menjabat sebagai pelatih atau menjadi orang yang berpikiran kritis.

2)      Mengambil peranan, yang melibatkan penilaian atas dasar masyarakat, atau di mana dalam upayanya.

3)      Perencanaan untuk masa depan, yang melibatkan pengembangan tujuan, strategi, dan evidence.

Metode evaluasi tradisional, seperti wawancara dan survei, digunakan siklus untuk menguji apakah strategi bekerja dan memungkinkan masyarakat untuk membuat perbaikan di tengah jalan. Untuk mengukur pertumbuhan atau berubah seiring waktu, komunitas kemudian melakukan penilaian kegiatan lain dan membandingkan temuan pada penilaian dasar awal.

b.      Contoh Evaluasi Pemberdayaan

Melalui Program Desa Digital sebuah perusahaan komputer yang disediakan technology. untuk membantu tiga komunitas "di kesenjangan digital." Video conference memungkinkan orang di lokasi terpencil dari reservasi Indian Amerika untuk berpartisipasi dalam membangun misi, mengambil saham, dan penentuan prioritas, dan itu sendiri mewakili dokumentasi dari pencapaian kelompok. Di situs lain foto digital yang digunakan untuk mendokumentasikan masalah dengan disiplin siswa di sekolah-sekolah dan untuk menunjukkan dampak positif mendistribusikan komputer laptop untuk siswa dan guru.

J.       Model Lain evaluasi

1.      Model Evaluasi UCLA

Tayibnapis (1989: 11) Alkin (1969) menulis tentang kerangka kerja evaluasi yang hampir sama dengan model CIPP. Alkin mendefinisikan evaluasi sebagai suatu proses meyakinkan keputusan, memilih informasi yang tepat, mengumpulkan dan menganalisis informasi sehingga dapat melaporkan ringkasan data yang berguna bagi pembuat keputusan dan memilih beberapa alternatif. Alkin mengemukakan lima macam evaluasi yaitu:  System assessment, yang memberikan informasi tentang keadaan atau posisi sistem (Tayibnapis. 1989: 11). Mbulu (1994/1995: 83) system assessment,berfungsi memberikan informasi mengenai keadaan atau profil program. Program plannin, membantu pemilihan program tertentu yang mungkin akan berhasil memenuhi kebutuhan program (Tayibnapis. 1989: 11). Program implementation, yang menyiapkan informasi apakah program sudah diperkenalkan kepada kelompok tertentu yang tepat seperti yang direncanakan? (Tayibnapis. 1989: 11). Program improvement, yang memberikan informasi tentang bagaimana program berfungsi, bagaimana program bekerja, atau berjalan? Apakah menuju pencapaian tujuan, adakah hal-hal atau masalah-masalah baru yang muncul tak terduga (Tayibnapis. 1989: 11). Mbulu (1994/1995: 83)  program improvement, berfungsi memberikan informasi tentang bagaimana program tersebut bermanfaat dan bagaimana program dapat dilaksanakan.  Program certification, yang memberi informasi tentang nilai atau guna program(Tayibnapis. 1989: 11).

2.      Model evaluasi Brinkerhoff

Model ini dikembangkan oleh Brinkerhoff dan kawan-kawan, dengan mengemukakan tiga jenis desain yaitu (dalam Dwiyogo, 2006: 54):

1) Fixed vs Emergant evaluation design. Desain fixed ditentukan dan direncanakan secara sistematis dan desainnya dikembangkan dengan mengacu pada tujuan program. Rencana analisis dibuat sebelumnya dimana si pemakai akan menerima informasi seperti yang telah ditentukan dalam tujuan. Strategi pengumpulan informasi dalam desain ini menggunakan tes,angket, lembar wawancara.Berbedadengandesain fixed, desain emergent dibuat dengan maksud menangkap fenomenayang sedang berlangsung yang berpengaruh terhadap program seperti masukan-masukan baru. Pada prinsipnya desain ini terus berkembang sesuai dengan kondisi dan dapat berubah sesuai dengan kebutuhan. 2) Formatif vs Summative evaluation.Evaluasi formatif digunakan untuk memperoleh data bagi keperluan revisi program, sedangkan evaluasi sumatif dibuat untuk menilai kegunaan suatu program. Pada evaluasi sumatif fokus evaluasi ditujukan pada variabel-variabel yang dipandang penting dan berkaitan dengan kebutuhan pengambilan keputusan. 3) Desain eksperimental dan Quasi eksperimental vs Natural inquiry. Desain eksperimental, quasi eksperimental dan natural inquiry desain merupakan hasil adopsi dari disiplin penelitian. Desain eksperimental dan quasi eksperimental digunakan untuk menilai suatu program yang baru diujicobakan. Sedangkan natural inquiry dilakukan dengan cara evaluator terlibat langsung dengan sumber-sumber informasi serta program yang dilaksanakannya.

3.  Evaluasi Stake

Model ini dikembangkan oleh Stake (1967), analisis proses evaluasi yang dikemukakannya membawa dampak yang cukup besar dalam bidang ini dan meletakkan dasar yang sederhana namun merupakan konsep yang cukup kuat untuk perkembangan yang lebih jauh dalam bidang evaluasi. Stake menekankan adanya dua dasar kegiatan dalam evaluasi ialah Descriptions dan judgement dan membedakan adanya tiga tahap dalam program pendidikan yaitu: Antecedents (context), transaction (process), dan Outcomes (output) (Tayibnapis. 1989: 11).

Mbulu (1994/1995: 74-75): Tahappendahuluan (antecedents) menyangkut kondisi yang terlebih dahulu ada sampai pada saat dilakukan instruksi yang dihubungkan dengan hasil yang dicapai. Tahap transaksi (transactions) menyangkut proses dilakukannya instruksi dan hasil yang diperoleh adalah karena pengaruh dari proses tersebut. Tahap outcomes menyangkut hasil yang dicapai setelah program diimplementasikan serta untuk menentukan langkah kerja selanjutnya.

Penekanan yang umum atau hal yang penting dalam model ini ialah bahwa evaluator yang membuat penilaian tentang program yang dievaluasi. Stake mengatakan bahwa description di satu pihak berbeda dengan judgement atau menilai. Dalam model ini, antecedents (masukan), transaction (proses) dan outcomes (hasil) data dibandingkan tidak hanya untuk menentukan apakah ada perbedaan tujuan dengan keadaan sebenarnya, tetapi juga dibandingkan dengan standar yang absolut, untuk menilai manfaat program (Tayibnapis,1989:16-17).

DAFTAR PUSTAKA

Gall, M.D., Gall, J.P. and Borg, W.R. (2003). Educational Research: An Intoduction. New York: Pearson Education Inc.

Edison. 2009. Penelitian dan Evaluasi Dalam Bidang Pendidikan:Evaluasi CIPP,

Mbulu, J. 1995. Evaluasi Program Konsep Dasar, Pendekatan Model, dan Prosedur Pelaksanaan. Malang: Departemen Pendidikan dan Kebudayaan Institut Keguruan dan Ilmu Pendidikan Malang Proyek Operasi dan Perawatan Fasilitas.

Tayipnapis, F.Y. 1989. Evaluasi Program. Jakarta: Departemen Pendidikan dan Kebudayaan Direktorat Jendral Pendidikan Tinggi Proyek Pengembangan Lembaga Pendidikan Tenaga Kependidikan.