Standard Setting
Modified-Angoff dan Borderline-Regression
Standard Setting
Proses penentuan ambang batas untuk membedakan peserta yang dianggap memenuhi syarat dan yang tidak memenuhi syarat
Proses Pendidikan
🔍 Apa itu Modified‑Angoff?
Metode ilmiah untuk menetapkan cutscore (nilai batas kelulusan) berbasis konsensus pakar/SME (Subject Matter Experts)
Digunakan pada ujian sertifikasi, lisensi, dan kredensial profesional
Bentuk modifikasi dari Angoff: melibatkan penilaian dua putaran & diskusi pakar.
Mengapa Menggunakan Modified‑Angoff?
🔒 Defensibel & sah secara akademik – diterima secara luas
✔️ Evaluasi berdasarkan kompetensi nyata, bukan angka sembarang seperti 70%
🕒 Cepat & fleksibel – bisa dilakukan sebelum pelaksanaan ujian dan untuk berbagai tipe soal
Kerangka Langkahnya
1. Siapkan Panel SME
Ideal: 6–10 orang, tersebar lintas lokasi & disiplin
Latihan: jelaskan peran, definisi MCC (minimally competent candidate)
2. Definisikan MCC
- Panel mendeskripsikan kandidat pada ambang kelulusan: “cukup minimal tapi tidak ideal.”
3. Putaran 1: Estimasi Independen
Setiap SME memberikan estimasi proporsi MCC yang bisa menjawab benar tiap item (0–100%)
Dilakukan secara independen, bahkan bisa daring
Putaran Diskusi & Putaran 2
Panel membahas perbedaan opini ekstrem (>=30 % selisih), merevisi estimasi
Setelah diskusi, lakukan putaran 2: SME diperbolehkan mengubah estimasi mereka.
Hitung & Tetapkan Cutscores
Untuk tiap item, rata-rata estimasi SME → jumlahkan untuk total cutscore (persentase)
Tambahkan kompensasi seperti SEM jika diperlukan (contoh: pada ujian medis)
Tambahan: Validasi & Koreksi Realita
Inter-rater reliability sering >0.85
Metode tambahan seperti Beuk Compromise mengoreksi kecenderungan panel terlalu optimistis (overestimate)
Tools seperti Angoff Analysis Tool mendukung perhitungan reliabilitas, Hofstee, Beuk dalam spreadsheet
Ringkasan Alur
Panel SME + definisi MCC
Estimasi independen (put1)
Identifikasi & diskusi perbedaan ekstrem
Estimasi ulang (put2)
Rata-rata & hitung total cutscore
Sesuaikan via Beuk/Hofstee jika ada data
Dokumentasi & verifikasi legal/akademik
Tips Tambahan
Pastikan SME melihat data historis (performance stats) untuk realita
Panel yang heterogen (pengalaman beragam) meningkatkan reliabilitas
Perlu update berkala (misalnya tiap 3 tahun atau saat ada perubahan signifikan)
🧾 Latihan
Mari kita sepakati kriteria MCC!
Mari kita lihat soal-soal berikut
Soal 1
Andi adalah seorang pelaut berusia 35 tahun yang sedang menjalani pemeriksaan kesehatan berkala untuk memenuhi persyaratan STCW. Dalam pemeriksaan ini, didapati bahwa Andi memiliki tinggi badan 170 cm dan berat badan 90 kg. Ia juga menjalani uji kapabilitas fisik, termasuk tes kekuatan genggaman, kemampuan berjalan cepat sejauh 100 meter tanpa kelelahan, dan memanjat tangga kapal setinggi 2 meter. Hasil tes menunjukkan bahwa Andi mengalami kesulitan memanjat tangga dan merasa cepat lelah setelah berjalan. Berdasarkan vignette di atas, pilihlah jawaban yang paling tepat terkait evaluasi dan tindakan berdasarkan kriteria STCW. Berapakah nilai BMI (Body Mass Index) Andi, dan bagaimana status kategorinya?
A. 27, overweight, fit to sail
B. 31, overweight, fit to sail
C. 31, obese class I, unfit for temporary
D. 34, obese class I, unfit for temporary
E. 35, obese class II, unfit to permanent
Soal 2
Andi adalah seorang pelaut berusia 35 tahun yang sedang menjalani pemeriksaan kesehatan berkala untuk memenuhi persyaratan STCW. Dalam pemeriksaan ini, didapati bahwa Andi memiliki tinggi badan 170 cm dan berat badan 90 kg. Ia juga menjalani uji kapabilitas fisik, termasuk tes kekuatan genggaman, kemampuan berjalan cepat sejauh 100 meter tanpa kelelahan, dan memanjat tangga kapal setinggi 2 meter. Hasil tes menunjukkan bahwa Andi mengalami kesulitan memanjat tangga dan merasa cepat lelah setelah berjalan. Berdasarkan hasil pemeriksaan, apakah rekomendasi utama yang perlu diberikan kepada Andi untuk memenuhi kriteria STCW?
A. Latihan fisik intensif dan konsumsi suplemen penambah tenaga.
B. Penurunan berat badan melalui program diet dan olahraga terstruktur.
C. Operasi bariatrik untuk penurunan berat badan cepat.
D. Pemberian sertifikat kesehatan sementara tanpa pembatasan kerja.
E. Mengizinkan bertugas tanpa intervensi lebih lanjut.
Soal 3
Andi adalah seorang pelaut berusia 35 tahun yang sedang menjalani pemeriksaan kesehatan berkala untuk memenuhi persyaratan STCW. Dalam pemeriksaan ini, didapati bahwa Andi memiliki tinggi badan 170 cm dan berat badan 90 kg. Ia juga menjalani uji kapabilitas fisik, termasuk tes kekuatan genggaman, kemampuan berjalan cepat sejauh 100 meter tanpa kelelahan, dan memanjat tangga kapal setinggi 2 meter. Hasil tes menunjukkan bahwa Andi mengalami kesulitan memanjat tangga dan merasa cepat lelah setelah berjalan. Berdasarkan vignette di atas, pilihlah jawaban yang paling tepat terkait evaluasi dan tindakan berdasarkan kriteria STCW. Apakah salah satu tujuan pemeriksaan kapabilitas fisik sesuai STCW?
A. Memastikan pelaut mampu mengangkat beban lebih dari 30 kg tanpa cedera.
B. Memastikan pelaut mampu berenang sejauh 50 meter tanpa alat bantu.
C. Memastikan pelaut mampu melakukan tugas darurat tanpa membahayakan dirinya sendiri dan orang lain.
D. Memastikan pelaut mampu menahan beban di bahu selama lebih dari 5 menit.
E. Memastikan pelaut mampu melakukan semua tugas di kapal dengan alat pelindung diri.
Soal 4
Rudi, seorang pelaut berusia 40 tahun, menjalani pemeriksaan kesehatan untuk perpanjangan sertifikat medis STCW. Riwayat medis menunjukkan bahwa Rudi menderita Diabetes Mellitus tipe 2 yang terkontrol dengan obat oral. Dalam evaluasi klinis, dokter mendapati bahwa Rudi tidak memiliki komplikasi organ target dan mampu menjalankan tugas fisik sesuai standar kerja di kapal. Berdasarkan riwayat Diabetes Mellitus tipe 2 Rudi yang terkontrol, apakah yang harus dipastikan oleh dokter sebelum memberikan sertifikat kesehatan?
A. Rudi tidak memiliki riwayat hipoglikemia berat dalam 3 bulan terakhir.
B. Rudi mampu mengontrol kadar gula darah hanya melalui diet tanpa obat.
C. Rudi menjalani pemeriksaan HbA1c setiap bulan di kapal.
D. Rudi tidak memerlukan pemeriksaan lanjutan selama bertugas.
E. Rudi mampu bertugas di kapal dengan pengecualian shift malam.
Soal 5
Rudi, seorang pelaut berusia 40 tahun, menjalani pemeriksaan kesehatan untuk perpanjangan sertifikat medis STCW. Riwayat medis menunjukkan bahwa Rudi menderita Diabetes Mellitus tipe 2 yang terkontrol dengan obat oral. Selain itu, hasil tes menunjukkan bahwa ia memiliki riwayat Hepatitis B (antibodi positif, antigen negatif). Dalam evaluasi klinis, dokter mendapati bahwa Rudi tidak memiliki komplikasi organ target dan mampu menjalankan tugas fisik sesuai standar kerja di kapal. Apa implikasi dari status Hepatitis B Rudi berdasarkan hasil tes (antibodi positif, antigen negatif)?
A. Rudi harus dinyatakan tidak layak bekerja karena risiko infeksi aktif.
B. Rudi dapat diberikan sertifikat kesehatan tanpa batasan tugas.
C. Rudi memerlukan vaksin Hepatitis B sebelum bertugas.
D. Rudi harus menjalani tes fungsi hati setiap bulan.
E. Rudi hanya diizinkan bekerja di kapal dengan perjalanan domestik.
Borderline Regression Method
Banyak digunakan dalam OSCE dan performance based assessment
Pada setiap Station, peserta dinilai berdasarkan 2 metode:
Check list based method
Global performance (e.g. fail, borderline, pass, outstanding)
Global Rating
Persepsi (kesan) umum dari penguji terhadap performance keseluruhan peserta ujian (sesuai aspek yang diuji) –> Global Rating
Tidak lulus (0)
Borderline (minimally competence) (1)
Lulus (2)
Superior (3)
Perhitungan
Nilai Global performance setiap peserta diregresi dengan nilai chek list
Pada regresi:
Nilai global performance sebagai independent variable
Nilai check list sebagai dependent variable
Nilai batas lulus adalah perpotongan antara borderline dan nilai ujian
Terima kasih