Pemanfaatan Hasil Analisis Butir Soal SPADA
Mohammad Rizki
2023-06-17
Feedback Loop di Basic Teaching Model
Analisis Butir Soal di SPADA
Contoh Hasil Analisis Butir Soal di SPADA
Quiz Information
| Quiz name | Kuis Tutorial - Skenario 1 |
| Course name | Blok XII Hematopoietik & Limforetikuler 2022/2023 |
| Open the quiz | Friday, 12 May 2023, 3:00 PM |
| Close the quiz | Friday, 12 May 2023, 3:30 PM |
| Open for | 30 mins |
| Number of complete graded first attempts | 128 |
| Total number of complete graded attempts | 128 |
| Average grade of first attempts | 63.62% |
| Average grade of all attempts | 63.62% |
| Average grade of last attempts | 63.62% |
| Average grade of highest graded attempts | 63.62% |
| Median grade (for highest graded attempt) | 71.43% |
| Standard deviation (for highest graded attempt) | 15.20% |
| Score distribution skewness (for highest graded attempt) | -1.5500 |
| Score distribution kurtosis (for highest graded attempt) | 2.8219 |
| Coefficient of internal consistency (for highest graded attempt) | 36.81% |
| Error ratio (for highest graded attempt) | 79.49% |
| Standard error (for highest graded attempt) | 12.08% |
Quiz Information - Deskriptif
- Total number of first/graded attempts
- Average grade for first/all attempts
- Median grade
- Standard deviation of grades
- Skewness and Kurtosis of the grade distribution
Quiz Information - Reliabilitas & Variasi
- Coefficient of internal consistency (Cronbach Alpha) - reliabilitas internal, sejauh mana tanggapan terhadap butir soal yang berbeda dalam ujian berkorelasi satu sama lain
- Error ratio - error ratio memperkirakan dari total variasi nilai seberapa banyak variasi yang bersifat random
- Standard error - turunan dari error ratio, menunjukkan seberapa banyak variasi random di tiap nilai
Quiz Information - Tips Reliabilitas
Reliabilitas Internal1
- ≥0,90 untuk ujian sertifikasi (misalnya UKMPPD)
- 0,80-0,89 untuk ujian akhir blok atau ujian akhir semester
- 0,70-0,79 untuk ujian formatif
- ≤0,69 untuk tes singkat dengan jumlah soal sedikit misalnya kuis
Quiz Structure Analysis
| Q# | Question type | Question name | Attempts | Facility index | Standard deviation | Random guess score | Intended weight | Effective weight | Discrimination index | Discriminative efficiency |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Multiple choice | Seorang anak laki-laki 4 tahun dibawa ibunya ke puskesmas karena tampak pucat... | 128 | 89.84% | 30.33% | 20.00% | 14.29% | 17.98% | 47.53% | 66.96% |
| 2 | Multiple choice | Seorang anak laki-laki 5 tahun dibawa orang tuanya ke dokter karena sering ... | 128 | 83.59% | 37.18% | 20.00% | 14.29% | 20.00% | 42.15% | 56.61% |
| 3 | Multiple choice | Seorang laki-laki 19 tahun datang ke rumah sakit untuk pemeriksaan kesehatan ... | 128 | 93.75% | 24.30% | 20.00% | 14.29% | 13.88% | 30.68% | 43.20% |
| 4 | Multiple choice | Seorang laki-laki 56 tahun dirawat di rumah sakit untuk menjalani operasi ... | 128 | 10.94% | 31.33% | 20.00% | 14.29% | 4.38% | -24.77% | -88.72% |
| 5 | Multiple choice | Seorang laki-laki 69 tahun datang ke rumah sakit untuk menjalani hemodialisis... | 128 | 81.25% | 39.18% | 20.00% | 14.29% | 18.61% | 23.10% | 27.76% |
| 6 | Multiple choice | Seorang perempuan 25 tahun datang ke puskesmas untuk memeriksakan kehamilan. ... | 128 | 78.91% | 40.96% | 20.00% | 14.29% | 18.41% | 16.64% | 21.47% |
| 7 | Multiple choice | Seorang perempuan 28 tahun datang ke dokter dengan keluhan badan terasa lemah... | 128 | 7.03% | 25.67% | 20.00% | 14.29% | 6.74% | -12.80% | -42.12% |
Isi Quiz structure analysis - Deskriptif
- Q# - nomor urut soal di buku soal (sebelum diacak oleh sistem)
- Question name - biasanya otomatis berisi kalimat awal soal
- Attempts - jumlah mahasiswa yang mengerjakan soal
- Random guess score - skor yang diperoleh bila menjawab secara menebak
Isi Quiz structure analysis - Analisis Butir Soal
- Facility Index - sama dengan indeks kesukaran (index of difficulty)
- Standard Deviation - variasi skor untuk butir soal dimaksud
- Intended weight - bobot soal yang ditetapkan
- Effective weight - bobot soal berdasar hasil analisis soal
- Discrimination index - indeks diskriminasi, korelasi antar skor butir soal dan skor ujian
- Discriminative efficiency - serupa dengan Discrimination index.
Interpretasi Indeks Diskriminasi
| Indeks Diskriminasi | Nilai Butir Soal1 |
|---|---|
| ≤0,19 | Kurang, ditolak atau harus direvisi |
| 0,2-0,29 | Cukup |
| 0,3-0,39 | Baik |
| ≥0,4 | Sangat baik |
Interpretasi Indeks Kesukaran
| Indeks Kesukaran | Nilai Butir Soal1 |
|---|---|
| <0,3 | Sukar |
| 0,3-0,7 | Rata-rata |
| >0,7 | Mudah |
Pemilihan Butir Soal
- Karakteristik butir soal dapat digunakan untuk panduan penyusunan ujian berikutnya
- Butir soal disimpan dalam bank soal beserta karakteristik tiap parameternya
- Soal yang digunakan dalam ujian:
- Indeks kesukaran antara 0,3-0,7
- Indeks diskriminasi ≥0,2
- Seluruh distraktor berfungsi dengan baik
Butir Soal 1
Soal 1
Seorang anak laki-laki 4 tahun dibawa ibunya ke puskesmas karena tampak pucat. Pemeriksaan fisik menunjukkan keadaan umum sedang, compos mentis, gizi kurang, konjungtiva anemis, sklera tidak ikterik, dan mukosa bibir tampak ulkus kecil. Apakah komplikasi jangka panjang bila keadaan ini tidak ditangani?
A. Gangguan tumbuh kembang
B. Keganasan
C. Multiple organ failure
D. Imunodefisiensi
E. Degenerasi
ANSWER: A
Hasil Analisis
| Facility index | 89.84% |
| Discrimination index | 47.53% |
Analisis Distraktor
| Model response | Frequency |
|---|---|
| Gangguan tumbuh kembang | 89.84% |
| Keganasan | 4.69% |
| Multiple organ failure | 0.00% |
| Imunodefisiensi | 3.91% |
| Degenerasi | 1.56% |
| [No response] | 0.00% |
Butir Soal 2
Soal 2
Seorang anak laki-laki 5 tahun dibawa orang tuanya ke dokter karena sering makan kertas. Kebiasaan ini muncul sejak sekitar 5 bulan yang lalu. Orang tua dua-duanya bekerja dan jarang mengasuh anak. Anak diasuh oleh saudara yang tinggal di dekat rumah. Pada pemeriksaan fisik, anak tampak pucat dan kurus. Pemeriksaan laboratorium menunjukkan hemoglobin 6 g/dL, eritrosit 1,5x106/\(\mu\)L, hematokrit 20%, leukosit 11x103/\(\mu\)L, trombosit 200x103/\(\mu\)L, dan serum iron 30 mg/dL. Apakah diagnosis yang tepat?
A. Anemia defisiensi besi
B. Anemia defisiensi asam folat
C. Anemia defisiensi vitamin B12
D. Anemia hemolitik
E. Anemia pada penyakit kronis
ANSWER: A
Hasil Analisis
| Facility index | 83.59% |
| Discrimination index | 42.15% |
Analisis Distraktor
| Model response | Frequency |
|---|---|
| Anemia defisiensi besi | 83.59% |
| Anemia defisiensi asam folat | 1.56% |
| Anemia defisiensi vitamin B12 | 3.91% |
| Anemia hemolitik | 6.25% |
| Anemia pada penyakit kronis | 4.69% |
| [No response] | 0.00% |
Butir Soal 3
Soal 3
Seorang laki-laki 19 tahun datang ke rumah sakit untuk pemeriksaan kesehatan untuk mendaftar kedinasan. Ia khawatir pemeriksaan laboratoriumnya akan menjadi kendala seperti salah seorang temannya yang tidak lolos karena hemoglobinnya rendah. Ia menanyakan apakah hal yang paling sering menyebabkan hemoglobin rendah. Apakah jawaban untuk pertanyaan pasien ini?
A. Anemia defisiensi besi
B. Anemia defisiensi asam folat
C. Anemia defisiensi vitamin B12
D. Anemia hemolitik
E. Anemia pada penyakit kronis
ANSWER: A
Hasil Analisis
| Facility index | 93.75% |
| Discrimination index | 30.68% |
Analisis Distraktor
| Model response | Frequency |
|---|---|
| Anemia defisiensi besi | 93.75% |
| Anemia defisiensi asam folat | 0.00% |
| Anemia defisiensi vitamin B12 | 4.69% |
| Anemia hemolitik | 0.00% |
| Anemia pada penyakit kronis | 1.56% |
| [No response] | 0.00% |
Butir Soal 4
Soal 4
Seorang laki-laki 56 tahun dirawat di rumah sakit untuk menjalani operasi gastrektomi. Apakah morfologi anemia yang dapat dialami pasien ini pasca operasi?
A. Normositik normokromik
B. Mikrositik hipokromik
C. Makrositik normokromik
D. Normositik hipokromik
E. Aplastik
ANSWER: C
Hasil Analisis
| Facility index | 10.94% |
| Discrimination index | -24.77% |
Analisis Distraktor
| Model response | Frequency |
|---|---|
| Normositik normokromik | 8.59% |
| Mikrositik hipokromik | 72.66% |
| Makrositik normokromik | 10.94% |
| Normositik hipokromik | 5.47% |
| Aplastik | 2.34% |
| [No response] | 0.00% |
Butir Soal 5
Soal 5
Seorang laki-laki 69 tahun datang ke rumah sakit untuk menjalani hemodialisis. Pasien menderita gagal ginjal kronis dan menjalani hemodialisis sejak 4 tahun yang lalu. Pemeriksaan fisik menunjukkan keadaan umum sedang, compos mentis, gizi cukup. Pemeriksaan laboratorium menunjukkan hemoglobin 8 g/dL dan direncanakan untuk transfusi. Pasien tahun lalu juga dua kali memperoleh transfusi darah. Apakah tatalaksana farmakoterapi yang dapat menurunkan kebutuhan dilakukan transfusi pada pasien ini?
A. Preparat besi
B. Sianokobalamin
C. Zinc
D. Asam folat
E. Eritropoietin
ANSWER: E
Hasil Analisis
| Facility index | 81.25% |
| Discrimination index | 23.10% |
Analisis Distraktor
| Preparat besi | 11.72% |
| Sianokobalamin | 3.13% |
| Zinc | 1.56% |
| Asam folat | 2.34% |
| Eritropoietin | 81.25% |
| [No response] | 0.00% |
Butir Soal 6
Soal 6
Seorang perempuan 25 tahun datang ke puskesmas untuk memeriksakan kehamilan. Saat ini ia hamil 6 bulan dan sering merasa lelah. Pemeriksaan fisik menunjukkan keadaan umum sedang, compos mentis, gizi cukup. Konjungtiva tampak anemis, sklera tidak ikterik. Pemeriksaan laboratorium menunjukkan hemoglobin 8 g/dL, hematokrit 24%, eritrosit 2,2x106/\(\mu\)L, MCV 109 fL, MCH 36,4 pg, MCHC 33,3 g/dL, leukosit 4,8x103/\(\mu\)L, dan trombosit 150x103/\(\mu\)L. Apakah etiologi yang paling mungkin pada kasus ini?
A. Defisiensi besi
B. Defisiensi asam folat
C. Defisiensi asam askorbat
D. Defisiensi albumin
E. Defisiensi kalsiferol
ANSWER: B
Hasil Analisis
| Facility index | 78.91% |
| Discrimination index | 16.64% |
Analisis Distraktor
| Defisiensi besi | 19.53% |
| Defisiensi asam folat | 78.91% |
| Defisiensi asam askorbat | 1.56% |
| Defisiensi albumin | 0.00% |
| Defisiensi kalsiferol | 0.00% |
| [No response] | 0.00% |
Butir Soal 7
Soal 7
Seorang perempuan 28 tahun datang ke dokter dengan keluhan badan terasa lemah sejak 3 bulan lalu. Ia juga merasa mudah lelah saat beraktivitas dan konsentrasinya menurun. Teman kost-nya mengatakan wajahnya makin pucat. Pada pemeriksaan fisik ditemukan tekanan darah 110/70 mmHg, nadi 82x/menit, respirasi 24x/menit, dan suhu aksilar 38oC. Ditemukan lien membesar Schuffner II. Pemeriksaan darah rutin menunjukkan hemoglobin 8 g/dL, eritrosit 2,5x106/\(\mu\)L, hematokrit 25%, leukosit 10x103/\(\mu\)L, dan trombosit 350x103/\(\mu\)L. Apakah pemeriksaan laboratorium lanjutan yang tepat?
A. Indeks retikulosit
B. Status besi
C. Biopsi sumsum tulang
D. Flowcytometry
E. Elektroforesis hemoglobin
ANSWER: A
Hasil Analisis
| Facility index | 7.03% |
| Discrimination index | -12.80% |
Analisis Distraktor
| Indeks retikulosit | 7.03% |
| Status besi | 75.00% |
| Biopsi sumsum tulang | 10.94% |
| Flowcytometry | 0.78% |
| Elektroforesis hemoglobin | 6.25% |
| [No response] | 0.00% |
Daftar Pustaka
Ananthakrishnan, N. 2000. “Item Analysis Validation and Banking of MCQs.” In Medical Education: Principles and Practice, edited by N Ananthakrishnan, KR Sethuraman, and Santhosh Kumar, 2nd ed., 155–56. Puducherry: Alumni Association of NTTC Publishers.
Downing, Steven M. 2004. “Reliability: On the Reproducibility of Assessment Data.” Medical Education 38 (9): 1006–12. https://doi.org/https://doi.org/10.1111/j.1365-2929.2004.01932.x.
Ebel, Robert L., and David A. Frisbie. 1991. Essentials of Educational Measurement. 5th ed. New Delhi: Prentice-Hall of India.