Comparison of Cutoff Scores Determined by ROC, Direct Consensus and Angoff Methods
Makaleler > Tam Makale · 2025
Yazarlar: Kılıç, Merve, Hakan ATILGAN, Gürel, Sungur
Boğaziçi Üniversitesi Eğitim Dergisi, Vol. 43, Uluslararası, 2025
Özet
Araştırmada Reciever Operating Characteristic (ROC), Angoff ve Doğrudan Uzlaşma Yöntemi (DUY) standart belirleme yöntemlerinden elde edilen kesme puanları karşılaştırılmıştır. Bu amaç doğrultusunda “Ege Üniversitesi Öğrenci Memnuniyeti Ölçeği” için ROC, Angoff ve DUY ile kesme puanı belirlenmiştir. Araştırma örneklemi 2021’de kayıtlı 23655 Ege Üniversitesi öğrencilerinden ve Üniversitesi Psikoloji bölümünde görev yapan 10 uzmandan oluşmaktadır. Araştırmadaki uzman görüşleri doğrultusunda Angoff için belirlenen kesme puanı 51,60; DUY için 49,50 olarak bulunmuştur. Uzman görüşü alınmayan ve altın standardı bulunmayan ROC için Örtük Sınıf Analizi yöntemiyle oluşturulan sınıflar altın standart olarak kullanıldığındaki kesme puanı 57 olarak bulunmuştur. Kesme puanlarına göre öğrencileri memnun/memnun değil sınıflandırmasında Cohen Kappa katsayısı ve z testi hesaplanmıştır. Cohen Kappa katsayıları ROC-Angoff için 0,66 ile iyi; DUY-Angoff için 0,91 ile mükemmel; DUY-ROC için 0,59 ile orta uyum bulunmuştur. Z testi sonuçlarında ise ROC-Angoff, ROC-DUY, DUY-Angoff arasında anlamlı farklılık bulunmuştur. Uzman kesme puanlarının uyumu için hesaplanan Kendall W katsayısı Angoff (0,14), DUY (0,27) için uzmanların uyumsuz olduğu bulunmuştur.