Cohen Kappa Hesaplama
Cohen kappa (κ), aynı olguları bağımsız olarak sınıflandıran iki gözlemcinin ne ölçüde uyuştuğunu, şans eseri beklenen uyumu düşerek ölçer. İçerik analizinde kodlayıcılar arası güvenirlik, tıpta iki hekimin tanı uyumu, makine öğrenmesinde etiketleyici tutarlılığı hep bu katsayıyla raporlanır.
Ham yüzde uyum yanıltıcıdır: iki gözlemci hiç bakmadan rastgele karar verse bile belirli bir uyum kendiliğinden oluşur. Kappa bu şans payını düşer. Bu araç uyum matrisinizden κ değerini, gözlenen uyum pₒ ile şans uyumu pₑ'yi, asimptotik standart hatayı, z istatistiğini, p değerini, güven aralığını ve marjinaller sabitken ulaşılabilecek en yüksek değer olan κ_max'i hesaplar; Landis-Koch ölçeğinde yorumunu verir.
Cohen Kappa Formülleri
Gözlenen uyum: pₒ = Σᵢ pᵢᵢ (köşegen oranlarının toplamı)
Şans uyumu: pₑ = Σᵢ pᵢ. · p.ᵢ (marjinal oranların çarpımları)
Cohen kappa: κ = (pₒ − pₑ) / (1 − pₑ)
Güven aralığı: κ ± z_{1−α/2} · SE(κ)
Test istatistiği: z = κ / SE₀, SE₀ = H₀: κ = 0 altındaki standart hata
Ulaşılabilir en üst: pₒ,max = Σᵢ min(pᵢ., p.ᵢ), κ_max = (pₒ,max − pₑ) / (1 − pₑ)
Yorum ölçeği: < 0 uyumsuz · 0–0,20 önemsiz · 0,21–0,40 zayıf
0,41–0,60 orta · 0,61–0,80 iyi · 0,81–1,00 çok iyiStandart hata Fleiss, Cohen ve Everitt'in (1969) asimptotik varyans formülüyle hesaplanır; SPSS'in Crosstabs > Kappa çıktısındaki değerle aynıdır. Landis-Koch eşikleri geleneksel ve keyfîdir, alanın klinik önemine göre değişir.
Nasıl Hesaplanır?
- İki gözlemcinin sınıflandırmalarını kare bir uyum matrisine dökün: satırlar birinci gözlemcinin, sütunlar ikinci gözlemcinin kategorileridir.
- Matrisin her satırını ayrı bir satır olarak kutuya yazın; kategori sıralamasının satır ve sütunlarda aynı olmasına dikkat edin.
- Kategori adlarını virgülle ayırarak girin; matris ve grafikler bu adlarla etiketlenir.
- Güven düzeyini ve anlamlılık düzeyini seçin, ardından κ değerini güven aralığıyla birlikte okuyun.
- Gözlenen uyum ile kappa arasındaki farkı inceleyin: fark büyükse yüzde uyumun ne kadar yanıltıcı olduğunu görürsünüz.
- κ_max değerini kontrol edin; 1'in belirgin altındaysa beklenenden düşük çıkan bir κ, gerçek uyumsuzluktan değil marjinal dengesizlikten kaynaklanıyor olabilir.
Örnek Hesaplamalar
İki hekimin tanı uyumu (2×2)
100 olgunun 85'inde iki hekim aynı kararı vermiş; gözlenen uyum %85,00, şans uyumu %50,00'dir. κ = 0,7000 (%95 GA: 0,5607 – 0,8393), z = 7,0353 ve p < 0,001 ile uyum şanstan anlamlı biçimde farklıdır. Landis-Koch ölçeğinde iyi uyum düzeyine karşılık gelir ve κ_max = 0,9000'dir.
Cohen kappa (κ): 0,7000 · %95 güven aralığı: 0,5607 – 0,8393 · Gözlenen uyum (pₒ): %85,00
Üç kategorili içerik kodlaması (3×3)
100 metnin 79'unda iki kodlayıcı aynı kategoriyi seçmiştir: pₒ = %79,00 ve pₑ = %33,80. κ = 0,6828 (%95 GA: 0,5617 – 0,8039) ile iyi uyum elde edilir; p < 0,001'dir. κ_max = 0,9698 olduğundan gözlemcilerin kategori kullanım sıklıkları birbirine yakındır.
Cohen kappa (κ): 0,6828 · %95 güven aralığı: 0,5617 – 0,8039 · Gözlenen uyum (pₒ): %79,00
Kappa paradoksu: yüksek yüzde uyum, düşük kappa
Gözlenen uyum yine %85,00'tir, ancak kategorilerden biri çok baskın olduğu için şans uyumu %78,00'e yükselir ve κ = 0,3182'ye (%95 GA: 0,0566 – 0,5798) düşer. Landis-Koch ölçeğinde bu yalnızca zayıf uyumdur; κ_max = 0,7727 olduğundan marjinal dengesizlik de sonucu aşağı çekmektedir.
Cohen kappa (κ): 0,3182 · %95 güven aralığı: 0,0566 – 0,5798 · Gözlenen uyum (pₒ): %85,00