κ係数（カッパ係数）の目安
κ係数（カッパ係数）とは、測定の一致度を示す代表的な指標です。
κ係数は0-1の範囲をとり、1で完全な一致となります。
しかし、その間の目安については複数の報告があり悩ましいところです。
見つけられたものを中心にまとめてみました。
Landis [1] の目安（おそらくもっともスタンダード）
< 0.00：Poor agreemtn（乏しい一致）
0.00-0.20：Slight agreement（わずかな一致）
0.21-0.40：Fair（ある程度の一致）
0.41-0.60：Moderate（適度な一致）
0.61-0.80：Substantial（かなりの一致）
0.81-1.00：Almost（ほぼ完全な、完全な一致）
Fleiss [2] の目安
< 0.40：Poor agreement beyond chance（偶然を超えた乏しい一致）
0.40-0.75：Fair to good agreement beyond chance（〃まずまずから良好な一致）
> 0.75：Excellent agreement beyond chance（〃すぐれた一致）
Pinto [3] の目安
< 0.40：Poor
0.41-0.57：Fair
0.58-0.75：Good
> 0.75：Excellent
上記のように、色々あるようです。
この場合、下記のようなことが起こります [4]
例えば、κ = 0.59の場合、ある目安ではGoodですが、別の目安ではModerateです。
またκ = 0.77の場合、ある目安ではExcellentですが、別の目安ではSubstantialです。
κがこれに当てはまる場合、とても説明が難しく、都合の良い解釈をしてしまいそうですね・・
これらのことからByrt [4] は、バイアスや有病率の影響を受けない計算上のカッパ係数を示しました。
< 0.00：No agreement（一致なし）
0.01-0.20：Poor agreement（乏しい一致）
0.21-0.40：Slight agreement（わずかな一致）
0.41-0.60：Fair agreement（ある程度の一致）
0.61-0.80：Good agreement（良好な一致）
0.81-0.92：Very good agreement（非常に良い一致）
0.93-0.10：Excellent agreement（すぐれた一致）
この結果は先行研究のものと大きな差異はないものの、有病率やバイアスの影響を受けない目安として用いることができるのではないか、とされています。
McHungh [5]はヘルスケア分野での評価において、κ = 0.41-0.60をModerateとする場合、最低値の0.41が比較的適切な一致に含まれることを危惧して、厳しい基準を示しています。
0-0.20：None
0.21-0.39：Minimal
0.40-0.59：Weak
0.60-0.79：Moderate
0.80-0.90：Strong
Above 0.90：Almost Perfect
この目安では、0.60未満は一致率が不十分であることを示しています。
１つの係数をとってもいくつもの目安があるようです。確かに、分野によってはMcHungh [5] の主張は納得できます。内容によっても使い分けが必要なのかもしれません。
引用文献
[1]. Landis JR, Koch GG. The measurement of abserver agreement for categorical data. Biometrics. 1977;33(1):159-74.
[2]. Fleiss JL. Statistical Methods for Rates and Proportions. 2nd ed. New York: John Wiley and Sons, 1981; 218.
[3]. Pinto J, Paneth N, Kazam E, et al. Interobsever variability in neonatal cranial ultrasonography. Paediatr Perinat Epidemiol. 1988;2(1):43-58.
[4]. Byrt. How good is that agreement? Epidemiology. 1996;7(5):561
[5]. McHugh ML. Interrater reliability: the kappa statistics. Biochem Med. 2012;22(3):276-82.
