外国語能力試験などでは、各項目に対する反応について統計的なモデルを適用し、受験者の能力や項目の難易度・識別力を算出する項目反応理論が用いられることが多い。よく用いられる2パラメータロジスティックモデル (2PLM) においては、能力値が である受験者が識別力
、困難度
の項目
に正答する確率
を
P_i(\theta)=\frac{1}{1+e^{-a_i(\theta-b_i)}}\tag{1}
\end{align}
としている。識別力 が大きいほど確率は
に対して敏感に変動する。困難度
は正答率が50%になる
を示している。
これは1つの項目に対する反応が正誤の2パターンである場合に使えるが、反応が優劣の順序のついた3つ以上の段階からなる場合に用いられるモデルに段階反応モデルがある。
例えば、項目 に対する反応が評価の低い順に0から4までの5段階あり、それらの反応が得られる確率をモデル化するとする。この場合、2PLMの項目が項目
から項目
の4つあるとして表すのが素直だが、2PLMの項目
に
が正答する確率
はもとの項目
に対する反応が
以上である確率であるから、項目
への反応
が
である確率
は
Q_{j}(k_j=k|\theta)=P_{j_k}(\theta)-P_{j_{k+1}}(\theta)\tag{2}
\end{align}
ただし 、
。
全ての に対して
であるために、各2PLMの項目の識別力
は共通の値
であり、また
でなければならない。
、
、
、
、
の項目に対する反応が0~4である確率のそれぞれが下図である。
テストでは、こうした項目が多数あり、それに対する反応の結果 から受験者の能力
を推定し、それが受験者の能力評価値になる。
すでに各項目に対する や
が与えられている場合、推定手法として最尤推定法が有効である。
受験者 の各項目に対する反応が
のようなときに、受験者
の能力
が
である尤度
は
L(\theta_h=\theta|\{k_{jh}\})=\prod_j{Q_{j}(k_j=k_{jh}|\theta)}\tag{3}
\end{align}
であり、これが最大値をとる を推定値
とするのが最尤推定法である。しかし、コンピュータによる計算でこれを算出する場合、項目の数が多いと尤度は最大値でも非常に小さくなり、取り扱いにくくなるうえ、各項目に対する反応の尤度の積というのも取り扱いにくいため、尤度は対数を取ることが多い。その場合、(3)式は
\ln L(\theta_h=\theta|\{k_{jh}\})=\sum_j{\ln Q_{j}(k_j=k_{jh}|\theta)}\tag{4}
\end{align}
となり、各項目に対する反応の対数尤度の和になって取り扱いやすくなる。以下、 を
、
を
と略記する。
ここで重要なのは、最尤値 では対数尤度の微分がゼロになることである。
とくに対数尤度グラフが上図のような単純な山形である場合、 が正であるような項目はそれだけ推定値
の値を「押し上げて」おり、また負であるような項目は
の値を「引き下げて」いるというのが直感的に理解しやすいと思う。
ちなみに、各項目では の値は下図からも見て取れるように能力値
が困難度
より十分小さい場合は
に漸近し、1段階上の反応の困難度
より十分大きい場合は
に漸近する。このことから、このモデルはいたずらに困難度の高い項目・反応段階を達することよりも、受験者能力に近い項目・反応段階での成績のほうが受験者能力の推定値に大きく関わってくるということがいえる。
ここで、ある項目 を除いて回答が同一である二人の受験者
、
の能力推定値がどのように異なるのかを考察する。項目
に対して
は
、
は
と反応したとする(ただし、
とする)。受験者
の能力の最尤推定値
を定める。すると、
\ln L_{h_2}(\theta)=\ln L_{h_1}(\theta)-\ln Q_{h_1j'}(\theta)+\ln Q_{h_2j'}(\theta)\tag{6}
\end{align}
\ln L_{h_1}(\theta)=\frac{1}{2} \left.\frac{d^2}{d\theta^2}\ln L_{h_1}(\theta)\right|_{\theta=\hat{\theta_{h_1}}} (\theta-\hat{\theta_{h_1}})^{2}+\ln L_{h_1}(\hat{\theta_{h_1}})\tag{7}
\end{align}
\frac{d}{d\theta}\ln L_{h_2}(\theta)=\left.\frac{d^2}{d\theta^2}\ln L_{h_1}(\theta)\right|_{\theta=\hat{\theta_{h_1}}} (\theta-\hat{\theta_{h_1}})+\frac{d}{d\theta}\left(\ln Q_{h_2j'}(\theta)-\ln Q_{h_1j'}(\theta)\right)\tag{8}
\end{align}
\hat{\theta_{h_2}}-\hat{\theta_{h_1}}=-\frac{\left.\frac{d}{d\theta}\left(\ln Q_{h_2j'}(\theta)-\ln Q_{h_1j'}(\theta)\right)\right|_{\theta=\hat{\theta_{h_2}}}}{\left.\frac{d^2}{d\theta^2}\ln L_{h_1}(\theta)\right|_{\theta=\hat{\theta_{h_1}}}}\tag{9}
\end{align}
