Porównywanie krzywych ROC

Bardzo często celem badań jest porównanie wielkości pola pod krzywą ROC ($AUC_1$) z polem pod inną krzywą ROC ($AUC_2$). Krzywa ROC o większym polu, pozwala zwykle na dokładniejszą klasyfikację obiektów. Metody służące porównaniu pól zależne są od modelu badania.

  • Model zależny - porównywane krzywe ROC powstają na bazie pomiarów dokonanych na tych samych obiektach.

Hipotezy:

\begin{array}{cl}
\mathcal{H}_0: & AUC_1=AUC_2, \\
\mathcal{H}_1: & AUC_1\neq AUC_2.
\end{array}

Statystyka testowa ma postać:

\begin{displaymath}
Z=\frac{|AUC_1-AUC_2|}{SE_{AUC_1-AUC_2}},
\end{displaymath}

gdzie:

$AUC_1$, $AUC_2$ i błąd standardowy różnicy pól $SE_{AUC_1-AUC_2}$ wyliczane są w oparciu o metodę nieparametryczną zaproponowaną przez DeLong (DeLong E.R. i inni 19881), Hanley J.A. i Hajian-Tilaki K.O. 19972))

Statystyka $Z$ ma asymptotycznie (dla dużych liczności) rozkład normalny.

Wyznaczoną na podstawie statystyki testowej wartość $p$ porównujemy z poziomem istotności $\alpha$:

\begin{array}{ccl}
$ jeżeli $ p \le \alpha & \Longrightarrow & $ odrzucamy $ \mathcal{H}_0 $ przyjmując $ 	\mathcal{H}_1, \\
$ jeżeli $ p > \alpha & \Longrightarrow & $ nie ma podstaw, aby odrzucić $ \mathcal{H}_0. \\
\end{array}

Okno z ustawieniami opcji porównywania zależnych krzywych ROC wywołujemy poprzez menu StatystykaTesty diagnostyczneZależne Krzywe ROC - porównywanie.

  • Model niezależny - porównywane krzywe ROC powstają na bazie pomiarów dokonanych na różnych obiektach.

Hipotezy:

\begin{array}{cl}
\mathcal{H}_0: & AUC_1=AUC_2, \\
\mathcal{H}_1: & AUC_1\neq AUC_2.
\end{array}

Statystyka testowa (Hanley J.A. i McNeil M.D. 19833)) ma postać:

\begin{displaymath}
Z=\frac{|AUC_1-AUC_2|}{\sqrt{SE_{AUC_1}^2-SE_{AUC_2}^2}},
\end{displaymath}

gdzie:

$AUC_1$, $AUC_2$ i błędy standardowe pól $SE_{AUC_1}$, $SE_{AUC_2}$ wyliczane są w oparciu:

  • metodę nieparametryczną DeLong (DeLong E.R. i inni 19884), Hanley J.A. i Hajian-Tilaki K.O. 19975)) - rekomendowane,
  • metodę nieparametryczną Hanley-McNeil (Hanley J.A. i McNeil M.D. 19826)).

Statystyka $Z$ ma asymptotycznie (dla dużych liczności) rozkład normalny.

Wyznaczoną na podstawie statystyki testowej wartość $p$ porównujemy z poziomem istotności $\alpha$:

\begin{array}{ccl}
$ jeżeli $ p \le \alpha & \Longrightarrow & $ odrzucamy $ \mathcal{H}_0 $ przyjmując $ 	\mathcal{H}_1, \\
$ jeżeli $ p > \alpha & \Longrightarrow & $ nie ma podstaw, aby odrzucić $ \mathcal{H}_0. \\
\end{array}

Okno z ustawieniami opcji porównywania niezależnych krzywych ROC wywołujemy poprzez menu StatystykaTesty diagnostyczneNiezależne Krzywe ROC - porównywanie.

Przykład c.d. (plik bakteriemia.pqs)

Wykonamy 2 porównania:

  1. Zbudujemy 2 krzywe ROC, by porównać wartość diagnostyczną parametrów WBC i PCT;
  2. Zbudujemy 2 krzywe ROC, by porównać wartość diagnostyczną parametru PCT dla chłopców i dziewczynek.

ad1)

Zarówno parametr WBC jak i PCT jest stymulantą (wysokie wartości tych parametrów towarzyszą bakteriemii). Porównując wartość diagnostyczną tych parametrów weryfikujemy hipotezy:

\begin{array}{cl}
\mathcal{H}_0: & $pole pod krzywą ROC dla WBC $=$ pole pod krzywą ROC dla PCT$, \\
\mathcal{H}_1: & $pole pod krzywą ROC dla WBC $\neq $ pole pod krzywą ROC dla PCT$.
\end{array}

Wyliczone wielkości pól to $AUC_{WBC}=0.8613$, $AUC_{PCT}=0.8956$. Na podstawie przyjętego poziomu $\alpha=0.05$, w oparciu o uzyskaną wartość $p$0.130321915 wnioskujemy, że nie możemy wskazać, który z parametrów WBC czy PCT jest lepszy w rozpoznawaniu bakteriemii.

ad2)

Parametr PCT jest stymulantą (jego wysokie wartości towarzyszą bakteriemii). Porównując jego wartość diagnostyczną dla dziewczynek i chłopców weryfikujemy hipotezy:

\begin{array}{cl}
\mathcal{H}_0: & $pole pod krzywą ROC dla $PCT_k$ $=$ pole pod krzywą ROC dla $PCT_m$$, \\
\mathcal{H}_1: & $pole pod krzywą ROC dla $PCT_k$ $\neq $ pole pod krzywą ROC dla $PCT_m$$.
\end{array}

Wyliczone wielkości pól to $AUC_k=0.8649$, $AUC_m=0.9118$. Zatem na podstawie przyjętego poziomu $\alpha=0.05$, w oparciu o uzyskaną wartość $p$=0.637176453 wnioskujemy, że nie możemy wybrać płci, dla której parametr PCT jest lepszy w rozpoznawaniu bakteriemii.

1) , 4)
DeLong E.R., DeLong D.M., Clarke-Pearson D.L., (1988), Comparing the areas under two or more correlated receiver operating curves: A nonparametric approach. Biometrics 44:837-845
2) , 5)
Hanley J.A. i Hajian-Tilaki K.O. (1997), Sampling variability of nonparametric estimates of the areas under receiver operating characteristic curves: an update. Academic radiology 4(1):49-58
3)
Hanley J.A. i McNeil M.D. (1983), A method of comparing the areas under receiver operating characteristic curves derived from the same cases. Radiology 148: 839-843
6)
Hanley J.A. i McNeil M.D. (1982), The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 143(1):29-36

Narzędzia witryny