PQStat - Baza Wiedzy

Wybór optymalnego punktu odcięcia

Ten poszukiwany punkt, to pewna wartość zmiennej diagnostycznej, która optymalnie dzieli badaną zbiorowość na dwie grupy: $(+)$ w której występuje dane zjawisko i $(-)$ w której dane zjawisko nie występuje. Wybór optymalnego punktu odcięcia nie jest łatwy, gdyż wymaga fachowej wiedzy z zakresu tematu badań. Na przykład innego punktu odcięcia będzie wymagał test użyty w badaniach przesiewowych obejmujących dużą grupę osób np. w badaniu mammograficznym, a innego w badaniach inwazyjnych przeprowadzanych by potwierdzić wcześniejsze podejrzenie np. w histopatologii. Stosując zaawansowany aparat matematyczny możemy znaleźć taki punkt tzw. cut-off, który będzie najkorzystniejszy z matematycznego punktu widzenia.

Program PQStat wybór optymalnego punktu odcięcia umożliwia poprzez:

Metodę stycznej (indeks kosztów) - wyliczany w oparciu o czułość, swoistość, koszty błędnych decyzji i współczynnik chorobowości.

Błędy jakie można popełnić przydzielając badane obiekty do grupy $(+)$ i do grupy $(-)$ to wyniki fałszywie dodatnie ( $FP$ ) i wyniki fałszywie ujemne ( $FN$ ). Jeśli popełnienie tych błędów jest tak samo kosztowne (koszty etyczne, finansowe, …), to wówczas w polu koszt FP i w polu koszt FN wpisujemy tą samą dodatnią wartość $-$ zwykle 1. Jeśli natomiast uznamy, że jeden rodzaj błędu jest obarczony większym kosztem niż drugi, wówczas przypiszemy mu odpowiednio większą wagę.

Optymalna wartość odcięcia obliczana jest na podstawie czułości, swoistości i przy użyciu wielkości $m$ - nachylenia stycznej do krzywej ROC. Kąt nachylenia $m$ jest określany w odniesieniu do dwóch wartości: kosztów błędnych decyzji i współczynnika chorobowości. Standardowo koszty błędnych decyzji są równe 1, a współczynnik chorobowości estymowany jest z próby. Znając a priori współczynnik chorobowości ( $P_{a priori}$ ) i koszty błędnych decyzji użytkownik może wpływać na wartość $m$ a tym samym na wyszukiwanie optymalnego punktu odcięcia. W rezultacie za optymalny punkt odcięcia uznana zostaje taka wartość zmiennej diagnostycznej, przy której wyrażenie:

$\begin{displaymath}\textrm{Czułość} - m\cdot(1- \textrm{Swoistość})\end{displaymath}$ osiąga minimum (Zweig M.H. 1993¹⁾).

Wybrany w ten sposób optymalny punkt odcięcia zmiennej diagnostycznej zostanie ostatecznie zaznaczony na wykresie krzywej ROC.

Indeks Youdena – Koncepcyjnie jest to maksymalna odległość pomiędzy linią będącą przekątną kwadratu o boku 1 a punktem krzywej ROC²⁾. Indeks ten obliczany jest z wzoru:

$\begin{displaymath}d=\textrm{Czułość} + \textrm{Swoistość} -1\end{displaymath}$

Wybrany w ten sposób optymalny punkt odcięcia zmiennej diagnostycznej zostanie ostatecznie zaznaczony na wykresie krzywej ROC.

Odległość do lewego górnego rogu – Koncepcyjnie jest to minimalna odległość pomiędzy lewym górnym rogiem kwadratu o boku 1 (czyli miejscem w którym czułość i swoistość może być najwyższa) a punktem krzywej ROC. Indeks ten obliczany jest z wzoru:

$\begin{displaymath}d=\sqrt{(1-\textrm{Czułość})^2+(1-\textrm{Swoistość})^2}\end{displaymath}$

Wybrany w ten sposób optymalny punkt odcięcia zmiennej diagnostycznej zostanie ostatecznie zaznaczony na wykresie krzywej ROC.

Wykres kosztów - prezentuje wyliczone wartości błędnej diagnozy wraz z ich kosztami. Wartości te wyliczane są zgodnie z wzorem:

$\begin{displaymath} koszt=koszt_{FP}\cdot FP+koszt_{FN}\cdot FN \end{displaymath}$

Zaznaczony na wykresie punkt, to minimum powyższej funkcji.

Wykres przecięcia czułości i swoistości - pozwala na zlokalizowanie punktu, w którym wartość czułości i swoistości jest jednocześnie największa.

Okno z ustawieniami opcji analizy ROC wywołujemy poprzez menu Statystyka zaawansowana→Testy diagnostyczne→Krzywa ROC.

Przykład (plik bakteriemia.pqs)

Utrzymująca się wysoka gorączka u niemowlęcia lub małego dziecka bez ustalonych wyraźnych przyczyn jest wskazówką do przeprowadzenia badań w kierunku bakteriemii. Za najbardziej przydatne i wiarygodne parametry służące do przesiewowej diagnostyki i monitorowania zakażeń bakteryjnych uważa się wskaźniki:

WBC - liczba białych krwinek (ang. white blood cells),
PCT - prokalcytonina (ang. procalcitonin).

Przyjmuje się, że u zdrowego niemowlęcia i małego dziecka WBC nie powinno przekraczać 15 tys/µl, a PCT powinno być niższe niż 0.5 ng/ml.

Przykładowe wartości tych wskaźników dla 136 dzieci do 3 roku życia z utrzymującą się gorączką $>39^0C$ przedstawia poniższy fragment tabeli:

Jednym z możliwych sposobów analizy wskaźnika PCT jest przekształcenie go w zmienną dychotomiczną przez wybranie punktu odcięcia (np. $x_{cat}$ =0.5 ng/ml), powyżej którego badanie jest uznane za „pozytywne”. Jak dobry jest taki podział wskaże wartość czułości i swoistości. Chcemy wykorzystać bardziej kompleksowe podejście, czyli wyliczyć czułość i swoistość nie tylko dla jednej wartości, ale dla każdej uzyskanej w próbie wartości PCT - czyli zbudować krzywą ROC. Na podstawie uzyskanych w ten sposób informacji chcemy sprawdzić, czy wskaźnik PCT jest rzeczywiście przydatny w rozpoznawaniu bakteriemii. Jeśli tak, jaki jest optymalny punkt odcięcia powyżej którego możemy uznać badanie za „pozytywne” - wykrywające bakteriemię.

By sprawdzić, czy PCT jest rzeczywiście przydatny w rozpoznawaniu bakteriemii wyliczymy wielkość pola pod krzywą ROC i zweryfikujemy hipotezę, że:

$\begin{array}{cl} \mathcal{H}_0: & $pole pod zbudowaną krzywą ROC $=0.5, \\ \mathcal{H}_1: & $pole pod zbudowaną krzywą ROC $\neq 0.5. \end{array}$

Ponieważ bakteriemi towarzyszy podwyższony poziom PCT, to wskaźnik ten uznajemy za stymulantę. W zmiennej stanu musimy określić, która wartość znajdująca się w kolumnie bakteriemia określa jej obecność, tutaj wybieramy wartość „tak”. W raporcie oprócz wyniku testu statystycznego możemy znaleźć dokładny opis każdego z możliwych punktów odcięcia.

Wyliczona wielkość pola pod krzywą ROC wynosi $AUC=0.889$ . Zatem na podstawie przyjętego poziomu $\alpha=0.05$ , w oparciu o uzyskaną wartość $p<0.000001$ wnioskujemy, że rozpoznawanie bakteriemii przy użyciu wskaźnika PCT jest istotnie korzystniejsze niż losowy podział pacjentów na 2 grupy: chorujących na bakteriemię i nie chorujących. Wracamy więc do analizy (przycisk ), by wyznaczyć optymalny punkt odcięcia.

Algorytm poszukiwania optymalnego punktu odcięcia uwzględnia koszty błędnych decyzji i współczynnik chorobowości:

koszt FN - błędna diagnoza, to koszt uznania, że pacjent nie choruje na bakteriemię mimo, że rzeczywiście jest on chory (koszty decyzji fałszywie ujemnej)
Wypunktowaniekoszt FP - błędna diagnoza, to koszt uznania, że pacjent choruje na bakteriemię mimo, że rzeczywiście na nią nie choruje (koszty decyzji fałszywie dodatniej)

Ponieważ koszty FN są znacznie poważniejsze niż koszty FP, to w polu pierwszym wpisujemy wartość większą niż w polu drugim. Uznaliśmy, że będzie to wartość 5.

Wartość PCT ma być wykorzystywana w badaniach przesiewowych, nie podajemy więc populacyjnego współczynnika chorobowości (współczynnika chorobowości a priori), który jest bardzo niski, ale pozostajemy przy współczynniku estymowanym z próby. Postępujemy tak, by nie przesunąć punktu odcięcia wartości PCT zbyt wysoko i nie zwiększyć ilości fałszywie ujemnych wyników.

Wyznaczony optymalny punkt odcięcia PCT to 1.819. Dla tego punktu czułość=0.85 a swoistość=0.96.

Innym sposobem wyboru punktu odcięcia jest analiza wykresu kosztów i wykresu przecięcia czułości:

Analiza wykresu kosztów wskazuje, że minimum kosztów błędnych decyzji przypada na PCT=1.819. Natomiast wartość czułości i swoistości jest podobna dla PCT=1.071

¹⁾

Zweig M.H., Campbell G. (1993), Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clinical Chemistry 39:561-577

²⁾

Youden W.J. (1950), Index for rating diagnostic tests. Cancer. 3: 32–35

PQStat - Baza Wiedzy

Narzędzia użytkownika

Narzędzia witryny

Pasek boczny

Wybór optymalnego punktu odcięcia

Narzędzia strony