Test McNemara, test wewnętrznej symetrii Bowkera

Podstawowe warunki stosowania:

Test McNemara

Test McNemara (ang. McNemar test), NcNemar (1947)1). Test ten służy do weryfikacji hipotezy o zgodności pomiędzy wynikami dwukrotnych pomiarów $X^{(1)}$ i $X^{(2)}$ cechy $X$ (pomiędzy dwiema zmiennymi zależnymi $X^{(1)}$ i $X^{(2)}$). Badana cecha może mieć tylko 2 kategorie (oznaczone przez nas $(+)$ i $(-)$). Test McNemara można wyliczać na podstawie danych surowych albo z wykonanej na podstawie danych surowych tabeli kontyngencji o wymiarach $2\times 2$.

\begin{tabular}{|c|c||c|c|c|} \hline \multicolumn{2}{|c||}{Liczności obserwowane}& \multicolumn{3}{|c|}{$X^{(2)}$} \\\cline{3-5} \multicolumn{2}{|c||}{$O_{ij}$}&\textbf{(+)}&\textbf{($-$)}& \textbf{Suma}\\\hline \hline \multirow{3}{*}{$X^{(1)}$} & \textbf{(+)} & $O_{11}$ & $O_{12}$ & $O_{11}+O_{12}$ \\\cline{2-5} &\textbf{($-$)}& $O_{21}$ & $O_{22}$ & $O_{21}+O_{22}$\\\cline{2-5} &\textbf{Suma} & $O_{11}+O_{21}$ & $O_{12}+O_{22}$ & $n=O_{11}+O_{12}+O_{21}+O_{22}$\\\hline \end{tabular}

Hipotezy:

\begin{array}{cl} \mathcal{H}_0: & O_{12}=O_{21}, \\ \mathcal{H}_1: & O_{12}\neq O_{21}. \end{array}

Statystyka testowa ma postać:

\begin{displaymath} \chi^2=\frac{(O_{12}-O_{21})^2}{O_{12}+O_{21}}. \end{displaymath}

Statystyka ta ma asymptotycznie (dla dużych liczności) rozkład chi-kwadrat z jednym stopniem swobody.

Wyznaczoną na podstawie statystyki testowej wartość $p$ porównujemy z poziomem istotności $\alpha$:

\begin{array}{ccl} $ jeżeli $ p \le \alpha & \Longrightarrow & $ odrzucamy $ \mathcal{H}_0 $ przyjmując $ \mathcal{H}_1, \\ $ jeżeli $ p > \alpha & \Longrightarrow & $ nie ma podstaw, aby odrzucić $ \mathcal{H}_0. \\ \end{array}

Poprawka na ciągłość testu McNemara

Poprawka ta jest testem bardziej konserwatywny od testu McNemara (trudniej niż test McNemara odrzuca hipotezę zerową). Ma ona zapewnić możliwość przyjmowania przez statystykę testową wszystkich wartości liczb rzeczywistych zgodnie z założeniem rozkładu $\chi^2$. Część źródeł podaje, że poprawkę na ciągłość powinno się wykonywać zawsze, natomiast część uznaje, że tylko wtedy, gdy liczności w tabeli są małe.

Statystyka testowa testu McNemara z poprawką na ciągłość ma postać:

\begin{displaymath} \chi^2=\frac{(|O_{12}-O_{21}|-1)^2}{O_{12}+O_{21}}. \end{displaymath}

Dokładny test McNemara

Powszechną, ogólną zasadą ważności asymptotycznego testu McNemara chi-kwadrat jest warunek Rufibach, czyli to, że liczba niezgodnych par jest większa niż 10: $O_{12}+O_{21}\geq10$ 2), gdy warunek ten nie jest spełniony, wówczas powinniśmy bazować na dokładnych wartościach prawdopodobieństwa tego testu 3). Dokładna wartość prawdopodobieństwa testu oparta jest o rozkład dwumianowy i jest testem konserwatywnym, dlatego obok dokładnej wartości testu MnNemara podano również polecaną wartość dokładną mid-p testu McNemara.

Iloraz szans na zmianę wyniku

Jeśli przeprowadzone zostało 2 krotnie badanie tej samej cechy na tych samych obiektach - wówczas dla takiej tabeli wylicza się iloraz szans na zmianę wyniku (z $(+)$ na $(-)$ i odwrotnie).

Szansa zmiany wyniku z $(+)$ na $(-)$ wynosi $O_{12}$, a szansa zmiany wyniku z $(-)$ na $(+)$ wynosi $O_{21}$.

Iloraz szans (ang. odds ratio - OR) to:

\begin{displaymath} OR=\frac{O_{12}}{O_{21}}. \end{displaymath}

Przedział ufności dla ilorazu szans buduje się w oparciu o błąd standardowy: \begin{displaymath} SE=\sqrt{\frac{1}{O_{12}}+\frac{1}{O_{21}}}. \end{displaymath}

Uwaga!

Dodatkowo, dla prób o niewielkich licznościach, można wyznaczyć dokładny zakres przedziału ufności dla Ilorazu Szans 4).

Okno z ustawieniami opcji testu Bowkera-McNemara wywołujemy poprzez menu Statystyka→Testy nieparametryczne→Bowker-McNemar lub poprzez ''Kreator''.

Test wewnętrznej symetrii Bowkera

Test wewnętrznej symetrii Bowkera (ang. Bowker test of internal symmetry), Bowker (1948)5). Test ten jest rozszerzeniem testu McNemara na 2 zmienne o więcej niż dwóch kategoriach ($c>2$). Służy do weryfikacji hipotezy o symetryczności wyników dwukrotnych pomiarów $X^{(1)}$ i $X^{(2)}$ cechy $X$ (symetryczności 2 zmiennych zależnych $X^{(1)}$ i $X^{(2)}$). Badana cecha może mieć więcej niż 2 kategorie. Test wewnętrznej symetrii Bowker można wyliczać na podstawie danych surowych albo z wykonanej na podstawie danych surowych tabeli kontyngencji o wymiarach $c\times c$.

\begin{tabular}{|c|c||c|c|c|c|c|} \hline \multicolumn{2}{|c||}{Liczności obserwowane }& \multicolumn{5}{|c|}{$X^{(2)}$}\\\cline{3-7} \multicolumn{2}{|c||}{$O_{ij}$} & $X_1^{(2)}$ & $X_2^{(2)}$ & ... & $X_c^{(2)}$ & Suma \\\hline \hline \multirow{5}{*}{$X^{(1)}$}& $X_1^{(1)}$ & $O_{11}$ & $O_{12}$ & ... & $O_{1c}$& $\sum_{j=1}^cO_{1j}$ \\\cline{2-7} & $X_2^{(1)}$ & $O_{21}$ & $O_{22}$ & ... & $O_{2c}$& $\sum_{j=1}^cO_{2j}$ \\\cline{2-7} & ...& ... & ... & ... & ...& ... \\\cline{2-7} & $X_c^{(1)}$ & $O_{c1}$ & $O_{c2}$ & ... & $O_{cc}$& $\sum_{j=1}^cO_{cj}$ \\\cline{2-7} & Suma & $\sum_{i=1}^cO_{i1}$ & $\sum_{i=1}^cO_{i2}$ & ... & $\sum_{i=1}^cO_{ic}$& $n=\sum_{i=1}^c\sum_{j=1}^cO_{ij}$\\\hline \end{tabular}

Hipotezy:

\begin{array}{cl} \mathcal{H}_0: & O_{ij}=O_{ji},\\ \mathcal{H}_1: & O_{ij}\neq O_{ji} $ dla przynajmniej jednej pary $ O_{ij}, O_{ji}, \end{array}

gdzie $j\neq i$, $j\in{1,2,...,c}$, $i\in{1,2,...,c}$, zatem $O_{ij}$ i $O_{ji}$ to liczności symetrycznych par w tabeli $c\times c$

Statystyka testowa ma postać: \begin{displaymath} \chi^2=\sum_{i=1}^c\sum_{j>i}\frac{(O_{ij}-O_{ji})^2}{O_{ij}+O_{ji}}. \end{displaymath}

Statystyka ta ma asymptotycznie (dla dużych liczności) rozkład chi-kwadrat z liczbą stopni swobody wyliczaną według wzoru $df=\frac{c(c-1)}{2}$.

Wyznaczoną na podstawie statystyki testowej wartość $p$ porównujemy z poziomem istotności $\alpha$:

\begin{array}{ccl} $ jeżeli $ p \le \alpha & \Longrightarrow & $ odrzucamy $ \mathcal{H}_0 $ przyjmując $ \mathcal{H}_1, \\ $ jeżeli $ p > \alpha & \Longrightarrow & $ nie ma podstaw, aby odrzucić $ \mathcal{H}_0. \\ \end{array}

Przykład (plik opinia.pqs)

Przeprowadzono 2 badania opinii studentów na temat określonego wykładowcy akademickiego. Oba badania pozwalały ocenić wykładowcę negatywnie, pozytywnie, lub wybrać odpowiedź neutralną - nie mam zdania. Oba badania przeprowadzono na tej samej próbie 250 studentów z tym, że pierwsze badanie dokonano dzień przed egzaminem z przedmiotu prowadzonego przez ocenianego wykładowcę a drugie dzień po egzaminie. Poniżej przedstawiono fragment danych w postaci surowej oraz całość danych w postaci tabeli kontyngencji. Chcemy zbadać, czy obydwa badania dają podobne wyniki.

Hipotezy:

$ \begin{array}{cl} \mathcal{H}_0: & $liczba studentów którzy zmienili swoją opinię jest taka sama$\\ &$ dla każdej z możliwych symetrycznych zmian opinii,$\\ \mathcal{H}_1: & $liczba studentów którzy zmienili swoją opinię jest inna$\\ &$ dla przynajmniej jednej z możliwych (symetrycznych) zmian opinii,$ \end{array} $

gdzie np. zmiana opinii z pozytywnej na negatywną jest symetryczna względem zmiany opinii z negatywnej na pozytywną.

Porównując wartość $p$ dla testu Bowkera $p<0.000001$ z poziomem istotności $\alpha=0.05$ stwierdzamy, że opinie studentów zmieniły się. Z tabeli wynika, że istotnie więcej było tych studentów, którzy zmienili swoją opinię na negatywną po egzaminie niż tych którzy zmienili ją na pozytywną, oraz wielu studentów oceniających przed egzaminem wykładowcę pozytywnie po egzaminie nie wyrażało już takiego zdania.

Gdybyśmy ograniczyli nasze badanie do osób mających zdefiniowany pogląd na temat wykładowcy (tzn. oceniają tylko pozytywnie lub negatywnie), to moglibyśmy wykorzystać test McNemara:

Hipotezy:

$ \begin{array}{cl} \mathcal{H}_0: & $liczba studentów którzy zmienili swoją opinię z negatywnej na pozytywną$\\ &$ jest taka sama jak tych, którzy zmienili ją z pozytywnej na negatywną,$\\ \mathcal{H}_1: & $liczba studentów którzy zmienili swoją opinię z negatywnej na pozytywną$\\ &$ jest inna niż tych, którzy zmienili ją z pozytywnej na negatywną.$ \end{array} $

Porównując wartość $p$ dla testu McNemara $p<0.000001$ z poziomem istotności $\alpha=0.05$ stwierdzamy, że opinie studentów zmieniły się. Istotnie więcej było tych studentów, którzy zmienili swoją opinie na negatywną po egzaminie niż tych którzy zmienili ją na pozytywną. Szansa zmiany opinii z pozytywnej (przed egzaminem) na negatywną (po egzaminie) jest jedenaście $\left(\frac{44}{4}\right)$ razy większa niż z negatywnej na pozytywną (szansa zmiany opinii w przeciwną stronę to: $\left(\frac{4}{44}\right)$ czyli 0.090909).

1)
McNemar Q. (1947), Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12, 153-157
2)
Rufibach K. (2010), Assessment of paired binary data; Skeletal Radiology volume 40, pages1–4
3)
Fagerland M.W., Lydersen S., and Laake P. (2013), The McNemar test for binary matched-pairs data: mid-p and asymptotic are better than exact conditional, BMC Med Res Methodol; 13: 91
4)
Liddell F.D.K. (1983), Simplified exact analysis of case-referent studies; matched pairs; dichotomous exposure. Journal of Epidemiology and Community Health; 37:82-84
5)
Bowker A.H. (1948), Test for symmetry in contingency tables. Journal of the American Statistical Association, 43, 572-574