Spis treści

Analiza rzetelności

Analiza rzetelności (ang. reliability analysis) związana jest najczęściej z budową skal złożonych, w szczególności skal sumarycznych, czyli składających się z wielu pojedynczych pozycji (pytań). Rzetelność skali - rozumiana jako jej wewnętrzna spójność, daje nam informację o tym, na ile dana skala mierzy to, co mierzy; czyli w jakim stopniu poszczególne pozycje skali mierzą to, co cała skala.

Aby można było mówić o rzetelności skali, poszczególne pozycje skali powinny mierzyć ten sam konstrukt - korelacja pomiędzy poszczególnymi pozycjami skali powinna być wysoka. Założenie to możemy sprawdzić wyliczając macierz współczynników korelacji Pearsona. Pomimo, że w zagadnieniu rzetelności mogą być wykorzystywane różne miary zgodności, najczęściej używaną techniką jest tutaj współczynnik $\alpha$-Cronbacha i tzw. rzetelność połówkowa.

 

Alfa Cronbacha i rzetelność połówkowa

Współczynnik $\alpha$-Cronbacha (ang. Cronbach's alpha) został tak nazwany po raz pierwszy przez Cronbacha w 19511). Mierzy on stosunek wariancji poszczególnych pozycji do wariancji całej skali (sumy tych pozycji) i jest wyliczany ze wzoru:

\begin{displaymath} \alpha_C=\frac{k}{k-1}\left(1-\frac{\sum_{i=1}^k sd_i^2}{sd_t^2}\right), \end{displaymath}

gdzie:

$k$ - liczba pozycji w skali,

$sd_i^2$ - wariancja pozycji $i$,

$sd_t^2$ - wariancja sumy wszystkich pozycji.

Standaryzowany współczynnik rzetelności $\alpha_{standard}$ jest wyliczany jako:

\begin{displaymath} \alpha_{standard}=\frac{k\overline{r_p}}{1+(k-1)\overline{r_p}}, \end{displaymath}

gdzie:

$\overline{r_p}$ -średnia współczynników korelacji Pearsona wszystkich ($k(k-1)/2$) pozycji skali.

Współczynnik $\alpha$ może przyjmować dowolne wartości mniejsze lub równe 1, w tym również wartości ujemne, jednakże tylko wartości dodatnie mają sens. Jeżeli wszystkie pozycje skali są idealnie rzetelne, wówczas współczynnik rzetelności wynosi 1.

Pomocą w ocenie przydatności konkretnych pozycji skali służą:

  • wartość współczynnika $\alpha_C$ obliczonego po usunięciu określonej pozycji skali,
  • wartość odchylenia standardowego skali obliczonego po usunięciu określonej pozycji skali,
  • wartość średnia skali obliczona po usunięciu określonej pozycji skali,
  • wartość korelacji określonej pozycji i sumy pozycji pozostałych.

Rzetelność połówkowa (ang. split-half reliability)

Polega na losowym podzieleniu pozycji skali na dwie połowy i analizie korelacji między tymi połówkami. Odbywa się to przy użyciu współczynnika rzetelności połówkowej Spearmana-Browna opublikowanego niezależnie przez Spearmana (1910)2) i Browna (1910)3):

\begin{displaymath} r_{SH}=\frac{2r_p^*}{1+r_p^*}, \end{displaymath}

gdzie:

$r_p^*$ $-$ współczynnik korelacji Pearsona pomiędzy połówkami skali.

Jeżeli dwie losowo wybrane połówki są idealnie skorelowane, wówczas $r_{SH}=1$.

Inny wzór na współczynnik rzetelności połówkowej zaproponował Guttman (1945)4):

\begin{displaymath} r_{SHG}=2\left(1-\frac{sd_{t1}^2+sd_{t2}^2}{sd_t^2}\right), \end{displaymath}

gdzie:

$sd_{t1}^2$, $sd_{t2}^2$ - wariancja pierwszej i drugiej połowy skali,

$sd_t^2$ - wariancja sumy wszystkich pozycji.

Uwaga!

Przyjmuje się, że aby można było uznać skalę za rzetelną, współczynniki rzetelności skali ($\alpha_C$, $\alpha_{standard}$, $r_{SH}$ , $r_{SHG}$) powinny być większe niż 0.6 i mniejsze niż 1.

Błąd standardowy pomiaru (ang. standard error of measurement) wyznacza się dla skali rzetelnej zgodnie z wzorem:

\begin{displaymath} SEM=sd_t\sqrt{1-\alpha_C} \end{displaymath} - dla współczynnika rzetelności Cronbacha

lub

\begin{displaymath} SEM=sd_t\sqrt{1-r_{SH}} \end{displaymath} - dla współczynnika rzetelności połówkowej

Okno z ustawieniami opcji rzetelności skali wywołujemy poprzez menu Statystyka→Rzetelność skali.

Przykład (plik skala.pqs)

Pomocą w ocenie przydatności przyszłych pracowników pewnej firmy konsultingowej służy między innymi opracowana w firmie „skala kompetencji”. Oprócz rozmowy kwalifikacyjnej kandydaci wypełniają kwestionariusz zawierający między innymi pytania tworzące „skalę kompetencji”. Skala zawiera 7 pytań. Za każde z pytań można zyskać od 1 do 5 punktów, gzie 1 oznacza najniższą a 5 najwyższą możliwą notę. Łącznie uzyskać można 35 punktów. Punkty w tej skali uzyskane przez 24 kandydatów zawiera poniższa tabela:

\begin{tabular}{|c|c|c|c|c|c|c|c|c|} \hline Lp&KK1&KK2&KK3&KK4&KK5&KK6&KK7&SUMA\\\hline 1&3&3&5&5&5&5&1&27\\ 2&5&4&4&3&3&5&1&25\\ 3&5&5&3&5&3&2&1&24\\ 4&1&2&5&5&5&5&2&25\\ 5&4&5&5&5&5&5&1&30\\ 6&4&4&5&5&5&5&3&31\\ 7&1&1&5&5&5&5&2&24\\ 8&5&5&5&5&3&5&3&31\\ 9&3&2&2&5&4&2&1&19\\ 10&3&4&3&4&4&2&1&21\\ 11&4&4&3&4&4&4&4&27\\ 12&1&1&3&4&1&1&3&16\\ 13&3&3&4&5&5&5&1&26\\ 14&4&5&5&5&5&5&2&31\\ 15&1&4&4&4&1&4&4&22\\ 16&1&4&5&5&5&5&1&26\\ 17&5&5&5&5&5&5&2&32\\ 18&5&3&5&5&3&5&4&30\\ 19&1&1&2&2&2&1&4&13\\ 20&5&5&5&5&5&5&5&35\\ 21&5&3&5&5&5&5&1&29\\ 22&5&5&5&5&5&1&5&31\\ 23&2&1&5&3&2&4&1&18\\ 24&5&5&5&5&5&5&5&35\\\hline \end{tabular}

Chcemy sprawdzić dokładność zastosowanego narzędzia oceny kompetencji (zastosowanej skali). W tym celu przeprowadzona zostanie analiza rzetelności.

Macierz korelacji wskazuje, że ostatnia pozycja jest najsłabiej skorelowana z pozostałymi. Podejrzewamy zatem, że pozycja ta nie mierzy tego samego konstruktu, co pozostałe pozycje.

Skala kompetencji okazała się być skalą rzetelną. Współczynnik Alfa Cronbacha wynosi 0.736805, a średni współczynnik korelacji pomiędzy pozycjami skali 0.31847.

Dokładniejsza analiza każdej pozycji wskazuje, że wszystkie one, za wyjątkiem ostatniej pozycji, w podobnym stopniu wpływają na rzetelność całej skali. Korelacja pozycji KK7 z pozostałymi pozycjami skali jest najsłabsza i wynosi 0.026954. Po usunięciu ze skali pozycji KK7 wartość współczynnika Cronbacha wzrosłaby do 0.803619.

Podobne wnioski możemy wysunąć na podstawie analizy rzetelności połówkowej wykonanej na pozycjach losowo podzielonych na 2 części (KK1, KK3, KK5) (KK2, KK4, KK6, KK7).

Współczynnik rzetelności połówkowej Spearmana-Browna wynosi 0.857705, a Guttmana 0.856531. Połówki są dość dobrze skorelowane - współczynnik korelacji połówek wynosi 0.750862. Jednak wartość współczynnika Alfa Cronbacha jest zbyt niska dla drugiej połówki (0.416958). Połówka ta zawiera pozycje KK7, która wykazuje słabą korelację z pozostałymi pozycjami skali. Po usunięciu tej pozycji i ponownym wykonaniu analizy, wszystkie współczynniki rzetelności rzeczywiście są wyższe.

2014/08/22 20:00
1)
Cronbach L.J. (1951), Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334
2)
Spearman C. (1910), Correlation calculated from faulty data. British Journal of Psychology, 3, 271-295
3)
Brown W. (1910), Some experimental results in the correlation of mental abilities. British Journal of Psychology, 3, 296-322
4)
Guttman L. (1945), A basic for analyzing test-retest reliabilit. Psychometrika, 10, 255-282