12 lipca 2020

Nie każda ankieta jest narzędziem naukowej diagnozy (cz.3)



Wielokrotnie już zwracałem na to uwagę. Przypomnijcie sobie analizę pseudonaukowej ankiety dr Joanny Gruby, która na podstawie odpowiedzi na zawarte pytania, opublikowała pseudonaukowy raport. Nabrali się na ten bubel nie tylko dziennikarze, ale także sami naukowcy, którzy ponoć ochoczo  udzielali odpowiedzi na źle sformułowane pytania.

Do takich osób nie trafią żadne uwagi krytyczne, gdyż - jak słusznie pisał profesor Aleksander Nalaskowski - skoro nie wiedzą, że nie wiedzą, to gdyby nawet 10, 20 czy 100 naukowców napisało, że są w błędzie, i tak będą trwać przy własnej ignorancji.

Atak na krytyków niczego w tej kwestii nie zmienia, skoro nie posiada się wiedzy czy - jak to określa profesor Jerzy Brzeziński - właściwie ukształtowanej samoświadomości metodologicznej. Zostawmy te marginalia.   

Książka dr Beaty Cieślińskiej, jak już pisałem o wstępnych etapach projektowanej przez nią diagnozy, zawiera  na szczęście i nieszczęście czytelników "narzędzia badawcze". Nie mogę w żadnej mierze potwierdzić, że mamy tu do czynienia z naukowo poprawnie skonstruowanymi kwestionariuszami ankiet.

Wprost odwrotnie. Każdy student i  doktorant nauk społecznych, niezależnie od tego, jaką reprezentuje dyscyplinę naukową, powinien zapoznać się z nimi, by przekonać się, że tak nie należy ich konstruować.

Jak pisze autorka: Do  potrzeb realizowanych badań posłużono się techniką ankiety, która polega na gromadzeniu informacji na podstawie - tu pojawia się nagle cytat z książki T. Pilcha - "wypełnienia najczęściej samodzielnie przez badanego specjalnych kwestionariuszy na ogół o wysokim stopniu standaryzacji w obecności  lub najczęściej bez obecności ankietera [s.108-109].

Mamy tu  jednak manipulację tekstem, z której miałoby wynikać, że autorka zastosuje ankietę o wysokim stopniu standaryzacji. NIESTETY. NIE MA TU ŻADNEJ STANDARYZACJI i być nie mogło, skoro nie ma definicji zmiennych i nie dokonano ich operacjonalizacji. Nie ma też teoretycznego modelu zmiennych i nie uzasadniono hipotez do drugiego problemu badawczego (w istocie pseudoproblemu).

Autorka przywołuje nawet autorów innych jeszcze książek, jak np. Danutę Urbaniak-Zając, Jacka Piekarskiego i Teresę Bauman. Nic z tego jednak nie wynika dla poprawności badań.

Opracowała "Kwestionariusz samooceny odpowiedzialności zawodowej. nauczycieli", mimo iż główny problem badawczy nie dotyczył kategorii samooceny odpowiedzialności tylko poziomu tejże odpowiedzialności. Jest jednak istotna różnica między samooceną odpowiedzialności a poziomem odpowiedzialności.

Kwestionariusz - jak pisze - zawierał 36 pytań zamkniętych dotyczących następujących kwestii związanych z funkcjonowaniem nauczyciela : przewidywania przebiegu i skutków własnych decyzji i własnego działania; kontrolowania i korygowania własnych działań; nakładania na siebie dodatkowego wysiłku i energii w sytuacji pojawienia się przeszkód na drodze do osiągnięcia celu; przyjęcia zarówno pozytywnych, jak i negatywnych skutków swoich decyzji lub działań; gotowości do wyrównania negatywnych skutków swej decyzji lub działania osobom poszkodowanym. W ten sposób zmierzano do uzyskania informacji z zakresu badanej problematyki [s. 109].

Proszę uważnie przeczytać ostatnie zdanie, które potwierdza, iż chodzi o zebranie informacji a nie o badanie naukowe.

Sięgnijmy teraz do kolejnego - "Kwestionariusza Samooceny Odpowiedzialności Zawodowej Nauczycieli" (s. 197-202). Popełniono tak wiele błędów metodologicznych - merytorycznych i proceduralnych, że treść każdej ankiety jest z naukowego punktu widzenia pozbawiona naukowej wartości.

Owszem, autorka uzyskała potwierdzenie czegoś czy zaprzeczenie czemuś, a więc otrzymała dane, ale na pewno nie pozyskała wiedzy pozwalającej na rozwiązanie problemu badawczego. Prowadzi bowiem swoich respondentów po własnej ścieżce koniecznego udzielenia odpowiedzi na częściowo błędnie sformułowane pytania lub sądy.  Respondenci nie mieli jej bowiem informowac o czymkolwiek, tylko wybrać właściwą odpowiedź na jej sugestie: TAK - NIE - NIE MAM ZDANIA.

Właściwie treść przedkładanych respondentom zdań nie ma znaczenia, bo niby na jakiej podstawie mielibyśmy uznać, że za ich pomoca mierzy to, co  chciała zbadać, skoro nie wiedziała, co chce zmierzyć?  Nawet gdyby chcieć uwierzyć, że można odczytać poziom czyjejś samooceny, bo przecież nie samowiedzy, to zobaczmy, jak zostały skonstruowane niektóre z sądów. Klasyka kardynalnych błędów metodologicznych:

10. Raczej nie lubię zmian i nie staram się aby coś osiągnąć w swojej pracy
*tak
*nie
*nie mam zdania.     [s.199]
     
21. Nie zawsze zwracam uwagę na niewłaściwe zachowania ucznia
* tak
*nie
*nie mam zdania    [s.200]

23. W życiu prywatnym i zawodowym żyję raczej dniem dzisiejszym [s. 201]


Zastanawiałem się nad tym, jakie wnioski zostaną wyciągnięte z zaznaczonych przez nauczycieli odpowiedzi. Z analizy autorki wynika, że nie był to Kwestionariusz samooceny odpowiedzialności zawodowej  nauczycieli, ale Kwestionariusz poziomu odpowiedzialności zawodowej nauczycieli.  Tabela 6 (s. 123) zawiera błędny tytuł i kategorie w główce lewej kolumny.



Jesteśmy jednak w błędzie. Zdaniem B. Cieśleńskiej jej Kwestionariusz ankiety dotyczył i tego, i tamtego. Cytuję:

Z przeprowadzonych badań wynika, że najmniejsza liczba badanych nauczycieli prezentuje niski poziom poczucia odpowiedzialności zawodowej (123 osoby). Szczegółowe dane przedstawia tabela nr 6 i wykres 1. (...)  [s. 122]

Akapit dale pisze jednak tak:

Złożona kwestia podniesienia poziomu samooceny zawodowej nauczycieli wymaga zatem  zmiany spojrzenia na wykonywaną pracę, jej misję oraz odpowiedzialność, którą za sobą niesie  [tamże].

To w końcu czego rzecz dotyczyła? Z wykresu nr 1 wynika wynika, że jednak samooceny odpowiedzialności zawodowej a nie poziomu odpowiedzialności zawodowej.




Nic to. Autorka dalej pisze: Ukazanie specyfiki samooceny odpowiedzialności zawodowej nauczycieli nie byłoby kompletne bez uwzględnienia opinii dyrektorów placówek oświatowo-wychowawczych na ten temat [s.124].

Pani doktor nie badała dyrektorów placówek, w których są zatrudnieni jej respondenci, nauczyciele i ... studenci (!), ale jakichś dyrektorów. Kompletne nieporozumienie. Jednak badanie nadzoru pedagogicznego wymaga odrębnego narzędzia diagnostycznego i uzasadnienia powodów jego zastosowania. Po co więc to uczyniła?

Na s. 127 czytamy: Miernikiem odpowiedzialności zawodowej nauczycieli jest również ich samoocena. Najlepiej i najpełniej określa ją stosunek do pracy zawodowej, wykonywania obowiązków oraz samych uczniów. 

 
c.d.n.