Pseudonaukowe narzędzia diagnostyczne

 

W ostatnim czasie nazbierało się zbyt dużo danych na temat bezmyślności w pracy niektórych polskich psychologów i pedagogów ubiegających się o awans naukowy czy prowadzących badania w ramach własnych projektów, którzy korzystają z gotowych, rzekomo wystandaryzowanych i przetłumaczonych na język polski narzędzi diagnostycznych lub własnych a zawierających kardynalne błędy. W czym przejawia się ów bezkrytycyzm? 

Właśnie otrzymałem drogą mailową prośbę jednego z psychologów młodszego pokolenia, który prowadzi badania z zastosowaniem skali Likerta do uzyskania wskazań (odpowiedzi) od poprawnie dobranej próby respondentów. Do mojej jednostki wpłynęła prośba o wypełnienie ankiety przez 12 pracowników naukowych i administracyjnych. 

Badanie polega na wypełnieniu ankiety, która zawiera krótką część socjodemograficzną, Kwestionariusz X, Kwestionariusz Y, Kwestionariusz do badania W oraz Kwestionariusz Z. Badanie jest anonimowe i dobrowolne. Zajmie około 15 minut. W każdej chwili można zrezygnować z wypełniania ankiety, co nie wiąże się z żadnymi konsekwencjami.

Dane z ankiety zbierane są na spersonalizowanym, chronionym hasłem dysku One Drive znajdującym się na bezpiecznym serwerze …, do którego tylko ja jako autor badania mam dostęp. Dane w ograniczonej formie, z zachowaniem poufności (pozwalającej na ponowne dokonanie analiz) będą udostępnione w repozytoriach (np. OSF) bezterminowo. Udział w badaniu nie jest związany z żadnymi ryzykami, w tym np. pogorszenia stanu zdrowia. Zawarte w ankietach pytania nie dotyczą kwestii wrażliwych. Na życzenie osób biorących udział w badaniu, udostępnię artykuł opisujący uzyskane wyniki. W tej sprawie, jak i we wszystkich innych sprawach dotyczących badania, proszę o kontakt mailowy… .

 Postanowiłem zatem pozytywnie odpowiedzieć na prośbę. Jednak nie każdy z tych kwestionariuszy spełniał wymogi poprawności metodologicznej, toteż wysłałem do badacza list z zapytaniem, czy nie sądzi, że aż trzy sądy są we wskazanych przeze mnie narzędziach błędnie skonstruowane! Zostały one oznaczone numerami: 

40. Rozwijałem(am) nowe kompetencje lub zdobyłem(am) informacje, które pomogły mi.. . .

Badany miał jedynie zaznaczyć,  w jakim stopniu (skala pięciostopniowa) ten sąd akceptuje lub nie. 

Psycholog nie widzi w tym błędu, toteż odpowiedział: 

Dziękuję za wiadomość i wskazanie ww. pytań. W moich badaniach wykorzystuję opracowane już narzędzia, więc zmiana/modyfikacja pytań jest niemożliwa. Jednocześnie dostrzegam trudność związaną ze sposobem formułowania ww. pozycji (zastosowanie koniunkcji lub alternatywy). Wezmę to pod uwagę przy analizie odpowiedzi i dyskusji wyników. 

Dla równowagi podam przykład badań też doktora tylko pedagogiki, który nie tylko przeprowadził już badania za pomoc błędnego a wystandaryzowanego narzędzia diagnostycznego, ale  na moją odmowę rekomendacji pracy do druku wraz z wyjaśnieniem  w recenzji wydawniczej, że uzyskane wyniki nie mają w związku z błędami wartości poznawczej, wcale się tym nie przejął. Wybrał inną recenzentkę, z Uniwersytetu Jagiellońskiego, która albo nie prowadziła badań ilościowych, albo nie nabyła odpowiednich kompetencji, więc zapewne spodobały się jej liczne tabele ze statystycznym opracowaniem zawartych w nich danych liczbowych i kolorowe wykresy. 

W mojej szkole podstawowej widniało na ścianie hasło: "Najpierw pomyśl, potem zrób". Zdaje się, że brakuje tego pierwszego wśród autorów i tłumaczy narzędzi diagnostycznych oraz u osób bezmyślnie stosujących je w badaniach społecznych. Skoro jakieś narzędzie krąży w przestrzeni naukowej, to znaczy, że można je wykorzystać. Niektórzy uważają, że im więcej zastosują wyskalowanych narzędzi, tym lepiej będzie oceniona ich praca badawcza.