Kryzysu badań empirycznych w pedagogice społecznej ciąg dalszy

 

 

 

Rozprawa doktorska z pedagogiki społecznej uzyskała trzy recenzje z pozytywną konkluzją. Znakomicie. Tylko skakać do góry z radości. Zapewne jej autor miał powód do satysfakcji. 

Gorzej jest jednak z pedagogiką jako nauką, bo sama w sobie cieszyć się lub ubolewać nie może. Nie chodzi tu o błędy edytorskiej natury, ale o błędy dyskwalifikujące część pracy, które są metodologicznie fundamentalne. Wymagały kotekty przed złożeniem pracy do oceny, by zminimalizować błędy,  które mieszczą się w standardowym repertuarze uwag dla solidnej pracy empirycznej. 

Traktujący merytorycznie swój obowiązek dwie recenzentki sformułowały uwagi, koncentrując się na kwestiach o charakterze techniczno-warsztatowym autora pracy. To nie wpływa na zaprezentowane przez niego wyniki badań, lecz tylko na sposób ich zapisu, a mianowicie:

• nieprecyzyjne przypisy typu „za:” zamiast wskazania źródła pierwotnego,
• umieszczanie w bibliografii prac, do których autor prawdopodobnie nie dotarł bezpośrednio,
• sporadyczne błędy językowe i stylistyczne,
• niewygodne łamanie tabel na dwie strony. 
• sformułowanie hipotez zbyt opisowo („X różnicuje Y”),
• w części stricte diagnostycznej hipotezy nie są konieczne,
• natomiast hipotezy odnoszące się do (...) są sensowne, lecz powinny być mocniej uzasadnione teoretycznie. 
• To nie oznacza, że badania są błędne, lecz że logika zapisu projektu mogłaby być bardziej konsekwentna. 
• zbyt mocno autorka eksponuje istotność statystyczną, 
• za słabo uwzględnia siłę korelacji, czasem interpretuje bardzo słabe korelacje jako znaczące poznawczo.

To jest realny problem interpretacyjny, który dotyczy sposobu wnioskowania, natomiast recenzentki zupełnie pominęli niepoprawność skonstruowanego narzędzia diagnozy oraz obliczeń uzyskanych danych. Nie podważają samego materiału empirycznego. Raczej sugerują selekcję ważniejszych zależności, aniżeli błędną analizę danych.

Trzeci recenzent podkreśla zaniedbania dotyczące dojrzałości narracji metodologicznej, zwracając uwagę  na to, że przy omawianiu cudzych badań warto częściej podawać: liczebności prób, sposób doboru, własności narzędzi, że należy wyraźniej oddzielać opinie autorów od dowodów empirycznych oraz że nie każdy wynik nadaje się do generalizacji. 

Tak ogólnikowa opinia oznacza, że właściwie zostały zaprojektowane i przeprowadzone badania, toteż są one wartościowe, a to, że autorka zaniedbała poprawność ich omówienia, to przecież nie ma żadnego znaczenia. Istotnie, gdyby tylko tego to dotyczyło, to zapewne można byłoby toczyć z doktorantką dyskusję w dniu obrony rozprawy.  

Doktorantka opracowała własne narzędzie diagnostyczne (skalę Likerta), które poprzedziła badaniem pilotażowym, ale... niestety, nie poddała go ocenie eksperckiej. Wprowadziła zatem w obieg narzędzie, które jest niewłaściwie skonstruowane. 

Gdyby recenzenci uważnie zapoznali się z założeniami metodologicznymi badań, w tym z treścią kwestionariusza, to powinni byli dostrzec klasyczny błąd konstrukcji itemu, który jest w nim „podwójnie pytającym” (double-barreled). W jednym zdaniu zawiera co najmniej dwa odrębne twierdzenia, na które respondent mógłby udzielić różnych odpowiedzi, a został skazany na jedną. Odpowiedź na dany item „jakby uśrednia” dwie różne reakcje i jest niejasne, co tak naprawdę zostało zmierzone? ARTEFAKTY.

Mamy tu do czynienia nie z uchybieniem, lecz z klasycznym przykładem niedostrzeganego dysonansu między konstruktem teoretycznym zmiennej a jego empiryczną operacjonalizacją, który powinien zostać sprecyzowany w założeniach metodologicznych badań. A tak to utrwalił się jako standard. 

W związku z tym, że narzędzie jest opublikowane już nie tylko w uczelnianym portalu, ale także w monografii podoktorskiej, to będzie powielane jako prawidłowe, poprawnie skonstruowane, chociaż takim nie jest.

Autorka pracy zaproponowała do jednej z subzmiennych bardzo wąską liczbę itemów (tylko dwa), przez co mamy nadmierną interpretację i tak już błędnie uzyskanych danych. Niesie to daleko idące konsekwencje błędu metodologicznego., który jest bardzo typowym zjawiskiem w pracach badawczych w paradygmacie ilościowym.  

Autorzy często projektują narzędzie szeroko, ale nierówno dbają o głębokość poszczególnych konstruktów. Dowodzą zatem systemowej słabości w pedagogice kształcenia metodologicznego.

Analizując kolejne subzmienne w danym projekcie badawczym dość łatwo można dostrzec niewłaściwą ich operacjonalizację, a zatem i interpretacja statystyczna danych jest niewiele warta. Czyżby autorka, promotor i recenzenci nie wiedzieli o tym, że wartością rozprawy nie może być sama tylko technika dokonanego pomiaru (jest właściwa), lecz potoczne nadanie znaczeń badanym zmiennym, a w ślad za tym błędnie skonstruowane narzędzie diagnostyczne?

Szkoda, bo znakomicie wyjaśnia kwestię operacjonalizacji pojęć Heliodor Muszyński w swojej rozprawie z metodologii badań pedagogicznych. Jak się okazuje, w środowisku nie tylko akademickiej pedagogiki, jest więcej literatury metodologicznej, krajowej i zagranicznej, ale nie skutkuje to wyższym poziomem projektów badawczych. Co gorsza, publikuje się rozprawy obciążone poważnymi błędami jako poprawne, toteż ich autorzy z dumą je upowszechniają. 

Badana przez doktoranta kategoria X budzi istotne zastrzeżenia metodologiczne, gdyż zastosowana przez niego skala charakteryzuje się bardzo niską rzetelnością wewnętrzną (α≈0,34), co wskazuje na brak spójności mierzonego konstruktu. 

Analiza treści itemów sugeruje, że łączą one zmienne należące do różnych porządków. W konsekwencji nie stanowi jednorodnej zmiennej latentnej, lecz raczej agregat heterogenicznych wskaźników. Z tego powodu wykorzystywanie tej kategorii jako zmiennej zależnej w analizach korelacyjnych i ścieżkowych należy uznać za metodologicznie wątpliwe.  

Mamy tu do czynienia z błędem polegającym na nadaniu zbyt szerokiej i obciążonej normatywnie etykiety konstruktowi o węższym zakresie treściowym. Jest jeszcze w tej pracy przykład inflacji pojęciowej, która polega na tym, że  konstrukt jest psychometrycznie spójny, lecz jego nazwa wykracza poza to, co rzeczywiście zostało zmierzone. 

Przypadek analizowanego narzędzia pokazuje, że analiza czynnikowa nie zastępuje refleksji teoretycznej, rzetelność statystyczna nie gwarantuje trafności pojęciowej, zaś nazwa zmiennej nie wynika z treści itemów, tylko z intencji badacza.

Z każdą częścią opublikowanego narzędzia diagnostycznego przekonuję się, że może lepiej by było nie wiedzieć, że mógł powstać taki bubel metodologiczny, ale  - zdaniem jednego z profesorów pedagogiki społecznej (w duchu jego metodologii badań pedagogicznych) -  nie należy wymieniać nazwisk autorów takich rozpraw, bo ...  popadną w depresję. 

Słusznie zatem, trzymajmy się przed Zjazdem Pedagogów Społecznych tej linii, by mówić i pisać ogólnie, dla dobra ... promotorów, recenzentów i doktorantów. W końcu ważny jest ich dobrostan. 

(foto: moje)