Kryzysu badań empirycznych w pedagogice społecznej ciąg dalszy

 

 

 

Rozprawa doktorska z pedagogiki społecznej uzyskała trzy recenzje z pozytywną konkluzją. Znakomicie. Tylko skakać do góry z radości. Zapewne jej autor miał powód do satysfakcji. 

Gorzej jest jednak z pedagogika jako nauką, bo sama w sobie cieszyć się lub ubolewać nie może. Nie chodzi tu błędy edytorskiej natury, ale o błędy dyskwalifikujące część pracy, które są metodologicznie fundamentalne. Wymagały przed złożeniem pracy do oceny raczej korekty, które mieszczą się w standardowym repertuarze uwag dla solidnej pracy empirycznej. 

Rzeczowo traktujący swój obowiązek dwaj recenzenci sformułowali uwagi, koncentrując się na kwestiach o charakterze techniczno-warsztatowym autora pracy, które nie wpływają na zaprezentowane przez niego wyniki badań, lecz tylko na sposób ich zapisu, a mianowicie:

• nieprecyzyjne przypisy typu „za:” zamiast wskazania źródła pierwotnego,
• umieszczanie w bibliografii prac, do których autor prawdopodobnie nie dotarł bezpośrednio,
• sporadyczne błędy językowe i stylistyczne,
• niewygodne łamanie tabel na dwie strony. 
• część hipotez jest sformułowana zbyt opisowo („X różnicuje Y”),
• w części stricte diagnostycznej hipotezy nie są konieczne,
• natomiast hipotezy odnoszące się do (...) są sensowne, lecz powinny być mocniej uzasadnione teoretycznie. To nie oznacza, że badania są błędne, lecz że: logika zapisu projektu mogłaby być bardziej konsekwentna. 
• zbyt mocno eksponuje istotność statystyczną, 
• za słabo uwzględnia siłę korelacji, czasem interpretuje bardzo słabe korelacje jako znaczące poznawczo.

To jest realny problem interpretacyjny, który dotyczy sposobu wnioskowania, natomiast recenzenci zupełnie pominęli poprawność skonstruowane narzędzia diagnozy oraz obliczeń uzyskanych danych. Nie podważają samego materiału empirycznego. Raczej sugerują selekcję ważniejszych zależności, aniżeli błędną analizę danych.

Trzeci recenzent podkreśla zaniedbania dotyczące dojrzałości narracji metodologicznej, zwracając uwagę  na to, że przy omawianiu cudzych badań warto częściej podawać: liczebności prób, sposób doboru, własności narzędzi, że należy wyraźniej oddzielać opinie autorów od dowodów empirycznych oraz że nie każdy wynik nadaje się do generalizacji. Tak ogólnikowa opinia oznacza, że właściwie zostały zaprojektowane i przeprowadzone badania, toteż są wartościowe, a to, że autor zaniedbał poprawność ich omówienia, to przecież nie ma żadnego znaczenia. Istotnie, gdyby tylko tego to dotyczyło, to zapewne można byłoby toczyć z doktorantem dyskusję w dniu obrony rozprawy.  

Doktorant opracował własne narzędzie diagnostyczne (skalę Likerta), które poprzedził badaniem pilotażowym, ale... niestety, nie podał go ocenie eksperckiej. wprowadził zatem w obieg narzędzie, które jest niewłaściwie skonstruowane. Gdyby recenzenci uważnie zapoznali się z założeniami metodologicznymi badań, w tym z treścią kwestionariusza, to powinni byli dostrzec klasyczny błąd konstrukcji itemu, który jest w nim „podwójnie pytającym” (double-barreled). W jednym zdaniu zawiera co najmniej dwa odrębne twierdzenia, na które respondent mógłby udzielić różnych odpowiedzi, a jest skazany na jedną. Odpowiedź na dany item „jakby uśrednia” dwie różne reakcje i jest niejasne, co tak naprawdę zostało zmierzone?

Mamy tu do czynienia nie z uchybieniem, lecz z klasycznym przykładem niedostrzeganego dysonansu między konstruktem teoretycznym zmiennej a jego empiryczną operacjonalizacją, który powinien zostać sprecyzowany w założeniach metodologicznych badań, zanim utrwali się jako standard. W związku z tym, że narzędzie jest opublikowane już nie tylko w uczelnianym portalu, ale także w monografii podoktorskiej, to będzie powielane jako prawidłowe, poprawnie skonstruowane, a takim nie jest.

Autor pracy zaproponował do jeden z subzmiennych bardzo wąską liczbę itemów (tylko dwa), to nadmierna interpretacja i tak już błędnie uzyskanych danych niesie daleko idące konsekwencje błędu metodologicznego. jest to bardzo typowe zjawisko w pracach badawczych w paradygmacie ilościowym, że autorzy często projektują narzędzie szeroko, ale nierówno dbają o głębokość poszczególnych konstruktów. Dowodzą zatem systemowej słabości w pedagogice kształcenia metodologicznego.

Analizując kolejne subzmienne w danym projekcie badawczym dość łatwo można dostrzec niewłaściwą ich operacjonalizację, a zatem i interpretacja statystyczna danych jest niewiele warta. Ani autor, ani  promotor, ani recenzenci nie wiedzieli o tym, że wartością rozprawy nie może być sama tylko technika dokonanego pomiaru (jest właściwa), lecz potoczne nadanie znaczeń badanym zmiennym, a w ślad za tym błędnie skonstruowane narzędzie diagnostyczne. 

Szkoda, bo znakomicie wyjaśnia kwestię operacjonalizacji pojęć Heliodor Muszyński w swojej rozprawie z metodologii badań pedagogicznych. Jak się okazuje, w środowisku nie tylko akademickiej pedagogiki, jest więcej literatury metodologicznej, krajowej i zagranicznej, ale nie skutkuje to wyższym poziomem projektów badawczych. Co gorsza, publikuje się rozprawy obciążone poważnymi błędami jako poprawne, toteż ich autorzy z dumą je upowszechniają. 

Badana przez doktoranta kategoria X budzi istotne zastrzeżenia metodologiczne, gdyż zastosowana przez niego skala charakteryzuje się bardzo niską rzetelnością wewnętrzną (α≈0,34), co wskazuje na brak spójności mierzonego konstruktu. Analiza treści itemów sugeruje, że łączą one zmienne należące do różnych porządków. W konsekwencji nie stanowi jednorodnej zmiennej latentnej, lecz raczej agregat heterogenicznych wskaźników. Z tego powodu wykorzystywanie tej kategorii jako zmiennej zależnej w analizach korelacyjnych i ścieżkowych należy uznać za metodologicznie wątpliwe.  

Mamy tu do czynienia z błędem polegającym na nadaniu zbyt szerokiej i obciążonej normatywnie etykiety konstruktowi o węższym zakresie treściowym. Jest jeszcze w tej pracy przykład inflacji pojęciowej, która polega na tym, że  konstrukt jest psychometrycznie spójny, lecz jego nazwa wykracza poza to, co rzeczywiście zostało zmierzone. Przypadek analizowanego narzędzia pokazuje, że analiza czynnikowa nie zastępuje refleksji teoretycznej, rzetelność statystyczna nie gwarantuje trafności pojęciowej, zaś nazwa zmiennej nie wynika z treści itemów, tylko z intencji badacza.

Z każdą częścią opublikowanego narzędzia diagnostycznego przekonuję się, że może lepiej by było nie wiedzieć, że mógł powstać taki bubel metodologiczny, ale  - zdaniem prof. Tadeusza Pilcha (w duchu jego metodologii badań pedagogicznych) -  nie należy wymieniać nazwisk autorów takich rozpraw, bo ...  popadną w depresję. Słusznie zatem, trzymajmy się przed Zjazdem Pedagogów Społecznych tej linii, by mówić i pisać ogólnie, dla dobra ... promotorów, recenzentów i doktorantów. W końcu ważny jest ich dobrostan. 

(foto: moje)