Trwają w Instytucie Pedagogiki KUL w Lublinie obrady VIII Seminarium
metodologicznego PTP: „Metodologia pedagogiki – kontynuacja i zmiana”. O konkretnej zmianie w metodologii badań ilościowych mówił na przykładzie własnego
warsztatu badawczego prof. UŁ Sławomir Pasikowski. Zapewne w kolejnych dniach będzie równie ciekawie,
czego życzę wszystkim uczestnikom. W świetle pierwszych referatów mamy metodologów
badań społecznych, w tym pedagogicznych. Gorzej jest z „terenem”, skoro
powstają doktoraty i habilitacje odległe od tego, o czym mówili wczoraj prof.
Krzysztof Rubacha (UMK) czy dr hab. Sławomir Banaszak (UAM).
Zaprosiłem uczestników debaty na łamy Studiów z Teorii Wychowania, by
publikowali krytyczne artykuły o pracach, które nie powinny w ogóle być wydane.
Niestety, są z błędami merytorycznymi i metodologicznymi a inni powtarzają je w
kolejnych pracach. Wystarczy zajrzeć do biblioteki uniwersyteckiej, by przekonać się, że rozpraw z metodologii badań jest ponad wszelkie potrzeby, tylko kto z nich
korzysta?
Mamy falę upałów, toteż przywołam w tym miejscu rzekomo naukową metodę doboru próbki badawczej w naukach społecznych. W metodologii badań dla tej dziedziny nauk nie ma metody „śnieżnej kuli” celem pozyskiwania osób do diagnozy ich opinii na określony temat. Niepokojące jest to, że posługują się tą "metodą" socjolodzy, politolodzy, a ostatnio także pedagodzy. W Internecie pojawiają się sprawozdania z quasi diagnoz, raporty, ekspertyzy, których dane - pomimo nawet semantycznych asekuracji autorów - prezentowane są jako znaczące poznawczo.
Wywołam w tym miejscu RAPORT SCIENCE ZEN: DIAGNOZA SPOŁECZNA DOBROSTANU I KONDYCJI PSYCHICZNEJ MŁODYCH
NAUKOWCÓW W POLSCE (BITEH
ThinkTank), którego autorzy piszą m.in.:
Warto
jednak zaznaczyć, że badanie przedstawione w poniższym raporcie ma przede
wszystkim charakter eksploracyjny i służy rozpoznaniu kluczowych obszarów,
wymagających bardziej szczegółowej uwagi w dalszych działaniach badawczych.
Czy
tego typu stwierdzenie usprawiedliwia marność powyższej „metody”, którą posłużył się ponoć interdyscyplinarny zespół badawczy? Czym jest dla nich badanie
społeczne? Cytuję:
Koncepcja
badawcza społeczno-kulturowej diagnozy (...) łączy w sobie narzędzia
badawcze wywodzące się z tradycji technik jakościowych i ilościowych. Jest
to powszechnie stosowana w metodologii nauk społecznych i
humanistycznych praktyka, a jej główne rezultaty nastawione są na
uchwycenie charakteru oraz dynamiki występujących zjawisk czy sytuacji
(jakościowo), a także próbę pomiaru skali i częstotliwości (ilościowo)
czynników prowadzących do ww. okoliczności. W ramach pierwszego etapu działań
badawczych przeprowadziliśmy 22. wywiady jakościowe (N=22) oraz uzyskaliśmy
wypełnienie 52. ilościowych ankiet online (N=52).
Zastanawiałem
się nad tym, co to za tradycja technik ilościowych i jakościowych kryje
się za powyższą autoreklamą? Nieco dalej, w części o szumnie sformułowanym
tytule - "Metodologia", przeczytamy:
Badanie
ilościowe przeprowadzono za pomocą ankiety internetowej, aktywnej od września
do grudnia (...) dla osób zainteresowanych udziałem w
badaniu. Dobór próby odbył się za pomocą metody “kuli śnieżnej”, czyli
za pomocą metody doboru celowego. Rekrutacja została zrealizowana wśród
doktorantów posługujących się narzędziami cyfrowymi. Ankieta dystrybuowana była
w społecznościowych grupach tematycznych, mediach społecznościowych (...) oraz
poprzez indywidualny kontakt z (...).
Dla autorów dobór celowy próbki badawczej polega na przekazaniu ankiety anonimowym respondentom (via Internet), którzy spełniają kryterium pożądanej grupy społecznej, osoby posiadającej określony status społeczny czy pełniącej jednoznacznie dającą się zidentyfikować rolę społeczną, zawodową itp., a zatem mającą związek z pytaniem badawczym.
W związku z tym, że w czasach moich studiów nikt nie mówił o metodzie "kuli śnieżnej", a znam ją jedynie z warsztatów dla nauczycieli jako metodę aktywizującą ich pracę zespołową czy prezentację jej wyników, postanowiłem sprawdzić, czy to jest ta właśnie NOWOŚĆ METODOLOGICZNA, o której powinno mówić się w czasie seminarium?
W
metodologii badań psychologicznych, socjologicznych i pedagogicznych nie
spotkamy się z metodą "kuli śnieżnej". W najnowszym podręczniku Heliodor
Muszyński o potrzebie wyłonienia próby badawczej autor jedynie napomyka na
s. 196, pozostawiając zapewne tę kwestię do decyzji badaczom. Nic dziwnego, że
czytający ów przewodnik nie będą przywiązywać znaczenia do doboru próby badawczej, skoro istotny jest w konceptualizacji projektu: temat badań,
cel badań, sformułowanie problemu i hipotezy badawczej, wyłanianie zmiennych,
dobór wskaźników itd. Dobór próby jest mniej istotny?
Na szczęście szeroko odnosi się do kwestii metod doboru próbki badawczej autor akademickiego podręcznika na temat sposobów uprawiania badań oświatowych - Krzysztof Konarzewski. Za naukowe uznaje populacje skończone lub nieskończone ze względu na poziom ogólności wnioskowania, formułowania twierdzeń lub prawidłowości w wyniku uzyskanych danych w określonym miejscu i czasie. Badania skończone prowadzone są wśród wszystkich osób należących do interesującej badacza zbiorowości albo poddając diagnozie tylko jej próbkę na zasadzie reprezentatywności lub doboru losowego. Jak pisze K. Konarzewski, badacze popełniają błąd, kiedy zacierają różnice między populacją a próbką oraz kiedy lekceważą informację o badanej populacji.
Wprawdzie pedagog pisze o kuli, ale nie śnieżnej tylko jako narzędziu w
procesie losowania. Losowanie nazywa się taką metodą wyłaniania próbki,
która zapewnia wszystkim możliwym próbkom jednakową szansę realizacji. W
podręcznikach teorii prawdopodobieństwa ilustruje się ją za pomocą urny, w
której znajduje się populacja jednakowo ponumerowanych kul. Losowanie polega na
wyciągnięciu kuli, zapisaniu jej numeru i włożeniu jej z powrotem do urny (Warszawa,
2000, s. 99). Taki operat nie ma nic wspólnego z metodą "kuli
śnieżnej".
Jak się okazuje, ta pseudo naukowa, nielosowa metoda (w sensie statystycznym) obarczona jest błędem, (...) którego nie sposób oszacować (tamże, s. 107).
Podobnie krytycznie podchodzi do takiego doboru próby socjolog Antoni Sułek, który wskazuje na to, że niepobieranie przez badacza próby ogólnopolskiej czy reprezentatywnej jest niewłaściwe, gdyż ma na celu uzyskanie odpowiedzi zgodnych z jego oczekiwaniami, interesami w wyniku zadowolenia się przypadkową próbką (Warszawa, 2002).
W przypadku metody "kuli śnieżnej" może pojawić się jeszcze czynnik
patogenny, jakim jest stronniczość osób badanych.
A jednak, jest! Znalazła
się metoda "kuli snieżnej" w podręczniku metod badawczych w naukach politycznych J.B. Johnsona,
H.T. Reynolds i J.D. Mycoffa, którzy tak o niej piszą (2010, s. 245):
W
doborze próby metodą kuli śnieżnej wykorzystuje się
respondentów do określenia innych osób, które mogłyby się kwalifikować do
włączenia do próby. Następnie przeprowadza się wywiady z tymi osobami i prosi o
wskazanie osób odpowiednich do dalszych wywiadów. Proces ten jest
kontynuowany, aż przeprowadzi się wywiady z liczbą osób wystarczającą do tego,
by zaspokoić potrzeby relatywnie elitarnych, rzadkich czy trudnych do
zlokalizowania, na przykład osób uchylających się od służby wojskowej,
uczestników protestów politycznych, osób zażywających narkotyki czy nawet
właścicieli ogródków przydomowych, którzy wykorzystują w swoich ogródkach osad
kanalizacyjny (...).
W
przypadku tzw. metody "kuli śnieżnej" dobór kolejnych respondentów ma
charakter przypadkowy, gdyż ogranicza się do znajomych i znajomych czyichś znajomych,
np. followersów w komunikatorze społecznym. Jak piszą nieco wcześniej wymieni autorzy: (...) próba jest
dowolnym podzbiorem jednostek wybranych w jakiś sposób z populacji, ale
zarazem dodają: Wielkość próby i to, jak zostali wybrani jej
członkowie, przesądza o jakości (a więc trafności i rzetelności)
wnioskowania o całej populacji (tamże, s.229).
Pozostanę zatem z wątpliwością co do naukowego statusu tej metody. Na
podstawie powyższego doboru próbki badawczej nie wolno wnioskować o populacji, z
której została ona w ten sposób pozyskana do badania. Nie ma też sensu formułowanie wniosków natury ogólnej, gdyż mogą się one odnosić tylko do
przypadkowej populacji. Ta zaś nie podlega obiektywnej weryfikacji. Jest ona nie
tylko niekompletna, ani niereprezentatywna, ale też jest nieprobabilistyczna, a
zatem wyklucza możliwości zastosowania teorii statystycznej do wyciągania
wniosków. W przywołanym raporcie są statystyczne obliczenia dla próby liczącej 52 osoby (sic!).
Wprawdzie
"badacze" korzystają z powyższej metody ze względu na rzekomą
jednolitość populacji, bo badanie dotyczyło doktorantów, ale w przypadku pozyskiwania ich do diagnozy metodą "śnieżnej kuli" możemy z łatwością zauważyć, że stopień
homogeniczności próby nie czyni jej wiarygodną. Mogli być bowiem pozyskani w ten sposób doktoranci tylko z jednej uczelni, a w niej - z jednego lub kilku wydziałów, studiujący na innym roku itp., itd.
Sondowanie
opinii metodą "kuli śnieżnej" wpisuje się w potoczną diagnostykę,
która nie ma nic wspólnego z logiką statystyczną, a więc i z poprawnością
metodologiczną badań. Tymczasem w metodologii badań jakościowych nie można ograniczać doboru próby jedynie do tak prowadzonej selekcji respondentów z wskazanej przez badaczy społeczności. Dla zgłębienia badanego zjawiska, zdaniem Uwe Flicka:
(...) większość
zaleceń dotyczących doboru próby w badaniach jakościowych wiąże się z pojęciem
doboru celowego. Poważne traktowanie samego procesu doboru stanowi dla badaczy
jakościowych sposób na zapewnienie zróżnicowania w obrębie próby, dzięki której
można jak najlepiej uchwycić zmienność i różnorodność badanego zjawiska (2010,
s. 59).
W świetle powyższego tzw. metoda "kuli śnieżnej" nie spełnia żadnego z warunków nawet minimalnej poprawności metodologicznej, gdyż jest strategią "drugiego", zdecydowanie "gorszego" wyboru ze względu przede wszystkim na wygodę badaczy przez przeniesienie odpowiedzialności za pozyskanie respondentów na nich samych. Nie jest tu ważna potrzeba zdiagnozowania zjawiska, a tym bardziej wyjaśnienia czegokolwiek.
Nie znajdziemy tej "metody" w
podręcznikach do metod badań jakościowych, mimo iż poprawnie, a celowo dobra
próba także w tym paradygmacie może (...) język statystyczny właściwy badaniom ilościowym zastąpić teoretyczną siłą przekonywania (Silverman,
2008, s. 179) .
Howard S. Becker określa takie podejście do badań mianem synekdochy, która jest
(...) swego rodzaju doborem próby, z tym, że nie służy celom badawczym
czy naukowym, ale perswazyjnym (2018, s. 95-96). Tego typu diagnozy są
tendencyjne a interpretacja pozyskanego materiału ma charakter subiektywny. Nie
można potwierdzić w kategoriach prawdy lub fałszu ustaleń badaczy, gdyż
dostarczają nienaukowych wyników.
W przykładowo wymienionym raporcie z badań doktorantów nie można powiedzieć, że prowadzący badania nie mieli operatu, z
którego można by wylosować listę nazwisk respondentów. Nie ustrzegli się zatem błędu, o którym piszą wspomniani politolodzy - David Marsh i Gerry Stoker. Metoda "kuli śniegowej"
(...) na podstawie jednej sieci jednostek o określonych cechach może
stwarzać problemy, ponieważ respondenci mogą wskazywać powiązane ze sobą
osoby (2006, s. 205), a tym samym pozbawić wiarygodności
wyprowadzonych z ankiet czy wywiadów danych.
Metoda
ta zobowiązuje w naukach o polityce do uprzedniego określenia koniecznej dla
rozwiązania problemu liczby respondentów. Wymagałoby to jednak teoretycznego
uzasadnienia, z czym nie spotkamy się w przywołanym powyżej raporcie. Być może badacze doszli do wniosku, że paradygmat badań jakościowych zwalnia ich z naukowego uzasadnienia
własnej strategii doboru próby, skoro są one niepowtarzalne i
nieporównywalne, a zatem nie służą formułowaniu nawet probabilistycznych
sądów. O tym rodzaju zarzutów mówili wczoraj m.in. profesorowie Stefan M. Kwiatkowski i Krysztof Rubacha. Jak bronić takich badań w naukach społecznych, w tym pedagogicznych, skoro dzięki m.in. "thinktunkerom" wciska się synekdochę?
Źródła:
Becker
H.S. (2018). Triki badawcze w socjologii. Jak w pełni wykorzystać potencjał
badań społecznych, Warszawa.
Fleck
U. (2010). Projektowanie badania jakościowego, Warszawa.
Konarzewski
K. (2000). Jak uprawiać badania oświatowe, Warszawa.
Marsh
D., Stoker G. (2006). Teorie i metody w naukach politycznych, Kraków.
Muszyński
H. (2018). Metodologiczne vademecum badacza pedagoga, Poznań.
Silverman
D. (2008). Prowadzenie badań jakościowych, Warszawa.
Sułek
A. (2002). Ogród metodologii socjologicznej, Warszawa.