"Kula śnieżna" w badaniach społecznych jako synekdocha

 

 

Trwają w Instytucie Pedagogiki KUL w Lublinie obrady VIII Seminarium metodologicznego PTP: „Metodologia pedagogiki – kontynuacja i zmiana”. O konkretnej zmianie w metodologii badań ilościowych mówił na przykładzie własnego warsztatu badawczego prof. UŁ Sławomir Pasikowski. Zapewne w kolejnych dniach będzie równie ciekawie, czego życzę wszystkim uczestnikom. W świetle pierwszych referatów mamy metodologów badań społecznych, w tym pedagogicznych. Gorzej jest z „terenem”, skoro powstają doktoraty i habilitacje odległe od tego, o czym mówili wczoraj prof. Krzysztof Rubacha (UMK) czy dr hab. Sławomir Banaszak (UAM).

Zaprosiłem uczestników debaty na łamy Studiów z Teorii Wychowania, by publikowali krytyczne artykuły o pracach, które nie powinny w ogóle być wydane. Niestety, są z błędami merytorycznymi i metodologicznymi a inni powtarzają je w kolejnych pracach. Wystarczy zajrzeć do biblioteki uniwersyteckiej, by przekonać się, że rozpraw z metodologii badań jest ponad wszelkie potrzeby, tylko kto z nich korzysta?  

Mamy falę upałów, toteż przywołam w tym miejscu rzekomo naukową metodę doboru próbki badawczej w naukach społecznych.  W metodologii badań dla tej dziedziny nauk nie ma metody „śnieżnej kuli” celem pozyskiwania osób do diagnozy ich opinii na określony temat. Niepokojące jest to, że posługują się tą "metodą" socjolodzy, politolodzy, a ostatnio także pedagodzy. W Internecie pojawiają się sprawozdania z quasi diagnoz, raporty, ekspertyzy, których dane - pomimo nawet semantycznych asekuracji autorów - prezentowane są jako znaczące poznawczo. 

Wywołam w tym miejscu RAPORT SCIENCE ZEN: DIAGNOZA SPOŁECZNA DOBROSTANU I KONDYCJI PSYCHICZNEJ MŁODYCH NAUKOWCÓW W POLSCE (BITEH ThinkTank), którego autorzy piszą m.in.: 

Warto jednak zaznaczyć, że badanie przedstawione w poniższym raporcie ma przede wszystkim charakter eksploracyjny i służy rozpoznaniu kluczowych obszarów, wymagających bardziej szczegółowej uwagi w dalszych działaniach badawczych.  

Czy tego typu stwierdzenie usprawiedliwia marność powyższej „metody”, którą posłużył się  ponoć interdyscyplinarny zespół badawczy? Czym jest dla nich badanie społeczne? Cytuję: 

Koncepcja badawcza społeczno-kulturowej diagnozy (...) łączy w sobie narzędzia badawcze wywodzące się z tradycji technik jakościowych i ilościowych. Jest to powszechnie stosowana w metodologii nauk społecznych i humanistycznych praktyka, a jej główne rezultaty nastawione są na uchwycenie charakteru oraz dynamiki występujących zjawisk czy sytuacji (jakościowo), a także próbę pomiaru skali i częstotliwości (ilościowo) czynników prowadzących do ww. okoliczności. W ramach pierwszego etapu działań badawczych przeprowadziliśmy 22. wywiady jakościowe (N=22) oraz uzyskaliśmy wypełnienie 52. ilościowych ankiet online (N=52).

Zastanawiałem się nad tym, co to za tradycja technik ilościowych i jakościowych kryje się za powyższą autoreklamą? Nieco dalej, w części o szumnie sformułowanym tytule - "Metodologia", przeczytamy: 

Badanie ilościowe przeprowadzono za pomocą ankiety internetowej, aktywnej od września do grudnia (...) dla osób zainteresowanych udziałem w badaniu. Dobór próby odbył się za pomocą metody “kuli śnieżnej”, czyli za pomocą metody doboru celowego. Rekrutacja została zrealizowana wśród doktorantów posługujących się narzędziami cyfrowymi. Ankieta dystrybuowana była w społecznościowych grupach tematycznych, mediach społecznościowych (...) oraz poprzez indywidualny kontakt z (...).

Dla autorów dobór celowy próbki badawczej polega na przekazaniu ankiety anonimowym respondentom (via Internet), którzy spełniają kryterium pożądanej grupy społecznej, osoby posiadającej określony status społeczny czy pełniącej jednoznacznie dającą się zidentyfikować rolę społeczną, zawodową itp., a zatem mającą związek z pytaniem badawczym. 

W związku z tym, że w czasach moich studiów nikt nie mówił o metodzie "kuli śnieżnej", a znam ją jedynie z warsztatów dla nauczycieli jako metodę aktywizującą ich pracę zespołową czy prezentację jej wyników, postanowiłem sprawdzić, czy to jest ta właśnie NOWOŚĆ METODOLOGICZNA, o której powinno mówić się w czasie seminarium?        

W metodologii badań psychologicznych, socjologicznych i pedagogicznych nie spotkamy się z metodą "kuli śnieżnej". W najnowszym podręczniku Heliodor Muszyński o potrzebie wyłonienia próby badawczej autor jedynie napomyka na s. 196, pozostawiając zapewne tę kwestię do decyzji badaczom. Nic dziwnego, że czytający ów przewodnik nie będą przywiązywać znaczenia do doboru próby badawczej, skoro istotny jest w konceptualizacji projektu: temat badań, cel badań, sformułowanie problemu i hipotezy badawczej, wyłanianie zmiennych, dobór wskaźników itd. Dobór próby jest mniej istotny? 

Na szczęście szeroko odnosi się do kwestii metod doboru próbki badawczej autor akademickiego podręcznika na temat sposobów uprawiania badań oświatowych - Krzysztof Konarzewski. Za naukowe uznaje populacje skończone lub nieskończone ze względu na poziom ogólności wnioskowania, formułowania twierdzeń lub prawidłowości w wyniku uzyskanych danych w określonym miejscu i czasie. Badania skończone prowadzone są wśród wszystkich osób należących do interesującej badacza zbiorowości albo poddając diagnozie tylko jej próbkę na zasadzie reprezentatywności lub doboru losowego. Jak pisze K. Konarzewski, badacze popełniają błąd, kiedy zacierają różnice między populacją a próbką oraz kiedy lekceważą informację o badanej populacji.  

Wprawdzie pedagog pisze o kuli, ale nie śnieżnej tylko jako narzędziu w procesie losowania. Losowanie nazywa się taką metodą wyłaniania próbki, która zapewnia wszystkim możliwym próbkom jednakową szansę realizacji. W podręcznikach teorii prawdopodobieństwa ilustruje się ją za pomocą urny, w której znajduje się populacja jednakowo ponumerowanych kul. Losowanie polega na wyciągnięciu kuli, zapisaniu jej numeru i włożeniu jej z powrotem do urny (Warszawa, 2000, s. 99). Taki operat nie ma nic wspólnego z metodą "kuli śnieżnej". 

Jak się okazuje, ta pseudo naukowa, nielosowa metoda (w sensie statystycznym) obarczona jest błędem, (...) którego nie sposób oszacować (tamże, s. 107). 

Podobnie krytycznie podchodzi do takiego doboru próby socjolog Antoni Sułek, który wskazuje na to, że niepobieranie przez badacza próby ogólnopolskiej czy reprezentatywnej jest niewłaściwe, gdyż ma na celu uzyskanie odpowiedzi zgodnych z jego oczekiwaniami, interesami w wyniku zadowolenia się przypadkową próbką (Warszawa, 2002). 

W przypadku metody "kuli śnieżnej" może pojawić się jeszcze czynnik patogenny, jakim jest stronniczość osób badanych.   

A jednak, jest! Znalazła się metoda "kuli snieżnej" w podręczniku metod badawczych w naukach politycznych J.B. Johnsona, H.T. Reynolds i J.D. Mycoffa, którzy tak o niej piszą (2010, s. 245): 

W doborze próby metodą kuli śnieżnej wykorzystuje się respondentów do określenia innych osób, które mogłyby się kwalifikować do włączenia do próby. Następnie przeprowadza się wywiady z tymi osobami i prosi o wskazanie osób odpowiednich do dalszych wywiadów. Proces ten jest kontynuowany, aż przeprowadzi się wywiady z liczbą osób wystarczającą do tego, by zaspokoić potrzeby relatywnie elitarnych, rzadkich czy trudnych do zlokalizowania, na przykład osób uchylających się od służby wojskowej, uczestników protestów politycznych, osób zażywających narkotyki czy nawet właścicieli ogródków przydomowych, którzy wykorzystują w swoich ogródkach osad kanalizacyjny (...).     

W przypadku tzw. metody "kuli śnieżnej" dobór kolejnych respondentów ma charakter przypadkowy, gdyż ogranicza się do znajomych i znajomych czyichś znajomych, np. followersów w komunikatorze społecznym.  Jak piszą nieco wcześniej wymieni autorzy: (...) próba jest dowolnym podzbiorem jednostek wybranych w jakiś sposób z populacji, ale zarazem dodają: Wielkość próby i to, jak zostali wybrani jej członkowie, przesądza o jakości (a więc trafności i rzetelności) wnioskowania o całej populacji (tamże, s.229).

Pozostanę zatem z wątpliwością co do naukowego statusu tej metody. Na podstawie powyższego doboru próbki badawczej nie wolno wnioskować o populacji, z której została ona w ten sposób pozyskana do badania. Nie ma też sensu formułowanie wniosków natury ogólnej, gdyż mogą się one odnosić tylko do przypadkowej populacji. Ta zaś nie podlega obiektywnej weryfikacji. Jest ona nie tylko niekompletna, ani niereprezentatywna, ale też jest nieprobabilistyczna, a zatem wyklucza możliwości zastosowania teorii statystycznej do wyciągania wniosków. W przywołanym raporcie są statystyczne obliczenia dla próby liczącej 52 osoby (sic!).  

Wprawdzie "badacze" korzystają z powyższej metody ze względu na rzekomą jednolitość populacji, bo badanie dotyczyło doktorantów, ale w przypadku pozyskiwania ich do diagnozy metodą "śnieżnej kuli" możemy z łatwością zauważyć, że stopień homogeniczności próby nie czyni jej wiarygodną. Mogli być bowiem pozyskani w ten sposób doktoranci tylko z jednej uczelni, a w niej - z jednego lub kilku wydziałów, studiujący na innym roku itp., itd.  

Sondowanie opinii metodą "kuli śnieżnej" wpisuje się w potoczną diagnostykę, która nie ma nic wspólnego z logiką statystyczną, a więc i z poprawnością metodologiczną badań. Tymczasem w metodologii badań jakościowych nie można ograniczać doboru próby  jedynie do tak prowadzonej selekcji respondentów z wskazanej przez badaczy społeczności. Dla zgłębienia badanego zjawiska, zdaniem Uwe Flicka:

(...) większość zaleceń dotyczących doboru próby w badaniach jakościowych wiąże się z pojęciem doboru celowego. Poważne traktowanie samego procesu doboru stanowi dla badaczy jakościowych sposób na zapewnienie zróżnicowania w obrębie próby, dzięki której można jak najlepiej uchwycić zmienność i różnorodność badanego zjawiska (2010, s. 59). 

W świetle powyższego tzw. metoda "kuli śnieżnej" nie spełnia żadnego z warunków nawet minimalnej poprawności metodologicznej, gdyż jest strategią "drugiego", zdecydowanie "gorszego" wyboru ze względu przede wszystkim na wygodę badaczy przez przeniesienie odpowiedzialności za pozyskanie respondentów na nich samych. Nie jest tu ważna potrzeba zdiagnozowania zjawiska, a tym bardziej wyjaśnienia czegokolwiek. 

Nie znajdziemy tej "metody" w podręcznikach do metod badań jakościowych, mimo iż poprawnie, a celowo dobra próba także w tym paradygmacie może (...) język statystyczny właściwy badaniom ilościowym zastąpić teoretyczną siłą przekonywania (Silverman, 2008, s. 179) . 

Howard S. Becker określa takie podejście do badań mianem synekdochy, która jest (...) swego rodzaju doborem próby, z tym, że nie służy celom badawczym czy naukowym, ale perswazyjnym (2018, s. 95-96). Tego typu diagnozy są tendencyjne a interpretacja pozyskanego materiału ma charakter subiektywny. Nie można potwierdzić w kategoriach prawdy lub fałszu ustaleń badaczy, gdyż dostarczają nienaukowych wyników. 

W przykładowo wymienionym raporcie z badań doktorantów nie można powiedzieć, że  prowadzący badania nie mieli operatu, z którego można by wylosować listę nazwisk respondentów. Nie ustrzegli się zatem błędu, o którym piszą wspomniani politolodzy - David Marsh i Gerry Stoker. Metoda "kuli śniegowej" (...) na podstawie jednej sieci jednostek o określonych cechach może stwarzać problemy, ponieważ respondenci mogą wskazywać powiązane ze sobą osoby (2006, s. 205), a tym samym pozbawić wiarygodności wyprowadzonych z ankiet czy wywiadów danych. 

Metoda ta zobowiązuje w naukach o polityce do uprzedniego określenia koniecznej dla rozwiązania problemu liczby respondentów. Wymagałoby to jednak teoretycznego uzasadnienia, z czym nie spotkamy się w przywołanym powyżej raporcie. Być może badacze doszli do wniosku, że paradygmat badań jakościowych zwalnia ich z naukowego uzasadnienia własnej strategii doboru próby, skoro są one niepowtarzalne i nieporównywalne, a zatem nie służą formułowaniu nawet probabilistycznych sądów. O tym rodzaju zarzutów mówili wczoraj m.in. profesorowie Stefan M. Kwiatkowski i Krysztof Rubacha. Jak bronić takich badań w naukach społecznych, w tym pedagogicznych, skoro dzięki m.in. "thinktunkerom" wciska się synekdochę?         

 

Źródła: 

Becker H.S. (2018). Triki badawcze w socjologii. Jak w pełni wykorzystać potencjał badań społecznych, Warszawa. 

Fleck U. (2010). Projektowanie badania jakościowego, Warszawa. 

Konarzewski K. (2000). Jak uprawiać badania oświatowe, Warszawa.

Marsh D., Stoker G. (2006). Teorie i metody w naukach politycznych, Kraków. 

Muszyński H. (2018). Metodologiczne vademecum badacza pedagoga, Poznań.  

Silverman D. (2008). Prowadzenie badań jakościowych, Warszawa. 

Sułek A. (2002). Ogród metodologii socjologicznej, Warszawa.