Dlaczego badania PISA (same w sobie) nie mają wartości naukowej (cz.1)

 

Dzisiejszy wpis-komentarz do raportu badań PISA 2025 uzasadnia w części I, dlaczego IBE-PIB NIE JEST GOTOWY NA PRZYSZŁOŚĆ. Czynię to w trosce nie tylko o IBE-PIB, ale i o prawdę, która jest manipulowana przez różne podmioty, w tym niekompetentnych publicystów. Dobrze się stało, że autorzy w/w raportu postawili w tytule znak zapytania, bo dzięki temu unikają odpowiedzialności za sens wydatkowania ponad 8 milionów złotych na kolejną edycję diagnozy, która nie ma istotnego znaczenia dla polskiej edukacji, a tym bardziej dla nauki.  

PISA w swojej krajowej odsłonie jest przede wszystkim standaryzowanym badaniem diagnostycznym i monitoringowym, a nie badaniem naukowym w sensie wyjaśniającym. Jeżeli przez badanie naukowe rozumiemy przedsięwzięcie, które wychodzi od autorskiego problemu naukowego, osadza go w teorii, formułuje pytania lub hipotezy, dobiera taki schemat badania, aby je rozstrzygnąć, a następnie wnosi nową wiedzę wyjaśniającą, to raport typu „PISA 2025 Polska” tego warunku nie spełnia. On przede wszystkim odpowiada na pytanie: jaki jest w danym momencie rozkład wybranych kompetencji piętnastolatków i jak wygląda on na tle innych populacji oraz wcześniejszych pomiarów?   

Z tego też powodu KEN nie powinien uwzględniać w ocenie rzekomych osiągnięć naukowych wszystkich tych publikacji IBE, które nie spełniają naukowych standardów, aczkolwiek w monitoringu posługują się naukowymi technikami statystycznymi. PISA daje standaryzowaną fotografię kompetencji, a ponieważ jest powtarzana co trzy lata, oferuje serię takich fotografii, coś w rodzaju filmu poklatkowego zmian. Jednak nawet seria fotografii nie staje się automatycznie wyjaśnieniem procesu, który tak zostaje utrwalony.

To bardzo ważne, bo w dyskursie publicznym następuje często niedopuszczalne przejście: pomiar stanu → diagnoza → wyjaśnienie przyczyn → rekomendacja polityczna. Tymczasem PISA wiarygodnie realizuje przede wszystkim dwie pierwsze fazy. Dlatego na podstawie raportu PISA można powiedzieć: 

·       ilu uczniów osiąga określone poziomy kompetencji;

• jakie są różnice między grupami;
• jak zmieniły się wyniki w czasie;
• jakie współzależności występują między wynikami a deklarowanymi cechami, uczniów, szkół czy rodzin.

ale z konkretnego raportu PISA nie można wyciągać wniosku:

·        * dlaczego wynik się zmienił,

·       * która reforma to spowodowała,

·       * jaka metoda dydaktyczna była skuteczna,

·      *  czy likwidacja gimnazjów wywołała określony skutek,

·       * czy model fiński jest de mode, ani

·       * jaką politykę oświatową powinna przyjąć Polska.

Każdy raport PISA wnosi „nową informację”, ale przede wszystkim opisową, a nie wyjaśniającą, tym bardziej nie o charakterze przyczynowo-skutkowym, jak wciska to MEN opinii publicznej. 

Nie powiedziałbym absolutnie, że nie wnosi do do naszej wiedzy niczego nowego, ponieważ informacja, że w 2025 r. określony odsetek polskich piętnastolatków znajduje się poniżej poziomu 1,  czyli są analfabetami funkcjonalnymi, jest przecież nowym faktem empirycznym, który MEN i IBE-PIB skrzętnie ukrywają w swoich interpretacjach.

To jest za każdym raem nowa wiedza o stanie rzeczy, ale nie nowa wiedza wyjaśniająca jej zaistnienie. Dopiero wtórne badania naukowe - których w Polsce nie ma., bo w IBE-PIB lepiej zarabia się na diagnozach międzynarodowych i nie naraża się swojemu pracodawcy, wykorzystujące dane PISA, mogłyby mieć naukowy charakter. 

Na przykład badacz może postawić hipotezę dotyczącą związku selekcji szkolnej z nierównościami, wykorzystać dane PISA razem z danymi administracyjnymi, skonstruować model porównawczy, kontrolować zmienne zakłócające i próbować rozpoznać mechanizm. Wtedy PISA staje się źródłem danych do badania naukowego, ale nie należy utożsamiać źródła danych z samym badaniem naukowym. 

Tak samo spis powszechny nie jest teorią społeczeństwa, wyniki egzaminu maturalnego nie są badaniem przyczyn jakości szkoły, monitoring epidemiologiczny nie jest jeszcze badaniem etiologii choroby. PISA jest właśnie takim bardzo zaawansowanym międzynarodowym monitoringiem edukacyjnym. Dlatego przesttańcie oceniać raporty IBE-PIB jao naukowe, skoro naukowymi sensu stricte nie są. 

Raport IBE należy więc czytać nie jako „rozprawę naukową o stanie polskiej edukacji”, ale jako krajową interpretację danych pochodzących ze standaryzowanej diagnozy międzynarodowej.  Jeżeli autorzy zaczynają na podstawie tych danych wyjaśniać przyczyny albo rekomendować określone rozwiązania, muszą sięgnąć poza dane PISA,  a więc do teorii pedagogicznej, badań longitudinalnych, eksperymentalnych, obserwacyjnych, danych administracyjnych itd. 

Właśnie dlatego tak ważne jest zdanie z polskiego raportu: „PISA nie określa, co robić, gdzie jesteśmy”. To jest chyba najtrafniejsza metodologicznie autoprezentacja tego przedsięwzięcia, do którego przyznaje się IBE-PIB. Problem zaczyna się dopiero wtedy, gdy diagnoza otrzymuje status dowodu, chociaż nim nie jest.

MEN manipuluje twierdząc, że „wyniki pokazują, że nasz kierunek reform jest słuszny”, podobnie jak kłamie, kiedy twierdzi: „Finlandia dowodzi, że określony model się nie sprawdził”. Pani Nowacka wraz ze swoimi pseudoekspertami nie ma w tym zakresie odpowiednich kompetencji.  Dowodzi tego fakt, że w/w fotografia zostaje potraktowana jak eksperyment wyjaśniający przyczynę, a tym PISA po prostu nie jest. 

PISA jest wartościowym narzędziem diagnostycznym dla zainteresowanych nią ekspertów, lecz sama diagnoza nie jest jeszcze wyjaśnieniem naukowym. Pokazuje „jak jest”, częściowo „z czym to współwystępuje”, ale nie rozstrzyga „dlaczego tak jest” ani „co należy zrobić”. Właśnie dlatego największym nadużyciem autorów i niekompetentnych afirmatorów raportów PISA nie jest sam pomiar (o tym jeszcze będę PISAł), lecz nadawanie jemu większej mocy poznawczej, niż rzeczywiście posiada.

 cdn.