Powody upozorowania poważnych badań międzynarodowych na podstawie raportu TALIS KTS 2024

 

Podsumowuję analizę bubla IBE-PIB. 

W powyższym raporcie jest wiele przykładów erozji norm epistemicznych rozumianej jako osłabienie precyzji pojęć, mieszanie porządków wyjaśniania, nadinterpretacja danych i normatywne domykanie wniosków tam, gdzie materiał empiryczny tego nie potwierdza. Najbardziej uderzające są dla mnie następujące części:

1. Normatywne domknięcie badania już na poziomie prezentacji wyników
Raport nie poprzestaje na opisie, ale bardzo szybko przechodzi do języka legitymizującego określoną wizję profesji. Już w części „Wyniki badania TKS” czytamy, że nauczyciele „wykonują zawód specjalistyczny i są pracownikami wiedzy”, a praktyka nauczania „powinna być oparta na dowodach i mieć solidne fundamenty”. To nie jest neutralna interpretacja wyników, lecz programowy manifest wpisany w raport empiryczny. Dane mają tu legitymizować przyjętą wcześniej ideologię profesjonalizmu.

2. Przemycanie kanonu jako obiektywnej wiedzy
Opis poziomu 2 nauczycielskich kompetencji zakłada, że są oni „zaznajomieni z ugruntowanymi koncepcjami”, ale zarazem mogą „polegać na popularnych mitach edukacyjnych, które wewnątrz tego kanonu nie są podawane w wątpliwość”. To zdanie jest bardzo znamienne: raport nie tylko mierzy, ale rozstrzyga, co jest kanonem, a co mitem, oraz sugeruje, że pewne praktyki mieszczą się już poza prawomocną wiedzą. Mamy więc nie opis rzeczywistości nauczycielskiej, lecz arbitraż epistemiczny ukryty w języku raportu.

3. Skok od wskaźnika statystycznego do quasi-socjologicznej opowieści
Na podstawie wskaźnika, że tylko niewielka część zróżnicowania wyników jest na poziomie szkoły, raport formułuje mocne zdanie: „z perspektywy ucznia nie miałoby znaczenia, do której szkoły podstawowej chodzi, ale na którego nauczyciela w niej trafi”. To jest już bardzo daleka interpretacja. Z jednego wskaźnika wariancji przechodzi się do publicystycznej tezy o nieważności szkoły jako instytucji. To przykład przekroczenia granicy między analizą statystyczną a społeczną narracją.

4. Uogólnienia wbrew uzyskanymi danymi
Raport przyznaje, że TKS „nie gromadzi informacji jakościowych” o obszarach wiedzy, treściach i sposobach przygotowania zawodowego badanych nauczycieli, które pozwoliłyby na pełniejszą interpretację ich kompetencji. A mimo to chwilę później twierdzi, że wyniki „zdają się dobrze wpisywać w krajowe uwarunkowania przygotowania oraz doskonalenia zawodowego nauczycieli”. To klasyczny przykład wnioskowania szerszego niż pozwalają na to dane, mimo wcześniejszego zastrzeżenia o ich ograniczoności.

5. Przekształcanie korelacji w psychologizującą interpretację intencji i świadomości
Gdy raport odnotowuje negatywną zależność między wiedzą pedagogiczną a samooceną przygotowania lub poczucia sprawczości, natychmiast proponuje interpretację, że nauczyciele o większych zasobach wiedzy przyjmują bardziej rygorystyczne standardy oceny własnej pracy, mają pogłębioną świadomość i trafniejszą samoocenę. To bardzo daleko idące psychologizowanie wyników. Z danych korelacyjnych przechodzi się do rekonstrukcji wewnętrznych standardów, samoświadomości i autorefleksji badanych, choć raport nie pokazuje odrębnego materiału, który by to uzasadniał.

6. Nadanie wynikom pozoru ontologicznej głębi przez język „poziomów wiedzy”
Raport zawiera trzy poziomy kompetencji nauczycieli (1, 2 i 3) tak, jakby chodziło o jakościowo wyraźne typy nauczycieli: „sprawni praktycy”, „bardziej wnikliwe rozumienie”, „orientacja w aktualnych podejściach”, „rozumie podstawowe aspekty trafności pomiaru”. Tymczasem są to poziomy skonstruowane statystycznie na skali testowej. Język opisu sprawia wrażenie, jakby raport odsłaniał istotę profesjonalizmu nauczyciela, a nie jedynie pozycję na umownej skali zadań. To kolejna forma reifikacji narzędzia.

7. Zamiana deklaracji w wiedzę o praktyce szkolnej
Raport przypomina, że dane kontekstowe są deklaracjami nauczycieli i odzwierciedlają ich opinie oraz subiektywne postrzeganie zjawisk. A jednak późniejsze partie tekstu przechodzą płynnie od deklaracji do twierdzeń o realnym przygotowaniu nauczycieli, o jakości ich pracy i strukturze wyzwań dydaktycznych. To jest właśnie erozja rygoru: formalnie zastrzega się ograniczenia samowiedzy nauczycieli, po czym interpretuje się ją jak przybliżony opis rzeczywistości obiektywnej.

8. Mieszanie języka nauki z językiem polityki edukacyjnej
W części wstępnej raport jasno deklaruje, że TALIS ma dostarczać danych pomocnych w monitorowaniu i doskonaleniu polityk edukacyjnych. Samo w sobie nie jest to błędem. Problem pojawia się wtedy, gdy raport badawczy zaczyna być pisany tak, jakby jego główną funkcją było wspieranie określonej linii reform, a nie krytyczne badanie rzeczywistości. Wówczas metodologia staje się zapleczem polityki, a nie narzędziem poznania.

Erozja norm epistemicznych w tym raporcie polega nie na pojedynczym błędzie statystycznym, lecz na systematycznym przesuwaniu się od opisu ku normatywności, od korelacji ku psychologizującemu wyjaśnianiu, od wskaźników ku ontologii zawodu, a od badania ku legitymizacji określonej polityki wiedzy o nauczycielu. 

To jest klasyczny bubel oświatowy. 

Nie każda tabela z OECD jest odkryciem naukowym. Czasem jest tylko elegancko opakowaną redukcją złożonej rzeczywistości szkoły i zawodu nauczyciela.

W wersji dydaktycznej można to zamknąć w pięciu ostrzeżeniach:

1.     Sprawdź założenia, zanim uwierzysz wynikom.

2.     Odróżnij deklaracje badanych od opisu rzeczywistości.

3.     Nie myl korelacji z wyjaśnieniem.

4.     Nie utożsamiaj narzędzia z przedmiotem badania.

5.     Pytaj, czy raport bada świat, czy tylko potwierdza własną matrycę pojęciową.

Im bardziej raport wygląda na „twardy”, tym uważniej trzeba pytać, co w nim jest wynikiem, a co tylko artefaktem metody.