O praktykach i wskaźnikach recenzowania osiągnięć naukowych habilitantów

 


 

W 2017 r. Ewa Aleksandra Rozkosz obroniła na Wydziale Nauk Historycznych UMK w Toruniu bardzo interesującą rozprawę doktorską pt. „Ewaluacja osiągnięć naukowych w postępowaniach habilitacyjnych. Kryteria oceny a praktyki ewaluacyjne w naukach humanistycznych i społecznych”, którą napisała pod kierunkiem dr. hab. Emanuela Kulczyckiego w dziedzinie nauk humanistycznych, w dyscyplinie bibliologia i informatologia [Rozkosz 2017]. 

Przeprowadzone przez nią badania zostały sfinansowane ze środków Narodowego Programu Rozwoju Humanistyki w ramach projektu pt. „Współczesna polska humanistyka wobec wyzwań naukometrii”. Wprawdzie wyniki badań dotyczą przeprowadzonych postępowań habilitacyjnych w latach 2011-2015, które przebiegały zgodnie z obowiązującymi po reformie z 2011 r. procedurami prawnymi, to jednak otrzymujemy wiedzę na temat pewnych praktyk recenzenckich w postępowaniach habilitacyjnych w dziedzinie nauk społecznych, humanistycznych i teologicznych. 

Autorka wyodrębniła z całej populacji postępowań habilitacyjnych w ramach wszystkich dziedzin nauk pięć dyscyplin naukowych: ekonomia, prawo, psychologia, językoznawstwo i teologia, 
a więc tylko i wyłącznie tzw. „nauki miękkie”. Jednak, tak w części teoretycznej jak i metodologicznej przeprowadziła najpierw bibliometryczną analizę porównawczą postępowań habilitacyjnych w naukach twardych (z obszaru nauk ścisłych, obszaru nauk przyrodniczych, obszaru nauk technicznych, obszaru nauk rolniczych, leśnych i weterynaryjnych, obszaru nauk medycznych i nauk o zdrowiu oraz nauk
o kulturze fizycznej) i wszystkich nauk miękkich. Słusznie pominęła nauki o sztuce, gdyż te podlegają zupełnie innym kryteriom oceny osiągnięć naukowych habilitantów. Ówczesną doktorantkę interesowały takie zmienne, jak m.in.:

*rodzaj osiągnięcia naukowego habilitantów (monografia, cykl publikacji czy inny),

* cezura dla postępowania habilitacyjnego (liczba lat między uzyskaniem stopnia doktora a wszczęciem postępowania i uzyskaniem lub odmową nadania stopnia doktora habilitowanego),

 * wynik każdej z trzech recenzji przedłożonych do oceny osiągnięć naukowych (pozytywny czy/i negatywny),

* zgodność lub/i niezgodność wyników recenzji; 

* płeć osoby ubiegającej się o stopień dra hab. oraz płeć recenzentów. 

            Chociaż dane z analiz statystycznych oraz badań jakościowych straciły już swoją aktualność, gdyż w 2018 r. nastąpiła ustawowa zmiana we wszystkich fazach postępowania habilitacyjnego, to jednak warto zapoznać się z erudycyjną rekonstrukcją światowej literatury na temat teoretycznych i metodologicznych podstaw oceniania osiągnięć naukowych.  Rozpoznane przez dr E.A. Rozkosz niektóre prawidłowości w postępowaniach awansowych w naszym kraju zapewne jeszcze przez pewien okres nie ulegną szczególnej zmianie. Mogą natomiast uczulić kierowników jednostek naukowych na procesy, które mogą być istotne i powtarzalne także w nowej procedurze. 

    Sądzę, że nauki społeczne i humanistyczne dojrzały już do tego, by zacząć tworzyć interdyscyplinarne zespoły badawcze, gdyż poziom analizy frekwencyjnej danych w ramach metodologicznych przesłanek badań tylko jednej dyscypliny naukowej (w tym przypadku bibliologicznych i informatologicznych) jest wyraźnie niewystarczający, powierzchowny, uniemożliwiający dociekanie rzeczywistych powodów zdiagnozowanego stanu rzeczy.

Praca ma niewiele błędów, gdyż została bardzo rzetelnie przygotowana właśnie od strony metodologicznej. Z twardymi danymi trudno jest dyskutować, skoro nie było możliwe głębsze diagnozowanie uwarunkowań kluczowych w nauce zjawisk. Autorka bowiem zdiagnozowała to, co jest mierzalne tylko ilościowo, a więc adekwatnie do swojej dyscypliny naukowej. Zmienna – argumentacja recenzentów – jest tu sprowadzona jedynie do policzalnych ocen pozytywnych i/lub negatywnych, sądów usprawiedliwiających niedociągnięcia, braki czy błędy habilitanta oraz do ostatecznej konkluzji (pozytywna, negatywna lub pozytywna z negatywnymi argumentami). 

W rozprawie są interesujące dane, ale E. Rozkosz nie korelowała ich ze sobą, gdyż musiałaby uwzględnić m.in. procedury podmiotów prowadzących postępowania habilitacyjne. Co ma wynikać dla nauki z tego, że w świetle przeprowadzonej diagnozy:

najwięcej postępowań habilitacyjnych w latach 2011-2015 przeprowadzono w dziedzinie nauk humanistycznych (17,2%) i nauk społecznych (15,8) [tamże, s.164]?  

* w zbiorze analizowanych postępowań z wszystkich dziedzin nauk największy odsetek ze względu na płeć reprezentowały w naukach humanistycznych habilitacje kobiet (20,4%) w stosunku do habilitacji  mężczyzn (14,9%), zaś w naukach społecznych niewielką przewagę mieli mężczyźni (14,8%) w stosunku do kobiet (14%) [s.168]?  

liczba lat między uzyskaniem stopnia doktora a rezultatem postępowania habilitacyjnego we wszystkich dziedzinach nauk „miękkich” i „twardych” była przekraczana? Była, jest i będzie, gdyż w każdej z dziedzin i dyscyplin nauk formalnie ustanowiony czas pracy nad habilitacją nie wynosi 8 lat, tylko w różnych uczelniach od 9 do 12, a w wyniku reformy B. Kudryckiej niektóre senaty wyzerowały tzw. „wiecznym adiunktom” lata pracy naukowej w zamian za uzyskanie poparcia w wyborach władz rektorskich.

* wykazuje w naukach humanistycznych i społecznych jako główne osiągnięcie naukowe monografię (74,4%:78,7%), a nie cykl publikacji, które są dominantą w innych dziedzinach nauk, przykładowo w naukach ścisłych aż 94,8%; w naukach medycznych i o zdrowiu oraz o kulturze fizycznej – 88,2% [s. 196];

najwyższy odsetek postępowań habilitacyjnych zakończonych odmową nadania stopnia był w naukach społecznych (16,8%) oraz w naukach humanistycznych (12,1%) [s.199]. Być może korelacja tej zmiennej z liczbą recenzji negatywnych i cezurą czasową od uzyskania stopnia doktora dałaby nam jakąś wiedzę na ten temat. Może to tzw. starsi adiunkci usiłowali przysłowiowym „rzutem na taśmę” uzyskać habilitację w wyniku najwyższego wzrostu wszczynanych postępowań w roku 2013? Największy odsetek z trzema recenzjami negatywnymi był w postępowaniach w naukach społecznych i humanistycznych [s. 208]. Nie wiemy, czy dotyczyło to cyklu publikacji jako głównego osiągnięcia czy monografii?

Co ma wynikać z tego, że stopień doktora habilitowanego jest uzyskiwany w naukach społecznych w wieku ok. 47 lat?  Czy można kierować się w interpretacji tych danych, a przywołaną przez autorkę pracy, sugestią Marka Kwieka, że starsze pokolenie nie jest przygotowane do funkcjonowania w konkurencyjnym systemie nauki? Porównywanie praktyk recenzenckich z tak różnych dyscyplin naukowych świadczy o tym, że nie można porównywać tego, co jest nieporównywalne. 

Już przed podjęciem projektu badawczego powinna była wiedzieć, że wymogi stawiane habilitantom w każdej z dyscyplin naukowych są i muszą być inne, gdyż istnieją metodologiczne różnice w podejściach naukowych do rozwiązywania problemów badawczych adekwatnie do metodologii badań dyscyplinarnych.

E. Rozkosz czytała przed opracowaniem koncepcji badań rozprawy naukowe poświęcone ewaluacji naukowej, toteż wiedziała, że w naukach humanistycznych i społecznych musi występować wiele kryteriów ocen. Traktowanie tego jako zarzutu, bo uniemożliwia to porównywalność i tak nieporównywalnych nauk, może świadczyć o sformułowaniu przez nią samospełniających się hipotez. 

Nic dziwnego, że w zakończeniu rozprawy napisała: Zgadzam się z Lamont (2009), że kryteriom formalnym przypisywane są w różnych kulturach ewaluacyjnych różne wagi, co przekłada się – jak podkreśla Norman (1986) – na wyniki oceny. Jednakże uzupełniam to stwierdzeniem, że formalne kryteria w ramach tych kultur mogą być pomijane w recenzjach. Zatem może być manifestowany stosunek uczonych do kryteriów, a tym samym formalnych zasad oceny. 

Recenzenci mogą przyjmować w „grze” z kryteriami trzy podejścia: (1) „grać” zgodnie z regułami zapisanymi w aktach prawnych, (2) „ogrywać” system dodając do reguł i skupiając się na własnych kryteriach, (3) „ogrywać” system odrzucając kryteria, o których mowa w regułach. „Granie” zgodnie z regułami odbywało się przede wszystkim w psychologii i ekonomii, czyli tych dyscyplinach, którym bliżej do „nauk twardych”.  [s. 327].

      Autorka myli kryteria ocen z wymaganiami, które muszą spełnić habilitanci, by można było uznać ich osiągnięcia za naukowe. W jednym miejscu swojej dysertacji pisze, że owe kryteria były koniecznością prawną do wykazania ich spełnienia przez ubiegających się o habilitację, by w rekomendacjach zamykających pracę sformułować swoją, a nieuprawnioną wątpliwość: 

Nie są one wymogami, więc takie podejście wydaje się zgodne z literą prawa. Pytanie, czy jest to zgodne z celami polityki naukowej? [s.331] To oczywiste, że recenzenci będą posługiwać się różnymi kryteriami i argumentami w uzasadnianiu merytorycznej oceny osiągnięć naukowych habilitanta. 

    W żadnej dziedzinie nauk nie można pozbawić profesorów nie tylko prawa, ale i konieczności dokonywania ocen zgodnie z wymogami nauki, a nie formułowanymi przez urzędników resortu kryteriami. Zniknęły one w ramach reformy nauki w 2018 r. potwierdzając nonsensowność narzucania ekspertom głównie mierników ilościowych.

Rozprawy z badań bibliologicznych bardzo szybko tracą swoją aktualność i znaczenie dla nauki ze względu na bieg kolejnych procesów awansowych oraz zmieniające się prawo. Resortowi urzędnicy dostosowują je do doraźnych potrzeb politycznych, czego najlepszym dowodem jest mająca miejsce w 2021 r. manipulacja ministra edukacji i nauki Przemysława Czarnka w zakresie punktowanego „dowartościowania” niektórych czasopism bez uwzględnienia m.in. opinii KEN, a więc bez uwzględnienia ich rzeczywistego prestiżu naukowego. 

Wiarygodność procesów ewaluacyjnych poważnie zmalała, czemu dał wyraz także promotor niniejszej rozprawy doktorskiej [zob.: Oświadczenie KEN 2021; Stanowisko Komitetu Etyki w Nauce PAN 2021 i in.].

Druga część pracy oparta na badaniach jakościowych dotyczy także analizy frekwencyjnej wskaźników odnoszących się do wykorzystywania przez recenzentów kryteriów oceny osiągnięć naukowych wynikających z aktów prawnych. Nie jest to zatem analiza jakościowa merytorycznej treści recenzji, ale tych danych, które świadczą o uwzględnieniu przez rzeczoznawców formalnych wymogów stawianych habilitantom jak np. osiągnięcie będące podstawą postępowania (monografia, cykl publikacji, osiągnięcie punktowe, część pracy zbiorowej, procentowy wkład w autorstwo), pozostałe osiągnięcia naukowo-badawcze np. liczba publikacji w czasopismach z WoS, JCR, ERIH, międzynarodowych, krajowych, opracowania zbiorowe, ekspertyzy, sumaryczny impact factor, liczba cytowań, Indeks Hirscha, kierowanie projektami badawczymi i/lub udział w projektach badawczych, nagrody za działalność naukową – krajowe, międzynarodowe, referaty na konferencjach – krajowych, międzynarodowych, współpraca międzynarodowa, udział w komitetach organizacyjnych konferencji, w radach naukowych czasopism i towarzystwach naukowych itd.

W toku analiz okazało się, że niektórzy recenzenci wprowadzali dodatkowe kryteria oceny osiągnięć naukowych jak np. opublikowane recenzje książek habilitanta. Trafnie recenzenci wskazywali na występowanie lub brak umiejętności badawczych habilitanta w zakresie posługiwania się zadeklarowaną w rozprawach metodą naukową i zastosowanymi lub opracowanymi autorsko technikami oraz narzędziami badawczymi. 

Brano tu także pod uwagę znajomość i wykorzystanie adekwatnej do problemu badawczego literatury naukowej, oryginalność problemu badawczego, jego znaczenie społeczne, a także produktywność i wpływ rozpraw habilitanta na reprezentowaną przez niego dyscyplinę naukową. W tym zakresie każda dyscyplina naukowa ma swoja specyfikę.

       Autorka tej rozprawy zawarła rekomendacje w istocie dla Komisji Ewaluacji Nauki, w której zasiada jej promotor, a są to m.in. sugestie, by:

* uprościć zasady ocen, w tym zredukować ich liczbę i jasno określić rolę kryteriów.

* uwzględnić narzędzia bibliometryczne, które mogą być wykorzystane do oceny humanistyki i nauk społecznych.

* zachować zasadę dziedziczenia prestiżu w zasadach ewaluacji.

* określić stosunek zasad obowiązujących w innych wymiarach ewaluacji nauki, w tym ocenie instytucjonalnej, do zasad ewaluacji obowiązujących w awansach naukowych [s.330].

            Najbardziej wartościowy poznawczo jest rozdział drugi tej rozprawy, w którym E. Rozkosz referuje praktyki recenzenckie i metody ewaluacji osiągnięć naukowych w świetle dotychczasowego stanu badań na świecie. Kształcącym zaś w szkołach doktorskich polecam rozdział trzeci na temat metod badania własnego, gdyż istotnie stanowi bardzo klarowną strukturę i argumentację konceptualizacji badań. Takie rozprawy czyta się z dużą satysfakcją poznawczą i dydaktyczną w środowisku akademickim.