sobota, 20 stycznia 2018

Ewaluacja osiągnięć naukowych w postępowaniach habilitacyjnych


Bardzo mi się podoba udostępnienie przez dra hab. Emanuela Kulczyckiego prof. UAM w Poznaniu rozprawy doktorskiej pani dr Ewy A. Rozkosz pt. Ewaluacja osiągnięć naukowych w postępowaniach habilitacyjnych. Kryteria oceny a praktyki ewaluacyjne w naukach humanistycznych i społecznych. Dysertacja została obroniona na Wydziale Nauk Historycznych Uniwersytetu Mikołaja Kopernika w Toruniu na początku stycznia 2018 r., w dziedzinie nauki humanistyczne, w dyscyplinie bibliologia i informatologia.

Praca jest bardzo interesująca a z jej treścią powinni zapoznać się wszyscy samodzielni pracownicy naukowi, szczególnie osoby odpowiedzialne w uczelniach za postępowania naukowe. Ufam, że przeczytają ją także członkowie Centralnej Komisji do Spraw Stopni i Tytułów.

Na szczęście, co zdarza się rzadko, promotor udostępnił rozprawę , dzięki czemu możemy ją przeczytać zanim ukaże się w wersji drukowanej. Uważam, że warto wydać taką pracę, bowiem każde badanie dotyczące postępowań naukowych zasługuje na uwagę. Otrzymujemy w tym przypadku nową wiedzę o kluczowych w nauce dokumentach, jakimi są recenzje osiągnięć naukowych habilitantów.

Podjęcie tego zagadnienia jest tym bardziej cenne, że w Polsce od kilkunastu lat ścierają się ze sobą zwolennicy dwóch „frontów” akademickich: ci, co są za tym, aby nadal obowiązywała habilitacja oraz przeciwni temu stopniowi naukowemu. Autorka nie wchodzi na pole akademickiej walki, ale w jakiejś części może jej praca posłużyć do tego, by politycy dokonali wyboru „ZA” lub „PRZECIW”.

Rozprawa jest nam udostępniona we właściwym momencie, gdyż trwają właśnie dyskusje o konieczności przyspieszenia zmian w polskiej nauce, a MNiSW przygotowuje projekt Ustawy 2.0, która ma upełnomocnić przeprowadzenie kolejnej reformy w szkolnictwie wyższym i nauce.

Autorka dysertacji pisze we wstępie, że celem jej pracy było (...) pokazanie dyscyplinarnej różnorodności i podobieństw w praktykach recenzenckich w ramach ewaluacji osiągnięć naukowych w postępowaniach habilitacyjnych z zakresu nauk humanistycznych i społecznych. Wprawdzie nie badała praktyk recenzenckich tylko ich wytwory, jakimi były zamieszczone na stronie Centralnej Komisji recenzje w 300 postępowaniach habilitacyjnych w pięciu dyscyplinach naukowych: ekonomia, językoznawstwa, prawa, psychologia i teologia, ale mimo to odczytuje w nich interesujące dane.

Analizą ilościową objęła wybrane dane o postępowaniach habilitacyjnych ze wszystkich obszarów wiedzy (N = 3695), natomiast analiza jakościowa dotyczyła recenzji z w/w pięciu dyscyplin naukowych z obszaru nauk humanistycznych i obszaru nauk społecznych (N = 300) poszukując w ich formie i treści odpowiedzi na pytanie: Jakie są wzory praktyk recenzenckich w różnych dyscyplinach?

Znajdziemy w tej rozprawie odpowiedź na pytania:

(1) Jaka jest charakterystyka ilościowa postępowań habilitacyjnych?

(2) Jak recenzenci w postępowaniach habilitacyjnych argumentują ocenę osiągnięć naukowych i konkluzję?

(3) Jak recenzenci w postępowaniach habilitacyjnych używają kryteriów oceny osiągnięć naukowych wskazanych w aktach prawnych?

(4) Jak recenzenci w postępowaniach habilitacyjnych używają metod bibliometrycznych w ewaluacji osiągnięć naukowych?


Nie będę zdradzał wyników tych badań, bo każdy zainteresowany znajdzie w tej rozprawie coś interesującego dla siebie.

Prawnicy dowiedzą się, że Porządek ministerialny zobowiązuje do stosowania wskaźników bibliometrycznych zgodnie z regułami, opisanymi w obowiązujących aktach prawnych regulujących procedurę habilitacyjną (ustawie i rozporządzeniach). (...) Zgodnie z obowiązującą ustawą, określającą zasady postępowania habilitacyjnego oraz towarzyszącymi jej aktami wykonawczymi, recenzenci powinni użyć trzech wskaźników bibliometrycznych w ewaluacji osiągnięć naukowo-badawczych. Te wskaźniki to, jak już wspomniałam, SumIF, liczba cytowań i indeks Hirscha..

W innym miejscu rozprawy przeczytają:

Te porządki nie są literalnie ujęte w przepisach prawa, a stanowią wynik rekonstrukcji źródeł zasad wyznaczających zasady habilitacji w zakresie interpretacji tego, co oznacza spełnienie kryterium. Zatem jeden recenzent może uznać, że wyższa od zera wartość danego wskaźnika bibliometrycznego spełnia kryterium, natomiast drugi recenzent może uznać, że do spełnienia kryterium konieczne jest uzyskanie wartości równej 5 (np. indeksu Hirscha = 5). Pozostawienie swobody pozwala recenzentowi na ocenienie wartości wskaźnika i na tej podstawie stwierdzenie, czy kryterium zostało spełnione z uwzględnieniem kontekstu danej dyscypliny, w szczególności przyjętych w tej dyscyplinie praktyk publikacyjnych oraz właściwej jej kultury cytowań.

Słusznie zatem uświadamia nam wszystkim to, o czym pisał w komentarzu do Ustawy b. sekretarz Centralnej Komisji prof. Hubert Izdebski, że w powyższej kwestii nie ma porządku ministerialnego i nie ma żadnego zobowiązania prawnego do tego, by recenzenci w postępowaniach habilitacyjnych rozstrzygali o tym, czy ktoś może uzyskać stopień naukowy dra hab. na podstawie wskaźników bibliometrycznych, czy też nie.

Dlaczego? Z bardzo prostego powodu. Była minister Barbara Kudrycka nie ustanowiła żadnych kryteriów bibliometrycznych, tylko sformułowała postulaty, na co recenzenci mogliby zwrócić uwagę oceniając osiągnięcia naukowe, dokonania organizacyjne i dydaktyczne kandydatów do awansu naukowego po uzyskaniu stopnia doktora.

W Rozporządzeniu Ministra Nauki i Szkolnictwa Wyższego z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego (Dz. U. 2011, nr 196, poz. 1165)nie ma żadnych bibliometrycznych wskaźników. Nie ma w tym rozporządzeniu minimalnych norm bibliometrycznych, których uzyskanie pozwoliłoby na rozstrzygnięcie, czy można wystąpić z wnioskiem o wszczęcie postępowania habilitacyjnego, czy też nie oraz jaka liczba i jakość (także wydawnictw) publikacji odpowiada minimalnej liczbie koniecznych do uzyskania punktów parametrycznych!

To zatem, czy habilitant ma indeks Hirscha=0 czy 20 nie ma z prawnego punktu widzenia żadnego znaczenia i nie może być argumentem do negowania jego osiągnięć naukowych. Habilitant nie musi spełnić żadnego z kryteriów, gdyż ustawodawca zobowiązuje go do spełnienia wymagań, a tymi są osiągnięcia naukowe. W przypadku nauk humanistycznych i społecznych stanowią je publikacje naukowe.

Pani dr Ewa A. Rozkosz wprowadza zatem czytelników w błąd pisząc: Recenzenci są zobowiązani do stosowania kryteriów przy ocenie osiągnięć. Ustawodawca wprost zobowiązał recenzentów do oceny, czy osiągnięcia spełniają kryteria. Tym samym zobowiązał ich do ewaluacji tych osiągnięć. Ewaluacja jest więc w postępowaniu habilitacyjnym procesem oceny, polegającym na sprawdzaniu spełniania kryteriów. Różni się ona tym od oceny, że jej rezultat powinien jasno wskazywać, czy kryterium zostało spełnione czy też nie.

Sama sobie zaprzecza, kiedy w założeniach badawczych pisze:

Wykaz kryteriów można zatem traktować jako matrycę stosowaną przy ewaluacji osiągnięć habilitanta, w której rozstrzygnąć trzeba, czy poszczególne kryteria są spełnione, jednakże niespełnienie części kryteriów nie musi skutkować negatywną oceną osiągnięć pod kątem ich znacznego wkładu w rozwój dyscypliny naukowej lub negatywną oceną aktywności naukowej.

Nie tylko pani doktor ma z tym problem, bo dziekani niektórych jednostek naukowych załączają recenzentom do umowy o dzieło formularz, w którym członkowie komisji habilitacyjnej mają odnotować, czy każde z kryteriów zostało spełnione i w jakim zakresie. To jest niezgodne z prawem. Kryteria oceny nie są bowiem wymogami, które muszą być spełnione przez habilitantów.

Jest jeszcze jedna kwestia prawna, która została przez autorkę tej pracy poruszona w niewłaściwy sposób.
Błędne, bo niezgodne z obowiązującym prawem, jest następujące stwierdzenie:

„W 2011 r. ustawodawca wprowadził udogodnienia dla osób, które posiadają stopień doktora, a także odpowiednie osiągnięcia zdobyte podczas wcześniejszej pracy za granicą, w tym doświadczenie w kierowaniu zespołami badawczymi. Takie osoby mogą uzyskać uprawnienia równoważne z uprawnieniami doktora habilitowanego, nie wszczynając postępowania habilitacyjnego, tylko dzięki decyzji rektora uczelni, stanowiącej miejsce ich zatrudnienia. Jednakże uprawnień, wynikających z art. 21a, nie można przenosić między uczelniami. Wystarczają one jednak (jako substytut habilitacji) do występowania z wnioskiem o nadanie tytułu profesora”.

Otóż, decyzja rektora o tym jeszcze nie stanowi, gdyż musi ona uzyskać akceptację Centralnej Komisji Do Spraw Stopni i Tytułów. Z postępowań, które mają miejsce w każdej sekcji CK wynika, że większość takich wniosków nie jest zatwierdzana, gdyż rektorzy - głównie szkół prywatnych - składają lub potwierdzają fałszywe oświadczenia o rzekomym kierowaniu przez doktora poza granicami kraju zespołem badawczym albo/i o posiadaniu przez niego wybitnych osiągnięć naukowych.

To są jedynie sprostowania, które warto wziąć pod uwagę czytając tę interesującą dysertację czy przygotowując ją do druku. Każdy zainteresowany może zapoznać się nie tylko z jej treścią, ale także recenzjami z tego postępowania, gdyż są one dostępne na stronie Wydziału Humanistycznego UMK w Toruniu.

Doktoranci mogą uczyć się od pani Ewy A. Rozkosz nie tylko tego, w jaki sposób konstruować własny projekt badawczy, ale także jak przedstawić go w rozprawie, by wyeliminować wątpliwości dotyczące wiarygodności uzyskanych danych.

Autorka znakomicie porusza się w literaturze z naukoznawstwa, jak i w zakresie bibliologii, o czym wypowiadają się w superlatywach recenzenci. Może mieć zatem poczucie satysfakcji z wykonanych zadań badawczych niezależnie od powyższych kwestii prawnych. W gruncie rzeczy dzięki tym badaniom możemy zorientować się, z jakimi problemami spotkają się przewodniczący komisji habilitacyjnych (o ile jeszcze takowe pozostaną), jeśli będą musieli rozstrzygać o spełnieniu wymagań na podstawie właściwie skonstruowanych wskaźników bibliometrycznych.

Bardzo ciekawa jest analiza jakościowa 300 recenzji, w części dotyczącej przyjętych przez autorkę ram analitycznych, które wykorzystała w analizie danych. Mnie najbardziej zaciekawiła pierwsza rama analityczna dotycząca argumentacji recenzentów. Jak pisze E.A. Rozkosz:

Pierwsza rama jest przeznaczona do analizy argumentacji recenzentów w ocenie osiągnięć naukowych i konkluzjach. Podstawa drzewa kodowego (kody: „Ocena pozytywna”, „Ocena negatywna”, „Konkluzja pozytywna”) powstała na podstawie pytania badawczego: Jak recenzenci w postępowaniach habilitacyjnych argumentują ocenę osiągnięć naukowych i konkluzję? Przyjęłam dwa założenia. Po pierwsze, założyłam, że recenzenci będą jednoznacznie orzekać o jakości poszczególnych osiągnięć habilitanta i że będzie tym samym możliwe zakodowanie fragmentów, w których ocena osiągnięć jest pozytywna lub negatywna.

Nie zdradzam już więcej danych z tej rozprawy. Gratuluję Autorce i Promotorowi.