sobota, 20 stycznia 2018

Ewaluacja osiągnięć naukowych w postępowaniach habilitacyjnych


Bardzo mi się podoba udostępnienie przez dra hab. Emanuela Kulczyckiego prof. UAM w Poznaniu rozprawy doktorskiej pani dr Ewy A. Rozkosz pt. Ewaluacja osiągnięć naukowych w postępowaniach habilitacyjnych. Kryteria oceny a praktyki ewaluacyjne w naukach humanistycznych i społecznych. Dysertacja została obroniona na Wydziale Nauk Historycznych Uniwersytetu Mikołaja Kopernika w Toruniu na początku stycznia 2018 r., w dziedzinie nauki humanistyczne, w dyscyplinie bibliologia i informatologia.

Praca jest bardzo interesująca a z jej treścią powinni zapoznać się wszyscy samodzielni pracownicy naukowi, szczególnie osoby odpowiedzialne w uczelniach za postępowania naukowe. Ufam, że przeczytają ją także członkowie Centralnej Komisji do Spraw Stopni i Tytułów.

Na szczęście, co zdarza się rzadko, promotor udostępnił rozprawę , dzięki czemu możemy ją przeczytać zanim ukaże się w wersji drukowanej. Uważam, że warto wydać taką pracę, bowiem każde badanie dotyczące postępowań naukowych zasługuje na uwagę. Otrzymujemy w tym przypadku nową wiedzę o kluczowych w nauce dokumentach, jakimi są recenzje osiągnięć naukowych habilitantów.

Podjęcie tego zagadnienia jest tym bardziej cenne, że w Polsce od kilkunastu lat ścierają się ze sobą zwolennicy dwóch „frontów” akademickich: ci, co są za tym, aby nadal obowiązywała habilitacja oraz przeciwni temu stopniowi naukowemu. Autorka nie wchodzi na pole akademickiej walki, ale w jakiejś części może jej praca posłużyć do tego, by politycy dokonali wyboru „ZA” lub „PRZECIW”.

Rozprawa jest nam udostępniona we właściwym momencie, gdyż trwają właśnie dyskusje o konieczności przyspieszenia zmian w polskiej nauce, a MNiSW przygotowuje projekt Ustawy 2.0, która ma upełnomocnić przeprowadzenie kolejnej reformy w szkolnictwie wyższym i nauce.

Autorka dysertacji pisze we wstępie, że celem jej pracy było (...) pokazanie dyscyplinarnej różnorodności i podobieństw w praktykach recenzenckich w ramach ewaluacji osiągnięć naukowych w postępowaniach habilitacyjnych z zakresu nauk humanistycznych i społecznych. Wprawdzie nie badała praktyk recenzenckich tylko ich wytwory, jakimi były zamieszczone na stronie Centralnej Komisji recenzje w 300 postępowaniach habilitacyjnych w pięciu dyscyplinach naukowych: ekonomia, językoznawstwa, prawa, psychologia i teologia, ale mimo to odczytuje w nich interesujące dane.

Analizą ilościową objęła wybrane dane o postępowaniach habilitacyjnych ze wszystkich obszarów wiedzy (N = 3695), natomiast analiza jakościowa dotyczyła recenzji z w/w pięciu dyscyplin naukowych z obszaru nauk humanistycznych i obszaru nauk społecznych (N = 300) poszukując w ich formie i treści odpowiedzi na pytanie: Jakie są wzory praktyk recenzenckich w różnych dyscyplinach?

Znajdziemy w tej rozprawie odpowiedź na pytania:

(1) Jaka jest charakterystyka ilościowa postępowań habilitacyjnych?

(2) Jak recenzenci w postępowaniach habilitacyjnych argumentują ocenę osiągnięć naukowych i konkluzję?

(3) Jak recenzenci w postępowaniach habilitacyjnych używają kryteriów oceny osiągnięć naukowych wskazanych w aktach prawnych?

(4) Jak recenzenci w postępowaniach habilitacyjnych używają metod bibliometrycznych w ewaluacji osiągnięć naukowych?


Nie będę zdradzał wyników tych badań, bo każdy zainteresowany znajdzie w tej rozprawie coś interesującego dla siebie.

Prawnicy dowiedzą się, że Porządek ministerialny zobowiązuje do stosowania wskaźników bibliometrycznych zgodnie z regułami, opisanymi w obowiązujących aktach prawnych regulujących procedurę habilitacyjną (ustawie i rozporządzeniach). (...) Zgodnie z obowiązującą ustawą, określającą zasady postępowania habilitacyjnego oraz towarzyszącymi jej aktami wykonawczymi, recenzenci powinni użyć trzech wskaźników bibliometrycznych w ewaluacji osiągnięć naukowo-badawczych. Te wskaźniki to, jak już wspomniałam, SumIF, liczba cytowań i indeks Hirscha..

W innym miejscu rozprawy przeczytają:

Te porządki nie są literalnie ujęte w przepisach prawa, a stanowią wynik rekonstrukcji źródeł zasad wyznaczających zasady habilitacji w zakresie interpretacji tego, co oznacza spełnienie kryterium. Zatem jeden recenzent może uznać, że wyższa od zera wartość danego wskaźnika bibliometrycznego spełnia kryterium, natomiast drugi recenzent może uznać, że do spełnienia kryterium konieczne jest uzyskanie wartości równej 5 (np. indeksu Hirscha = 5). Pozostawienie swobody pozwala recenzentowi na ocenienie wartości wskaźnika i na tej podstawie stwierdzenie, czy kryterium zostało spełnione z uwzględnieniem kontekstu danej dyscypliny, w szczególności przyjętych w tej dyscyplinie praktyk publikacyjnych oraz właściwej jej kultury cytowań.

Słusznie zatem uświadamia nam wszystkim to, o czym pisał w komentarzu do Ustawy b. sekretarz Centralnej Komisji prof. Hubert Izdebski, że w powyższej kwestii nie ma porządku ministerialnego i nie ma żadnego zobowiązania prawnego do tego, by recenzenci w postępowaniach habilitacyjnych rozstrzygali o tym, czy ktoś może uzyskać stopień naukowy dra hab. na podstawie wskaźników bibliometrycznych, czy też nie.

Dlaczego? Z bardzo prostego powodu. Była minister Barbara Kudrycka nie ustanowiła żadnych kryteriów bibliometrycznych, tylko sformułowała postulaty, na co recenzenci mogliby zwrócić uwagę oceniając osiągnięcia naukowe, dokonania organizacyjne i dydaktyczne kandydatów do awansu naukowego po uzyskaniu stopnia doktora.

W Rozporządzeniu Ministra Nauki i Szkolnictwa Wyższego z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego (Dz. U. 2011, nr 196, poz. 1165)nie ma żadnych bibliometrycznych wskaźników. Nie ma w tym rozporządzeniu minimalnych norm bibliometrycznych, których uzyskanie pozwoliłoby na rozstrzygnięcie, czy można wystąpić z wnioskiem o wszczęcie postępowania habilitacyjnego, czy też nie oraz jaka liczba i jakość (także wydawnictw) publikacji odpowiada minimalnej liczbie koniecznych do uzyskania punktów parametrycznych!

To zatem, czy habilitant ma indeks Hirscha=0 czy 20 nie ma z prawnego punktu widzenia żadnego znaczenia i nie może być argumentem do negowania jego osiągnięć naukowych. Habilitant nie musi spełnić żadnego z kryteriów, gdyż ustawodawca zobowiązuje go do spełnienia wymagań, a tymi są osiągnięcia naukowe. W przypadku nauk humanistycznych i społecznych stanowią je publikacje naukowe.

Pani dr Ewa A. Rozkosz wprowadza zatem czytelników w błąd pisząc: Recenzenci są zobowiązani do stosowania kryteriów przy ocenie osiągnięć. Ustawodawca wprost zobowiązał recenzentów do oceny, czy osiągnięcia spełniają kryteria. Tym samym zobowiązał ich do ewaluacji tych osiągnięć. Ewaluacja jest więc w postępowaniu habilitacyjnym procesem oceny, polegającym na sprawdzaniu spełniania kryteriów. Różni się ona tym od oceny, że jej rezultat powinien jasno wskazywać, czy kryterium zostało spełnione czy też nie.

Sama sobie zaprzecza, kiedy w założeniach badawczych pisze:

Wykaz kryteriów można zatem traktować jako matrycę stosowaną przy ewaluacji osiągnięć habilitanta, w której rozstrzygnąć trzeba, czy poszczególne kryteria są spełnione, jednakże niespełnienie części kryteriów nie musi skutkować negatywną oceną osiągnięć pod kątem ich znacznego wkładu w rozwój dyscypliny naukowej lub negatywną oceną aktywności naukowej.

Nie tylko pani doktor ma z tym problem, bo dziekani niektórych jednostek naukowych załączają recenzentom do umowy o dzieło formularz, w którym członkowie komisji habilitacyjnej mają odnotować, czy każde z kryteriów zostało spełnione i w jakim zakresie. To jest niezgodne z prawem. Kryteria oceny nie są bowiem wymogami, które muszą być spełnione przez habilitantów.

Jest jeszcze jedna kwestia prawna, która została przez autorkę tej pracy poruszona w niewłaściwy sposób.
Błędne, bo niezgodne z obowiązującym prawem, jest następujące stwierdzenie:

„W 2011 r. ustawodawca wprowadził udogodnienia dla osób, które posiadają stopień doktora, a także odpowiednie osiągnięcia zdobyte podczas wcześniejszej pracy za granicą, w tym doświadczenie w kierowaniu zespołami badawczymi. Takie osoby mogą uzyskać uprawnienia równoważne z uprawnieniami doktora habilitowanego, nie wszczynając postępowania habilitacyjnego, tylko dzięki decyzji rektora uczelni, stanowiącej miejsce ich zatrudnienia. Jednakże uprawnień, wynikających z art. 21a, nie można przenosić między uczelniami. Wystarczają one jednak (jako substytut habilitacji) do występowania z wnioskiem o nadanie tytułu profesora”.

Otóż, decyzja rektora o tym jeszcze nie stanowi, gdyż musi ona uzyskać akceptację Centralnej Komisji Do Spraw Stopni i Tytułów. Z postępowań, które mają miejsce w każdej sekcji CK wynika, że większość takich wniosków nie jest zatwierdzana, gdyż rektorzy - głównie szkół prywatnych - składają lub potwierdzają fałszywe oświadczenia o rzekomym kierowaniu przez doktora poza granicami kraju zespołem badawczym albo/i o posiadaniu przez niego wybitnych osiągnięć naukowych.

To są jedynie sprostowania, które warto wziąć pod uwagę czytając tę interesującą dysertację czy przygotowując ją do druku. Każdy zainteresowany może zapoznać się nie tylko z jej treścią, ale także recenzjami z tego postępowania, gdyż są one dostępne na stronie Wydziału Humanistycznego UMK w Toruniu.

Doktoranci mogą uczyć się od pani Ewy A. Rozkosz nie tylko tego, w jaki sposób konstruować własny projekt badawczy, ale także jak przedstawić go w rozprawie, by wyeliminować wątpliwości dotyczące wiarygodności uzyskanych danych.

Autorka znakomicie porusza się w literaturze z naukoznawstwa, jak i w zakresie bibliologii, o czym wypowiadają się w superlatywach recenzenci. Może mieć zatem poczucie satysfakcji z wykonanych zadań badawczych niezależnie od powyższych kwestii prawnych. W gruncie rzeczy dzięki tym badaniom możemy zorientować się, z jakimi problemami spotkają się przewodniczący komisji habilitacyjnych (o ile jeszcze takowe pozostaną), jeśli będą musieli rozstrzygać o spełnieniu wymagań na podstawie właściwie skonstruowanych wskaźników bibliometrycznych.

Bardzo ciekawa jest analiza jakościowa 300 recenzji, w części dotyczącej przyjętych przez autorkę ram analitycznych, które wykorzystała w analizie danych. Mnie najbardziej zaciekawiła pierwsza rama analityczna dotycząca argumentacji recenzentów. Jak pisze E.A. Rozkosz:

Pierwsza rama jest przeznaczona do analizy argumentacji recenzentów w ocenie osiągnięć naukowych i konkluzjach. Podstawa drzewa kodowego (kody: „Ocena pozytywna”, „Ocena negatywna”, „Konkluzja pozytywna”) powstała na podstawie pytania badawczego: Jak recenzenci w postępowaniach habilitacyjnych argumentują ocenę osiągnięć naukowych i konkluzję? Przyjęłam dwa założenia. Po pierwsze, założyłam, że recenzenci będą jednoznacznie orzekać o jakości poszczególnych osiągnięć habilitanta i że będzie tym samym możliwe zakodowanie fragmentów, w których ocena osiągnięć jest pozytywna lub negatywna.

Nie zdradzam już więcej danych z tej rozprawy. Gratuluję Autorce i Promotorowi.











3 komentarze:

  1. Jeżeli ocenia się dorobek badawczy danej osoby, to przede wszystkim należy uwzględnić faktyczne odkrycia, ustalenia, które wynikają z przeprowadzonych badań. Natomiast wskaźniki bibliometryczne określają aktywność naukowca w międzynarodowym wyścigu naukowym. W USA naukowca poznaje się po nazwisku, a nie po indeksie Hirscha, co potwierdza moją wypowiedź w kwestii znaczenia bibliometrii w dorobku badawczym. Wiedzą o czym mówię ci badacze, którzy pielęgnowali swój indeks Hirscha i ogólną liczbę cytowań swoich prac, ale po wyjeździe do państw wysoko rozwiniętych zorientowali się, że to nic, lub niewiele znaczy w sprawie. Niektórzy zapewne poczuli się rozczarowani.

    OdpowiedzUsuń
  2. Panie Profesorze, przede wszystkim bardzo dziękuję za wnikliwą lekturę dysertacji i obszerny komentarz. Poniżej odnoszę się do dwóch uwag:

    1) Uwaga odnosząca się do stosowania kryteriów przez recenzentów.

    Zgadzam się z Panem, że jest w tym zakresie niejasność, której i ja nie uniknęłam w swojej rekonstrukcji. Z jednej strony w Ustawie czytamy, że "(...) recenzenci (...) oceniają czy osiągnięcia naukowe wnioskodawcy spełniają kryteria określone w art. 16", co rozumiem jako zobowiązanie do stosowania wskazanych w rozporządzeniu kryteriów w ocenie. Do tego zapisu odnoszę się wprost w pierwszym cytowanym przez Pana fragmencie: "Recenzenci są zobowiązani do stosowania kryteriów przy ocenie osiągnięć (...)".

    Z drugiej strony ustawodawca nie określa wartości progowych w ramach kryteriów ani też wytycznych, jak należy rozumieć i stosować w praktyce zapis: "spełnienie kryteriów". Trudno go uznać pojęcie "kryteriów" za tożsame z "wymogami", stąd wniosek: "niespełnienie części kryteriów nie musi skutkować negatywną oceną osiągnięć (...)".

    Przytaczane w literaturze przedmiotu interpretacje i opinie, co do znaczenia zapisu "spełnienie kryteriów" nie są jednoznaczne, co powinnam była być może lepiej wyeksponować w swojej rekonstrukcji procedury habilitacyjnej.

    2) Uwaga odnosząca się do opisu uprawnień wynikających z art. 21a.

    Faktycznie upraszczając opis procedury pominęłam istotny jej element, a mianowicie rolę Centralnej Komisji do Spraw Stopni i Tytułów, która decyzję rektora/dyrektora instytutu może uchylić lub wobec której może wyrazić sprzeciw. Dziękuję za umieszczone we wpisie sprostowanie.

    Z wyrazami szacunku,
    Ewa Rozkosz

    OdpowiedzUsuń
  3. Kryteria wymienione w art. 16 Ustawy o stopniach to: 1) posiadanie stopnia doktora, 2) osiągnięcia naukowe lub artystyczne, uzyskane po otrzymaniu stopnia doktora, stanowiące znaczny wkład autora w rozwój określonej dyscypliny naukowej lub artystycznej, 3) wykazywanie się istotną aktywnością naukową lub artystyczną. Rozporządzenie wymienia natomiast kryteria OCENY osiągnięć, a to już zupełnie inna bajka. Dlatego też interpretacja prof. Śliwerskiego jest jak najbardziej słuszna.

    OdpowiedzUsuń

Jeśli masz zamiar kogoś obrazić, to zrezygnuj z komentowania.