sobota, 25 czerwca 2011

Ewaluacja, parametryzacja, kategoryzacja


Komitet Ewaluacji Jednostek Naukowych (KEJN) przygotowuje kryteria oceny parametrycznej jednostek naukowych. Podlegają jej wszystkie uczelnie publiczne, natomiast niepubliczne o tyle, o ile same są tym zainteresowane i są gotowe poddać się takiej weryfikacji. Jak nie wiadomo - 99% wyższych szkół prywatnych prowadzących studia na kierunku pedagogika, nie posiada oceny parametrycznej, gdyż nie musi się jej poddawać i nawet nie zamierza, gdyż nie spełnia kryteriów szkół, których nauka i opublikowane wyniki badań własnej kadry mają znaczenie. To są szkoły zawodowe mimo włączenia ich pod regulacje ustawy o szkolnictwie wyższym, gdyż nie dysponują ani takim kapitałem naukowym, ani jego osiągnięciami, na podstawie których mogłyby z własnej inicjatywy poddać się ocenie zewnętrznej. Jedyna ocena to ta, jaką wystawia im Państwowa Komisja Akredytacyjna za … jakość kształcenia. Ta, rzecz jasna jest stopniowalna – od negatywnej, przez warunkową, pozytywną po wyróżniającą, ale nie uwzględnia tego, czym muszą wykazać się wszystkie uczelnie publiczne – a mianowicie: aktywnością naukową, potencjałem badawczym i osiągnięciami niematerialnymi.

Jedynie wyższe szkoły prywatne, które mają prawo do kształcenia na studiach II stopnia (magisterskich), są zobowiązane do wykazania własnej „działalności naukowej”, która obejmuje publikacje i konferencje, ale nie na poziomie, jakiemu podlegają jednostki publicznych szkół akademickich. Właśnie dlatego wiele „wsp” prowadzi własne wydawnictwa (głównie jako źródła dodatkowego dochodu, usług komercyjnych, a nie wspomagania badań naukowych) lub wydaje publikacje swoich nauczycieli akademickich, których poziom nie jest mierzony kryteriami obowiązującymi w ramach ocen parametrycznych.

Żaden liczący się w nauce pedagog nie wyda książki w oficynie prywatnej szkoły głównie z tego powodu, że nie ma ona i mieć nie będzie renomy w całym środowisku akademickim, skoro jej właściciel reprezentuje tylko i wyłącznie interes własnej szkoły, a ta nie ma uprawnień akademickich. Zdecydowana większość nauczycieli akademickich tych szkół nie prowadzi badań, nie publikuje w liczących się w kraju i poza granicami czasopismach i wydawnictwach naukowych (a jeśli, to afiliując to przy publicznej uczelni) i nie uczestniczy w krajowym życiu naukowym naszego środowiska. To jest najlepszy wskaźnik na to, że nie o jedność teorii i praktyki w tych szkołach chodzi, tylko jedność kształcenia i biznesu. Tylko te wyższe szkoły prywatne, które od kilkunastu lat konsekwentnie rozwijały się i inwestowały w rzeczywisty potencjał akademicki, jak np. Dolnośląska Szkoła Wyższa we Wrocławiu, poddały się ocenie parametrycznej i teraz mogą, bo mają czym, konkurować z jednostkami uczelni publicznych. Kiedy zapytacie w niektórych „wsp” o to, jaką posiadają ocenę parametryczną, to okaże się, że nawet ich rektorzy nie wiedzą, o co nam chodzi. Im też zresztą nie o to chodzi. Oni mają do wykonania plan biznesowy, a nie akademicki. Taka jest jedna z wielu różnic między prywatnym a publicznym szkolnictwem wyższym.

Właśnie o tym m.in. była wczoraj mowa w czasie toruńskiej debaty na temat kryteriów parametryzacji jednostek naukowych. Dla pedagogów szkół publicznych jest dobra wiadomość. Okazuje się bowiem, że KEJN weżmie pod uwagę Stanowisko Komitetu Nauk Pedagogicznych PAN sprawie uwzględniania w ocenie parametrycznej jednostek naukowych tzw. technologii edukacyjnych. Jest to niewątpliwie sukces tych członków KNP PAN, którzy uczestnicząc w tegorocznym posiedzeniu poprali inicjatywę w tej sprawie prof. dr hab. Edyty Gruszczyk-Kolczyńskiej z Akademii Pedagogiki Specjalnej im. Marii Grzegorzewskiej w Warszawie. Projekt w tej sprawie poparł także Rektor APS i KRASP.

Co już można przekazać z projektowanych kryteriów oceny parametrycznej jednostek uczelni publicznych? Po pierwsze to, że zostaną objęte oceną za lata 2008-2011 już według nowych kryteriów, o których była mowa w Toruniu, bowiem w wypowiadali się o nich m.in. pracownicy i eksperci KEJN. Debata dotyczyła jedynie nauk humanistycznych i społecznych, a w grupie tych ostatnich znajduje się pedagogika.

Wyżej będą oceniane monografie naukowe, które zostały opublikowane w języku polskim tak, by zbliżyć wartość ich oceny do rozpraw autorskich opublikowanych w języku obcym (konferencyjnym). Do tej pory za monografię wydana przez naukowca jednostka otrzymywała 12 punktów, teraz ma być 20 pkt. (w języku obcym – 25 pkt.). Ważą się jeszcze losy punktowania artykułów w czasopismach listy MNiSW. Okazuje się bowiem, że lista czasopism naukowych z humanistyki – ERIH, została już zamknięta. Nie będzie poszerzona. Nie ma na niej ani jednego czasopisma socjologicznego, natomiast redakcje najlepszych polskich czasopism pedagogicznych zdążyły jeszcze na niej umieścić swoje tytuły. Liczba punktów za zamieszczony w nich artykuł wynosi 10 pkt. (kategoria C z tej listy). Skoro opublikowane w najlepszych z listy MNiSW polskich czasopismach naukowych artykuły uzyskują 9 punktów, to ze względu na niemożność włączenia nowych, a zasługujących na wysokie oceny innych czasopism na listę ERIH, rozważa się możliwość podwyższenia punktacji dla tych krajowych, lub pominięcia tych z listy ERIH jako listy zamkniętej i niepełnej.

Nie będą natomiast punktowane ani recenzje, ani artykuły w uczelniach wydawnictwach zbiorowych, pokonferencyjne (choć ukrywające taki status), a już tym bardziej artykuły popularnonaukowe. Najniżej będą oceniane artykuły w publikacjach zbiorowych, które wydawane są we wspomnianych już nieznaczących oficynach wyższych szkół prywatnych. Jak wskazywano w tej debacie, im niższy poziom naukowy reprezentuje jednostka akademicka, tym więcej wydaje publikacji zbiorowych, których jedynym łącznikiem jest okładka, bo często zgromadzone w nich rozprawy daleko odbiegają od jej tytułu. Będzie się zatem powoli zmierzać w kierunku budowania rankingu wydawców naukowych rozpraw monograficznych tak, jak ma to miejsce w przypadku wydawnictw czasopism naukowych, by jednak „odsiewać ziarno od plew”.

Nareszcie w ocenie jednostek będzie brany pod uwagę ich potencjał naukowy, a więc to, czy zatrudniają u siebie wybitnych uczonych (także tych, którzy pełnią z wyboru prestiżowe funkcje w naukowych stowarzyszeniach i organizacjach międzynarodowych), także wybitnych młodych uczonych (laureatów nagród naukowych) oraz to, czy posiadają uprawnienia do nadawania stopni naukowych i tytułu (w tym, czy przeprowadzają przewody także dla naukowców z innych jednostek). Liczyć się będą uzyskane w konkursach Narodowego Centrum Nauki granty badawcze czy granty prestiżowych w Europie instytucji naukowych. Oceniane będą wspomniane już technologie edukacyjne (oświatowe) i po raz pierwszy do oceny parametrycznej zostanie wprowadzony element autooceny środowiska naukowego. Każda jednostka będzie mogła wskazać na 10 swoich najlepszych osiągnięć, która sama uzna za najważniejsze dla jej środowiska akademickiego. Ważne jest to, że nie będzie się brać pod uwagę w ocenie dorobku naukowego danych jednostek tych osób, które nie są w nich zatrudnione. Skończy się zatem „kupowanie” dorobku niektórych naukowców, by wzmocnić tzw. potencjał naukowy własnej jednostki.

Oczywiście, debata nad tymi kryteriami jeszcze trwa. W Toruniu – dzięki inicjatywie prof. Ryszarda Borowicza – mogliśmy o tym także dyskutować, dzielić się własnymi opiniami. Pojawiały się w dyskusji głosy wskazujące na pewne zagrożenia dla tego procesu, ponieważ poziom kultury niektórych pracowników z jednostek środowisk akademickich, w tym przestrzegania zasad etycznych i obyczajowych nie odpowiada jeszcze najwyższym standardom. Upomniałem się w swojej wypowiedzi nie tylko o konieczność uwzględnienia technologii edukacyjnych wybitnych polskich pedagogów, których modele teoretyczne są przedmiotem aplikacji, eksperymentów czy wdrożeń innowacji pedagogicznych. Wspomniałem także o konieczności poddawanie ocenie recenzji ekspertów NCN i NCBiR, którzy będą recenzować wnioski badawcze, bo z moich doświadczeń jako recenzenta w panelach oceniających wnioski badawcze z pedagogiki i psychologii, jakie zgłaszane były dwa razy w roku do konkursu MNiSW wynika, że niektórzy profesorowie pisali swoje opinie „na kolanie”, w dwóch zdaniach, powierzchownie tak, jakby nie czytali treści wniosku badawczego, ale wiedzieli, ze musi być oceniony najwyżej lub najniżej. Tacy pseudorecenzenci powinni być wykluczani z wydawania swoich osądów mimo, iż mają znaczącą pozycję w kraju. Niektórzy, niestety, dewaluują ja na własne życzenie i własną często nieetyczna postawą w naszym środowisku. Należałoby także publikowac recenzje wniosków badawczych, by uczynić ten proces bardziej transparentnym.

Wskazywałem także na konieczność utajnienia danych wnioskodawców projektów badawczych, by wyeliminować z procesu ich oceniania możliwą (niestety) stronniczość (niektórych) recenzentów. Pedagogika polska nie musi mieć kompleksów w stosunku do tej, jaka jest rozwijana w krajach Europy Zachodniej (w USA w ogóle nie istnieje jako odrębna dyscyplina naukowa). Mamy wielu znakomitych naukowców, pojawiła się już nowa, młoda i znacząca także w relacjach międzynarodowych kadra polskich doktorów czy doktorów habilitowanych, która wybija się ponad przeciętność i dowodzi swoich możliwości w konkursach, czego najlepszym przykładem była chociażby wczorajsza nagroda dla dra pedagogiki P. Rudnickiego (z pierwszego wykształcenia magistra nauk politycznych).

Zainteresowanych debatą odsyłam do artykułów w dziale „Komunikaty specjalne” w najnowszym numerze Kultury i Edukacji (2011 nr 2)

10 komentarzy:

  1. Jak Pan Profesor ocenia w tym kontekście przyszłość tzw. "publikacji pokonferencyjnych"? Zamieszczanie publikacji wydaje się nie mieć już żadnego sensu, a jednak z każdym nowym komunikatem konferencyjnym nadal wskazywana jest konieczność/możliwość zgłoszenia tekstu do publikacji? Jaki sens mają takie publikacje? Bo jeśli chodzi o popularyzowanie treści, to chyba lepiej już zamieścić takowe (jeśli są stosowne) w czasopismach niepunktowanych, ale czytanych przez pedagogów/nauczycieli/ Jakie jest zdanie Pana Profesora w tej sprawie? I czy uczelniom "opłaca się" wydawać takie publikacje? Problem "opłacalności" dotyczy tu przecież nie tylko autora tekstu, ale i uczelni wydającej taką książkę.

    OdpowiedzUsuń
  2. Jeszcze nie mamy ostatecznego klucza oceniania publikacji naukowych. Jeśli jednak zostanie przyjęta zasada, że artykuły w publikacjach pokonferencyjnych nie są doceniane, to nie ma sensu ich wydawać chyba, że jako kronikę wydarzeń z przebiegu obrad. Natomiast w toku tej debaty podkreślano wagę rozpraw zbiorowych, o ile są one rzeczywiście poddane recenzji merytorycznej - i to ze względu na wielo-czy interdyscyplinarność - najlepiej recenzowanych przez kilku profesorów, by opinia o zawartości treści była rzetelna, kompetentna.
    Monografie zbiorowe muszą być po prostu rygorystycznie oceniane ze wzgledu na konieczną spójność tematyczną ich zawartości z tytułem. Tak więc kategoria "opłacalności" może wynikać z tego, ze za artykuł w czasopiśmie możemy otrzymać maks. z listy krajowej 9 a z listy ERIH 10 punktów, natomiast za artykuły w rozprawach zbiorowych otrzymamy tylko 3 pkt.
    A zatem jeśli jednostka wyda 3 rozprawy zbiorowe, w których będą artykuły tych samych autorów, ale jednak różne, to otrzymają oni za nie też łącznie 9 pkt., choć wkład ich pracy twórczej musi być wielokrotnie wyższy.
    Trzeba też spojrzeć na potrzebę wydawania monografii zbiorowych pod kątem ich innej "opłacalności", niż tylko ta, która wiąże się z ocena parametryczną - a więc ze względu na potrzeby kształcenia czy konieczność wykazania się doktorantów własnymi artykułami przed otwarciem czy zamknięciem przewodu doktorskiego.
    Proszę wziąć pod uwagę to, że pisałem tu tylko o ocenie parametrycznej jednostek naukowych, a nie o tym, jaka one będą odgrywały rolę w indywidualnym awansie naukowym każdego naukowca. To znaczy, że opłacalność wydawania tych rozpraw może być wyższa ze względu na awans naukowy pracowników, którzy muszą mieć w swoim dorobku recenzowane publikacje. To recenzenci w przewodzie będą rozstrzygać, czy jakość tych artykułów jest adekwatna do poziomu stopnia lub tytułu. A zatem, wydawać warto i należy, ale trzeba liczyć się z różnymi zastosowaniami owych dzieł.

    Warto redaktorom prac zbiorowych skupić się także na tym, by nie wprowadzać do tomów "na siłę" wszystkich tekstów, ale tylko te, które rzeczywiście zasługują na ich publikację. Nie przyjmować gładkich, "koleżeńskich" recenzji, ale oczekiwać rzetelnych opinii wydawniczych.

    OdpowiedzUsuń
  3. Ocena parametryczna dotyczy jednostek naukowych, a zatem uczelni - wydziałowi czy instytutowi "opłaca się" wydawanie rozpraw zbiorowych, gdyż będzie w ramach tej oceny liczona łączna liczba rozpraw naukowych każdego , zatrudnionego w jednostce pracownika. Im mniej naukowcy beda publikowac, tym niższą otrzyma jednostka kategorię, a tym samym i mniejsza dotację z budżetu państwa.

    OdpowiedzUsuń
  4. Dziękuję za tak wyczerpującą odpowiedź! Jeszcze tylko jedno pytanie - dla pewności - i to nie tylko mojej, bo naprawdę w środowisku jest spore zamieszanie i rozbieżność sądów i to nie tylko wśród doktorantów: czy dobrze rozumiem, że obecnie tekst w recenzowanej publikacji pokonferencyjnej (nawet jeśli nazywanej "monografią") nie otrzymuje żadnych punktów o ile nie liczy jednego arkusza?

    OdpowiedzUsuń
  5. W ocenie parametrycznej jednostki, która zatrudnia nauczycieli akademickich - taki tekst się nie liczy. Istotnie, ważna jest jego objętość. Trwają jednak jeszcze dyskusje na ten temat, czy ma ona dotyczyć objętności rzędu min. 0,5 arkusza wydawniczego czy cały arkusz (ok. 21 str.) Proszę pamiętać, że przywołana tu przeze mnie debata dotyczy oceny jednostek naukowych, a nie pracowników naukowych.

    OdpowiedzUsuń
  6. "Wspomniałem także o konieczności poddawanie ocenie recenzji ekspertów KEJN, którzy będą recenzować wnioski badawcze, bo z moich doświadczeń..."
    Czy to nie jest nieporozumienie? Mam wrazenie, ze ocena wnioskow calkowicie przechodzi do NCN i NCBiR, a tam bedzie panowal system panelowy, zdaje sie, ze pozbawiony takich recenzji jak dotychczas (wiecej w protokolach z posiedzen NCN). KEJN i jego eksperci beda jednostki oceniac, ale wnioskow do opiniowania to chyba dostawac nie beda.
    pozdrawiam

    OdpowiedzUsuń
  7. Panie Profesorze, podkreśla Pan różnicę między oceną parametryczną jednostki a oceną pracownika naukowego. Wydaje mi się, że w przypadku nowych zasad takie rozróżnienie przestanie istnieć w tym sensie, że pracownik będzie rozliczany z publikacji, które są punktowane, a tym samym dają punkty jego uczelni. Mam wrażenie, że przy nowych zasadach pracownik naukowy będzie o tyle "cenny" o ile będzie publikował "za punkty", a inne jego publikacje nie będą powodować jego dobrej oceny (oceny Rektora), czy nawet nie będą brane pod uwagę. Jak Pan Profesor sądzi?

    OdpowiedzUsuń
  8. Kiedy ostatecznie będzie wiadomo jakie są nowe zasady, np. jak jest ze wspomnianym arkuszem (0,5 czy 1)?

    OdpowiedzUsuń
  9. Nie znam tego terminu. Jak będę znał rozstrzygnięcia w tym zakresie, to poinformuję o nich. Warto też śledzić zmiany na stronie MNiSW.

    Co do polityki kadrowej w uczelniach publicznych ze względu na parametryzację - mówił o ty, prof. J. Brzeziński, że jako dyrektor Instytutu Psychologii zwalniał z pracy tych naukowców, którzy byli "nieproduktywni". Psycholodzy stawiają bardzo wysokie wymagania swoim kadrom, by móc rywalizować o jak najwyższy rozwój ich dyscypliny i pozyskiwanie środków na kolejne badania. Pedagodzy traktują uczelnie jak dział pracy chronionej dla dużej części koleżanek i kolegów, którzy nie pracują twórczo, nie prowadzą badań. Taki system sterowania nauką wymusi inną politykę kadrową w uniwersytetach i akademiach. Zapewne twórczy Polacy znajdą sposób na jego obchodzenie. Właśnie recenzowałem - z wynikiem negatywnym - tom pokonferencyjny, w którym niektórzy autorzy, młodzi doktorzy postanowili powtórzyć rozdziały z już wydanych swoich monografii podoktorskich. Gdybym ich nie znał, to uznałbym, że są poznawczo wartościowe. Co innego, kiedy ktoś najpierw drukuje w czasopiśmie czy pracy zbiorowej, pokonferencyjnej, a potem wprowadza swój tekst do większej objętościowo monografii. Sytuacja odwrotna jest jednak naganna.
    Tak więc może poszerzać się zjawisko "produkowania wiedzy" dla punktów
    ....

    m:

    Tak, istotnie, chodzi tu o NCN i NCBiR a nie o KEJN.

    OdpowiedzUsuń
  10. M: Już skorygowałem, dziękuję. W trakcie debaty relacjonowałem wyniki własnych analiz dotychczasowych recenzji , jakie miały miejsce w MNiSW.

    OdpowiedzUsuń