czwartek, 1 marca 2018

Złe praktyki dotyczące recenzowania i opiniowania


To, że ponad 10 lat temu Prezydium Polskiej Akademii Nauk wydało "Zbiór Zasad: DOBRE OBYCZAJE W NAUCE", a sześć lat temu Zgromadzenie Ogólne PAN nadało temu nową wersję pt. "Kodeks Etyki Pracownika Naukowego" nie ma żadnego znaczenia dla dobrych praktyk w zakresie recenzowania i opiniowania zarówno maszynopisów rozpraw naukowych dla wydawnictw, jak i w postępowaniach o stopnie naukowe doktora i doktora habilitowanego. W przypadku ubiegania się o tytuł naukowy profesora sytuacja w tym względzie jest jeszcze gorsza.

Wszystko zaczyna się na etapie recenzji wydawniczej przygotowanej przez naukowca publikacji. Zbyt wysoka albo zbyt niska samoocena autora sprawia, że podejmuje on starania na rzecz wskazania takiego recenzenta, który nie podważy znakomitego samopoczucia lub nie skrytykuje autora zobowiązując go do mniejszych czy większych zmian w tekście. To jest jednak ten moment, w którym na recenzenta powołuje się osobę ŻYCZLIWĄ autorowi rozprawy, by zapewnić mu pozytywną konkluzję.

Najważniejsze dla takich pisarzy jest to, żeby monografia naukowa w ogóle ujrzała światło dzienne, a potem to już się zobaczy. W końcu, jeśli recenzent wydawniczy napisze, że książka nadaje się do druku ukrywając przed czytelnikami istotne wady - braki, błędy rzeczowe, metodologiczne, strukturalne w układzie treści, źródłowe, interpretacyjne, analityczne itp. - to problem mają jedynie przyszli recenzenci w postępowaniu awansowym. To na nich spada odpowiedzialność i konieczność przeczytania złego dzieła jako rzekomo dobrego, skoro zostało opublikowane.

Co ma zrobić recenzent, kiedy dowiaduje się z tzw. stopki redakcyjnej, kto był recenzentem wydawniczym, a jest świadom podstawowych i rażących błędów lub braków w rozprawie? Recenzje mogą być albo merytoryczne albo kolesiowskie. Opinie powinny być tylko i wyłącznie merytoryczne. Problem jednak pojawia się, kiedy ktoś takich nie chce napisać.

Niektórzy odsyłają wówczas dokumentację i wycofują swój udział w postępowaniu habilitacyjnym czy na tytuł naukowy profesora. Inni piszą tzw. "kolesiowskie" recenzje, bowiem recenzent nie ma zamiaru dokonać rzetelnej analizy tekstu. Ba, niektórzy recenzenci w takiej sytuacji ukrywają nawet osobiste powiązania z autorem wadliwej rozprawy naukowej, byle tylko dać dowód swojego koleżeństwa czy lojalności pozytywnie napisaną recenzją. Monografia ukazuje się na rynku wydawniczym w akademickim środowisku, które już wcale nie musi czuć się zobowiązane do głoszenia postprawdy na jej temat.

Komisja Do Spraw Etyki w Nauce przy PAN, której członkowie opublikowali "Kodeks Etyki Pracownika Naukowego" zupełnie pominęła ten etap wydawniczy rozpraw. Owszem, jest podrozdział 3.3. "Praktyki autorskie i wydawnicze", ale zupełnie pomija się tu recenzentów wydawniczych. Ci zaś mogą ukrywać niewygodne dla autora błędy czy rażące braki, które podważałyby naukową wartość publikacji.

To zdumiewające, kiedy recenzent odkrywa w monografii plagiat, błędy w cytowaniu, przypisach, przekładzie, brak koniecznych źródeł, fabrykowanie wyników badań oraz fakt konfliktu interesów między autorem rozprawy a recenzentem wydawniczym lub brak kwalifikacji tego ostatniego do wykonania recenzji dla wydawnictwa. To w takich przypadkach recenzje są powierzchowne, streszczające treść publikacji, niedokładne, a sądy pozbawione uzasadnień.

Jeżeli zatem dochodzi do wystawienia de facto fałszywej recenzji, bo niezgodnej z zawartością pracy, to mamy do czynienia z podwójnym naruszeniem rzetelności naukowej. Posiedzenie komisji habilitacyjnej powinno być wykorzystywane do tego, by wyjaśniać tego typu przypadki, najlepiej z udziałem habilitanta, by wyeliminować kolejny z możliwych etapów sformułowania błędnej opinii.

Przewodniczący komisji habilitacyjnej nie jest od tego, by za jej członków rozstrzygać o nierzetelności ocen niektórych jej członków. Może sformułować taki pogląd i koniecznie go uzasadnić, ale w akademickiej pseudodemokracji, gdzie nie muszą ważyć kwestie merytoryczne i metodologiczne, ale subiektywne - kolesiostwo lub uprzedzenia czy nawet różnice w podejściu paradygmatycznym do badań, czynnikiem rozstrzygającym o poparciu czy odmowie nadania stopnia najczęściej rozstrzyga arytmetyka.

W związku z tym, że do komisji habilitacyjnej powoływani są z rekomendacji Centralnej Komisji Do Spraw Stopni i Tytułu samodzielni pracownicy naukowi, spoczywa na nich szczególna odpowiedzialność za ujawnianie wszelkiej nierzetelności, nieuczciwości w nauce habilitanta. Prędzej czy później fakty te zostaną ujawnione, ale konsekwencje poniesie zupełnie inny podmiot, kiedy w wyniku kontroli jednostka zostaje objęta sankcjami karnymi. Członkowie Centralnej Komisji mogą wykluczyć niektórych samodzielnych pracowników naukowych z powierzania im w przyszłości roli członków komisji habilitacyjnej czy recenzentów w postępowaniu o nadanie tytułu profesora.

Nierzetelnymi są także te recenzje, które cechuje krytyka ad personam, często wyrażająca się ośmieszaniem autora, złośliwościami, naruszaniem jego godności lub odwołująca się do wątków biograficznych kandydata np. związanych z jego światopoglądem, pejoratywnie naznaczanym miejscem pracy lub preferencjami z życia prywatnego, a dalece wykraczających poza dokumentację i treść wniosku kandydata.

Temu zagadnieniu poświęcone było posiedzenie Komitetu Nauk Pedagogicznych PAN w dn. 26 lutego 2018 r. Uczestniczący w obradach profesorowie zwracali w dyskusji uwagę na następujące kwestie:


- członkowie rad wydziałów mających uprawnienia do nadawaniu stopni naukowych powinni przedyskutować we własnym gronie, jakie kryteria są dla nich najważniejsze w ocenianiu osiągnięć naukowych doktorantów, habilitantów i/lub kandydatów do tytułu naukowego profesora;

- jest duża grupa samodzielnych pracowników naukowych, która nie kieruje się naukowymi kryteriami, tylko stosuje subiektywne kryteria ocen lub jest jej obojętna rzetelność w postępowaniu o awans naukowy; rażące są praktyki uzgadniania konkluzji recenzji przez członków komisji habilitacyjnej czy recenzentów w postępowaniach na tytuł naukowy profesora; niedouczeni doktorzy habilitowani, którzy z sobie tylko wiadomych powodów uzyskali ów stopień naukowy, promują nieuków, często o jeszcze niższym od nich poziomie kwalifikacji;

- zbyt dużo prac doktorskich prowadzi jeden profesor czy doktor habilitowany. Jednostkom z taką praktyką powinno się odbierać uprawnienia w zakresie nadawania stopni naukowych. Nie ma zbyt wiele wspólnego z wysokimi standardami naukowymi fakt, promowania przez promotora kilkunastu nawet doktorów rocznie. Taka "produkcja" źle świadczy o nim i jego podopiecznych;

- Kto ma zapanować na jakością pisanych recenzji przez młodych doktorów habilitowanych, którzy sami dopiero co uzyskali samodzielność naukową, ale nie mają jeszcze doświadczenia w recenzowaniu czyjegoś dorobku naukowego?

Młodzi członkowie - specjaliści Komitetu Nauk Pedagogicznych PAN - zaprezentowali swoje wstępne badania i doświadczenia metodologiczne. Doktor Sławomir Pasikowski (Wydział Nauk o Wychowania UŁ) przedstawił członkom Komitetu swój wstępny raport z pierwszej części badań założonych funkcji kształcenia metodologicznego w szkołach wyższych na kierunkach pedagogika, psychologia i socjologia, natomiast dr Piotr Zańko (Wydział Pedagogiczny Uniwersytetu Warszawskiego) mówił o tym, jak istotne może być dla badań jakościowych zastosowanie aplikacji komputerowej Atlas.ti. w analizie jakościowej wywiadów. Teraz nie ma już szans na to, by członkowie KNP PAN godzili się w pracach komisji habilitacyjnych na potoczne analizy rzekomych badań jakościowych, które z nauką niewiele mają wspólnego.

12 komentarzy:

  1. tekkst ciekawy ale ostatnie dwa zdania zdumiewają. Czyżby zastosowanie programów analityczny (jest ich na rynku wiele) było jedynym uwiarygoodnieniem badań jakościowych zdaniem Autora postu? B. Malinowski i F. Znaniecki przewracają się w grobach. Konkluzja w ostatnim zdaniu wskazuje, że badacz jest adwokatem danej tradycji badawczej. Nie jest neutralny, nawet gdyby bardzo tego chciał.

    OdpowiedzUsuń
    Odpowiedzi
    1. Ja też jestem kompletnie zdruzgotana...naprawdę!!!

      Usuń
  2. Malinowski i Znaniecki nie muszą przwracać się w grobach, bo nie mają w pedagigice swoich następców. Zaprezentowane przez dr. P. Zańko narzędzie jest jednym z wielu, o czym zresztą mówił, ktore może pomóc badaczom w interpretacji danych. Żadna technika jej nie zastąpi.

    OdpowiedzUsuń
  3. Myślę, że ostatnie zdanie postu wobec przedostatniego o Atlas.ti to prowokacja pozytywistyczna: CYT"Teraz nie ma już szans na to, by członkowie KNP PAN godzili się w pracach komisji habilitacyjnych na potoczne analizy rzekomych badań jakościowych, które z nauką niewiele mają wspólnego." - Czyżby pozytywiści (badacze ilościowi) realizowali znakomite i rzetelne naukowo badania, które nie są ani "rzekomej jakości" ani nie są"potoczne" i komisje habilitacyjne nie mają z kwalifikowaniem tak rozumianej naukowości żadnego problemu? Słowem można wiele. Wiem. M.in. Pani Prof. D. Urbaniak-Zając była onegdaj innego zdania wobec konkluzji Pana Profesora, podczas publicznych analiz raportów z ilościowych z badań, prowadzonych przez akademików ze stopniami naukowymi. śp. Prof. T. Bauman również wskazywała pulicznie metodologiczną degrengoladę w raportach badawczych pozytywistów, realizujących badania ilościowe. Czy to jest słuszne, aby pogłębiać przepaść deprecjonowaniem polskich badań pedagogicznych prowadzonych w paradygmatach antagonistycznych do pozytywizmu lub post-pozytywizmu? Czy indukowana supremacja paradygmatyczna pozytywizmu służy polskiej pedagogice, jako dyscyplinie która powinna się rozwijać epistemologię wielostronnie a nie się samounicestwiać epistemologicznie? Oczywiście na podstawie doświadczeń w recenzowaniu raportów, mam wiedzę o tym, co znaczą badania prowadzone błędnie, nierzetelnie w różnych paradygmatach etc. Nadal jednak sądzę, że wobec ostatnich zdań wpisu B.Malinowski i F.Znaniecki przewracają się w grobach. Pewnie A. Kamiński też.

    OdpowiedzUsuń
    Odpowiedzi
    1. Dziekuję za te jakże mądre słowa.
      A tak nawiasem- co to się wyrabia...?

      Usuń
    2. Ale rozumiem, ze badania ilosciowe ("pozytywistyczne") sa jednak dopuszczalne? Jezeli tak, to jakie warunki musza spelnic, zeby nie budzily zarzutow o 'degrengolade'? Czy badania 'jakosciowe' wolne sa od degrengolady? A moe 'degrengolada' zalezy nie tyle od paradygmatu, co od rzetelnosci badacza? A moze jest inaczej?

      Usuń
    3. VII Seminarium metodologiczne w UŁ w Łodzi poświęcone będzie krytyce - proszę się zainteresować.

      Usuń
  4. Nie przypuszczałem, że można zdanie: "Teraz nie ma już szans na to, by członkowie KNP PAN godzili się w pracach komisji habilitacyjnych na POTOCZNE ANALIZY RZEKOMYCH BADAŃ JAKOŚCIOWYCH, które z nauką niewiele mają wspólnego". Nie trzeba dorabiać do tego innej wykładni. Deprecjonować trzeba te badania, które badaniami nie są, ale je pozorują. Tyle i tylko tyle. są fatalne, banalne, płytkie a i zdarza się, że zmanipulowane ideologicznie lub na życzenie władz - badania pozytywistyczne, ale - niestety - także nędzne są niektóre prace w rzekomo jakościowym podejściu. Tyle że jest to byle-jakość. Zostawmy wybitnych uczonych w ich obecnej przestrzeni w spokoju.

    OdpowiedzUsuń
    Odpowiedzi
    1. No wlasnie. To nie jest kwestia paradygmatu (jakosc - ilosc) tylko rzetelnosci badacza. Metodologia, metody, techniki moga byc rozne ale dotycza TEJ SAMEJ, JEDNEJ rzeczywistosci. Wnioski powinny byc wiec spojne a ewentualne rozbieznosci wyjasnione na plaszczyznie metodologicznej (raczej epistemologicznej niz ontologicznej).

      Usuń
    2. A ja cieszę się, że to zdanie się tu znalazło, bo pozwala jednak odkryć pewne obawy lub nawet uprzedzenia środowiska naukowego wobec badań jakościowych. Już zgodziliśmy się, że są (także) ważne. Tylko ciągle pozostaje kwestia ich jakości. Uważam, że badania jakościowe należą do najtrudniejszych, ale miarą ich jakości nie jest wcale to, czy będą wykonane z oprogramowaniem, czy nie. O tym trzeba głośno mówić, że są pewne procedury zapewniania jakości, będące odpowiednikiem trafności czy rzetelności w badaniach ilościowych. to powinno być brane pod uwagę. A z programem komputerowym? Czy umniejsza wartość badań statystycznych żmudna praca z kalkulatorem, zamiast programu PSS, Statistica czy innych? Nie tu pies pogrzebany.

      Usuń
  5. Myślę, że reakcje na zdanie dotyczące aplikacji Atlas (ale przecież nie tylko, bo także NVivo czy MaxQDA) jest reakcją obronno-awersyjną wobec bezkrytycznego zachwytu niektórych osób wobec tego, jak to komputer "unaukawia" badania jakościowe. Zwróciło to też moją uwagę, zgadzam się z wcześniejszymi Anonimowymi. Program to program - te jedyne narzędzie. Kodowanie i cała koncepcja analityczna nadal należy do badacza. Mogą być świetne analizy jakościowe bez komputera (choć są bardzo pracochłonne), mogą być nic nie wnoszące bajeranckie wydruki z komputera. Nie dajmy się zwariować.

    OdpowiedzUsuń
  6. Czy nie myślicie Państwo, że problem zaczyna się już przy recenzjach koncepcji prac doktorskich? Takie przygotowywane są dla komisji otwierających przewody. Gdyby tu pojawiały się solidne - krytyczne, ale ukierunkowujące - recenzje, może nie byłoby kolesiostwa przy obronach. W niektórych uczelniach przechodzi byle co, bo to przecież tylko otwarcie przewodu. a otworzyć trzeba.

    OdpowiedzUsuń

Jeśli masz zamiar kogoś obrazić, to zrezygnuj z komentowania.