Fundamentalna sprzeczność logiczna w samym sercu systemu peer review

 

Otrzymałem wiele listów w związku z poruszonym wcześniej zagadnieniem systemowego braku możliwości złożenia odwołania od nierzetelnych merytorycznie recenzji w NCN.  Takie podejście nie obowiązuje w recenzowaniu osiągnięć naukowych kandydatów do stopni naukowych czy tytułu profesora. Osobiście nie godzę się z tym jako redaktor naczelny naukowego czasopisma, bo autor odrzuconego przez recenzenta (-ów) artykułu powinien nie tylko zapoznać się z treścią negatywnej opinii, ale także móc ustosunkować się do niej.    

Skoro nie można odwołać się od merytorycznych błędów w recenzji (-ach) wniosku grantowego, to zapisy o rzekomym przestrzeganiu przez ekspertów NCN braku konfliktu interesów są nieegzekwowalne, gdyż nie można tego zweryfikować. Z portalu "Academia" dotarł do mnie artykuł Krzysztofa J. Szmidta, Magdaleny Sasin i Patrycji Mizery pod tytułem "Krytyka krytyki metodologicznej w badaniach społecznych - dzieje jednego projektu", w którym autorzy dokumentują merytorycznie nierzetelność recenzentów właśnie w takim przypadku. 

"W artykule nazwane zostały cechy niepożądanej krytyki metodologicznej – są to m.in. fiksacja metodologiczna i narcyzm – a także sformułowano postulatywny model konstruktywnej krytyki metodologicznej, która powinna być: nieintruzywna, wspierająca, twórcza, wyważona i trafna" (2025, s.81). 

 

Brak prawa do krytyki jest Kafkowską ochroną mimo prawa naukowców do bezstronnej oceny. Jednak nie są oni w tym przypadku w ogóle  chronieni.

System działa wyłącznie na zasadzie „zaufaj im/nam” – ale jak zweryfikować, że wszyscy recenzenci NCN są rzetelni, uczciwi, postępują etycznie? Nazywanie tego „ochroną przed konfliktem interesów” jest faktycznie orwellowską nowomową - wpisaniem  do ustawy słów, które znaczą coś przeciwnego niż może być w rzeczywistości. 

Poprosiłem AI o dane bibliograficzne do publikacji analizujących zainstalowany także w Polsce system rozdzielania środków finansowych, który uniemożliwia wnioskodawcom  odwołanie merytoryczne a nawet proceduralne. Jak ma bowiem wykazać nieprzestrzeganie przez niektórych recenzentów konfliktu interesów wnioskodawca nierzetelnie ocenionego grantu, skoro nie ma informacji o recenzentach? Jak ma wykazać, że odmowna recenzja została sporządzona przez osobę, która nie jest specjalistą, nie ma kompetencji, natomiast operuje ogólnikowymi sformułowaniami mającymi uzasadnić odrzucenie wniosku?     

Polecam zatem publikacje, których autorzy demistyfikują:

1.     brak dostępnych narzędzi do oceny poprawności recenzji

2.     asymetrię władzy między recenzentami a wnioskodawcami

3.    problemy z anonimowością recenzentów vs. ich systemową nieodpowiedzialnością

4.  paradoks „niemożności merytorycznego odwołania się od istotnie błędnej recenzji”.

Oto szczegółowe dane bibliograficzne do publikacji krytykujących system peer review w recenzowaniu grantów (za: claude.ai): 

"1. O braku możliwości sprawdzenia i problemach z niezawodnością

Pier, EL, Brauer, M., Filut, A., Kaatz, A., Raclaw, J., Nathan, MJ, Ford, CE i Carnes, M. (2018). Niska zgodność opinii recenzentów oceniających te same wnioski grantowe NIH. Proceedings of the National Academy of Sciences , 115(12), 2952-2957. https://doi.org/10.1073/pnas.1714379115

• Empiryczny dowód na brak zgodności między recenzentami (ICC=0)
• Decyzja szczegółowa od bardziej szczegółowego wniosku niż od wniosku
• Fundamentalna krytyka ważności peer review

2. Propozycje loterii jako alternatywa dla dysfunkcyjnego systemu

Fang, FC i Casadevall, A. (2016). Finansowanie badań: argumenty za zmodyfikowaną loterią. mBio , 7(2), e00422-16. https://doi.org/10.1128/mBio.00422-16

• Krytyka niemożności stratyfikacji w ograniczonym zakresie
• Propozycja „zmodyfikowanej loterii” jako uczciwej alternatywy
• Argumentacja, że ​​stronniczość jest wzmocniona przez moc finansowania linii wygrywających

Fang, FC, Bowen, A. i Casadevall, A. (2016). Wyniki procentowe recenzji eksperckich NIH są mało trafne w przewidywaniu produktywności grantów. eLife , 5, e13323. https://doi.org/10.7554/eLife.13323

• Empiryczny dowód, że peer review nie dotyczy produktuywności w zakresie 3-20 percentyl
• Krytyka arbitralności decyzji finansowych
• Dane praktyczne argument za loterią

Fang, FC i Casadevall, A. (2009). Reforma recenzji eksperckich w NIH – zmiana, której potrzebujemy, czy szminka na świni? Infection and Immunity , 77(3), 929-932. https://doi.org/10.1128/IAI.01567-08

• analizuje krytykę systemu NIH
• Pytanie, czy reformy są kosmetyczne czy spójne
• Wezwanie do fundamentalnej zmiany

3. O braku przejrzystości, odpowiedzialności i asymetrii władzy

Lamont, M. (2009). Jak myślą profesorowie: W osobliwym świecie osądów akademickich. Cambridge, MA: Harvard University Press.

• Etnograficzne badanie paneli peer review
• Ujawnia „czarną skrzynkę” decyzję o finansowaniu
• Pokazuje, jak osobiste jest wystąpienie nad obiektywnością
• Krytyka iluzorycznego charakteru "doskonałość"

Gurwitz, D., Milanesi, E. i Koenig, T. (2014). Przegląd wniosków grantowych: Przypadek przejrzystości. PLOS Biology , 12(12), e1002010. https://doi.org/10.1371/journal.pbio.1002010

• Analiza porównawcza przejrzystości w różnych agencjach
• Krytyka braku publikacji decyzji recenzyjnych
• Propozycje dotyczące przejrzystości jako warunku legitymizacji 

4. O etycznych problemach systemu i „wątpliwe praktyki badawcze”

Conix, S., Knops, L. i De Smedt, J. (2021). Pisanie wniosków grantowych i recenzowanie grantów jako wątpliwe praktyki badawcze. F1000Research , 10, 1126. https://doi.org/10.12688/f1000research.73893.1

• Krytyka naruszenia norm odpowiedzialności, uczciwości, bezstronności
• Argumentacja, że ​​system zmusza do nieetycznego zachowania
• Analiza, jak system tworzy „przemoc” a nie tylko „zachęty” 

5. O konfliktach interesów i braku ich weryfikacji

Chubin, DE i Hackett, EJ (1990). Niezrównana nauka: recenzja naukowa i polityka naukowa USA. Albany: State University of New York Press.

• Klasyczna krytyka peer review w polityce naukowej USA
• Stronniczość analizy, konflikty interesów, faworyzowanie
• Historyczny kontekst rozwoju systemu

Konferencja Administracyjna Stanów Zjednoczonych (1992). Recenzja ekspercka o  przyznawaniu dotacji uznaniowych. Zalecenie 92-1 . https://www.acus.gov/recommendation/peer-review-award-discretionary-grants

• Oficjalna rekomendacja rządowa USA
• problemy z uprzedzeniami, konfliktem interesów, „starymi sieciami”
• Propozycje reformy w kierunku większej przejrzystości
• Krytyka ​​anonimowości recenzentów jako uniemożliwiająca pociągnięcie do odpowiedzialności

6. O braku skuteczności i braku zaufania do systemu

Guthrie, S., Ghiga, I. i Wooding, S. (2018). Co wiemy o recenzowaniu grantów w naukach o zdrowiu? Santa Monica, Kalifornia: RAND Corporation. RR-2537-WELLCOME. https://doi.org/10.7249/RR2537

• Systematyczny przegląd literatury
• Identyfikacja problemów z niezawodnością, ważnością, rzetelnością
• Brak danych, że peer review finansuje „najlepszą naukę”

Luukkonen, T. i Thomas, DA (2016). „Przestrzeń negocjacji” w dążeniu badaczy uniwersyteckich do realizacji programu badawczego. Minerva , 54(1), 99-127.

• Analiza jak system grantowy ograniczający autonomię badaczy
• Krytyka „hiperkonkurencji” i jej skutków
• Nierównowaga między wnioskodawcami a systemem grantowym

Reinhart, M. (2024). Nieufność w recenzowaniu grantów – przyczyny i środki zaradcze. Nauka i Polityka Publiczna , 51(1), 28-46. https://doi.org/10.1093/spp/spad034

• Najnowsza publikacja o braku zaufania do systemu
• podstawowe wyniki badań empirycznych z Norwegii, Szwecja
• badacze ufają recenzjom grantów mniej niż czasopismom
• przejrzystość kompetencji recenzentów w niektórych dyscyplinach branżowych 

7. Szczegółowa krytyka procesów odwoławczych

Biuro Odpowiedzialności Rządu USA (US Government Accountability Office). (1994). Recenzja ekspercka: Reformy niezbędne do zapewnienia uczciwości w procesie przyznawania dotacji agencjom federalnym. Raport PEMD-94-1 . Waszyngton, DC: GAO.

• Oficjalny raport rządowy USA krytykujący system
• Identyfikuje stronniczość, brak uczciwości, nieodpowiednie zabezpieczenia
• Rekomendacje reformy w kierunku większej odpowiedzialności

8. O zagrożeniach dla integralności recenzji eksperckiej

Buljan, I., Garcia-Costa, D., Grimaldo, F., Squazzoni, F. i Marušić, A. (2020). Metabadania: wielkoskalowa analiza językowa raportów z recenzji naukowych. eŻycie , 9, e53249. https://doi.org/10.7554/eLife.53249

• Analiza języka recenzenta
• Identyfikacja stronniczości i niespójności
• Dowód na subiektywność procesu

Johnston, M., Burchett, H., Bloom, L. i Ryan, R. (2025). Zagrożenia związane z przyznaniem recenzji eksperckiej: badanie jakościowe. BMJ Open , 15, e086975. https://doi.org/10.1136/bmjopen-2024-086975

• Bardzo aktualna (2025) - analiza dla integralności
• Trzy główne zagrożenia: (1) brak treningu, (2) trudność zastosowań alternatywnych, (3) znaczenie reputacji/relacji
• zachęcanie do wprowadzenia systemu losowań i ograniczania liczby wniosków do oceny przez recenzentów

9. Analizy porównawcze w modelach alternatywnych

Roumbanis, L. (2019). Recenzja ekspercka czy loteria? Krytyczna analiza dwóch różnych form mechanizmów decyzyjnych w zakresie przyznawania grantów badawczych. Science, Technology, & Human Values , 44(6), 994-1019. https://doi.org/10.1177/0162243918822744

• Porównanie peer review a loteria
• Argumentacja, że ​​loteria może być bardziej sprawiedliwa
• Krytyka zakłada, że ​​peer review identyfikuje „najlepszą naukę”

Avin, S. (2019). Mavericks i loterie. Studia z historii i filozofii nauki, część A , 76, 13-23. https://doi.org/10.1016/j.shpsa.2018.11.006

• Filozoficzna analiza alokacji
• Argument za częściową loterią
• Krytyka konserwatyzmu w recenzji naukowej 

10. O problemach z konfliktem interesów

Wager, E. i Williams, P. (2011). „Nie warto się wysilać”? Polityka czasopism medycznych oraz poglądy ich redaktorów i wydawców na temat rejestracji badań i stronniczości publikacji: badanie ilościowe i jakościowe. BMJ , 343, d5141. https://doi.org/10.1136/bmj.d5141

• recenzenci często udają, że nie rozumieją, na czym polega konflikt interesów
• Definicje są niejasne i różnie interpretowane
• Brak egzekwowania mechanizmów

11. O recenzjach eksperckich analizy kosztów i korzyści

Gross, K. i Bergstrom, CT (2019). Modele konkursowe uwypuklają inherentną nieefektywność konkursów o finansowanie badań naukowych. PLOS Biology , 17(1), e3000065. https://doi.org/10.1371/journal.pbio.3000065

• Matematyczna analiza kosztów procesu
• Argument za redukcją konkurencji

Herbert, DL, Barnett, AG, Clarke, P. i Graves, N. (2013). O czasie poświęconym na przygotowywanie wniosków grantowych: badanie obserwacyjne australijskich badaczy. BMJ Open , 3(5), e002800. https://doi.org/10.1136/bmjopen-2013-002800

• Dane empiryczne o kosztach systemu
• odmowa przyznania grantu marnuje czyjś talent naukowy 

12. O publisher/journal perspectives ale z insights o grantach

Tennant, JP i Ross-Hellauer, T. (2020). Ograniczenia naszego rozumienia recenzji eksperckich. Integralność badań i recenzja ekspercka , 5, 6. https://doi.org/10.1186/s41073-020-00092-1

• Systematyczny przegląd ograniczeń recenzowania
• Identyfikuje luki w wiedzy o efektywności
• Wezwanie do reform opartych na dowodach

Lee, CJ, Sugimoto, CR, Zhang, G. i Cronin, B. (2013). Błąd w recenzji eksperckiej. Journal of the American Society for Information Science and Technology , 64(1), 2-17. https://doi.org/10.1002/asi.22784

• Systematyczny przegląd stronniczości w recenzji naukowej
• Identyfikuje wiele źródeł uprzedzeń
• system nie może eliminować nierzetelnych ekspertów skoro jest anonimowość.  

PODSUMOWANIE - Najważniejsze publikacje dla tych, którzy chcieliby podjąć badania w tym zakresie, najlepiej zgłaszając wniosek do NCN :) 

TOP 3:

1.     Conix, S., Knops, L. i De Smedt, J. (2021) – naruszenie norm odpowiedzialności

2.     Fang & Casadevall (2016, mBio) - o arbitralności i ograniczonej loterii

3.     Konferencja Administracyjna Stanów Zjednoczonych (1992) - oficjalna krytyka rządowa

DODATKOWE, KLUCZOWE:

4.     Lamont (2009) – o czarnej skrzynce i asymetrii mocy

5.     Pier i in. (2018, PNAS) – empiryczny dowód na nierzetelność

6.     Gurwitz i in. (2014) – o brak przejrzystości jako problem legitymizacji

7.     Reinhart (2024) – o brak zaufania i jego przyczynach

Wszystkie publikacje są recenzowane i pochodzą z uznanych źródeł (PNAS, eLife, Harvard University Press, PLOS Biology, oficjalne raporty rządowe).

(źródło foto: BŚ)