Richard Monastersky
The Chronicle of Higher Education
Washington, DC

Liczba, która paraliżuje naukę. Impact factor – kiedyś prosta metoda tworzenia rankingów czasopism naukowych, dziś bezwzględne kryterium zatrudniania i przyznawania grantów

Początkowo – w drugiej połowie lat 50. – był to niewinny pomysł, który narodził się w głowie Eugene’a Garfielda, badacza z Filadelfii, przedstawiającego się jako „doradca do spraw dokumentacji”. Garfield w wolnym czasie zastanawiał się nad opracowaniem metody, która pomogłaby w sposób efektywny korzystać z informacji zawartych w literaturze naukowej. Ostatecznie wymyślił coś, czemu nadał nazwę „impact factor” [przyp. red. – wskaźnik wpływu, miara oddziaływania] czyli, w ogólnym zarysie, sposób oceny czasopism, dzięki któremu spośród szeregu tytułów mających mniejsze znaczenie można wybrać jedynie te najważniejsze. Aby ustalić, które z nich mają większe znaczenie dla naukowców, zaproponował obliczanie średniej liczby cytowań artykułów z każdego otrzymywanego czasopisma. Trudno, aby taka metoda stała się źródłem niepokoju, tym bardziej, że poza środowiskiem naukowym nie spotkała się z szerszym zainteresowaniem, jednak obecnie Garfield porównuje swój pomysł do energii nuklearnej: jest to siła, która może wspomóc społeczeństwo, jednak użyta w niewłaściwy sposób jest zdolna wywołać zamęt.

Znaczenie impact factor, zwłaszcza w ciągu ostatnich pięciu lat, wzrosło do takiego stopnia, że zaczął wpływać na przedsięwzięcia naukowe. W Europie, Azji i coraz częściej w USA narzędzie Garfielda może odgrywać kluczową rolę przy podejmowaniu decyzji o zatrudnianiu, uzyskiwaniu stałych etatów oraz przyznawaniu grantów. Nadużywanie IF może doprowadzić do tego, że stanie się on istną plagą – mówi Robert H. Austin, profesor fizyki na Uniwersytecie w Princeton. Według krytyków zabiegi o uzyskanie jak najwyższej wartości wskaźnika impact factor przybierają na sile, prowadząc nawet do zmiany kierunku badań. Yu-Li Wang, profesor fizjologii w University of Massachusetts Medical School uważa, że badacze zamiast skupiać się na istotnych problemach, które wcale nie muszą stać się naukowym przebojem roku, będą zabiegać o tematy, na które panuje moda – czyli takie, które łatwiej będzie opublikować w wiodących czasopismach: Impact factor wywiera istotny wpływ na kierunek badań prowadzonych przez wielu ludzi.

W działaniach wydawców coraz większą rolę pełni cyniczne podejście do publikowania. Manipulując systemem – niekiedy poprzez usprawiedliwione wybory redakcyjne, kiedy indziej przez oszukańcze praktyki – sztucznie zawyżają własne miejsce w rankingach. Na przykład w redakcjach kilku czasopism o tematyce ekologicznej rutynowo prosi się autorów o cytowanie wcześniejszych artykułów z tych samych czasopism – taka polityka podnosi wartość wskaźnika IF. Autorzy, do których trafiły takie sugestie, uważają, że jest to praktyka nosząca znamiona wymuszenia i stanowi przejaw pogwałcenia etyki naukowej.

Co więcej, badania nad impact factor ujawniły problemy z podstawowymi danymi, na których opiera się Instytut Filadelfijski (ISI – Institute for Scientific Information), w którym tworzone są indeksy cytowań i obliczane wskaźniki IF dla czasopism. ISI założony przez Garfielda w Filadelfii, w 1992 r. został zakupiony przez Thomson Corporation, która dzięki wykupywaniu baz danych oraz promocji własnych produktów próbuje uczynić przedsięwzięcie związane z cytowaniami bardziej dochodowym. Częstotliwość, z jaką wydawcy odnajdują błędy w IF opublikowanych przez Thomsona, jest alarmująca. To budzi poważny niepokój – mówi Alan Nevill, profesor biostatystyki na Uniwersytecie w Wolverhampton, redaktor Journal of Sports Science, który kwestionuje obliczenia Instytutu dotyczące tego czasopisma: Uczelnia staje się zakładnikiem cytowań.

Daleko od korzeni

Miało to wyglądać zupełnie inaczej. Nie przewidywaliśmy, że ludzie uczynią ze wskaźnika narzędzie, za pomocą którego będą podejmowane decyzje o przyznawaniu grantów czy funduszy – mówi Garfield. Choć Garfield po raz pierwszy posłużył się terminem „impact factor” w publikacji z 1955 roku, naprawdę zaistniał on dopiero w latach 60., gdy Garfield i jego współpracownicy w pełni rozwinęli ideę pomocną w selekcji najważniejszych czasopism dla nowego indeksu cytowań, stającego się jednym z najpowszechniej wykorzystywanych narzędzi w naukach przyrodniczych i społecznych. Doszli oni mianowicie do wniosku, iż uwzględnianie jedynie tych periodyków, które są najczęściej cytowane, nie ma większego sensu z uwagi na możliwość wyeliminowania mniejszych publikacji. Wymyślili zatem taki sposób dokonywania obliczeń, który odzwierciedla średnią liczbę cytowań przypadającą na artykuł dla każdego czasopisma.

Od tamtego czasu podstawowa definicja „impact factor” zmieniła się nieznacznie, jakkolwiek proces jego obliczania został w najwyższym stopniu zautomatyzowany. Dzięki wykorzystaniu algorytmów komputerowych w ubiegłym roku możliwe było prześledzenie 27 milionów cytowań. W czerwcu Instytut Filadelfijski opublikował ostatni wykaz czasopism, dla których oblicza impact factor, obejmujący dla nauk przyrodniczych 5968, a dla nauk społecznych 1712 tytułów czasopism. Na przykład, aby obliczyć najbardziej aktualny wskaźnik dla Nature, zestawiono liczbę cytowań w 2004 r. pochodzących z tego czasopisma, z liczbą wszystkich artykułów, które zostały w nim opublikowane w latach 2002–2003. Następnie cytowania zostały podzielone przez liczbę artykułów z tych dwóch lat, co dało w efekcie wartość wskaźnika 32,182 – tym samym Nature uzyskało dziewiąte miejsce w rankingu wszystkich czasopism. Wynik, o którym marzą wszyscy redaktorzy i wydawcy na świecie. Dla ponad połowy czasopism naukowych uwzględnianych przez Instytut Filadelfijski, wskaźnik impact factor osiąga wartość mniejszą niż 1.

Popularność wskaźników impact factor wynika z tego, iż są obiektywnym kryterium, które może służyć wielu celom. Bibliotekarze mogą wykorzystywać je przy podejmowaniu decyzji o kontynuowaniu bądź rezygnacji z prenumeraty czasopism. Redaktorzy i wydawcy mogą śledzić wskaźniki, aby oceniać postępy własnych czasopism w porównaniu z konkurencyjnymi tytułami. Z kolei naukowcy mogą wykorzystując wskaźniki sprawdzić, w którym czasopiśmie ich artykuł spotka się z największym zainteresowaniem.

Matthew B. Stanbrook, profesor medycyny na Uniwersytecie w Toronto, prześledził efekty opublikowania przez 12 czasopism medycznych wspólnego stanowiska o pisarstwie badawczym i patronacie w 2001 r. – stworzyło to niecodzienną okazję pozwalającą na dokładne porównanie. W ciągu kolejnych 26 miesięcy czasopismo o najwyższym wskaźniku uzyskało 100 razy więcej cytowań powyższego stanowiska niż czasopismo o wskaźniku najniższym. Standbrook poinformował o tym na konferencji w Chicago powięconej recenzowaniu i publikowaniu. Według niego: Z czasopismami o najwyższych wskaźnikach wiąże się wymierna wartość, która wskazuje, czemu są one tak ważne.

Przez lata wskaźniki impact factor stały się na tyle atrakcyjne, że naukowcy zaczęli wykorzystywać je nie tylko do oceny czasopism, ale także badaczy. Idealnie byłoby, gdyby oceniający mieli dostęp do takich danych, jak liczba cytowań określonej pracy lub liczba cytowań zgromadzonych przez poszczególne osoby w trakcie całej kariery naukowej. Zgromadzenie tych danych wymagałoby jednak zarówno czasu, jak i pieniędzy. Wygodniej zatem skorzystać z impact factor. Wskaźniki są także pomocne we współczesnym świecie wyspecjalizowanej nauki. Pracownikom działów personalnych coraz większe trudności sprawia ocena artykułów, których autorami są kandydaci spoza ich wąskiej dyscypliny, podstawą do oceny staje się w takim przypadku wskaźnik impact factor czasopisma, w którym owe publikacje się ukazują. Niezależnie od merytorycznej wartości artykułów lepiej oceniane są te, które zostały opublikowane w czasopiśmie zajmującym wyższą pozycję w rankingu.

Inny powód popularności wskaźników przytaczają Europejczycy. W niektórych krajach społeczność badaczy w poszczególnych dziedzinach jest na tyle niewielka, że wszyscy oni są sobie znani i albo współpracują, albo konkurują ze sobą. Posługiwanie się wskaźnikami do oceny poszczególnych naukowców postrzega się jako ułatwienie w docieraniu do sieci starych znajomych w celu zdobycia pracy lub uzyskania grantu.

Pokrętna matematyka

Opieranie się na impact factor przy ocenie ludzi jest niejasne statystycznie, mówią krytycy. Jest on jedynie średnią wszystkich publikacji, które ukazały się w danym czasopiśmie w ciągu roku. Nie ma żadnego związku z poszczególnymi artykułami, nie wspominając już o ich autorach. Na przykład jedna czwarta artykułów, które ukazały się w ubiegłym roku w Nature, stanowi 89% cytowań z tego czasopisma, zatem ogromna większość artykułów uzyskała o wiele mniejszą średnią niż 32 cytowania wykazane w najnowszym rankingu.

Garfield oraz Instytut Filadelfijski nieustannie zwracają uwagę na problem wykorzystywania wskaźników do oceny poszczególnych publikacji lub osób. To problem, z którym poważnie się zmagamy – mówi Jim Pringle, wiceprezes ds. rozwoju w Thomson Scientific, wydziału nadzorującego Instytut – błędnym jest przekonanie, że można cokolwiek powiedzieć o artykule na podstawie danych dotyczących czasopisma. Przestrogi te nie pomagają. W kilku krajach europejskich i azjatyckich członkowie zarządów w sposób otwarty posługują się wskaźnikami przy ocenie naukowców lub przydzielaniu funduszy. Zdaniem Alana Nevilla: w Anglii działy personalne zazwyczaj biorą pod uwagę impact factor.

Zgodnie z hiszpańskim prawem badacze są nagradzani za publikowanie w czasopismach zdefiniowanych przez Instytut Filadelfijski jako prestiżowe. W praktyce oznacza to pierwszą trójkę na liście indeksowanych czasopism. Martin Blume, redaktor naczelny American Physical Society, który ostatnio spotkał się z naukowcami w Chinach, oznajmił, że tamtejsi naukowcy otrzymują premię za publikowanie w czasopismach o wysokim wskaźniku, a absolwenci wydziałów fizyki na niektórych uczelniach, aby uzyskać tytuł doktorski, muszą zamieścić co najmniej dwa artykuły w czasopismach, których łączny wskaźnik wynosi 4. Takie obsesyjne traktowanie wskaźników, choć mniej widoczne niż w Europie, daje się zauważyć także w Stanach Zjednoczonych. Martin Frank, dyrektor wykonawczy American Physiological Society, podaje jako przykład wypowiedź młodej pracownicy na temat polityki personalnej sformułowanej przez władze jej wydziału. Poinformowano ją, że warunkiem uzyskania stałego etatu jest zamieszczanie swoich publikacji w czasopismach, których wskaźnik impact factor ma wartość większą niż 5. Jesteśmy niewolnikami IF – uważa Frank, człowiek stojący na czele organizacji wydającej 14 czasopism naukowych.

Ranking impact factor może stać się narzędziem pozwalającym lepiej kontrolować pracowników naukowych niż jakiekolwiek inne. Presja publikowania w czasopismach o najwyższym wskaźniku – Nature, Science czy Cell – doprowadziła badaczy do konkurowania w coraz większym stopniu o ograniczoną w istocie liczbę łamów w czasopismach o rozległej tematyce, przyczyniając się tym samym do osłabienia periodyków specjalistycznych będących głównymi publikacjami w swoich dziedzinach. W wyższych uczelniach dotychczas obowiązywała zasada „publikuj lub giń”, teraz jednak brzmi ona: publikuj w czasopismach o najwyższym wskaźniku lub giń – uważa Yu-Li Wang z University of Massachusetts Medical School. Jego obserwacje pokazują, że wskaźniki mogą wywierać wpływ na rodzaj prowadzonych badań. W redakcjach wiodących czasopism wymaga się, aby referaty były aktualne i prezentowały najistotniejsze zagadnienia, zatem naukowcy zmieniają przedmiot swoich badań, by dostosować je do wymagań wiodących czasopism: Ten system działa na krótką metę.

Catherine D. DeAngelis, redaktor naczelna prestiżowego Journal of the American Medical Association, także krytykuje obecny sposób traktowania wskaźników. Impact factor żyje własnym życiem – twierdzi i ubolewa, że wielu naukowców czuje się przegranymi, jeśli efekty ich pracy nie trafią na łamy wiodących czasopism: istnieją wspaniałe czasopisma, których wskaźnik nie jest najwyższy, jednak są jak najbardziej stosowne dla publikacji dobrych naukowców. Cały system doprowadził do wzrostu niezadowolenia wśród naukowców, uważa dr DeAngelis: gdy nie jesteśmy w stanie sprawić, by uczeni byli zadowoleni ze swej pracy i tego, że jej efekty trafiają na łamy prestiżowego czasopisma, cierpi na tym nauka – stwierdza – i to jest złe. Wiadomo przecież, że jest się lepszym naukowcem, kiedy się jest naukowcem szczęśliwym.

Badacze zadają sobie wiele trudu, by umieścić własne prace w czasopismach o wysokim wskaźniku. Często będą przerzucać rękopis z jednego czasopisma do następnego, niechętnie obniżając swoje wymagania wobec nich, aż znajdą takie, w którym ich praca uzyska akceptację redakcji. Krytycy systemu uważają, że spowalnia on tempo postępu naukowego. Zamiast zająć się kolejnymi badaniami, badacze tracą mnóstwo czasu, próbując opublikować swoje artykuły. Niekiedy autorzy na prośbę recenzentów wiodących czasopism piszą nadprogramowe prace jedynie po to, by zostały one ostatecznie odrzucone. Fakt, że moje artykuły mogą się wcale nie ukazać, a w najlepszym wypadku ich publikacja opóźni się o rok, powoduje, że czuję się zniechęcony – mówi Robert H. Austin z Princeton.

Myśl szybko

Prestiżowe czasopisma są zalewane tak wielką liczbą artykułów, że jedynie drobną ich część mogą przedstawić ekspertom do zrecenzowania. Redaktor naczelny Nature Philip Campbell wyjawia, że połowa nadsyłanych do tego czasopisma rękopisów odsyłana jest autorom bez zasięgania opinii recenzentów. Ten proces niepokoi Roberta H. Austina, którego zdaniem nieodpowiadające panującym trendom prace są bezzwłocznie odrzucane. To może naprawdę ograniczyć kreatywność, pionierskie artykuły niezasłużenie będą ocenione jako niemodne – dodaje przy tym, że redaktorzy wiodących czasopism nie są czynnymi naukowcami. W odpowiedzi na zarzuty Campbell stwierdza, że redaktorzy w Nature mają naukowe doświadczenie zdobyte w dobrych laboratoriach badawczych i aktualną wiedzę w swoich dziedzinach dzięki uczestnictwu w konferencjach oraz śledzeniu literatury. Uważa, iż są oni lepsi niż większość naukowców i dodaje: jestem gotów założyć się, że pokonają każdego czynnego pracownika naukowego.

Odrzuca on także szeroko rozpowszechnione między naukowcami przekonanie, zgodnie z którym Nature odsyła rękopisy, jeśli istnieje podejrzenie, iż nie będą one cytowane i przyczynią się w ten sposób do obniżenia wartości wskaźnika czasopisma. Gdyby to była prawda, czasopismo zaprzestałoby publikacji prac z zakresu geologii czy paleontologii, które rzadko uzyskują taką liczbę cytowań, jak te z biologii molekularnej. Fakt, że w „Nature” ukazuje się o wiele więcej artykułów rzadko cytowanych, niż na łamach innych czasopism, jest dla nas źródłem ogromnej satysfakcji – mówi P. Campbell, którego zdaniem Nature regularnie daje wyraz sceptycznemu traktowaniu wskaźników w artykułach redakcyjnych, listach, wiadomościach.

Wielu innych redaktorów, z którymi kontaktowało się czasopismo The Chronicle, również zaprzecza, by oceniali artykuły pod kątem możliwych cytowań. Jednak dr DeAngelis z JAMA, mówi, że od redaktorów kilku wiodących czasopism słyszała, iż biorą oni pod uwagę cytowania przy ocenie niektórych prac: Są ludzie, którzy nie opublikują artykułów, ponieważ nie wpłynie to pozytywnie na wzrost wskaźnika impact factor ich czasopisma. Sama przyznaje, że niekiedy cytowania odgrywają pewną rolę przy podejmowaniu przez nią decyzji o publikowaniu jakiegoś artykułu: kiedy jestem zaniepokojona faktem, że nasze wskaźniki to rosną, to opadają, może się zdarzyć, że podejmę decyzję zależną od odpowiedzi na pytanie, czy ludzie to wykorzystają? W takim wypadku jednym z kryteriów jest: czy to będzie cytowane? Mimo wszystko dr DeAngelis często decyduje o publikacji artykułów, nawet jeśli ma świadomość, że przyczynią się do spadku wskaźnika JAMA’y: wydajemy specjalny cykl poświęcony edukacji medycznej i chociaż artykuły w nim drukowane cytowane są stosunkowo rzadko, nie rezygnujemy z ich publikowania.

Fiona Godlee, redaktor BMJ (wcześniej British Medical Journal), zgadza się z opinią, że redakcje – w sposób świadomy czy nie – biorą pod uwagę wskaźniki przy podejmowaniu decyzji o publikowaniu: trudno sobie wyobrazić, że tego nie robią. To jeden z przykładów negatywnego wpływu wskaźników na naukę. Uważa ona, że z brakiem akceptacji mogą spotykać się nie tylko artykuły z dziedzin postrzeganych jako niemodne lub mało ważne, lecz także wartościowe publikacje powstające w pewnych regionach świata, w obawie, że nie przyciągną wystarczającej uwagi czytelników: to wypacza priorytety – stwierdza – musimy nieustannie zwalczać takie podejście.

Kult wskaĹşnika

Choć wskaźnik impact factor stosuje się od kilkudziesięciu lat, to w ciągu minionej dekady traktowanie go przybrało formę kultu, przede wszystkim z uwagi na łatwy dostęp dzięki Internetowi do danych Instytutu Filadelfijskiego. Według Instytutu ranking stał się codziennością. Z pewnością nie uda nam się zmienić pozycji, jaką obecnie zajmuje impact factor, który w miarę upływu czasu stał się kluczowym wskaźnikiem – uważa James Pringle z Thomson Scientific. Zamiast modyfikacji wskaźnika Instytut zajmuje się opracowaniem dodatkowych instrumentów, które zwiększą możliwości jego wykorzystania. Jednak wpływ wskaźnika pozostaje niezmiennie bardzo duży, a osoby zarządzające czasopismami próbują nim manipulować. Wydawcy stali się niezłymi ekspertami w posługiwaniu się nim tak, aby przyniósł im korzyść – uważa Vitek Tracz, przewodniczący Current Science Group, publikującej ponad 100 czasopism w ramach licencji open access.

Dobrze znaną metodą jest publikowanie większej liczby omówień dających przegląd jakiegoś zagadnienia, lecz niezawierających nowych informacji. Przeważnie są one częściej cytowane niż artykuły prezentujące wyniki badań. Kolegium redakcyjne Journal of Environmental Quality podjęło w 2003 r. decyzję o położeniu większego nacisku na publikację omówień, aby powstrzymać spadek wartości wskaźnika. Inna taktyka polega na wykorzystywaniu luk w metodzie obliczeń wskaźnika. Kiedy czasopismo publikuje wiadomości, artykuły redakcyjne, recenzje i streszczenia ze spotkań, Instytut Filadelfijski nie traktuje ich jako źródła cytowania, a co za tym idzie nie są one dodawane do mianownika we wzorze służącym do obliczania wskaźnika. Jeśli jednak trafią w formie cytowania do piśmiennictwa, ISI dodaje je do licznika, a to przekłada się na podniesienie wartości impact factor.

Zarząd Instytutu, a także kilku wydawców czasopism, z którymi kontaktowała się w tej sprawie redakcja The Chronicie, odrzucili ten zarzut, argumentując, że wiadomości oraz artykuły redakcyjne nie są zbyt często cytowane. Może to być prawdą w odniesieniu do ogółu tych materiałów. Jednak niektóre z nich uzyskują wystarczającą liczbę cytowań, by w sposób zauważalny przyczynić się do zwiększenia wartości wskaźnika niektórych czasopism, uważa Henk F. Moed, bibliometra w Center for Science and Technology Studies w Lejdzie, który pisze o tym problemie w swojej nowej książce Citation Analysis in Research Evaluation (Springer 2005). Na przykład jego analiza czasopisma The Lancet wykazała, że cytowanie podobnych wiadomości i materiałów w 2002 r. przyczyniło się do wzrostu impact factor brytyjskich czasopism medycznych o 16%. Ostatnio w wielu czasopismach do działów z variami trafiła znaczna liczba owych z reguły niepodlegających wskaźnikowi pozycji, nawet jeśli oznaczało to rezygnację z publikowania wyników badań. Z danych Instytutu Filadelfijskiego wynika, że Cell, JAMA, The Lancet, Nature, The New England Journal of Medicine oraz Science publikują obecnie mniej artykułów badawczych niż w roku 1998.

W tym samym czasie w wiodących periodykach nauka jako magnes przyciągający czytelników schodzi na dalszy plan. Wielkie czasopisma dysponujące zasobnymi biurami public relations, co tydzień rozsyłają do setek reporterów komunikaty z zapowiedziami artykułów mających ukazać się w kolejnych numerach. System ten generuje wiadomości, przyczyniające się do wzrostu liczby cytowań oryginalnych artykułów naukowych, a to z kolei przekłada się na wysokość wskaźników. Redakcje mniejszych czasopism nie są w stanie korzystać z takich metod.

Nieuczciwe cytowania

Wydawcy bronią poczynionych zmian argumentując, że artykuły wstępne, newsy oraz podobne publikacje zyskały sobie w ich czasopismach ważne miejsce i popularność. Jednak obserwatorzy zwracają uwagę, że jest to kolejny, nie do końca uczciwy, sposób zwiększenia liczby cytowań. Niekiedy czasopisma drukują artykuły wstępne, w których licznie cytowane są wcześniejsze publikacje. W swoim nowym studium Jan Reedijk z Uniwersytetu w Lejdzie oraz Henk F. Moed ujawniają, że dzięki takim zabiegom spora liczba czasopism uzyskała znaczny wzrost wartości wskaźników.

W ocenie naukowców rozmiary tych, nie do końca uczciwych praktyk, mających na celu zwiększenie liczby cytowań, prowadzą do naruszania standardów etycznych przez redaktorów czasopism. John M. Drake, przygotowujący rozprawę habilitacyjną w National Center for Ecological Analysis and Synthesis na Uniwersytecie Kalifornijskim w Santa Barbara wysłał artykuł do Journal of Applied Ecology. W odpowiedzi otrzymal e-mail o następującej treści: Chciałbym, aby przejrzał pan kilka ostatnich wydań „Journal of Applied Ecology” i zacytował każdy artykuł mający związek z pańską pracą. To pomoże innym autorom oraz przyczyni się do wewnętrznej spójności tematycznej naszego czasopisma. Ponieważ artykuł nie został jeszcze zaakceptowany do druku, prośba graniczyła z szantażem, zauważa John M. Drake, nawet jeśli to nie było zamiarem nadawcy. Autorzy mogą odbierać tego typu sugestie jako warunek opublikowania artykułu: ze względu na siłę szantażu, jest to naduywanie władzy przez wydawców.

Robert P. Freckleton, doktorant na Uniwersytecie w Oxfordzie i redaktor, który wysłał powyższy list do Johna M. Drake’a, twierdzi, że nie chciał, aby jego prośba została potraktowana jako wymóg. Byłbym zmartwiony, gdyby odczytywano to w ten sposób – mówi – posługujemy się ogólnikowymi zwrotami. Rozumiemy, że większość autorów w istocie nie stosuje się do naszych sugestii. W ubiegłym tygodniu zmienił sformułowanie w szablonie listu, by uniknąć nieporozumień w przyszłości. Niezależnie od intencji przyświecających takim prośbom, stają się one coraz powszechniejsze. Anurag A. Agrawal, docent wydziału ekologii i biologii ewolucyjnej na Cornell University, udokumentowała podobne praktyki w odniesieniu do pięciu innych czasopism o tematyce ekologicznej. Uważa ona, że: jest to niepokojące zjawisko i stanowi skazę na obliczu naszej dyscypliny. Wymaganie od autorów, by sprzeniewierzyli się swym zasadom, prowadzi do zniszczenia konstrukcji, na której opierają się naukowe przedsięwzięcia. Robert P. Freckleton broni tej praktyki: częścią naszej pracy redakcyjnej jest zyskanie pewności, że jej efekty są cytowane i odczytywane we właściwy sposób. Działań tych nie należy wiązać z próbami wpływania na wskaźniki.

Wbrew powyższym twierdzeniom polityka ta przynosi wymierne efekty, jak wynika z analizy przeprowadzonej przez The Chronicle na podstawie artykułów zawierających cytowania z publikacji, które ukazały się w ciągu jednego roku. W roku 1997 Journal of Applied Ecology cytował własne artykuły z poprzednich dwunastu miesięcy 30 razy, a w roku 2004 liczba ta wynosiła już 91, co stanowi wzrost o 200%. Ten typ cytowań w innych tytułach wzrósł jedynie o 41%. W tym samym czasie Journal of Applied Ecology został zaangażowany w inną wątpliwą działalność. Steve Ormerod, redaktor prowadzący w latach 2000–2004, napisał kilka artykułów wstępnych, w których cytował własne czasopismo kilkadziesiąt razy. Na przykład w roku 2002 dwa z jego komentarzy cytowały 103 artykuły opublikowane w latach 2000 i 2001. Tylko one podniosły wartość wskaźnika o 20%.

Steve Ormerod, profesor ekologii na Uniwersytecie w Cardiff, przyznaje, że ta działalność wygląda podejrzanie, stwierdza jednak, że istnieje prozaiczne wyjaśnienie. Próbował, jak mówi, uczynić czasopismo bardziej użytecznym poprzez sprawdzenie, czy wcześniejsze artykuły na temat ochrony środowiska doprowadziły do działań politycznych: tylko przypadek sprawił, że wzrost wskaźnika IF nastąpił w tym samym czasie, gdy zwiększyła się liczba owych artykułów wstępnych. Tak czy inaczej artykuły wstępne Ormeroda przyniosły wymierny efekt. Wskaźnik czasopism ekologicznych wzrósł z 1,2 w roku 1997 do 3,3 w roku 2004, a wśród czasopism ekologicznych „Journal of Applied Ecology” z 29. miejsca na ogólną liczbę 86. awansował na miejsce 16. spośród 107 tytułów. W następstwie przeprowadzonych przez The Chronicle badań Robert P. Freckleton powiedział w ubiegłym tygodniu, że zajmuje się opracowaniem planu prowadzącego do zmiany artykułów wstępnych w taki sposób, by nie wpływały one na wysokość wskaźnika.

Skargi uczonych

Instytut Filadelfijski podejmuje kroki mające uprzedzać nieuczciwe praktyki. Nie jest to łatwe, lecz dopóki mamy świadomość możliwych nadużyć, będziemy próbowali je demaskować – mówi Marie E. Mc Veigh, kierownik ds. rozwoju. Na przykład obecnie w raportach cytowań zaznacza się procent cytowań pochodzących z tego czasopisma, dla którego oblicza się wskaźnik. Jednak pomimo podejmowanych wysiłków działania Instytutu mogą okazać się niewystarczające. Kilku redaktorów, z którymi kontaktowało się The Chronicle wniosło zastrzeżenia w związku z błędami pojawiającymi się w analizach i danych. Wydaje się, że problemy narastają. Martin Blume z American Physical Society mówi, że ostatnio skontaktowali się z nim badacze skarżąc się, że w bazie danych Instytutu brak informacji o cytowaniach ich artykułów. Skargi się mnożą – mówi Blume, którego organizacja bada tę sprawę. Według dr Fiony Godlee z BMJ, Instytut niewłaściwie obliczył publikowane w jej czasopiśmie komentarze, czego efektem było obniżenie wskaźnika.

James Testa, dyrektor do spraw polityki wydawniczej w Thomson Scientific, nie zgadza się z nazywaniem tych przypadków „błędami”. Pojawiają się wątpliwości, jak zdefiniować pewien typ artykułów i Instytut współpracuje z wydawcami, by ustalić prawidłowy system kodowania dla każdego czasopisma. W bieżącym roku zadecydowano o przeprowadzeniu ponownych obliczeń, by skorygować problemy, które pojawiły się w przypadku 10 czy 15 czasopism, poinformował Jim Pringle z Thomson Scientific. Według niego wzrastające znaczenie wskaźników w nauce skłoniło redaktorów czasopism do uważniejszego śledzenia obliczeń, czego efektem jest większa niż wcześniej liczba zażaleń. Podobnie jak wielu innych redaktorów i badaczy, dr Godlee dostrzega proste rozwiązanie zarówno problemów z obliczeniami, jak i umyślnymi oszustwami. Sugeruje, by Instytut dokonywał wyliczeń na podstawie oryginalnych artykułów badawczych, co wyeliminuje problemy pojawiające się w przypadku newsów, artykuw wstępnych, recenzji itp. Jednak ISI konsekwentnie odrzuca wprowadzanie jakichkolwiek zmian.

Oddawszy władzę Instytutowi Filadelfijskiemu oraz jego wskaźnikom, naukowcy mają niewielki wybór poza zaakceptowaniem systemu, mimo że konkurenci twierdzą, że mogą zmienić tę sytuację, a coraz częstsze wykorzystywanie czasopism elektronicznych i licencja open access mogłyby ostatecznie obalić system publikowania artykułów w tradycyjnej formie. Tak jak melomani, którzy kopiują z sieci pojedyncze piosenki zamiast kupować płyty, niektórzy badacze zaczynają kopiować jedynie te artykuy, którymi są zainteresowani, bez względu na to, gdzie się one pierwotnie pojawiły. To, gdzie zostały one opublikowane, staje się coraz mniejszym problemem. Jednak dla większości naukowców nadal istotna jest różnica między jakością artykułów publikowanych w np. Science czy Science of the Total Environment. Nawet Harold P. Erickson musi stanąć przed dziekanem, który oczekuje od swych profesorów demonstrowania doskonałości przez sporadyczne publikowanie w Cell, Nature, Science i innych czasopismach o najwyższych wskaźnikach.

Wewnątrz impact factor

Każdego roku o tym, które czasopisma zostaną skreślone z Listy Filadelfijskiej, a które na niej pozostaną, decyduje prosty wzór. W celu obliczenia wskaźnika dla czasopisma X Instytut Filadelfijski analizuje 7500 tytułów, żeby odnaleźć cytowania artykułów z tego czasopisma, które pojawiły się w ciągu ostatnich dwóch lat. Wynik tych poszukiwań, tzn. liczba cytowań, trafia do licznika. Do mianownika natomiast wprowadzana jest liczba oryginalnych artykułów opublikowanych w czasopiśmie X w tym samym okresie.

Wzór na obliczanie wskaźnika impact factor został pomyślany w taki sposób, aby czasopisma o mniejszym zasięgu mogły konkurować z potężnymi tytułami. Jednak nie jest on obiektywny w stosunku do dziedzin, których tempo rozwoju jest stosunkowo wolne, takich jak matematyka, w których często cytuje się źródła sprzed wielu lat. Żaden cytowany artykuł, który ma więcej niż dwa lata, nie trafia do wzoru. Niekiedy czasopisma wykorzystują luki we wzorze, publikując sprawozdania i artykuły wstępne. Choć same one nie trafiają do mianownika, to każde ich cytowanie dodawane jest do licznika, a to przekłada się na większą wartość wskaźnika.

Czołówka z Listy Filadelfijskiej

Lista czasopism o najwyższym wskaźniku pokazuje osobliwości powstałe w wyniku przeprowadzonych obliczeń: z uwagi na to, że sprawozdania cytowane są częściej niż oryginalne artykuły, 7 z 15 najlepszych w rankingu czasopism publikuje głównie sprawozdania i przeglądy. To sprawia, że niektórzy wydawcy także zamieszczają materiały tego typu, w nadziei, że przyczyni się to do wzrostu wartości wskaźnika ich czasopism. Lista dowodzi również, że przodują na niej czasopisma z zakresu biologii i medycyny, w których to dziedzinach badacze przejawiają większą aktywność niż zajmujący się naukami fizycznymi. Dlatego też Instytut Filadelfijski sugeruje, aby porównań wysokości wskaźników dokonywać pomiędzy czasopismami o tym samym profilu.

Przekład: Maciej Dynkowski
Przedruk za zgodą autora i redaktora czasopisma z: „The Chronicle of Higher Education”,
Section: Research & Publishing Volume 52, Issue 8, Page A12.
Tryb dostępu: http://chronicle.com/free/v52/i08/08a01201.htm.

Liczba, ktĂłra paraliĹźuje naukę. Impact factor – kiedyś prosta metoda tworzenia rankingĂłw czasopism naukowych, dziś bezwzględne kryterium zatrudniania i przyznawania grantĂłw / Richard Monastersky// W: Biuletyn EBIB [Dokument elektroniczny] / red. naczelny Bożena Bednarek-Michalska. - Nr 3/2006 (73) marzec. - Czasopismo elektroniczne. - [Warszawa] : Stowarzyszenie Bibliotekarzy Polskich KWE, 2006. - Tryb dostępu: http://www.ebib.info/2006/73/monastersky.php. - Tyt. z pierwszego ekranu. - ISSN 1507-7187