Marzena Marcinek
Biblioteka Politechniki Krakowskiej
EBIB

Przeszłość, teraźniejszość i przyszłość wskaźnika IF – sprawozdanie z międzynarodowej konferencji w Polskiej Akademii Nauk

W dniu 26 września 2008 r. pod patronatem prezesa PAN, prof. M. Kleibera, odbyła się w Warszawie międzynarodowa konferencja pt. The Past, Present, and Future of the Impact Factor and other Tools of Scientometrics - their use in comparing the scientific quality of researchers, journals, institutions and countries. Konferencję zorganizowała Polska Akademia Nauk.

Na program konferencji złożyły się wystąpienia dziesięciu mówców, którzy zaprezentowali ogólne informacje o stosowanych miernikach jakości dorobku naukowego w różnych dziedzinach wiedzy oraz szczegółowe rezultaty badań w tym zakresie, jakie prowadzone były w różnych krajach. Honorowym gościem konferencji był dr Eugene Garfield, zwany „papieżem bibliometrii”, założyciel Institute of Scientific Information^[1] i twórca tzw. „listy filadelfijskiej”.

We wprowadzeniu do konferencji wiceprezes PAN, prof. Andrzej Górski, przewodniczący Komitetu Naukowego Konferencji, zaprezentował aktualne informacje o polskich czasopismach z IF (59 tytułów). Przedstawił także historię wejścia na listę filadelfijską czasopisma „Archiwum Immunologiae at Therapiae Experimentalis” oraz zmiany wartości jego IF w latach 2000-2006^[2].

W pierwszej sesji referaty wygłosili: współpracujący od wielu lat z E. Garfieldem: David Pendlebury z ISI/Thomson Reuters, Henk F. Moed z University of Leiden (Centre for Science and Technology Studies)^[3] i Audrey Baneyx z Université Paris-Est Marne La Vallée (Institut Francilien Recherche Innovation Société)^[4].

David Pendlebury w referacie The Impact Factor: Use and Misuse of Journal Metrics and Other Citation Indicators przedstawił podstawowe informacje o bibliometrycznych miernikach badań naukowych, w szczególności o impact factor (IF), i ich wykorzystaniu w oparciu o dane z baz opracowanych przez Thomson Reuters. Omówił korzyści płynące ze stosowania poszczególnych wskaźników do oceny dorobku naukowego oraz ograniczenia tych wskaźników. Zwrócił uwagę na niezgodne z założeniami IF wykorzystywanie tego wskaźnika do oceny indywidualnych artykułów i autorów.

Henk Moed w wystąpieniu zatytułowanym Citation Analysis in Research Evaluation zaprezentował wiele istotnych aspektów wykorzystania analizy cytowań do oceny dorobku naukowego w kontekście polityki zarządzania nauką. Wskazał potrzebę inteligentnego stosowania przy ocenie osiągnięć naukowych zarówno wskaźników bibliometrycznych, jak i systemu recenzowania publikacji. Ponadto, zwrócił uwagę na możliwość manipulowania wskaźnikami cytowań oraz ich ograniczoną wartość, zwłaszcza w naukach humanistycznych i społecznych. Istotną część prezentacji stanowiło porównanie z punktu widzenia bibliometrycznego baz Science Citation Index (Thomson Reuters) i Scopus (Elsevier).

Audrey Baneyx przedstawiła możliwości oceny bibliometrycznej nauk humanistycznych z zastosowaniem metody „Publish or Perish” w oparciu o Google Scholar. W porównaniu z bazą Social Science Citation Index (SSCI), wykorzystanie w badaniach bibliometrycznych Google Scholar umożliwia analizę większej liczby dokumentów, w szczególności książek, materiałów konferencyjnych i wielu nie-amerykańskich czasopism nieindeksowanych przez SSCI. Zdaniem autorki, za korzystaniem z Google Scholar w badaniach bibliometrycznych przemawia także powszechny bezpłatny dostęp do serwisu. W referacie zaprezentowano porównanie wartości wskaźników bibliometrycznych otrzymanych w oparciu o zasoby dostępne z Web of Science i Google Scholar w naukach ekonomicznych, społecznych i historii.

W komentarzu do pierwszej sesji E. Garfield przypomniał główne założenia, jakie towarzyszyły powstaniu IF. Podkreślił, że jego stosowanie do oceny naukowych dokonań pracowników i jednostek naukowo-badawczych nie jest zgodne z tymi założeniami i prowadzi często do nieprawidłowego wnioskowania i podejmowania niewłaściwych decyzji odnośnie promocji naukowych oraz finansowania jednostek naukowych. Tę opinię powtórzył także w podsumowaniu konferencji.

W drugiej sesji przedstawiono jeden krajowy i dwa zagraniczne przykłady systemów oceny jakości pracy naukowej. Jonathan Adams (Evidence Ltd., Wielka Brytania)^[5] omówił system oceny jakości brytyjskich instytucji akademickich (stosowany, z modyfikacjami, od 1986 r.) oraz ramowy program oceny jakości badań (Research Excellence Framework), dyskutowany obecnie jako narzędzie planowane do wykorzystania w związku z finansowaniem nauki od 2010 r. Natomiast Matthew E. Falagas, dyrektor greckiego Instytutu Nauk Biomedycznych Alfa (AIBS)^[6], przedstawił ciekawy materiał porównawczy dot. wykorzystania wskaźników bibliometrycznych w różnych obszarach i dziedzinach wiedzy.

Prof. Andrzej Pilc w referacie The use of citation indicators to identify and support high quality research in Poland omówił wyniki kategoryzacji placówek Wydziału VI PAN z zastosowaniem systemu wykorzystującego IF, indeks Hirsha i oparty o własne przemyślenia autora instytucjonalny indeks cytowań.. Zastosowanie tego systemu oceny prowadzi do kategoryzacji, której wyniki nie pokrywają się z kategoryzacją dokonaną ostatnio przez Ministerstwo Nauki. Zdaniem autora, zaproponowany system oceny sprzyja lepszemu podziałowi środków na naukę w Polsce, promując naukowców i instytucje o najwyższych osiągnięciach naukowo-badawczych. Wydaje się, że system ten powinien jednak być uzupełniony, choćby o wskaźniki innowacyjności (patenty) – pod tym względem zajmujemy praktycznie ostatnie miejsce w Europie. Na zakończenie sesji prof. Andrzej K. Wróblewski z Uniwersytetu Warszawskiego przedstawił komentarz dotyczący błędnej interpretacji i wykorzystania IF, ilustrowany licznymi przykładami, zestawieniami, wykresami i cytatami.

Na trzecią sesję złożyły się wystąpienia Catherine M. Ketcham z University of Floryda College of Medicine – redaktora amerykańskiego czasopisma medycznego, Nicole Haeffner-Cavaillon – dyrektora jednostki ds. badań bibliometrycznych francuskiej instytucji naukowo-badawczej, Wolfganga Glanzela z Katolickiego Uniwersytetu w Leuven (Belgia) – przedstawiciela Węgierskiej Akademii Nauk oraz dr Marka Graczyńskiego z międzynarodowego serwisu informacyjno-społecznościowego dla naukowców Index Copernicus.

Catherine M. Ketcham, redaktor „Laboratory Investigation” (IF ok. 4,5), w referacie zatytułowanym The proper use of citation data in journal management przedstawiła między innymi interesujące wyniki monitorowania na bieżąco cytowań publikacji z redagowanego przez nią czasopisma, pomocne w przewidywaniu wartości IF, ogłaszanej przez Thomson Reuters w czerwcu każdego roku. C. Ketcham śledzi także dalsze losy artykułów, które nie uzyskały pozytywnej recenzji, co skutkowało nieprzyjęciem ich do druku w „Laboratory Investigation”. Okazuje się, że około 25% prac odrzuconych z tego periodyku zostało ostatecznie opublikowanych w pismach o wyższym IF, zaś znikomy ich procent opublikowano w czasopismach spoza listy filadelfijskiej. Taką wytrwałość autorów należałoby polecić szerzej w naszych realiach.

N. Haeffner-Cavaillon z INSERM przedstawiła bibliometryczny system oceny pracowników nauki i jednostek EVA^[7], stosowany od 2001 r. w tej instytucji. Podkreśliła, że żaden wskaźnik nie jest wolny od wad, co odnosi się również do polecanego ostatnio współczynnika Hirsha. Polski przykład wieloparametrycznego systemu oceny dorobku naukowego, oparty o osiem wskaźników, przedstawił Marek Graczyński z Index Copernicus International^[8]. System ten wzbudził spore zainteresowanie uczestników, w tym również E. Garfielda.

W konferencji uczestniczyło prawie 200 osób, wśród nich ok. 30% stanowili bibliotekarze^[9]. W dyskusji często poruszano problem tzw. autocytowań, który czasem przybiera formy „wymuszania” przez niektóre redakcje cytowania własnego pisma celem forsowania wzrostu IF. Periodyki wysokiej rangi mają zwykle wskaźnik autocytowań poniżej 20%, przy średniej 12,4% i medianie 9,04% . Na tym tle dobrze wypada, przywoływane na początku konferencji przez A. Górskiego, czasopismo Instytutu Immunologii i Terapii Doświadczalnej PAN Archiwum Immunologiae et Therapiae Experimentalis ze wskaźnikiem autocytowań na poziomie ok. 6%. Uczestnicy konferencji uznali, że system oceny pracowników i jednostek powinien być dalej udoskonalany i – poza wartościami liczbowymi – powinien uwzględniać także inne czynniki, np. recenzje.

Konferencja odbyła się dzień po ogłoszeniu przez Ministerstwo Nauki pakietu reform nauki polskiej. Zdaniem prowadzącego drugą sesję, prof. A. Górskiego, można mieć nadzieję, że wnioski z konferencji będą pomocne w optymalnym wdrażaniu tych reform. Prezentacje z konferencji są dostępne na stronie WWW Polskiej Akademii Nauk^[10]. Zapowiedziano również publikację referatów w materiałach pokonferencyjnych. W tekście wykorzystano fragmenty sprawozdania z konferencji opracowanego przez prof. A. Górskiego, zamieszczonego na stronie WWW PAN^[11].

Przypisy

[1] Institute of Scientific Information (ISI), obecnie Thomson Reuters Corporation – komercyjna instytucja naukowa, zajmująca się tworzeniem i udostępnianiem naukowych baz danych [on-line]. Dostępny w World Wide Web: http://www.thomsonreuters.com/.

[2] Alfabetyczne zestawienie czasopism z IF za 2006 r. oraz zestawienie zmian IF dla polskiego czasopisma „Archiwum Immunologiae at Therapiae Experimentalis” (AITE) w latach 2000-2007 i wskaźnika autocytowań w latach 2005-2007: PAN [on-line]. Dostępny w World Wide Web: http://www.aktualnosci.pan.pl/images/stories/pliki/konferencje_inne/2008/prezentacje_if/gorski.pdf.

[3] Centre for Science and Technology Studies (CWTS) [on-line], Leiden University. Dostępny w World Wide Web: http://www.cwts.nl/cwtsbv/index.html.

[4] Institut Francilien Recherche Innovation Société [on-line]. Dostępny w World Wide Web: http://www.ifris.org/.

[5] Evidence Ltd. – brytyjska instytucja zajmującą się kompleksową analizą działalności naukowej. Evidence Ltd [on-line]. Dostępny w World Wide Web: http://www.evidence.co.uk/.

[6] Alfa Institute of Biomedical Sciences – założona w 2005 r. grecka jednostka naukowo-badawczo-edukacyjna o charakterze non-profit funkcjonująca w obszarze nauk biomedycznych. Alfa Institute of Biomedical Sciences [on-line]. Dostępny w World Wide Web: http://www.aibs.gr/2/php/index2.php?lang=en.

[7] Instytut National de la Santé at de la Recherche Medicalé (INSERM) jest francuską instytucją badawczą, która realizuje i wspiera badania biomedyczne. Od 2001 r. INSERM wykorzystuje system oceny pracowników badawczych i laboratoriów EVA. Inserm [on-line]. Dostępny w World Wide Web: http://www.eva.inserm.fr.

[8] Serwis Index Copernicus stanowi platformę współpracy naukowej w formie portalu informacyjno-społecznościowego: http://www.indexcopernicus.com/.

[9] Wyniki ankiety przeprowadzonej wśród uczestników konferencji The Past, Present, and Future of the Impact Factor and other Tools of Scientometrics (oprac. A. Sienkiewicz, BWZ PAN). PAN [on-line]. Dostępny w World Wide Web: http://www.aktualnosci.pan.pl/images/stories/pliki/konferencje_inne/2008/ankietyif.doc.

[10] Prezentacje z konferencji The Past, Present, and Future of the Impact Factor and other Tools of Scientometrics (w porządku alfabetycznym) oraz zdjęcia z konferencji na stronie WWW PAN: PAN [on-line]. Dostępny w World Wide Web: http://www.aktualnosci.pan.pl/index.php?option=com_content&view=article&id=24: sprawozdanie-z-midzynarodowej-konferencji-nt-impact-factor&catid=33:biece&Itemid=40.

[11] GÓRSKI, A. Sprawozdanie z konferencji The Past, Present, and Future of the Impact Factor and other Tools of Scientometrics. W: PAN [on-line]. Dostępny w World Wide Web: http://www.aktualnosci.pan.pl/images/stories/pliki/konferencje_inne/2008/ healthcare/if_sprawozdanie.doc.

[12] Wszystkie odesłania do stron internetowych przedstawiają wersję aktualną w dn. 14.11.2008 r.

Przeszłość, teraźniejszość i przyszłość wskaźnika IF – sprawozdanie z międzynarodowej konferencji w Polskiej Akademii Nauk / Marzena Marcinek// W: Biuletyn EBIB [Dokument elektroniczny] / red. naczelny Bożena Bednarek-Michalska - Nr 8/2008 (99) listopad. - Czasopismo elektroniczne. - [Warszawa] : Stowarzyszenie Bibliotekarzy Polskich KWE, 2010. - Tryb dostępu: http://www.ebib.info/2010/99/a.php?marcinek. - Tyt. z pierwszego ekranu. - ISSN 1507-7187