Kako procijeniti vrijednost naučno-istraživačkog rada?

Naučno-istraživački centri, kao i institucije i fondacije koje finansiraju istraživanja, nerijetko se suočavaju sa izazovom kako postaviti tematske prioritete, koje istraživačke projekte u tim poljima odabrati, kako procijeniti kvalitet istraživača koji će na njima raditi i, konačno, ko i u kojem omjeru će ih finansirati. Suočavanje sa ovim izazovom nosi zabrinutost ishodom: da li će projekat biti odobren, odnosno da li će istraživači napredovati u karijeri željenim tempom. Razlog je, u osnovi, vrlo jednostavan – ne može se finansirati sve, jer su budžeti za nauku svugdje vrlo ograničeni. Stoga u okruženju vrlo oštrih budžetskih ograničenja otvara se pitanje vrednovanja, odnosno pitanje procjene kvaliteta istraživača i njihovog dotadašnjeg rada kao i mogućeg utjecaja njihovih kvalifikacija na ishod projekta na kojem rade.

Jedan od najčešćih modela vrednovanja istraživača je korištenje bibliometrijskih indikatora, odnosno faktor(i) utjecaja (engl. impact factor) časopisa u kojem je istraživač objavio rad(ove), te broj citata koje je taj rad (radovi) dobio u radovima drugih autora. Na prvi pogled, riječ je o objektivnom kriteriju zasnovanom na vrijednostima koji nude matematičku preciznost i omogućavaju brzo rangiranje: autori sa većim brojem citata su u vrhu tabele, i samim tim kao da se nudi brz odgovor koga treba finansirati u narednom projektu, ili kome treba omogućiti brzo napredovanje u karijeri. U nastavku teksta će se ispostaviti da nije riječ o jednostavnom procesu sortiranja od najviše do najniže brojčane vrijednosti i korištenju tako formiranog rezultata u svrhu vrednovanja.

O percepciji vrednovanja

Akademski djelatnici i stručna javnost imaju različite stavove o primjeni kvantitativnih bibliometrijskih metoda u vrednovanju naučno-istraživačkog rada – od krajnje kritičkih, koji odbacuju mogućnost korištenja bibliometrijskih indikatora u ove svrhe, do onih koji se zalažu za to da su kvantitativni indikatori jedini objektivni pokazatelji stepena dostignutog utjecaja, koji, u ovoj dosta reduciranoj vizuri, postaje sinonim kvaliteta naučnog rada. Pored ovog kvantitativnog aspekta, sastavni dio vrednovanja naučnog rada je i kvalitativni pristup – recenzentski postupak. U stavu spram stručne kolegijalne procjene, sukobi mišljenja su još izraženiji – od stava da je kvalitativni pristup jedini moguć, do kritike da je zapravo riječ o subjektivnoj prosudbi koja nerijetko podliježe koruptivnom faktoru (kolegijalni ustupci, prijateljsko “pomaganje”, nepotizam, urednička intervencija, itd.).

Ipak, u svakodnevnom diksursu citiranost postaje mjera kvalitete, i samo spominjanje broja citata i nečijeg imena stvara obol oko lika i djela bez da čitalac-prosuditelj ima adekvatna znanja iz date oblasti. No, kvalitet naučnog rada je znatno kompleksniji konstrukt, u koji ulazi niz faktora. Stoga, kako bi zaista na adekvatan način promišljali nauku i njene domete, diskusiju o kvalitetu naučnog rada potrebno je razložiti na njene sastavnice – u ovom slučaju na indeksiranost, citate i citatnost, baze podataka, recenzije (odnosno stručnu kolegijalnu procjenu) i stavove naučne zajednice spram tih sastavnica. Drugim riječima, nužno je prodiskutirati osnovne pojmove koji se pojavljuju u polju valorizacije nauke u kontekstu dosega pojedinca, institucije ili naučnog glasila.

Indeksiranost u bazama podataka

Bitan element kvaliteta naučnog rada je objavljivanje u stručnim časopisima koji su indeksirani u relevantnim bazama podataka. Najprije, treba imati u vidu da časopisi koji ulaze u baze podataka moraju ispunjavati cijeli niz uslova poput pravovremenosti (izlaženje u vrijeme naznačeno u impresumu), poštivanja međunarodnih uređivačkih konvencija, recenziranost radova, međunarodni diverzitet uređivačkog odbora (da li autori, urednici, članovi uređivačkog i savjetodavnog odbora časopisa predstavljaju “international community”), te konačno da li časopis reflektira globalni kontekst.

Kada je u pitanju indeksiranost, odnosno indeksiranje časopisa u bazama podataka (i njihovih dijelova – članaka), nužno je razlučiti primarnu namjenu baza i moguću primjenu koja može izaći iz okvira primarne namjene. Osnovna funkcija bibliografskih baza podataka je da omogući jedinstvenu tačku pristupa naučnim radnicima o najnovijim zbivanjima u njihovom području, odnosno da bude vodič kroz najnoviju literaturu putem tekućih upozorenja (alerts)[1], ili da omogući selektivnu diseminaciju informacija stvaranjem kompleksnih upita (query) koji mogu dati odgovor na pitanja poput koji su najnoviji radovi iz određene oblasti, ko se bavi čime u kojoj instituciji (analiza autorstva), ko s kim sarađuje i gdje i na kojim temama (analiza koautorstva), koje su zone kompetencije institucije (na osnovu frekvencije predmetnih odrednica radova, kao i klasifikacijskih oznaka radova u bazi). Također, ovaj alat nudi mogućnost vrlo brze pripreme inicijalnih radnih bibliografija koje mogu služiti kao orijentir u početnoj fazi istraživanja. Ukratko, bibliografske baze podataka su alat koji olakšava pretragu i omogućava praćenje naučne produkcije.

Slijedeći logiku odabira časopisa, pretpostavka da je pojedinačni članak iz časopisa indeksiran u relevantnoj bazi podataka postalo je kriterijem za ocjenu kvaliteta i prihvatljivim uslovom za finansiranje istraživanja i ocjenom rada naučnog radnika, iako je potpuno jasno da nisu svi članci u pojedinačnom časopisu iste kvalitete. Tako, naprimjer, član 36. Zakona o naučnoistraživačkoj djelatnosti Kantona Sarajevo[2] propisuje da je za izbor u zvanje (naučno, istraživačko, nastavno), pored ostalih uslova, potrebno imati objavljen(e) rad(ove) u časopisima koje prati relevantna međunarodna baza podataka. Kao primjeri relevantnih baza navode se Current Contents, SCI, itd. Namjera zakonodavca je jasna – da prevenira olako napredovanje u struci, odnosno spriječi napredovanje objavljivanjem radova u perifernim publikacijama, te da uspostavi kriterij prema kojem sama količina radova ne može biti jedini osnov za ocjenu produktivnosti. Logika je jednostavna: ako je rad objavljen u uglednom časopisu sa međunarodnom recenzijom, pretpostavka je da je kvalitet zagarantiran. Na prvi pogled odluka zakonodavca je razumna: razlikovati naučnu produkciju pojedinca u priznatim časopisima sa dobrom uređivačkom politikom od onih sa upitnim i nepouzdanim kriterijima i koji ne ispunjavaju formalne uslove za uključivanje u taj korpus i koji samim tim ne daju bar formalni garant kvaliteta.

No, u ovakvoj logici vrednovanja zanemaruje se da su primarno indeksirani časopisi, dok su pojedinačni članci objavljeni u tim časopisima indeksirani po definiciji. Drugim riječima, objavljivanje u indeksiranim časopisima nije jedini, a sasvim sigurno nije dovoljan pokazatelj kvaliteta konkretnog članka. Ilustracije radi, za period od 1900. do 2005., u Web of Science analizirana je distribucija frekvencije citata. Od ukupno 38 miliona članaka u tom momentu indeksiranih u bazi, citirano je njih nešto više od 19 miliona, a 18 miliona članaka nije citirano niti jedan jedini put. Preko 3 miliona članaka citirano je samo jedan put, a samo 61 članak je citiran više od 10.000 puta u bazi[3]. Ovaj primjer zorno pokazuje da sam indikator gdje je nešto objavljeno ne može odgovoriti na pitanje šta je objavljeno, zašto je objavljeno i kakvog je kvaliteta, odnosno, kakvog je utjecaja imalo na naučnu zajednicu u cijelini. Istovremeno, porazno bi bilo gledajući samo numerički faktor zaključiti da je u bazi od 38 miliona članaka samo 61, odnosno ili 0.00016% sveukupnog broja indeksiranih članaka – vrhunske kvalitete. Istina je mnogo dalje od toga, a njoj ćemo se približiti ukoliko uzmemo u obzir i druge faktore.

Citatnost

Kada su u pitanju citati i citatna analiza, situacija se dodatno komplicira. Na prvi pogled se čini da broj citata radova određenog naučnika govori o kvaliteti njegovog rada i može stvarati svojevrsne rang liste kvaliteta. Tako bi se, naprimjer, moglo ustvrditi da je naučno-istraživački doprinos autora čiji su radovi citirani 5000 puta bolji od onog čiji su radovi citirani 500 puta. Na prvi letimičan pogled to može imati smisla, no dubinska analiza može pokazati da to zapravo nerijetko nije slučaj.

Da bi se na ispravan način shvatili citati, prvo je potrebno odgovoriti na pitanje kako i zašto neko citira nečiji rad. Najčešći povodi za citiranje su odavanje priznanja prethodnicima za njihov rad, upućivanje na originalnu ideju, ispravljanje grešaka, kritiziranje prethodnika, upućivanje na pregled literature, poređenje podataka, itd. Iz ovog je vidljivo da svi citati nemaju jednaku vrijednost, odnosno, uprošteno govoreći, citati mogu imati i pozitivan i negativan predznak. To upućuje na činjenicu da sam broj citata ne može odgovoriti na pitanje u kojem kontekstu je neki rad citiran, odnosno da li je riječ o odavanju priznanja za postignuće ili kritici urađenog. Ilustracije radi, pogledajmo nekoliko ekstremnih primjera. Prvi primjer je rad Fleischmanna, Ponsa i Hawkinsa, Electrochemically induced nuclear fusion of deuterium (J. Electroanal. Chem., 1989. 261: p. 301 and errata in Vol. 263) u kojem je iznesena revolucionarna teza o hladnoj fuziji. Ovaj članak se nalazio na listi “ten hottest papers in physics”[4]. Ovaj rad je doživio visoku stopu citiranosti, ali je kasnija analiza Science Watcha pokazala da je većina citata negativna. Naravno, ovo je izuzetak, ali je zanimljivo pogledati istraživanje Catalinija, Lacatere i Oettija, na uzorku od 146.000 članaka u kojem su utvrdili da 7% citata čine tzv. negativni citati.[5] No, bitno je zapamtiti da ni taj postotak nikako nije zanemarljiv i za odbacivanje.

Sljedeći primjer je slučaj profesora O. H. Lowrya, čiji je jedan rad citiran više od 300.000 puta, te je tako najcitiraniji na listi u periodu od 1945. do 2005. Rad pod naslovom Protein measurement with the Folin phenol reagent objavljen je u The Journal of Biological Chemistry, u novembru 1951. godine, i riječ je o radu, kako se vidi i iz samog naslova, koji donosi metod analize, a ne novu radikalnu ideju u nauci. Svaki autor koji je koristio navedeni metod uputio je na izvor. O tom uspjehu Lowry u jednom pismu kaže: “Laskavo je biti ‘najcitiraniji autor’, ali bojim se da to ne predstavlja značajno naučno postignuće… (…) I sam sam začuđen zašto je taj rad toliko citiran…”[6].

Treća ilustracija je opus Alberta Einsteina. Prema Google Scholaru, svi njegovi radovi u zbiru su citirani oko 99.000 puta – dakle, cijeli opus Alberta Eisteina ima trećinu citata u odnosu na jedan Lowryev rad. Puko brojanje citata bi dovelo do toga da bi na nekoj imaginarnoj tabeli uspjeha Einstein bio daleko ispod Lowrya.

Ova tri primjera ukazuju da puko brojanje citata izolirano od ostalih kriterija ne može biti osnova za ukupnu procjenu nečijeg rada. Gary Schuster, shodno tome, kaže: “Morate se zapitati koje vrste radova dobivaju većinu citiranosti i šta to zaista znači. Radovi koji donose nove tehnike, naprimjer, bit će citirani više puta nego radovi koji prezentiraju novi koncept, posebno, vrlo nov koncept, o kojem ljudi u oblasti nisu ni razmišljali. Pregledni članci isto tako dobivaju visoku citiranost, ali stvarno ne prave originalni doprinos nauci.”[7] Upravo zbog ovih faktora, kako navodi Cole, naučnici bi trebali izbjegavati da brojanje citata smatraju “izborom za natječaj ljepote”[8].

Pored Web of Science baze podataka, koja se najčešće spominje u kontekstu vrednovanja, Elsevierova baza Scopus sve više dobiva na značaju. Web of Science indeksira 12.000 časopisa u vremenskom rasponu od 1900. do danas (94% na engleskom jeziku), dok Scopus indeksira 18.000 časopisa u rasponu od 1966. do danas (92% na engleskom jeziku)[9]. Kada je u pitanju Google Scholar, ne postoje pouzdani podaci o sadržaju baze i ukupnom broju indeksiranih dokumenata[10]. Bitna značajka Google Scholara s jedne strane je da je u potpunosti mašinski kreiran, dok su s druge strane WoS i Scopus baze podataka koje kreiraju i održavaju bibliografi i stručnjaci za automatsku obradu podataka. Sve tri baze predominantno pokrivaju englesko govorno područje, te su samim tim van domašaja ostali časopisi velikog dijela svijeta. To ograničenje svakako dovodi do nepotpune slike o naučnoj produkciji, odnosno vidljivosti velikog broja naučnih radnika.

Peer-review

Pored ovih kvantitativnih indikatora, postoji i kvalitativni, a riječ je o peer-reviewu, odnosno stručnoj kolegijalnoj procjeni, tj. recenziji. O ovom kvalitativnom ili sadržajnom pristupu David Colquhoun kaže: “Bilo koja komisija za selekciju ili promociju koja vas pita za faktore utjecaja vjerovatno je drugorazredna organizacija. Dobro mjesto će željeti da sazna o kvalitetu onoga što ste napisali, ne gdje ste ga objavili.”[11] Dakle, sam postupak se oslanja na pažljivu ljudsku prosudbu o značaju i doprinosu rada koji autor nudi za objavljivanje u časopisu, čiji redakcijski kolegij taj rad upućuje na najmanje dvije anonimne recenzije stručnjacima iz iste oblasti u kojoj djeluje i autor konkretnog rada. U teoriji zvuči dobro: priznati stručnjaci procjenjuju kvalitet kolega i daju preporuku za objavljivanje, odnosno u slučaju napredovanja analiziraju opus i doprinos kandidata i daju preporuku za napredovanje. No, u praksi su stvari malo složenije. Recenzenti časopisa sa velikim prilivom radova mogu izabrati relativno mali broj radova za objavljivanje i činjenica da je neki rad odbijen ne znači da je loš ili osrednje vrijednosti.

Za sam proces se kaže da je onoliko dobar koliko su dobri recenzenti. U tom smislu, recenzenti, kao i svi drugi ljudi, imaju predrasude (bias): mogu dati preporuku za radove koji slijede liniju razmišljanja koja je slična njihovoj, mogu vratiti rad koji je u kontradikciji sa njihovim ličnim istraživačkim rezultatima, odnosno sistemom vrijednosti i ubjeđenjima. Na sličan način funkcioniraju i komisije koje pišu izvještaje za napredovanje istraživača: mogu objektivno analizirati doprinos kandidata i uzeti više faktora u obzir i u pozitivnom duhu i dobroj namjeri preporučiti napredovanje, no isto tako se može desiti da izvještaj bude negativan iz sličnih razloga kao i recenzentski postupak u časopisima.

Sam postupak peer-reviewa ne završava objavom ili napredovanjem. Tada počinje faza takozvanog postpublikacijskog peer-reviewa koji prati recepciju rada u stručnoj javnosti odnosno budući rad kandidata. Da nije sva kritika na strani recenzenata govore i dva zanimljiva slučaja. U prvom, južnokorejski istraživač Hyung-in Moon je kreirao nekoliko e-mail adresa koje je dostavljao uredništvima časopisa kao kontakte mogućih recenzenata svojih radova. Inače, dio uobičajene prakse je da uredništva zatraže da autori predlože recenzente, ili da naznače kojim recenzentima da ne šalju njihove radove (raniji sukubi i sl.). Tako je na kraju Moon sam pisao recenzije za svoje radove. Nakon što je prevara otkrivena, radovi su povučeni iz časopisa. U drugom, mnogo sofisticiranijem slučaju, Peter Chen sa Taiwan National Pingtung Univerziteta sačinio je recenzentsko-citatni lanac kreirajući 130 fabriciranih identiteta sa pripadajućim mailovima, i na taj način stvorio pretpostavke za pisanje pozitivnih recenzija za svoje članke. Jedan od urednika u Sage Publications je postao sumnjičav i nakon duge istrage prevara je otkrivena a rezultat je bio povlačenje 60 članaka.

Zaključak / diskusija

Iz svega ranije rečenog jasno je da korištenje samo kvantitativnog ili samo kvalitativnog pristupa vrednovanju naučno-istraživačkog rada nije rješenje. Odgovor je u pažljivom korištenju alata koji mogu poslužiti procjeni, i uključiti što je više faktora moguće, a nikako se ograničavati na jedan, i to najčešće i taj jedan čitati van konteksta. Za vrednovanje naučnog rada su potrebne mnogo složenije i finije analize nego što je broj radova ili broj citata.[12] Zato Exner i Kunz[13] kažu: “Ako naukometrija ne želi da doživi sudbinu kraniometrije, koja je pokušala da postavi korelaciju između inteligencije i težine mozga, ona mora naći metode kako da odredi naučni kvalitet na drugi način, a ne samo brojanjem nekih indikatora, ma koliko oni izgledali objektivni.”

Mogući odgovor leži u inicijativi grupe urednika i izdavača naučne literature koji su se okupili na godišnjoj konferenciji Američkog društva za ćelijsku biologiju 2012. godine u San Franciscu, uvažavajući goruću potrebu za uređenjem područja vrednovanja. Tom prilikom su donijeli Deklaraciju o procjenjivanju istraživanja (San Francisco Declaration on Research Assessment), koja donosi set preporuka za institucije koje finansiraju istraživanja, za istraživačke institucije, za izdavače, za institucije koje se bave metrikom, te za same istraživače.

Naime, u preporukama se naglašava da je nužno analizirati cjelokupan doprinos pojedinog istraživača a ne koristiti metriku kao surogat mjeru za kvalitet u procesu zapošljavanja i unapređenja istraživača ili za donošenje odluke o finansiranju istraživanja. Svim zainteresiranim stranama se sugerira da uspostave set jasnih kriterija u kojima je fokus na sadržaju rada a ne samo na metrici ili identitetu publikacije u kojoj je rad objavljen, te da uvijek uzimaju u obzir vrijednost cjelokupnog naučnog “proizvoda” (uključujući i setove primarnih podataka ili kreiranih softvera) kao i njihov utjecaj na javne politike ili praksu u cjelini. Sugestija je također da se evaluatori ne ograničavaju isključivo na jedan instrument kvantitativne prirode nego više njih i tako steknu što širu sliku o vrijednosti publiciranog istraživanja. Drugim riječima, adekvatno vrednovanje naučno-istraživačkog rada bi trebalo da podrazumijeva složeni sistem procjene koji nije baziran na samo jednom indikatoru, ili na uprošćenoj kombinaciji citatne analize i recenzije, nego na analizi većeg seta kontekstualiziranih podataka koji će dati pravu sliku o naučnoj produkciji pojedinca i njegovom utjecaju na razvoj nauke.