Transparentna istraživanja i pristupačni podaci: trend vrijedan pažnje

Novi trendovi u transparentnosti istraživanja i podataka ukazuju na to koliko je tehnologija uticala na akademski svijet. Naime, jedna od novijih tema kojom se bave društvene nauke je tzv. inicijativa DA-RT, što je skraćenica za Data Access and Research Transparency ili pristup podacima i transparentnost istraživanja. DA-RT je pokušaj da se otklone manjkavosti istraživanja u društvenim naukama kao što su nedostatak transparentnosti, nedostatak replikabilnih rezultata istraživanja, slabost metodoloških alata, kao i posljedice koje ovi nedostaci imaju po legitimitet same naučne discipline. Politolog i profesor Andrew Moravcsik spada među najistaknutije zagovarače ove inicijative i tvrdi kako nove tehnologije zahtijevaju da društveni naučnici aktivno osiguravaju transparentnost svojih istraživanja. Navodi da je transparentnost istraživanja ključna za vjerodostojnost discipline pred stručnom i općom javnosti i da će društvene nauke ozbiljnije shvatati ako se fokusiraju na replikabilnost rezultata.

Skorašnje debate najviše se tiču transparentnosti i pristupa kako primarnim podacima koje istraživači prikupljaju, tako i sekundarnim izvorima koje koriste u svom radu. Još jedan važan faktor je da mnogi od vodećih naučnih časopisa u oblasti političkih nauka ažuriraju svoje standarde kako bi odražavali principe o sirovim podacima i replikabilnosti. Istina je da će unapređenje transparentnosti diljem ove oblasti olakšati interdisciplinarni dijalog, a pristupačnije društvene nauke pogodovat će poboljšanju istraživanja.

Inicijativa DA-RT podrazumijeva tri široka koncepta o kojima će biti više riječi u produžetku teksta.

1. Transparentnost podataka, pri čemu istraživači objavljuju podatke koje koriste kao dokaze,
2. Analitička transparentnost, pri čemu istraživači objavljuju ‘kako mjere, kodiraju, tumače i analiziraju podatke’, [i]
3. Procesna (ili produkcijska) transparentnost, pri čemu istraživači objašnjavaju kako su izabrali dizajn istraživanja i zašto su se koristili određenim podacima, teorijama i metodama.

Transparentnost podataka

Ideja transparentnosti podataka ogleda se u tome da utoliko što istraživač donosi tvrdnje koje se oslanjaju na prikupljene podatke, čitateljima treba omogućiti pristup tim sirovim podacima – kako bi, u idealnom slučaju, i drugi istraživači mogli ponoviti iste rezultate istraživanja koristeći se istim sirovim podacima, a što bi dodatno potvrdilo nalaze istraživanja. Princip replikabilnosti rezultata je ključni element inicijative DA-RT koja nastoji povećati legitimnost i uticaj društvenih nauka tako što će prioritet dati upravo replikabilnosti. U praksi to znači da drugi istraživači, koristeći se vašim podacima, metodom i procesom kodiranja, dolaze do istih rezultata, jačajući time naučnu vrijednost vašeg istraživanja. Kako to Moravcsik kaže, “nedavno otkriće velikog broja nereplikabilnih pozitivnih rezultata u prirodnim i društvenim naukama” nepovoljno utiče na legitimnost i vjerodostojnost društvenih nauka.[ii] Stoga su režimi transparentnosti u odnosu na podatke direktno povezani sa legitimiranjem društvenih nauka kao discipline, a također i nalaza pojedinačnih istraživanja. Dodatna prednost je što bi ti podaci mogli biti od koristi drugim naučnim radnicima i što se istraživanje otvara prema kritici i dijalogu unutar akademske zajednice.

U praksi transparentnost podataka znači da su sirovi podaci prikupljeni u svrhe nekog istraživačkog projekta javni i dostupni čitateljima. Neki časopisi koriste se web aplikacijama kako bi pohranjivali i kodirali podatke, što omogućuje direktno povezivanje čitatelja sa skupovima podataka. Dataverse je web aplikacija otvorenog koda koju je izradio Univerzitet Harvard, a koja “dijeli, čuva, citira, pretražuje i analizira podatke istraživanja” i time ih u suštini čini dostupnim drugim istraživačima. Također se brine da se u potpunosti navode autori podataka i omogućuje istraživačima da izravno citiraju skupove podataka. Neki univerziteti i časopisi za društvene nauke pokrenuli su aplikacije putem kojih se, na primjer, podaci za aktivno citiranje i dopunski materijali mogu arhivirati na stalnom linku. Time podaci ostaju dugoročno pristupačni. U područjima gdje je pristupanje podacima otežano, kao što je Zapadni Balkan, formiranje pristupačne arhive podataka iz prošlih projekata bilo bi naročito korisno za druge istraživače.

Transparentni sekundarni izvori: Aktivno citiranje

Što se tiče sekundarnih izvora, transparentnost podataka također podrazumijeva novi i izmijenjeni standard za citiranje literature. U zamjenu za statične citate starih vremena, zagovarači inicijative DA-RT, kao što je Moravcsik, pozivaju na ‘aktivno citiranje’ koje podrazumijeva hiperlinkove na tekstove dostupne na internetu, kao i kratka obrazloženja kako je koji izvor korišten. Moravcsik aktivno citiranje definira kao “korištenje rigoroznih, anotiranih citata (pod pretpostavkom) primarnih izvora koji sadrže hiperlink na same izvore”.[iii] To podrazumijeva dvije stvari. Za primarne izvore to znači da, ako citirate vlastite izvore, morate također uvrstiti i vezu sa nekim dijelom relevantnih podataka – bar jedan pasus koji će smjestiti podatke u odgovarajući kontekst. Za sekundarne izvore to podrazumijeva i dodatni korak obrazloženja, u citatima, kako je tačno korišten sekundarni izvor i kako potkrepljuje argument istraživača.

Aktivno Citiranje

Grafikon 1: Preuzeto iz Moravcsik, Andrew. “Transparentnost: Revolucija u kvalitativnim istraživanjima." Simpozijum: Otvorenost u političkim naukama. Američko udruženje za političke nauka. Januar 2014.

U praksi aktivno citiranje podrazumijeva stvaranje ‘dodatka za transparentnost’ na kraju svakog rada. Moravcsik navodi četiri elementa ovog dodatka:  “(1) kopija punog citata (2) odlomak iz izvora, po mogućnosti od najmanje 50–100 riječi (3) bilješka u kojoj se obrazlaže kako izvor podržava tvrdnju (4) po želji, vanjski link na i/ili skeniran cjelokupni izvor”.[iv] Ne samo da bi aktivno citiranje učinilo izvještaje istraživanja interesantnijim (posebno preglede literature), također bi im dalo vjerodostojnost, nudeći hiperlinkove i informacije o kontekstu izvora koji se citiraju. Time se daje ne samo jasan pregled konteksta sekundarnih izvora, već i pristup izvornim materijalima za one kojima inače nisu dostupni. Ovo bi, nadalje, moglo proširiti dijalog među istraživačima i izvorima koje koriste i omogućiti čitateljima da prate korake istraživanja i donesu vlastiti sud o rigoroznosti metodologije i postojanosti tvrdnji. Povećavanjem transparentnosti izvještaja povećao bi se njihov potencijalni uticaj, a obeshrabrilo plagiranje i metodološka lijenost.

Analitička transparentnost

Analiza, poput narativa, podrazumijeva da inače haotičan društveni svijet činimo čitljivim. Taj proces podrazumijeva istraživanja, opažanja i tumačenja kojima se otkrivaju uzročne veze, obrasci i opisi. Putem analitičke transparentnosti autori pokazuju kako su došli do određenih zaključaka. Analitička transparentnost pruža uvid u način na koji su podaci kodirani i analizirani, što omogućuje čitateljima da procijene njegovu osnovanost. U praksi to znači da se, obično u samom tekstu, objasni kako je autor riješio složeni niz faktora i mogućih tumačenja – zašto se opredijelio za specifičnu literaturu ili fokusirao na određeni historijski narativ, odnosno zašto je jedan faktor nadredio drugom, itd. Ako su postojale proturječnosti u sekundarnom istraživanju, kako su riješene? Što je istraživač transparentniji o tome kako i zašto je došao do određenih zaključaka, to će vjerodostojnije biti njegove tvrdnje, jer će analiza biti otvorena za kritiku stručne i opće javnosti.

Društveno istraživanje zasnovano na dokazima

Grafikon 2. Preuzeto i prevedeno sa: www.dartstatement.org

Analitička transparentnost je dijelom priznanje da su podaci uvijek ideološki u zavisnosti od uslova prikupljanja, analize i prijema kod publike. Kroz LSE projekat ‘Politika podataka’ [Politics of Data] Jeffrey Alan Johnson navodi argumente u prilog tome da su podaci sami po sebi meta-politički s obzirom da ih kodiraju oni koji ih proizvode, a dekodiraju korisnici kako bi “oblikovali društvenu praksu”.[v]  I kodiranje i dekodiranje odvijaju se sa stanovišta specifičnih proizvođača i korisnika podataka, što znači da postoji nekoliko koraka u tom procesu gdje je prenos podataka više od pukog neutralnog procesa. Podržavaoci inicijative DA-RT daju gore navedeni dijagram (Slika 2) u jednoj od svojih prezentacija kako bi prikazali korake društvenog istraživanja zasnovanog na dokazima. U idealnom slučaju bi svi ovi koraci bili rasvijetljeni šemom transparentnosti istraživanja, s obzirom da koraci opažanja, kategorizacije, analize i tumačenja svi zavise od promjenjivosti istraživača, istraživačke metode koja se primjenjuje, načina analize i čitatelja koji tumače konačne rezultate. Ovdje pojmovi analitičke i procesne transparentnosti postaju ključni.

Procesna ili produkcijska transparentnost

Ako analitička transparentnost nastoji opravdati tumačenja podataka i sekundarnih izvora, procesna transparentnost tiče se objelodanjivanja procesa koji je doveo do odluka da se koriste određene metode, podaci, slučajevi, itd. kako bi se suočilo sa potencijalnim pristrasnostima tih odluka. Time se “društveni naučnici obavezuju da objelodane širi set odluka o dizajnu istraživanja koje su dovele do određene kombinacije podataka, teorija i metoda kojima se koriste.”[vi] Ovim se istraživače obeshrabruje da iz velikog seta mogućih metoda, izvora i opažanja biraju samo one podobne za dokazivanje svojih hipoteza i od njih se traži da u svom izboru budu metodološki rigorozni. Također se istraživače koji koriste vlastite podatke obavezuje da “pruže potpun uvid u procedure prikupljanja ili proizvodnje podataka”.[vii]

Zabrinutosti i kritike: etika transparentnosti

Inicijativa DA-RT ima i svoje skeptike, a mnogi akademski radnici izrazili su zabrinutost zbog niza pitanja.[viii] Iako su povećana transparentnost podataka i pristup izvornim podacima opisani kao dio širenja etičkih standarda u istraživačkom radu,[ix] neki istraživači zabrinuti su upravo zbog nenamjernih etičkih posljedica povećanog nivoa transparentnosti. Kristen Renwick Monroe piše o etičkim pitanjima objelodanjivanja podataka koja nanose povredu ili imaju druge negativne posljedice po subjekte istraživanja, odnosno podataka koji su prikupljeni pod uslovom da će biti anonimizirani prije objavljivanja. Podaci prikupljeni od ranjivih skupina ili o osjetljivim temama dijelom zavise od povjerenja između subjekta i istraživača koje mora biti apsolutno zaštićeno bez obzira na šemu transparentnosti. Dapače, jedan od osnovnih argumenata grupe naučnika koji se protive provođenju inicijative DA-RT je etička dilema koju nameće postizanje ravnoteže između transparentnosti i specifične ranjivosti studija koje koriste ljudske subjekte. Kako bi se zaštitila privatnost i bezbjednost ljudskih subjekata, sirovi podaci moraju biti anonimizirani prije objavljivanja, ako se uopće mogu učiniti dostupnim.

Druge zabrinutosti vezane za pristupačnost podataka tiču se činjenice da se sirovi podaci mogu pojaviti u različitim oblicima. Dok je neke, poput baza podataka prikupljenih informacija, relativno lako učiniti pristupačnim, druge oblike podataka (intervjui, bilješke sa terena) teže je digitizirati i arhivirati. Sam čin osiguravanja pristupačnosti podataka može istraživačima nametnuti dodatni logističkih i finansijski teret. Pored toga, analitička transparentnost je prilično jednostavna za radove koji se zasnivaju na kvantifikaciji, ali za rad koji se uglavnom oslanja na kvalitativne nalaze, nije sasvim jasno “kojim se normama, principima i razmatranjima trebaju voditi autori i recenzenti kada nastoje postići ili ocijeniti analitičku transparentnost ne-statističkih oblika istraživanja.”[x]  Problem primjene istih standarda na kvalitativni i kvantitativni istraživački rad nije u potpunosti riješen.

Postoji i bojazan da će istraživači biti primorani učiniti svoje podatke pristupačnim prije nego sami budu imali priliku da ih analiziraju – i time se odreći mogućnosti da budu prvi koji će objaviti rezultate. Stoga zagovarači inicijative DA-RT priznaju da se pristup podacima može razumno ograničiti na specifičan period vremena. U izmjenama etičkih smjernica Američkog udruženja političkih nauka [American Political Science Association] navodi se da “Istraživači koji prikupljaju ili proizvode podatke imaju pravo prvenstva kod korištenja tih podataka. Stoga, naučnici mogu odložiti pristup podacima i produkcijsku transparentnost na period od jedne godine nakon objavljivanja saznanja zasnovanih na dokazima koji se oslanjaju na te podatke, ili na period koji će utvrditi (1) časopis ili izdavač koji objavljuje saznanja ili (2) agencija za finansiranje koja je podržala istraživački rad kroz koji su podaci proizvedeni ili prikupljeni.”[xi] Za istraživačke institucije koje se oslanjaju na eksterno finansiranje, usaglašavanje roka trajanja podataka i vremenskog okvira za objavljivanje predstavljat će važnu novinu u donatorskim smjernicama.

DA-RT u praksi

Urednici vodećih naučnih časopisa su, međutim, uglavnom pozitivno reagirali na ove inicijative i počeli sa implementacijom novih standarda transparentnosti. Izjava o transparentnosti urednika časopisa [Journal Editors’ Transparency Statement, JETS] je zajednička izjava koju potpisuje 27 vodećih časopisa za političke nauke iz Sjedinjenih Država, Velike Britanije i Evrope. Ključni elementi novih standarda transparentnosti podrazumijevaju osiguranje da citirani podaci budu dostupni u vrijeme objavljivanja i zahtijevaju od autora da “jasno opišu analitičke procedure na koje se oslanjaju njihove objavljene tvrdnje” i po mogućnosti obezbijede pristup odgovarajućim materijalima.[xii]

Na primjer, časopis Italian Political Science Review, koji izdaje Cambridge Press, ažurirao je svoju uredničku politiku 2015. kako bi ona odražavala ove nove norme.[xiii] Izmjena uređivačke politike obavezuje potencijalne autore da učine ‘podatke za replikaciju’ pristupačnim – što podrazumijeva sve sirove podatke koji su korišteni za izradu tabela i dijagrama rada koji se objavljuje. Na sličan način, za radove koji su više kvantitativne prirode, odgovarajući kod, algoritmi i kompjuterski programi moraju se učiniti dostupnim. Predlažu da se ovi popratni podaci i drugi materijali mogu arhivirati na web stranici časopisa Review ili putem web aplikacije ‘Dataverse’ tako da se članak objavljen na internetu može hiperlinkovima povezati sa podacima za replikaciju. Časopis Review također naglašava anonimiziranje osjetljivih podataka, pri čemu se povjerljivi materijal otklanja prije omogućavanja pristupa.

Umjesto pojedinačnih istraživača, časopisi i izvori finansija su ti koji se sve više stavljaju pod lupu u pogledu izmjene standarda. Komitet za promociju transparentnosti i otvorenosti [Transparency and Openness Promotion Committee, TOPS], koji sponzorira Centar za otvorenost nauke [Center for Open Science], nedavno je objavio nove smjernice za transparentnost koje nastoje ocijeniti učinkovitost naučnih časopisa i izvora finansiranja. Osam komponenti transparentnosti su

• Citiranje
• Transparentnost podataka
• Transparentnost analitičkih metoda (kod)
• Transparentnost materijala istraživanja
• Transparentnost dizajna i analize
• Pred-registracija studija
• Pred-registracija planova analize
• Replikacija.[xiv]

Svaka komponenta ocjenjuje se na prethodno utvrđenoj ljestvici. Sa sve većim brojem potpisnika, ove smjernice će najvjerovatnije nastaviti da utiču na istraživanja i objavljivanja radova u oblasti društvenih nauka i u budućnosti, a naročito za istraživačke institucije i think tank organizacije. Centar za otvorenost nauke također je izdao niz oznaka kojima se nagrađuju naučni časopisi i organizacije sa dobrim praksama transparentnosti, što nagovještava mogućnost da će transparentnost istraživanja postati jednako važan pokazatelj pouzdanosti i legitimnosti kao što je to finansijska transparentnost.

Za think tank organizacije, Open Policy Research predlaže niz ‘režima objelodanjivanja’ koji će im omogućiti da djeluju transparentno ne samo u pogledu svog finansijskog poslovanja već i u odnosu na proizvode svojih istraživanja. Ključni element je objelodanjivanje podataka, uključujući statističke podatke, proračunske tablice i druge podatke istraživanja koji čine dio finaliziranih rezultata istraživanja.[xv] Ovo će, naravno, zahtijevati značajan etički nadzor, kao i nadzor nad politikama vezanim za vlasništvo donatora nad istraživanjima. U praksi će implementacija inicijative DA-RT zahtijevati od istraživačkih institucija da ažuriraju svoje etičke kodekse kako bi u njih uvrstili nove standarde transparentnosti i utvrdili politike anonimiziranja ličnih podataka i zaštite ljudskih subjekata.

Iako iznesene zabrinutosti ostaju otvorena pitanja, čini se vjerovatnim da će standardi transparentnosti uskoro postati norma za sve časopise i organizacije koje objavljuju istraživanja iz oblasti društvenih nauka, pa stoga govorimo o trendu koji je vrijedan naše pažnje. Kako se standardi etike i legitimnosti budu mijenjali da bi obuhvatili pristup podacima i transparentnost istraživanja, akademske i istraživačke organizacije moraju ponuditi odgovarajući odgovor.