Huvudmeny

2018-11-01 07:30

Följer forskningens spår i samhället


Han är forskaren som ofta är ute i världen på olika forskningsuppdrag eller konferenser. Väl på plats på sitt kontor syns han med bilder med färgglada kurvor framför sig, som för den utomstående kan se ganska så kryptiska ut. För honom utgör bilderna ett konkret verktyg för att komma åt ett problem han länge kritiserat i sin forskning – nämligen hur forskning i dag alltmer utvärderas med hjälp av siffror, i stället för med fokus på bedömd kvalitet. Och den lösning han är på spåren har till viss del redan börjat tillämpas.

Gustaf Nelhans, universitetslektor i biblioteks- och informationsvetenskap, ägnade de tidigare åren av sin forskarkarriär åt fördelning av forskningsmedel. Han pekade på problem som fanns med det rådande systemet på nationell nivå, där lärosätena fick anslag baserat på hur ofta dess forskares arbeten citerats. Varför de citerats tog systemet inte hänsyn till, och forskares rankning på individnivå kunde till och med höjas, även om de blivit refererade av någon som velat påpeka att de haft fel.

– Dessutom är detta ett system som enbart tar hänsyn till vilken spridning olika forskare får inom forskarvärlden, och inte vilket avtryck forskningen gör på samhället i stort. Samtidigt pratas det mycket om den tredje uppgiften, som handlar om att forskare behöver dela med sig av sina resultat så att de kommer hela samhället till gagn. Men den metod som regeringen prövade i årets resurstilldelning är bristfällig, eftersom den endast värderar lärosätenas planer och inte utfall, berättar han.

För ett par år sedan deltog han i ett EU-projekt som tittade på forskningens genomslag i riktlinjer för behandling av sjukdomar inom fem olika områden. Hans uppgift var att söka fram alla referenser till vetenskapliga artiklar som fanns i ett antal riktlinjedokument inom sjukvården.

– Då tänkte jag att det här arbetet kommer min armbåge inte tillåta att jag gör manuellt, med allt klickande. I stället började jag fundera över vilka automatiska lösningar som fanns.

Digitala metoder 
Gustaf Nelhans arbetar ofta med digitala metoder för att analysera data. De flesta av metoderna är fortfarande relativt nya, och hur de bäst används är fortfarande på forskningsstadiet. Exempel på tekniker och metoder som han och hans kollegor använder är data mining och topic modelling. 

Data mining innebär att en datoriserad genomgång görs av stora mängder text, med syfte att hitta mönster, samband och trender i textmaterialet. Ett exempel kan vara att leta efter värderande ord som förekommer i text i anslutning till särskilda fenomen. Data mining används sedan länge inom en rad vetenskapliga fält, till exempel för att genomsöka medicinsk data, inom ITforensik eller inom så kallad ”business intelligence” för att skapa bättre affärsmodeller baserade på kunders beteenden. 

Topic modelling är en form av automatiserad metod för textanalys, som skulle kunna sägas vara en underkategori till data mining. Datorn hittar underliggande variabler i en text, som pekar forskaren i rätt riktning vad gäller textens tema. Till exempel kanske datorn kommer fram till att termer som träd, barr och räv ofta förekommer i en text – då skulle forskaren kunna kategorisera detta som ”livet i skogen”.

I samma veva kom han av en händelse i kontakt med Boråsföretaget Minso Solutions AB. Företaget hade, precis som han själv, börjat fundera över nyttan med att leta efter forskningsreferenser i kliniska riktlinjer. De såg hur de kunde ha gemensamt utbyte av varandra, och ett samarbete inleddes i ett nytt projekt. Företaget hade förmågan att koda algoritmer som gjorde att forskningsreferenserna kunde kartläggas automatiskt. Helt plötsligt spelade det ingen roll om det var 10 000 eller 100 000 referenser som skulle gås igenom – datorerna gjorde jobbet med att sammanställa den data som skulle tas fram. När sammanställningarna väl var på plats, tog Gustaf Nelhans vid och undersökte hur de datoriserade sammanställningarna kunde användas. Han ställde frågor om vad det är som händer när lärosäten jämförs på den här nivån – går det att få tillräckligt med data, och vad är det som egentligen går att se? Gick det att se om forskningen lett till någon form av professionsgenomslag? Mot bakgrund av resultatet i hans forskning har Vetenskapsrådet (VR) bestämt sig för att gå vidare och pröva en ny modell som del i utdelningen av så kallade ALF-medel, som utgör den stora delen av medelstilldelning inom klinisk forskning i Sverige.

– Den nya modellen, där hänsyn också tas till vilket genomslag den medicinska forskningen har fått i klinisk praktik, användes som underlag i år när VR:s paneler utvärderade för ALF. Än så länge verkar alla glada och nöjda, men vi får se om piloten permanentas till framtida ALF-utvärderingar.

Samtidigt som hans tidigare projekt har haft stor påverkan, går han i det nystartade EU-projektet ”Data for Impact” tillsammans med kollegor från flera europeiska länder vidare med undersökningarna av vilket avtryck forskning har gjort ute i samhället – så kallad impact. Han berättar att området med dataanalys har vuxit, och att han och kollegorna därför undersöker om det går att göra en fylligare, djupare och mer genomgående analys än tidigare.

– Vi ser en rad olika trender inom dataanalys. Det kan till exempel handla om automatiserade tekniker för att analysera text, men också om att det finns digitala arenor där vi kan hitta människor som diskuterar olika forskningsresultat – det kan röra sig både om de klassiska nyhetsmediernas digitala kanaler, men också om sociala medier och debattforum. Just nu jobbar vi mycket med våra jurister för att se till att det vi gör blir riktigt i förhållande till GDPR (det nya EU-direktiv som bland annat rör behandling av personuppgifter, reds. anm.).

 

Dessutom är detta ett system som enbart tar hänsyn till vilken spridning olika forskare får inom forskarvärlden, och inte vilket avtryck forskningen gör på samhället i stort.

 

Genom att inte bara låta algoritmerna räkna förekomsten av olika referenser, utan också sätta olika ord och uttryck i samband med varandra, hoppas han att de ska komma åt problematiken med att sifferstatistiken inte tar hänsyn till det innehållsmässiga i sina utvärderingar. Det här är ett exempel på var hans färgglada bilder kommer in.

– Ofta kan det underlätta att visualisera de data vi fått fram på olika sätt. Med hjälp av exempelvis färgkoder kan vi kategorisera olika termer och sätta ihop dem i kluster, eller så kan vi ta fram en bild som med noder och bågar visar hur ofta olika ord förekommer tillsammans.

Han berättar att visualiseringarna kan användas utforskande för att identifiera teman och relationer, snarare än för att titta på rankning och konkurrens mellan olika aktörer. Ett exempel på sådant som går att se är om namnet på en viss uppsättning artiklar skulle förekomma tillsammans med beskrivande termer för att tematisera dem, eller med värderande termer som ”bra” eller ”dåligt” som kan visa på hur forskningen har kommit till användning.

– När det gäller de här nyare dataanalysmetoderna som vi tillämpar är det spännande att se i vilken grad olika forskningsaktiviteter uppvisar sådan systematisk jämförbarhet att det är möjligt att kombinera text, refereringspraktiker och exempelvis närvaro vid konferenser för att skapa rika uppsättningar av data att analysera. Det är mycket mer givande än att endast utvärdera forskning med en enskild parameter som exempelvis citeringsfrekvens, som dessutom riskerar att förflytta eller skifta målbilden bort från att producera viktig forskning med stort kunskapsbidrag.

– Å andra sidan innebär den här typen av samkörning att vi i högre grad riskerar att inkräkta på personlig integritet när snart sagt varje aktivitet som forskare utför kan bidra till ett utvärderingssystem. Här finns det ett stort ansvar att vara ödmjuk och lyhörd inför de utmanande situationer som kan uppstå, avslutar han.

Läs mer

Om Gustaf Nelhans

Om Biblioteks- och informationsvetenskap

Text Helen Rosenberg
Illustration Johan Lindh
Foto Ulf Nilsson