Forskningsutvärdering – ser vi slutet på Sagan eller är det bara början

I vetenskapens begynnelse var delandet av nya rön inte självklart. Det rådde stort hemlighetsmakeri och man var obenägen att dela med sig av sina resultat. De med politisk makt insåg att det inte var gynnsamt för forskningens utveckling. Som motåtgärd skapade de grunden till det som kom att bli vårt system med copyright. Det blev i sin tur startskottet för de lärda sällskap vilka då skapade föregångaren till dagens peer-review system. På den tiden färdades man långa sträckor för att besöka varandra och personligen ta del av varandras experiment och validera ny kunskap. Det tog enormt med tid men ansågs värdefullt och nödvändigt. Idag har vi alla möjligheter att dela denna kunskap på bred front, dessutom snabbt och smidigt. En följd av detta är att det har blivit många fler som är delaktiga i forskning, en konkurrenssituation har uppstått. Konkurrens har naturligtvis en rad fördelar men en uppenbar nackdel är att forskare lever under press, de måste prestera. Hur vet man då vad forskare presterar och hur mycket de presterar? Självklart genom forskningsutvärdering vilken då också ligger till grund för meritering och anställning. Här uppstår då en annan svårighet. Vid själva forskningsutvärderingen, mäter man det som man avser att mäta och premieras det som skall premieras?

Under nästan ett halvt sekel har forskningsutvärderingen nästan uteslutande baserats på publiceringar i vetenskapliga tidskrifter och deras journal impact factor (JIF). Det var en metod som togs fram av Eugene Garfield under mitten av 1970-talet. Metoden utvecklades för användning inom biblioteksverksamhet och var alltså inte avsedd för utvärdering av forskare och i förlängningen individuella lärosäten. Den vann dock gehör och kom att bli förhärskande under flera decennier och är så fortfarande på många lärosäten. Kritiken har dock alltid funnits där då modellen har brister och inte mäter det som avses, nämligen individuella forskares prestation, och vissa starka kritiker menar till och med att den är rent av skadlig för forskningen. I och med den öppna vetenskapens intåg har det blivit allt mer uppenbart att nya och fler former för utvärdering av forskning behövs. Då tänker jag på en kombination av kvantitativa såväl som kvalitativa mätmetoder.

Idag är det som nationellt premieras och värderas något helt annat. Kraven har ökat på tillgång till forskning och dess betydelse för det omgivande samhället har uppvärderats. Alla skall ha tillgång till offentligt finansierad forskning. Då kan vi inte fortsätta att mäta och utvärdera enbart det som publiceras i högt rankande vetenskapliga tidskrifter, vilka oftast finns bakom betalväggar. Utifrån politiskt håll vill man dessutom se en mer omfattande effekt och spridning av ny kunskap. Inte bara genom vetenskaplig publicering utan genom kollaborativ forskning dels mellan forskarna själva, dels med det omgivande samhället, såväl nationellt som internationellt. 

Stor del av ansvaret för forskningens utvärdering ligger i dagsläget på det enskilda lärosätet. De genomför den med stöd från Universitetskanslersämbetet (UKÄ), vars uppgift är att granska lärosätenas kvalitetssäkringssystem för forskning. UKÄ granskar alltså inte själva kvaliteten utan de utvärderingar och processer som ligger bakom lärosätenas kvalitetsarbete. Sveriges universitets- och högskoleförbund (SUHF) har tagit fram ett ramverk som grund för detta arbetet på lärosätena.

Vilka olika sentida initiativ kan man då skönja för utvärdering av forskning? Det finns flera men jag tänkte fokusera på fyra större initiativ med tre olika typer av avsändare. Först från lärosäteshåll tänkte jag nämna något om DORA och Leiden Manifesto, därefter från finansiärshåll Plan S samt avslutningsvis från politiskt håll The Metric Tide. 

Jag inleder med The San Franscisco Declaration on Research Assessment (DORA) som startades 2012. Som grund har de rekommendationen att inte använda JIF för mätning av kvaliteten på individuella forskare. Istället skall man utvärdera den enskilde forskarens bidrag för meritering och/eller befordran. Denna deklaration kan individer och organisationer skriva under och vad jag fått kännedom om så har Stockholms Universitet nyligen gjort det. Leiden Manifesto for Research Metrics bygger på tio principer som publicerades i Nature 2015. Det är fem experter som tagit fram dessa principer för forskningsutvärdering. Syftet är att uppnå ett mer ansvarsfullt användande av indikatorer i utvärderingen. Man vill med detta tona ned de kvantitativa mätmetoderna som enbart skall vara ett stöd för mer kvalitativa granskningar. En annan viktig aspekt är att processen dessutom skall vara mer transparent och tydlig för den som blir utvärderad. Ytterligare en viktig princip är att man regelbundet skall se över processen så att den kvalitetssäkras över tid.

Ur en finansiärs synvinkel är det kanske främst deras finansieringsbeslut som har betydelse. Här är det viktigt att när de väljer att stödja olika forskningsprojekt, deras utvärdering följer med den rådande utvecklingen och är transparent. De skall alltså inte premiera tilldelning efter JIF eller andra approximativa indikatorer utan kvalitativt bedöma förutsättningarna för de ansökningar som inkommer. Vidare skall de stödja en öppen och direkt publicering av de forskningsresultat som de finansierar med offentliga medel. Införandet av Plan S startades 2018 och är det initiativ många stora nationella forskningsfinansiärer inom EU har valt att skriva under (läs gärna min tidigare blogg om Plan S). 

Slutligen då från politiskt håll (Storbritannien) har rapporten The Metric Tide – Report of the Independent Review of the Role of Metrics in Research Assessment and Management (2015) listat 20 rekommendationer för forskningsutvärdering. Bakom rapporten står Higher Education Funding Council for England (HEFCE). De konstaterar en ökad efterfrågan på revision och utvärdering av satsade offentliga medel inom forskning och högre utbildning från olika beslutsfattare och politiker. Lärosätenas ledningar måste därmed bli bättre på att kunna svara upp mot denna efterfrågan. Man anser att för stort fokus ligger på dåligt utvecklade indikatorer och bedömer att man behöver mer alternativa mätvärden för att bedöma påverkan på det omgivande samhället. Kvantitativa variabler anses återigen enbart vara ett stöd för mer kvalitativa granskningar. Forskningen, anser man, är alltför komplex för att bedömas på ett så förenklat sätt och kan därmed skapa felaktiga incitament. Författarna av rapporten konstaterar också mycket riktigt att det behövs mer forskning om forskning.

Själv tror jag att kvantitativa mätetal såsom antal artiklar och antal citeringar kommer finnas kvar i många år. Men de kommer att kompletteras med till exempel värdering av genomslagskraft i sociala medier, olika nätverk eller samarbetsprojekt samt produktion av forskningsdata. Samtidigt kommer mer påkostade kvalitativa bedömningar att göras vid exempelvis anställningsförfarande eller vid utvärderingar av institutioner och forskningsprojekt. Jag själv tror och hoppas att även andra initiativ såsom föreläsningar, företagssamarbeten, rådgivning, expertuppdrag, poddar, webbsändningar och annan samverkan uppmärksammas och värderas. Det kan ge ny inspiration och kreativitet till forskningen vilket i sin tur åter får genomslag i det omgivande samhället. 

Carl Sagan var kanske före sin tid. De förändringar vi ser just nu leder med all säkerhet mot ett öppnare forskarsamhälle och ökad tillgång till forskning för alla. Men det är som sagt inte helt oproblematiskt. Inte bara skall forskarna själva ta sig tid till att genomföra detta, det skall även utvärderas och säkerställas i form av meritering och befordran. Alla forskare har dessutom inte intresset av, eller kunskapen i, hur man kan omvandla sin forskning till att passa en bredare publik. Jag vill från min sida också hävda att det inte bara handlar om att göra forskningen öppen utan den måste bli möjlig att ta till sig också, även för de som inte själva är forskare. Syftet kan inte vara att ha en monolog utan det är först när det uppstår en dialog som kommunikationen av forskning är upprättad. De forskare som i framtiden lyckas med att genomföra detta kanske är de som blir framgångsrika och skapar en ny diametral ”Sagan-effekt”.