Gøgl. Ranglister for universiteter er misvisende

Politiken d. 5. nov., 2011 (Debat side 4)
http://politiken.dk/debat/analyse/ECE1441802/ranglister-for-universiteter-er-misvisende/
Gøgl. Ranglister for universiteter er misvisende
ANALYSE : Politikere og universiteter bør kun have skuldertræk tilovers for internationale ranglister. De bygger på tilfældige måleindikatorer. analyse
Af SUNE AUKEN

Ranglister over verdens bedste universiteter udløser hvert år hektisk opmærksomhed fra journalister og universitetsledere verden over. I Danmark er det ranglisten fra Times Higher Education (THE), der spiller hovedrollen.
Når den udkommer, skal danske universitetsledere hvert år svare på, hvad de siger til, at de nu klarer sig bedre eller dårligere i konkurrencen om at være bedst i verden. Og den tidligere regering havde det ligefrem som et særskilt mål, at de danske universiteter skulle komme i ' verdensklasse' ved at be-finde sig i toppen af THE's rangliste.
Da THE skiftede operatør og målingsprincipper i 2010, styrtede både Københavns og Aarhus Universitet ned gennem ranglisterne, og den daværende minister måtte ud og fortælle, at man fulgte den hidtidige operatør, Quacquarelli Symonds (QS), på hvis lister de to universiteter stadig stod pænt. Københavns Universitet, derimod, reagerede ved lægge afstand til ranglisternes gyldighed. Selv om universitetet klatrede noget op ad listen for 2011, ændrede det ikke den afvisende attitude.

RANGLISTERNE forudsætter, at det med forholdsvis simple midler er muligt at reducere, hvad der foregår på et universitet, til ét nogenlunde retvisende tal, som kan sammenlignes med tilsvarende tal for andre universiteter. Men den antagelse er fagligt set forbløffende naiv. Målinger af komplekse systemer er sindsoprivende indviklede og målinger af noget så flygtigt som kvalitet næsten umuligt. Hvis det på den baggrund var lykkedes at skabe en enkel og fagligt set forsvarlig rangliste, ville det være et videnskabeligt mirakel.
Sådan et er ikke indtruffet. Studerer man, hvordan f. eks. THE opstiller sin rangliste, hviler den på en række indikatorer, der vægtes således: undervisning 30 pct., forskning 30 pct., citeringer 30 pct., industriindkomst 2,5 pct. og internationalt miks 7,5 pct.
I 2010 så tallene lige sådan ud, bortset fra, at citeringer dengang fyldte 32,5 pct. og 'internationalt miks' (en blandet internationaliseringskategori) fyldte 5 pct. Så det internationale miks er siden sidste år med et slag blevet 1,5 gange vigtigere.

MEN PROBLEMERNE står i kø. Hvorfra ved THE, at forskningsindikatorerne (forskning og citeringer) er præcis dobbelt så vigtige som undervisningen, når man skal måle et universitets kvalitet? Hvorfor ikke 2,1 eller 1,35781 gange vigtigere? Hvorfor er forskningsindikatorerne overhovedet vigtigst, når uddannelsen af kandidater oftest er det enkelte universitets vigtigste samfundsopgave? Med hvilken sikkerhed vægter industriindkomsten 0,08 gange så meget som undervisningen og 0,04 gange så meget som forskningen? Der gives ikke meningsfulde svar på disse spørgsmål, og de kan let mangedobles.
Nye besynderlige problemer opstår, når man studerer de enkelte kategorier. Industriindkomsten er eneste indikator for universiteternes vidensoverførsel til samfundet. Universiteter overfører viden til samfundet i mange andre former, f. eks. publikationer, videnskabelige og populærvidenskabelige, interview, rapporter, analyser, foredrag, konsulentarbejde og myndighedsbetjening. Men kun den vidensudveksling, som fører til, at en virksomhed betaler penge til et universitet, tæller hos THE. Den liste, man står tilbage med, er med sikkerhed ikke retvisende.
Situationen bliver ikke bedre, hvis man gransker de andre ranglister. Målemetoden er anderledes hos QS, men nærmest forgrovet i forhold til THE. Arwu-rankningen er meget anderledes, men ikke derfor mere præcis. Den har f. eks. blandt sine konkurrenceparametre, hvor mange nobelpriser der knytter sig til et universitet, og hvordan dets forskere har klaret sig i tidsskrifterne Science og Nature. Derfor klarer et universitet sig dårligere, hvis dets styrkeområde ligger inden for fag, hvor der ikke er en nobelpris (de fleste), eller fag, der falder uden for rammerne af de to tidsskrifter (mange).

MEN TRODS dette bliver ranglisterne taget alvorligt, fordi succes på dem er blevet et konkurrenceparameter. Universiteter er kompetitive institutioner, men slagene udkæmpes normalt mellem enkeltforskere og mellem forskningsgrupper. De konkurrerer ud fra faglige kriterier om at opnå et fælles mål: erkendelsen. Den, der er fagligt bedst, vinder anerkendelse og berømmelse. Konkurrencen kan sagtens finde sted inden for samme universitet, hvor forskere løber efter samme resultat eller udfordrer hinandens forståelser af et givet emne. Virkningen er ofte nid, nag og personstridigheder, men også faglig udvikling.
Men denne type konkurrence er de senere år blevet erstattet af en anden, hvor det enkelte universitet i højere grad opfattes som en enhed i konkurrence med andre lignende enheder. Universiteterne har fået samlede strategier, ledere med udstrakt magt og centralt koordinerede kommunikationsafdelinger.

SÅ LÆNGE gode placeringer på selvbestaltede ranglister er et politisk succeskriterium, må universiteterne tage dem alvorligt.
Men en god placering på en misvisende rangliste løser ikke de dybe problemer i den danske universitetsverden: den afgrundsdybe kløft imellem ledelse og ansatte, de for mange bundne og de for få frie midler, den utilstrækkelige undervisning på mange uddannelser, de groteske mængder af tid, forskerne bruger på ansøgninger og den manglende ansættelsessikkerhed, som forhindrer forskere i at påbegynde langsigtede risikobetonede projekter.
Nye ministre for forskning, innovation og videregående uddannelser kan begynde her: begynde med at finde de rigtige problemer at løse og ikke løbe efter blålys.
Og universitetstalsmænd kan tilegne sig det, som Københavns Universitet så småt har fået lært. Når journalister spørger til ranglisterne, bør svaret hver gang være: Vores placering på denne liste, god eller dårlig, er irrelevant, for listen er baseret på en pseudomåling. Spørg mig om noget vigtigt.

Sune Auken, lektor, Københavns Universitet.
analyse@pol.dk


Billedtekst: MENINGSLØS.
For nylig viste det sig, at Københavns Universitet var kravlet et nøk op ad den internationale rangliste Times Higher Education. Men ser man nærmere på, hvordan listerne er skruet sammen, bliver de meningsløse. Arkivfoto: Mathias Christensen

[intern ref.]

Ranglister over universiteter mangler troværdighed

Politiken, d. 23. maj, 2011 (Kultur side 8) Debat:
http://politiken.dk/debat/analyse/ECE1288875/universitetsranglister-mangler-trovaerdighed/
Universiteter. Ranglister mangler troværdighed
analyse: De årlige rangordninger har stor betydning for universiteterne. Det handler om synlighed og konkurrence. Men kan man regne med dem?
Af JESPER WIBORG SCHNEIDER

De internationale universitetsrangordninger ser ud til at være kommet for at blive, selvom mange i universitetsverdenen ikke bryder sig om dem. Rangordninger vurderer universiteterne ud fra en række varierende parametre, der vejes forskelligt i en uigennemsigtig og uoverskuelig blanding af størrelse, prestige, produktion og gennemslagskraft.
Valgene af forskellige parametre betyder, at universiteternes placering kan variere en del imellem de forskellige rangordninger.
Det kan naturligvis ses som en mangfoldighed, men ikke alle parametre er lige troværdige. Specielt de bibliometriske indikatorer - målinger af universiteternes publikations- og citationsaktivitet - varierer.
Man kan derfor med rette spørge, hvor anvendelige de nuværende universitetsrangordninger reelt er? Det har et netværk af nordiske forskningsadministratorer netop gjort i en ny rapport. Rapporten undersøger de metoder, der ligger til grund for de mest velkendte universitetsrangordninger, og beskriver, hvordan de nordiske universiteter er rangordnet på Shanghai Ranking, Times Higher Education, QS World University Ranking, HEEACT og Leiden Ranking.
Rapporten går et skridt videre i forhold til de nuværende rangordninger og foretager en af de hidtil mest grundige og valide bibliometriske analyser af nordiske universiteter og universitetshospitaler, som samlet set giver institutionerne et mere nuanceret og reelt sammenligningsgrundlag.

RAPPORTEN præsenterer ikke en nordisk tabel, hvor forskningsinstitutionerne er rangordnet efter en samlet internt afvejet indikator. Til gengæld karakteriseres universiteternes forskningsprofiler og forskningsperformance ud fra flere perspektiver og ved hjælp af mere transparente og valide indikatorer, end det gælder for de fleste rangordninger.
Et vigtigt formål med rapporten har været at skabe en grundlæggende bibliometrisk analyse, der strækker sig over en længere tidsperiode og anvender de mest valide indikatorer, sådan at de nordiske forskningsinstitutioner får et konstituerende bibliometrisk billede af sig selv. Det er vigtigt af flere grunde. De internationale rangordninger anvender simple indikatorer, og man ændrer ofte i de interne vægtninger imellem indikatorerne fra år til år. Det giver ' kunstige' udsving i rangordningerne, som sjældent er udtryk for reelle ændringer.

AT DER IKKE præsenteres en egentlig rangordning i rapporten er ikke ensbetydende med, at man ikke kan undersøge og sammenligne de enkelte universiteter. Det er faktisk et af formålene med rapporten. Blot skal sammenligningsgrundlaget være mere nuanceret end den ene dimension, de internationale rangordninger præsenterer.
Den nye rapport undersøger de nordiske universiteter og universitetshospitalers publikationsaktivitet, forskningsprofiler og forskningsperformance i perioden fra 2000 til 2009. Undersøgelsen omfatter 40 universiteter og 23 universitetshospitaler, heraf 6 danske universiteter og 3 universitetshospitaler. Institutionerne undersøges både generelt som en samlet enhed og specifikt inden for 8 forskellige emneområder inden for natur- og sundhedsvidenskab samt de tekniske videnskaber. Human- og samfundsvidenskaberne er ikke medtaget, idet datagrundlaget er for spinkelt til de pågældende analyser.
Analyserne er baseret på et særdeles grundigt forarbejde, hvor data er standardiseret i et hidtil uset omfang. Det er alment kendt, at hvis man skal gøre sig godt i de internationale rangordninger, kræver det et medicinsk fakultet. For første gang er det nu muligt at udskille og undersøge effekten af de medicinske fakulteter og universitetshospitalerne for sig.
Generelt set viser analyserne, at citationsaktiviteten varierer betragteligt mellem universiteterne, men - lige så vigtigt - også betragtelig inden for universiteterne imellem de forskellige emneområder, hvilket er et argument imod anvendelsen af én sammensat indikator. Rapporten viser også, hvordan performance hænger sammen med størrelse, hvor størrelse er karakteriseret som antal forskningspublikationer.

DET ER naturligvis fristende at spørge, hvordan de danske universiteter klarer sig? Og svaret må naturligvis være, at »det kommer an på ...«.
Hvis man beregner en sammensat indikator, som tager højde for emneområdernes forskellighed, ser man, at DTU og Aarhus Universitet har den højeste gennemsnitlige citationsaktivitet. Men vi ser også, at DTU's aktivitet er faldende i den undersøgte periode, og nok så interessant, at Københavns universitetshospitaler har en gennemsnitlig citationsaktivitet på højde med DTU og Aarhus Universitet.
Man kan også konstatere, at DTU har en større repræsentation end forventet af ofte citerede artikler inden for alle 8 emneområder, og at Aarhus Universitet relativt set har en særdeles stor repræsentation af ofte citerede artikler inden for kemi.
Samlet kan man konstatere, at dansk forskning og danske forskningsinstitutioner klarer sig godt på de målte parametre, både i nordisk og international sammenhæng.
Den nye rapport er naturligvis ikke det endelige bibliometriske svar, men det er et særdeles kærkomment supplement og korrektiv til de nuværende internationale universitetsrangordninger.

analyse [at] pol.dk

Jesper Wiborg Schneider, institutleder, ph. d., Det Informationsvidenskabelige Akademi. Han er en af forfatterne af rapporten Comparing Research at Nordic Universities using Bibliometric Indicators, der udgives af Noria-netværket Bibliometric Indicators for the Nordic Universities. Den offentliggøres i dag ved et seminar på Dansk Design Center.


Fakta: politiken analyse
INTERNATIONALE RANGORDNINGER I UNIVERSITETSVERDENEN
Rangordning af universiteter handler om synlighed og konkurrence. Konkurrence om forskere, studerende, forskningsmidler og sponsorer. I de seneste år er betydningen af rangordningerne steget voldsomt. Lidt firkantet kan man sige, at universiteterne bryster sig, når det går godt, og diskuterer ranglisternes validitet, når det går mindre godt.
Ét er sikkert: Rangordningerne er problematiske, og det er baggrunden for det nye nordiske samarbejde, der i dag fremlægger den hidtil mest omfattende sammenlignende bibliometriske analyse af nordiske universiteter. Rapporten skal tjene universiteterne som et supplement og korrektiv til de nuværende internationale rangordninger.


Billedtekst: RANGLISTEKAPLØB. Mens de danske universiteter er jublende lykkelige for de internationale ranglister , som sender dem højt op ad listen, begynder de straks at sætte spørgsmålstegn ved de ranglister , der sender dem ned ad listen. Arkivfoto: Sara Galbiati

***

Se også:
http://www.nordforsk.org/en/events/seminar-on-bibliometrics

http://www.nordforsk.org/en/programs/bibliometric-indicators-for-the-nordic-universities
rapporten: http://www.nordforsk.org/files/rapp.bib.2011.pub_21.5.11

http://bibliometriforum.wordpress.com/2011/05/12/comparing-research-at-nordic-universities-using-bibliometric-indicators/

***

http://bibliometriforum.wordpress.com/2011/05/05/oecd-rapport-om-bibliometriska-fordelningsmodeller/
OECD-rapport om bibliometriska fördelningsmodeller
Postat den 5 maj, 2011 av Ulf Kronman

OECD har kommit med en mycket intressant rapport som går igenom ett antal olika modeller för att fördela medel med hjälp av bibliometri:

Performance-based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings
Tyvärr vill OECD ha betalt för PDF-versionen av rapporten, men en fri version finns att ladda ned här: http://scienceofsciencepolicy.net/NewsAndEvents?q=node/1107

Direktlänk här: http://scienceofsciencepolicy.net/system/files/attachments/Performance_Based_Funding_2010.pdf

***

[intern ref.]

Videnskabsministeriet strømliner propaganda

af Curt Hansen

Videnskabsministeriet ophørte sidst i februar 2011 med at bringe "nyheder udefra" på ministeriets website. Her kunne man ellers være hendig at finde uafhængige kommentarer eller somme tider endog en kritisk vinkling på ministeriets område og ministerens aktiviteter, leveret af journalister fra nyhedsmediet Altinget.

Citat fra hjemmesiden:

http://vtu.dk/nyheder/nyheder-udefra
Om Nyheder udefra
"Nyheder udefra" er videnskabspolitiske nyheder, som enten er leveret af Altinget.dk eller udvalgt af redaktionen for vtu.dk.
"Nyheder udefra" gengives uredigeret af ministeriet og er ikke udtryk for ministeriets holdninger.
Gengivelse eller anden videreanvendelse af materialet under "Nyheder udefra" må kun ske efter aftale med den oprindelige leverandør af teksten.

og om ophøret (den sidste nyhed udefra var fra 25. februar 2011):

Nyheder udefra
Hjemmesiden bringer ikke længere 'Nyheder udefra'. Denne side vil altså ikke blive opdateret.

[intern ref.]