vrijdag, september 10, 2010

Universitaire "rankings"

In de Vlaamse media worden dezer tijden driftig berichtjes overgenomen in verband met universitaire rankings.
(bron: De Standaard Online)
GENT / ANTWERPEN / LEUVEN / BRUSSEL - De Vlaamse universiteiten krijgen een bijzonder slecht internationaal rapport. Ze zijn allemaal ettelijke plaatsen gezakt op de prestigieuze QS-lijst van de universiteiten over de hele wereld. De QS-lijst baseert zich op het onderzoek, de prestaties, de faam en het oordeel van de studenten en gebruikers van de universiteiten.
De Katholieke Universiteit Leuven is voor het vierde jaar op rij de enige Belgische universiteit bij de eerste honderd. De KULeuven staat op de 85ste plaats en is daarmee 20 plaatsen gezakt in vergelijking met vorig jaar. De Universiteit Antwerpen (179) moet twee plaatsen prijsgeven. De Universiteit Gent, vorig jaar nog op de 136ste plaats, maakt een forse duik en staat slechts op plaats 192.

De top tien wordt aangevoerd door de Britse University of Cambridge, die daarmee het Amerikaanse Harvard van de troon stoot.

De rangschikking moet met de nodige terughoudendheid worden gelezen, want in de zogenaamde Shanghai Ranking haalt de UGent een 90ste plaats, als enige Belgische unief in de top 100.


Uit nieuwsgierigheid ben ik eens gaan kijken naar de lijsten in kwestie. Zonder de tijd te hebben om hun methodologie te bekijken, kan ik me niet van de indruk ontdoen dat ze inderdaad merkwaardige resultaten geven. Ik beschik uiteraard niet over de nodige kennis en ervaring om zelf alternatieven te suggereren, maar (hopelijk) wel over gezond-kritisch "buikgevoel".

I.
De Shanghai-ranking zet Gent voor 2010 op plaats 90, als enige Belgische universiteit in de top-100; niet ver daarachter staan KUL, ULB en UCL (101-150), dan volgen Antwerpen en Luik (201-300) en de VUB (401-500). Als je "uitzoomt", weg van de top-100, blijkt dat de Belgische universiteiten als groep vrij goed scoren en dat er niet veel onderling verschil is tussen de "goeden": 4 universiteiten staan in de top-30%. Wat niet wegneemt dat de UGent erg blij is met het resultaat en een personeelsreceptie geeft om het te vieren. Toen de machtigste universitaire man van Vlaanderen, de voorzitter van de associatie KULeuven, vorige week op tv verscheen, heeft hij geponeerd dat Leuven "daar ver voor staat". Quod non. Het zal hem dus wel enigszins geërgerd hebben. En dat is fijn.

Desondanks vraag ik me af of de Shanghai-ranking geen universitair-politieke bedoelingen heeft. Het viel me op dat universiteiten uit Frankrijk en Duitsland erg laag staan in vergelijking tot het prestige dat ze genieten.

Voor Frankrijk geeft de Shanghai-ranking het volgende lijstje:
Paris VI (39)
Paris XI (45)
Normale Sup' (71)
Paris VII (101-150)
Strasbourg (101-150)

De andere 19 Franse universiteiten staan lager. Je vindt geen spoor van de Sorbonne (Paris-IV; heeft enkel letteren, geschiedenis, kunstgeschiedenis etc.), Panthéon-Sorbonne (Paris-I, recht, economie, geschiedenis), Panthéon-Assas (Paris-II, algemeen beschouwd als de beste rechtenfaculteit van Frankrijk), Sciences-Po (zie over de rankings van Sciences Po ook hier), ÉHESS of de École Pratique des Hautes Études, toch allemaal instellingen die onderwijs aanbieden en een zeer goede reputatie hebben. Dat de ÉNA er niet in staat, is normaal (eliteschool voor zeer weinig "élèves-fonctionnaires"), maar voor de anderen begrijp ik het niet.

Ook de positie van Normale Sup' is moeilijk te begrijpen: de beste Franse studenten kunnen in deze instelling (na slagen in een toelatingsexamen, dat meestal twee jaar keiharde voorbereiding in een prépa vraagt) parallel ingeschreven zijn, terwijl ze aan een universiteit studeren. Ze worden gemonitord door een prof/persoonlijke begeleider en hebben aparte seminaries. Normaal zou dit het Franse Cambridge of Harvard moeten zijn.



De lage score van de Franse universiteiten op de rankings is het voorwerp geweest van grote controverse de afgelopen jaren. Sarkozy wil hun plaatsen opkrikken en werken naar het voorbeeld van de Amerikaanse instellingen. Daartoe zijn twee bewegingen essentieel:
- de structuur met gesplitste universiteiten (in Parijs: I-XIII, dateert uit mei'68) wordt verlaten voor grote excellentiepolen; om deze fusies te doen 'glijden', stelt de Franse regering geld ter beschikking (ettelijke miljarden euro uit de grote volkslening)
- op termijn valt deze staatsinjectie weg, en moeten universiteiten privé-geld aantrekken; daartoe vormen ze zich om tot stichtingen

Het bundelen van de institutionele "millefeuille" tot grotere gehelen lijkt zinvol, maar er zijn toch grote ethische problemen met het privé-geld. Ik blogde eerder over de universiteit van Frankfurt, waar enkel financiën, rechten en geneeskunde hopen privé-geld hebben verzameld, en de rest van de universiteit (studenten én personeel) in de kou bleven staan. Het risico is reëel dat dit ook in Frankrijk gebeurt. Het is ook de bedoeling van de LRU (de hervormingswet) dat buitenlandse specialisten worden aangetrokken om meer te verdienen dan proffen of onderzoekers die in de Franse administratieve structuren werken, waarbij de rector alleen beslist over de verloning. Selectie aan de poort lijkt me wel goed op zich (de Franse universiteiten moeten echt iedereen nemen, waardoor ook de waarde van het bachelordiploma devalueert: je kan ermee aan de kassa gaan zitten in Auchan, maar dat is het), ook om de universiteit aantrekkelijk te maken tegenover de grandes écoles.

De hervormingen in Frankrijk en Duitsland lijken dus beiden ingegeven door een streven om te worden zoals de Amerikaanse universiteiten. Maar wil dat zeggen dat ze nu "slecht" zijn ? Kijk eens naar het klassement van de Duitse universiteiten:
- Ludwig-Maximilians-Universität München 52 (nummer één, onder Edinburgh)
- TU München 56
- Karl-Rupprechtsuniversität Heidelberg 63 (ter vergelijking: dat is onder de Britse universiteiten van Manchester en Edinburgh, onder de nummer 41 van de VS)

Als je kijkt naar de ranking van de onderzoeksinstellingen, opgesteld door een Spaans onderzoeksinstituut, krijg je het volgende beeld:
- CNRS (het Franse FWO): nummer 1 in Europa, nummer 4 in de wereld
- CERN: nummer 2 in Europa, nummer 7 in de wereld
- Max Planck-Gesellschaft (Duitsland): 9 in de wereld, 3 in Europa

Vreemd toch. Onderzoek gebeurt in Frankrijk en Duitsland (net als bij ons) in gemengde eenheden: een deel is betaald door het CNRS of MPG, een deel komt uit de universiteit. Dikwijls heeft het personeel van onderzoeksinstellingen gewoon een extra bureau daar, naast de universitaire activiteiten. Hoe kan het dan, dat het onderzoekswerk excellent lijkt volgens de eerste ranking, en "second-rate" volgens de universitaire rankings ?

Voor andere landen lijkt het beeld nog vreemder. De eerste Spaanse universiteiten (Autonoma de Madrid, Complutense de Madrid, Barcelona, Valencia) staan in de categorie 201 tot 300. De eerste Italiaanse (Milaan-Pisa-Sapienza) staan in de categorie Leuven-UCL-ULB.

Is het niet tijd dat de Europese Commissie eindelijk eens met een eigen ranking uitkomt ? Op termijn riskeert dit de publieke universiteit in de grote landen als model uit te roeien. Vreemd genoeg profiteren vooral kleine landen van de ranking:
- Nederland: Utrecht (50), Leiden (70)
- Zwitserland: Technologisch instituut Zürich (27) - Univ. Zürich (51) - Univ. Basel (86)
- Zweden: Karolinska (42) - Uppsala (66) - Stockholm (79)

II.
Ik heb dan ook eens naar een andere ranking gekeken: de Times Higher Education Ranking. De volgende editie komt uit op 15 september (=volgende week woensdag) en de opstellers (particuliere consultants, uiteraard) beroepen zich vanaf dan op een overeenkomst met Thomson-Reuters (de uitgever die de A-lijsten voor tijdschriften beheert).

- Als groep staan de Belgische universiteiten er hier net iets beter voor. 1 in de top-100: Leuven (65), twee tussen 101 en 150 (UCL en Gent), twee tussen 150 en 200 (UA-ULB).
- Voor Frankrijk is het resultaat compléét anders. Normale Sup' wordt nummer één (28). Plots heeft men ook gehoord van X (Polytechnique, eliteschool voor ingenieurs en wiskunde, 36; in de Shanghai-lijst in de categorie ULg/UA). Paris VI en ENS Lyon staan in de categorie Gent-UCL. Als je deze ranking volgt, zijn de Belgische univs collectief gewaagd aan, of beter dan de Franse. Bizar.
- De Duitse universiteiten raken opnieuw niet in de top-50, maar staan met vier tussen 50 en 100 (TU München-Heidelberg-FU Berlin-LM München).

Is het toeval dat de Times-ranking vriendelijker is voor Commonwealth-landen ?
- Canada: twee in de top-30 (McGill 18, Toronto 29 <=> Shanghai: enkel Toronto op 27), nog twee in de top-60 (British Columbia 40, Alberta 59) => die zouden dus allemaal beter moeten zijn dan de Duitse universiteiten !
- Australië: zes in de top-50 (<=> Shanghai: 3)

Een voordeel van de THE-ranking is dat er deelrankings zijn per wetenschapsgebied. Voor de letteren (L&W) krijg je dit:
- Paris IV-Sorbonne (eerste keer dat de universiteit ergens opduikt): 21 (= nummer één in Frankrijk, voor de ENS op 45); Paris-IV is voor L&W ook de nummer één in continentaal Europa (na 10 Amerikaanse, twee Engelse, twee Canadese, drie Australische, een Japanse, een Chinese univ)
- FU Berlin 27 (nummer twee op het continent <=> algemeen: 94), Heidelberg 44
- KU Leuven 43 (<=> algemeen: 65)
- Leiden 29 (nummer drie op het continent <=> algemeen: 60), UVA 31 (nummer vier op het continent)

Voor sociale wetenschappen (waaronder ook recht) staat de eerste Europees-continentale universiteit op 32: de UVA. De KUL staat er op drie in het continent (41), vlak voor de UCL.

III.

Dan is er nog een derde ranking: de "QS" (met de weinig bescheiden URL topuniversities.com). Eerste continentale universiteit is ETH Zürich (18), voor Polytechnique Lausanne (32) en Normale Sup' (33). Zegt genoeg, niet ?

IV.
Conclusie: je kan alleen maar sceptisch worden van universitaire rankings. Ze zeggen allemaal iets anders. Kijk naar Gent: 90 in Shanghai, 136 in de Times, 190 in de QS. Ook het idee dat een universiteit elk jaar van positie kan veranderen, lijkt zo onnozel als het groot is. Wat is daar in 's hemelsnaam de waarde nog van ? Een naam bouw je toch op over decennia of generaties, niet in 365 dagen ? Bovendien houdt men geen rekening met de publieke missie van de universiteiten en hun verantwoording tegenover de belastingbetaler, die ruimer is dan die tegenover de student-"klant" in een globale universitaire "markt". Het grote gevaar bestaat erin, dat je als onderzoeker of student stukken enkel gaat lezen als de naam van een "goede" universiteit erop prijkt. De ranking van onderzoeksinstellingen (cf. I) wijst erop dat de rankings (enkel voor wat hun resultaten betreft, ik heb niet de tijd genomen om hun methodologie te bekijken) een serieuze "bias" vertonen.

De bedoeling van deze rankings is m.i. dan ook niet om het onderzoek te beoordelen, maar om studenten aan te trekken en de prijs te kunnen opdrijven naarmate men hoger staat. Ik gok erop dat, van zodra het inschrijvingsgeld in Frankrijk en Duitsland omhoog gaat, hun universiteiten de onze zullen voorbij schieten.

Nochtans bestaan er alternatieven: maak een ranking die enkel op professionele uitwegen gericht is. De École des Mines (ParisTech) vroeg CEO's bij de 500 grootste multinationals naar hun vooropleiding en zette gewoon dat in een lijstje. Het lijkt commerciëler dan de rankings die claimen onderzoek mee in rekening te brengen, maar eigenlijk is dat veel oprechter, want het toont puur waar een bepaald type studenten, dat kan shoppen tussen instellingen over de hele wereld, zoekt. Je zegt tenminste direct waar het over gaat: leidt deze opleiding me naar een job waar ik geld mee verdien ? Je bent dan meteen verlost van de valse pretentie dat je de kwaliteit van onderzoek of de wetenschappelijke verdiensten van instellingen vergelijkt.

Zie ook dit artikel van de Canadese prof Yves Gringas, dat verscheen tijdens de eerste golf van LRU-contestatie in Frankrijk:
(source: www.sauvonslarecherche.fr)

La fièvre de l’évaluation de la recherche. Du mauvais usage de faux indicateurs

Par Yves Gingras, le 2 octobre 2008

On trouvera ci-dessous un article d’Yves Gingras, professeur à l’Université du Québec à Montréal, directeur scientifique de l’Observatoire des sciences et des technologies (OST-UQAM). Cet article a été publié dans Le Figaro du 5 septembre 2008. Une version plus complète de ce texte, qui traite aussi de l’évaluation des individus (facteur h, etc…) est ci-jointe. C’est une note de recherche du Cirst, 2008-05 ; www.cirst.uqam.ca.
La France semble aujourd’hui atteinte d’une véritable fièvre d’évaluation de la recherche. La loi sur l’autonomie des universités et la réforme de l’organisation de la recherche ont créé un climat qui a exacerbé la sensibilité aux questions d’évaluation, peu discutées jusque-là entre universitaires. Un des effets les plus alarmants du manque de réflexion sérieuse sur les méthodes fiables d’évaluation de la recherche est la réaction de désarroi devant le classement de Shanghaï des universités françaises. Ainsi, la ministre de l’Enseignement supérieur et de la Recherche, Mme Valérie Pécresse, déclarait récemment dans Le Figaro que sa politique vise la présence de dix universités françaises dans le Top 100 de ce classement.

Il serait périlleux de fonder une réforme sur un seul chiffre sans s’assurer qu’il mesure bien les caractéristiques réelles de la recherche universitaire. Aux critiques méthodiques de ce classement qui montrent clairement qu’il n’est pas fiable, la ministre répond simplement : « Ce classement a des défauts mais il existe. Les chercheurs et les étudiants du monde entier le lisent attentivement. Nous devons le prendre en compte et faire en sorte de donner plus de visibilité aux universités françaises. » Et si les chercheurs et les étudiants à travers le monde se mettaient à lire attentivement leur horoscope chinois pour choisir leur métier ou leur université ? Faudrait-il emboîter le pas et « réformer » les institutions en conséquence ?

Résultat d’une addition de plusieurs facteurs hétérogènes, le classement de Shanghaï est en fait un fort mauvais indicateur de la recherche qu’il faut abandonner au plus tôt. Il est affligeant de voir des universitaires improviser des « explications » à des variations de quelques rangs qui ne sont en fait qu’un simple effet aléatoire (statistiquement non significatif) d’une année à l’autre, dû à la variance naturelle des mesures ! Combien de navires échoués en raison d’une mauvaise boussole !

Sa faiblesse rédhibitoire réside dans sa construction même. Que penser de la validité d’un indice qui fait varier la position d’une université de plus de 100 rangs dans le palmarès par le seul fait d’attribuer à l’université de Berlin ou à l’université Humboldt le prix Nobel d’Einstein obtenu en 1922 ? En quoi la qualité d’une université en 2006 aurait encore quelque chose à voir avec des travaux effectués plus de quatre-vingt ans auparavant ?

Et à ceux qui voient dans ce classement la preuve de la nécessité de construire de gros regroupements pour être plus « compétitifs à l’échelle internationale », rappelons seulement que le California Institute of Technologie (Caltech), une institution de très petite taille (environ 300 professeurs et un peu plus de 2 000 étudiants), se classe au 6e rang dans le classement de Shanghaï… L’université de Princeton, quant à elle, aussi de taille relativement réduite avec environ 5 000 étudiants, se classe en 8e position. Voilà qui ne conforte sûrement pas l’idée des grands regroupements et pourrait plutôt inciter à conclure que « small is beautiful »…

Il ne s’agit nullement ici de vouloir protéger les universités d’une évaluation comparée. Au contraire, et il est d’usage parmi les experts en évaluation de la recherche de mesurer l’impact de la recherche d’un pays ou d’une institution dans un domaine donné à partir des citations mondialement reçues (et convenablement normalisées sur une période donnée) par les publications scientifiques qui en émanent. Appliqués à de grands ensembles (et non à des individus), de tels indicateurs, qui sont homogènes au plan de la mesure, sont en effet aussi pertinents que l’indicateur d’inflation couramment utilisé. En fait, des données sur les citations pour la période 2000 à 2005 ne suggèrent aucun déclin de la France ; elles montrent plutôt une position relativement stable dans toutes les disciplines : parmi les huit pays qui produisent le plus grand nombre d’articles scientifiques dans le monde, la France est en 4e position en biologie en termes de citations relatives et, en mathématiques, sa position oscille (entre 2000 et 2005) entre la 2e et la 3e position, ce qui confirme la forte tradition des mathématiques en France.

Ces données, mieux construites et mieux validées que celles du classement de Shanghaï, n’ont peut-être pas la même valeur stratégique dans le contexte actuel. Cependant, si la France veut réellement redonner vie à ses universités, elle devrait prendre le temps de se doter d’indicateurs crédibles et validés par des experts, au lieu de se tourner dans la panique, et de façon opportuniste, vers le premier venu.

Les médailles de pacotille offertes par le classement de Shanghaï ne devraient pas servir de fondement à une réforme nécessaire et qui engagera les décennies à venir. L’université et la recherche françaises valent mieux et méritent mieux que cela.

Over de Duitse hervormingen, een ander artikel (in het Engels) op Sauvons la recherche.fr.

Geen opmerkingen: