L'Antisèche #7 - Enquête sur les classements des Grandes Écoles de Commerce (épisode 1/3)
Les classements des Grandes Écoles de Commerce et de Management manquent de pertinence : en voici la preuve.
Bienvenue à la soixantaine de nouveaux abonnés à l’Antisèche, pour ce deuxième numéro annuel - début d’année chargé oblige - dédié à la présentation d’un papier de recherche sur les classements des Grandes Écoles de Commerce et de Management françaises.
Dans le dernier numéro de cette série, une présentation synthétique sera disponible au téléchargement. Les professionnels de l’écosystème peuvent me contacter afin de bénéficier de la présentation de l’étude complète. Pour ne pas manquer la suite de l’étude :
“Les classements des Grandes Écoles de Commerce et de Management n’ont aucun sens.”
Cette introduction volontairement subjective et vague - et un poil provocatrice il faut l’avouer - n’a pas manqué de faire réagir sur LinkedIn il y a quelques semaines lors de l’annonce de la réalisation de cette étude sur les classements. Et pourtant. Cette Antisèche en trois épisodes est dédiée au décryptage du système des classements.
Disclaimer : pour des raisons de simplification et de lisibilité, le format du papier a été adapté à ce format newsletter, qui ne présente pas la totalité des résultats de l’étude. Pour un accès complet (et gratuit), rentrons en contact !
Pourquoi se pencher sur les classement des Grandes Écoles ?
21 200 000 : il s’agit du nombre de résultats trouvés par le moteur de recherche Google en 0,33 seconde suite à la recherche des mots-clés « classement écoles de commerce », le 14 mai 2024 à 19h38. Ce nombre est du même ordre de grandeur que celui obtenu pour la recherche Google « guerre Russie Ukraine » (31 300 000 résultats) le même jour à la même heure. Preuve en est de l’engouement de la Société pour le sujet des classements des établissements d’enseignement supérieur ?
La plupart de ces classements sont publiés par les médias, plus ou moins spécialisés sur le sujet de l’enseignement supérieur. Les classements des Grandes Écoles de Commerce et de Management françaises, qui font partie du paysage de l’enseignement supérieur français et de la vie quotidienne des étudiants (en classe préparatoire ECG, ECT, en université, ou des étudiants ayant déjà intégré) ne font pas exception.
Comme outils d’aide à l’orientation et à la sélection d’école – et donc d’aide au choix de la future vie professionnelle, et future vie tout court des étudiants, les classements semblent disposer d’un véritable « privilège exorbitant », pour paraphraser l’expression de Valéry Giscard d’Estaing. Le lecteur, professionnel de l’enseignement supérieur ou non, parent d’élève ou étudiant concerné pourra aisément s’en convaincre. Les écoles s’en servent comme argument marketing majeur, figurant aisément en premières pages des plaquettes et sites Internet :
Face au pouvoir vraisemblable de ces outils entre les mains des journalistes qui les construisent, il est légitime de se pencher sur le système des classements, ses acteurs et les rapports de force en jeu, les méthodologies employées dans leur construction, et surtout sur leur impact réel sur les principaux acteurs concernés : les étudiants.
Remarque : l’étude se focalise sur les classements médiatiques francophones (exemples : publiés par l’Etudiant ou Challenges), le classement du Financial Times, ainsi que le classement SIGEM.
Une approche triptyque pour décrypter le système des classements
Que cherche à démontrer cette étude ?
Quels sont les principaux biais du système des classements des Grandes Ecoles de Commerce et de Management ? Quel est l’impact général des classements sur les étudiants, et notamment sur leur choix d’école ? Sont-ils cohérents avec les critères les plus importants pour les étudiants ?
À qui ce papier s’adresse-t-il ?
Cette étude s’adresse à tous les acteurs, professionnels ou non, en lien avec le monde de l’Éducation, mais plus spécifiquement :
Les étudiants : pour informer les principaux concernés par les classements et en dévoiler les limites et les biais.
Les médias : afin d’accompagner l’amélioration de leurs méthodologies de classements.
Les écoles : afin d’identifier les critères les plus importants pour leurs futurs étudiants dans leur choix d’école.
Comment ce papier est-il construit ?
L’objectif est dans un premier temps d’analyser en profondeur le système des classements (l’objet de ce premier numéro !) dans une approche “macro” (quels en sont les principaux acteurs ? Les principaux biais ? Quelles limites au classement SIGEM ?), puis “micro” (analyse détaillée de 3 méthodologies de classements médiatiques).
Cette approche théorique ne fait sens qu’en étant complétée par une approche terrain. C’est l’objet d’une enquête réalisée auprès de 235 étudiants de prépa et en école qui permet d’étudier des hypothèses à un niveau de confiance de 95% sur l’ensemble de la population étudiante concernée par le sujet.
Enfin quelques pistes d’amélioration sont proposées, étape indispensable afin de tenter d’améliorer un système à bout de souffle. Après cette introduction bien trop longue : place au cœur de l’étude !
Une première approche théorique “macro” : analyse d’un système d’enjeux et d’influences
Dans cette première partie, on synthétise une partie des principales critiques dressées par la Recherche sur le sujet. Preuve en est certainement de l’intérêt de se pencher sur les classements des établissements d’enseignement supérieur en général : le sujet est allé jusqu’à préoccuper les experts des Nations Unies.
“Les classements sont conceptuellement faux” (ONU)
En 2023, des experts indépendants sollicités par le United Nations University International Institute for Global Health ont publié un article résumant les principales limites et les dangers des classements des universités internationales. Ces limites s’appliquent parfaitement à nos classements nationaux, et la première est suffisamment saillante :
“Les classements sont conceptuellement faux”
Tous les classements médiatiques nationaux comme internationaux opèrent selon la même méthodologie pour les Nations Unies : les classeurs quantifient un nombre plus ou moins important de critères de qualité qu’ils définissent de manière arbitraire, puis les pondèrent à nouveau arbitrairement afin d’obtenir un composite indicator à partir duquel est réalisé le classement final des établissements. Or, un seul indicateur ou score – même éclaté en plusieurs sous-scores composites – est impossible à interpréter pour l’utilisateur final (encore plus lorsque ces méthodologies ne sont pas détaillées, voire ne sont pas publiques) et ne peut à lui seul prétendre juger des différentes dimensions de la qualité d’un établissement.
Cette erreur conceptuelle de construction est d’autant plus accentuée par la fiabilité et la pertinence des données utilisées dans l’établissement des critères classants. Les médias se procurent leurs données sources auprès des établissements classés et/ou des alumni des établissements (contactés directement par les médias, ou via leurs établissements). Se pose alors la question de la représentativité des données récoltées auprès d’échantillons potentiellement non représentatifs d’alumni (notamment pour les critères relatifs aux salaires). Se pose également la question de la transparence : à la fois de la méthodologie employée par les classeurs, et des jeux de données à la source du calcul des scores.
Au delà de ces limites très simples, les études s’accordent et démontrent que la publication de classements pour les établissements d’enseignement supérieur entraîne des réactions de la part des établissements classés qui peuvent adapter leur stratégie pour s’améliorer sur les critères pris en compte. Les experts de l’ONU vont même jusqu’à évoquer des effets pervers sur le recrutement et les publications des professeurs-chercheurs, et sur la qualité pédagogique et l’expérience d’apprentissage des étudiants.
Cet effet est accentué par les conflits d’intérêts entre les écoles et les classeurs : la plupart des établissements d’enseignement sont clients (plans média annuels, acquisition de leads, etc.) des mêmes médias qui réalisent les classements.
Des classements toujours plus nombreux
La littérature met en lumière leur nombre toujours plus important. Au-delà d’une multiplication pouvant mener à un manque important de lisibilité, Business Cool (2020) démontre dans son enquête sur les classements des Grandes Écoles de Commerce que « trop de classements nuisent aux classements ». La multiplication des palmarès est inversement corrélée à la qualité des données récoltées : « la sursollicitation génère de la contre-valeur, car les étudiants ne répondent plus aux mails. Ils arrêtent même leur questionnaire au milieu quand il est trop long. La base statistique à analyser est donc biaisée dès le départ ».
D’un autre côté, la multiplication des classements autour de diverses thématiques permet aux classeurs de déraciner certaines Grandes Écoles de leurs rangs historiques. Dans un classement généraliste, quel média oserait bousculer le Top 3 HEC – ESSEC – ESCP (ou HEC - ESCP - ESSEC) d’une édition à une autre ? Le média-classeur doit annuellement faire évoluer son classement (afin de créer un fait journalistique et générer du clic), sans toutefois risquer de perdre en crédibilité auprès de ses lecteurs et des établissements et alumni qui lui transmettent des données. Face à cette inertie, L’Étudiant par exemple publie ses classements thématiques en compléments de son classement général : dans le classement « International » 2024, l’EDHEC, ESCP et NEOMA se classent premières ex aequo, suivies d’Audencia, emlyon et ESSEC, etc. Ces rankings thématiques permettent également aux écoles habituellement peu classées dans les hauts de tableaux de se démarquer sur certains thèmes et d’en jouer sur le plan marketing, dans une logique win-win.
Synthèse des rapports de force dans le système des classements
On peut dresser une cartographie des acteurs du système des classements et de leurs rapports de force comme suit :
Le système des classements aux rapports de force fortement asymétriques (en faveur des classeurs) présente des biais à la fois dans les sources des données, et dans les méthodes de construction des classements, dont l’impact réel sur les étudiants (au sens large) demeure a priori inconnu.
Le cas particulier du classement SIGEM : la panacée ?
Le classement du SIGEM serait-il la parade aux limites et aux biais du système des classements ? Souvent considéré comme un classement “absolu”, ce classement est en fait différent par nature des classements médiatiques : il est un classement a priori, et non a posteriori.
Il est généré à la suite de la procédure d’affectation SIGEM à partir des choix réalisés par les étudiants en cas de double admission dans des Grandes à l’issue des concours Ecricome et BCE, représentés par une matrice dite des « désistements croisés ». Il ne dépend donc a priori ni de choix de construction ni de choix méthodologiques de la part des classeurs et reflète uniquement les préférences des étudiants lors de leur choix d’école.
Le classement SIGEM disposerait donc d’atouts indéniables face aux classements journalistiques. En réalité, il comporte lui aussi des biais importants : mais ces biais sont différents par nature, tout comme le classement du SIGEM est différent par nature des classements médiatiques.
Au niveau de sa construction, le classement SIGEM ne peut exister que parce que les écoles des concours Ecricome et BCE acceptent dans un intérêt commun de se soumettre à la même procédure, et par l’existence de duels entre écoles permettant de hiérarchiser les établissements. Ces duels n’ont de pertinence qu’après la passation d’épreuves identiques entre deux écoles. Or, toutes les écoles participantes à la procédure SIGEM ne s’appuient pas sur les mêmes épreuves aux concours : les barres d’admissibilité, puis d’admission ne sont donc en théorie pas intrinsèquement comparables pour deux écoles ayant au moins une épreuve différente.
Par ailleurs que se passerait-il si une école, comme ESCP par exemple, décidait de sortir de la procédure SIGEM et de faire passer ses propres épreuves en dehors de la banque d’épreuves BCE ? Ce serait la fin du classement SIGEM - pour autant ESCP ne parviendrait-elle plus à remplir ses rangs ? Difficile d’estimer l’impact d’une telle décision, comme la réaction des étudiants qui se trouveraient doublement admis à l’ESSEC par le concours BCE et à l’ESCP par la nouvelle voie de concours potentiellement créée. La logique est identique pour tous les autres “duels” entre écoles.
Enfin, et surtout : le classement SIGEM pourrait très bien être influencé par les classements médiatiques (et leurs biais de construction), et donc corrélé à ces derniers. Il faudrait pour cela prouver que les classements médiatiques occupent une place centrale dans la construction des préférences des étudiants à partir desquelles est construit le classement SIGEM : ce sera l’objet de l’épisode 2 !
Une seconde approche théorique “micro” : zoom sur les méthodologies de classements des médias
Après notre première approche théorique, cette partie a pour objectif de mettre en avant les limites concrètes dans la construction des classements médiatiques des Grandes Écoles de Commerce et de Management. L’analyse est restreinte au décryptage des méthodologies des classements 2024 publiées par trois médias jugés clefs sur la scène de l’enseignement supérieur français : L’Étudiant, Challenges, et le Financial Times.
Ces trois médias constituent un échantillon du paysage médiatique, plébiscités à la fois par les étudiants dans leur processus de choix d’école, et par les écoles dans leur positionnement stratégique. Pour s’en convaincre, le lecteur pourra facilement constater par lui-même l’omniprésence des références à ces trois classements sur les sites Internet des Grandes Écoles de Commerce et de Management françaises.
L’objectif est pour chaque média d’identifier les principaux biais méthodologiques et de dresser une table de pondération des critères utilisés. Ces tables créées en interne pour les besoins de l’étude seront surtout utilisées dans l’épisode 2 et comparées avec le classement de ces critères par les étudiants, afin de travailler sur une base de comparaison homogène et cohérente :
Analyse critique de la méthodologie du classement de l’Etudiant
L’Étudiant est un groupe média spécialisé dans l’orientation des étudiants depuis sa création en 1972. En 2024 en particulier, L’Étudiant mentionne avoir repensé sa méthodologie afin d’aboutir à « une vision plus juste des 37 écoles qui composent le classement ».
La méthodologie repose sur 85 critères, dont 25 critères classants et 60 non classants, répartis dans 8 thématiques. Un score global est calculé, dont les pondérations ne sont pas fournies publiquement (estimées ci-dessous). En voici les principaux biais :
Biais 1 - biais de signification : impossible d’interpréter un score sur 25 critères dont les pondérations sont de surcroît inconnues.
Biais 2 - biais temporel : certains critères du classement 2024 sont construits sur les données des années 2021-2022 sous prétexte qu’elles évolueraient peu d’année en année (taux d’alternants, ou de boursiers). Au delà du biais temporel, pourquoi inclure alors ces critères s’ils n’évoluent pas d’une année à l’autre ? On peut raisonnablement douter de la pertinence de l’explication.
Biais 3 - biais de sens : certains critères posent question quant à leur interprétation et/ou leur construction.
Taux de boursiers : ce critère peut être fortement biaisé par la proportion d’étudiants internationaux non éligibles aux bourses dans l’école, ou encore la proportion d’alternants (statut incompatible avec une bourse CROUS). Il serait pertinent de prendre en compte le nombre de boursiers sur le nombre d’étudiants éligibles aux bourses.
Taux d’alternants : est-ce nécessairement “mieux” d’avoir un élevé d’alternant dans l’école, et inversement ?
Les frais de scolarité : comment interpréter des frais plus ou moins élevés au regard de la qualité d’une école ?
Biais 4 - biais mathématique : certains critères sont délibérément corrélés aux autres critères puisque présentés comme fonction linéaire de ces derniers, comme le critère “Professeurs d’excellence”. Pourquoi dès lors les prendre en compte dans le classement ?
Biais 5 - biais d’accès à l’information : notamment concernant les salaires de sortie. On imagine aisément un biais considérable liés à la (non) représentativité des alumni interrogés par école.
Biais 6 - biais de comparabilité : pour rester sur le thème des salaires, même en supposant leur représentativité théorique par école, leur comparaison n’est pas pertinente sans distinction entre les secteurs d’activité ou les géographies d’exercice. Cela revient trivialement à comparer des choux avec des carottes.
Biais 7 - biais d’équilibrage : certaines catégories de critères sont totalement absentes (sélectivité, reconnaissance par les employeurs) quand d’autres sont sur-représentées (critères internationaux notamment).
Analyse critique des méthodologies Challenges et Financial Times
À quelques nuances près, on retrouve les mêmes types de biais dans les classements Challenges et du Financial Times, dont on peut également dresser les tables de critères qui seront présentées dans l’épisode 2.
Synthèse du premier épisode : un système défaillant
Les biais majeurs du système des classements et les biais identifiés dans chacun des classements médiatiques comme dans le classement du SIGEM mettent à mal leur pertinence et leur fiabilité. À présent, encore faut-il pouvoir quantifier leur influence sur les étudiants pour juger de l’ampleur de l’impact. Rendez-vous la semaine prochaine pour le deuxième épisode !
Vous avez apprécié ce premier épisode ? Partagez-le auprès de vos collègues pour ne pas rater les prochains numéros :