L'Antisèche #8 - Enquête sur les classements des Grandes Écoles de Commerce (épisode 2/3)
L'Antisèche #8 - Enquête sur les classements des Grandes Écoles de Commerce (épisode 2/3)
Les classements des Grandes Écoles de Commerce et de Management manquent de pertinence : en voici la preuve.
Après la publication du premier épisode de l’enquête sur les classements la semaine dernière, voici le deuxième numéro orienté “approche terrain”. N’oubliez pas de vous abonner pour ne pas manquer le troisième et dernier numéro de cette série, à l’issue duquel une présentation synthèse pourra être téléchargée :
Dans l’épisode précédent…
Le premier épisode de cette série répond à la première partie de notre problématique sur les classements, que l’on rappelle ci-dessous :
Quels sont les principaux biais du système des classements des Grandes Écoles de Commerce et de Management ? Quel est l’impact général des classements sur les étudiants, et notamment sur leur choix d’école ? Sont-ils cohérents avec les critères les plus importants pour les étudiants ?
Afin de prendre la mesure des enjeux derrière les biais relevés dans l’épisode précédent, on se penche désormais sur l’impact au sens large des classements sur les étudiants : quelle influence exercent-ils sur leur choix d’école ? Quels sont les critères les plus importants pour les étudiants dans le choix d’une école ? Le SIGEM est-il vraiment indépendant des classements médiatiques ?
Une approche terrain pour évaluer l’impact des classements : quelle méthodologie ?
Un questionnaire a été distribué de manière aléatoire à 235 répondants issus de 86 établissements (CPGE et Grandes Écoles de Commerce et de Management françaises confondues).
Population cible du questionnaire : étudiants inscrits en début d’année 2024 en 1ère et 2ème année de CPGE ECG et ECT, et étudiants ayant déjà intégré une Grande École de Commerce et de Management.
L’importance et la qualité de l’échantillon permettent à la fois :
De réaliser trois niveaux d’analyse lorsque nécessaire (résultats pour les étudiants en prépa uniquement, en école uniquement, ou les deux).
De tirer des conclusions avec un niveau de confiance de 95% sur la totalité de la population cible (= “les étudiants en CPGE ECG, ECT + les étudiants en Grande École”) et non uniquement sur l ‘échantillon, grâce à la réalisation de tests statistiques (Student notamment).
Voici 3 exemples de questions sur les 15 proposées aux répondants :
Les résultats de l’enquête : quelle relation entretiennent les étudiants avec les classements ?
À travers ces premiers résultats, on cherche à évaluer le poids des classements dans le processus de sélection d’école des étudiants de la population cible.
Les étudiants utilisent-ils les classements dans le cadre de leur orientation ?
Ce graphique permet d’ores et déjà un constat clair assez intuitif : 100% des répondants sont utilisateurs de classements dans le cadre de leur orientation vers une Grande École. Par ailleurs, on note que d’éventuelles réponses « Non » auraient tout de même été enregistrées.
Les étudiants considèrent-ils les classements médiatiques comme fiables ?
En moyenne, les répondants jugent les classements publiés par les médias comme L’Étudiant, Challenges ou le Financial Times fiables à 74,9% sur une échelle de 0 à 100%, soit une note moyenne de 7,49/10. Afin d’étudier ce score moyen sur la totalité de la population cible, on réalise un test de Student unilatéral. Seul ce test sera détaillé dans ce numéro.
On définit les hypothèses :
H0 : “Le score moyen de fiabilité attribué par la population cible est inférieur ou égal à 7/10”.
H1 : l’hypothèse alternative.
On pose μfiabilité = 7,494 (score de fiabilité moyen attribué) et μ0 = 7, et σfiabilité = 1,539 (écart-type du score de fiabilité attribué), et n = 235 (nombre de répondants) :
On a par ailleurs avec un risque de première espèce α = 5%, T0 = 1,645, soit T > T0. On rejette donc H0 et on accepte H1. On a donc démontré que la population cible considère en moyenne les classements médiatiques fiables à plus de 70%. L’analyse de la dispersion des scores confirme cette tendance à estimer très fiables les classements médiatiques.
Les classements sont-ils un outil important pour les étudiants ?
Les répondants sur le point d’intégrer sont représentés en bleu, ceux ayant déjà intégré en orange. La majorité absolue des répondants considère comme très importants les classements dans le cadre de la sélection de leur école. Cette proportion monte à plus de 95% lorsque l’on ajoute les réponses « C’est important ». Aucun répondant n’a répondu « Ce n’est pas du tout important », réponse absente du graphique.
On peut raisonnablement affirmer empiriquement que les classements occupent une place importante à très importante dans le processus de sélection d’une école pour la population cible.
À quel point les classements peuvent-ils influencer le choix d’école des étudiants ?
Le constat est clair : pour la grande majorité des répondants interrogés, les classements peuvent exercer une influence très forte (note de 8) à totale (note de 10) sur leur choix d’école (73,62% des répondants).
En réalisant une nouvelle fois un test statistique sur ces données, on démontre que la population cible attribue en moyenne une note d’influence des classements sur ses choix d’école supérieure à 8/10.
Si l’on récapitule : on a démontré que la totalité des étudiants utilisent activement les classements dans leur sélection d’école, qu’ils jugent globalement très fiables et très importants, et avec une influence en moyenne très forte à totale sur leur choix. Au vu de cette importance démontrée, il semblerait nécessaire que les critères utilisés dans les classements soient alignés (en moyenne) avec les critères importants pour les étudiants dans la sélection d’une école.
Les critères des classements sont-ils alignés avec ceux qui comptent pour les étudiants ?
Les répondants ont dû classer les 12 catégories de critères présentées dans l’épisode 1, par ordre d’importance dans leur processus de sélection :
On relève trois groupes de critères :
Les critères de tête : prestige de l’école, reconnaissance par les employeurs, et niveaux de salaires et d’employabilité à la sortie. Ce sont les critères systématiquement les plus importants pour les répondants.
Les critères centraux : classement au SIGEM, portée internationale et infrastructures de l’école, qualité pédagogique du programme et de l’offre de formation, et classements médiatiques. Ce sont des critères d’importance moyenne pour les répondants, aux écarts-types les plus élevés.
Les critères de queue : capacité à faire progresser les étudiants, coût des études et aides financières, recherche académique menée par l’école, proximité géographique, et stratégie ESG & diversité sociale de l’école. Ce sont les critères les moins importants pour les répondants, systématiquement classés en dernier.
On compare ce classement avec les critères utilisés par les médias dans leurs rankings :
Quelques éléments saillants ressortent de la comparaison entre les deux tableaux :
Les 3 critères systématiquement les plus importants pour les étudiants ne sont presque jamais représentés dans les classements médiatiques. Lorsqu’ils le sont, ces critères présentent d’importants défauts de construction (exemple des critères sur les salaires).
Certains critères fortement pondérés par les médias ne comptent pas pour les étudiants dans leur choix d’école. C’est notamment le cas des critères relatifs à la Stratégie ESG & Diversité sociale de l’école.
Au contraire, certains critères importants pour les étudiants comme le classement SIGEM ne sont jamais pris en compte par les médias (francophones).
Globalement, les critères des classements médiatiques ne sont pas alignés avec les critères qui comptent pour les étudiants ; alors même que les décisions stratégiques des écoles sont de manière générale fortement influencées par les critères classants des médias. Lorsque les critères des classements sont alignés avec les attentes des étudiants, ces derniers présentent d’importants biais de construction (voir épisode 1).
Les étudiants sont-ils conscients de ce décalage avec leurs critères de choix ?
Les étudiants sont-ils globalement conscients des méthodologies employées pour construire les classements qu’ils utilisent ?
On peut montrer avec un niveau de confiance de 95% qu’environ 50% des étudiants n’ont jamais consulté une seule méthodologie des classements qu’ils sont pourtant 100% à utiliser activement dans leur choix d’école. On peut également démontrer qu’en moyenne plus les étudiants consultent les méthodologies des classements qu’ils utilisent (SIGEM et classements médiatiques confondus), moins ils les jugent fiables.
Le SIGEM est-il la parade ?
Au-delà des biais du SIGEM déjà présentés dans le précédent épisode, l’enquête permet grâce à des tests statistiques de questionner l’indépendance apparente du classement SIGEM.
On peut démontrer avec un risque d’erreur de 5% que les classements médiatiques exercent une influence systématiquement non nulle dans la construction des préférences d’écoles des étudiants. Autrement dit, on conclut avec un risque d’erreur de 5% que les classements médiatiques ont un impact sur le classement du SIGEM (construit à partir des préférences des étudiants). D’une certaine manière, le classement SIGEM et les classements médiatiques entretiennent une relation auto-réalisatrice.
Synthèse du deuxième épisode : un ensemble de paradoxes
Face aux conclusions et à la complexité du système présentées dans ces deux premiers épisodes, peut-on imaginer des pistes d’amélioration ? Ce sera l’objet du dernier épisode de cette série !
Vous avez apprécié ce premier épisode ? Partagez-le auprès de vos collègues pour ne pas rater les prochains numéros :
Toujours aussi pertinent !