Toute évaluation comporte des biais (journée d'étude de la SFE)
Paru dans Scolaire, Périscolaire, Orientation le lundi 05 décembre 2011.
Toute évaluation comporte des biais, l'important est de le savoir et de le faire savoir. C'est sur ce constat que débute la journée d'étude organisée le 1er décembre par la SFE (ici) et l'ADMEE (ici), deux associations regroupant des experts de l'évaluation. Gérard Figari, professeur émérite en sciences de l'éducation estime que le choix des outils d'évaluation et de la méthode oriente les résultats d'une évaluation. Celle-ci ne "donne jamais accès qu'à une vérité partielle d'un individu, d'une institution, d'un système. Par exemple, si Louis Le grand arrive en tête du classement des établissements scolaires, ce n'est en l'occurrence pas la qualité de son enseignement qui est noté mais la qualité de son recrutement (des bons élèves, NDLR)." Il est donc nécessaire d'expliciter les biais induits par les méthodes choisies
Xavier Pons, maitre de conférences rappelle que "l'Etat se fonde sur trois sources officielles d'évaluation de l'Education: la Cour des comptes (depuis 2008), les IGEN (mandat pédagogiques) et IGAENR (mandat administratif et financier) et la DEPP." Les rapports des IG sont le produit de trois techniques d'enquêtes: l'amas de documents, l'observation et l'entretien. C'est avec ces techniques, qui ne sont pas nouvelles, qu'ils chiffrent les phénomènes observés. Depuis quelques années, "ils ont reconverti et rationalisé leurs savoirs-faire en 'art de l’extrapolation empirique', c'est-à-dire de la généralisation compte tenu de leur expérience. Ces rapports n'ont donc pas d'ambition scientifique au sens académique." La DEPP, qui produit nombre d'outils d'évaluation, n'a pas de critères formels pour distinguer ce qui tient de l'évaluation ou de la statistique classique. "Or, les débats politiques sont structurés en fonction des méthodes utilisées en amont, par exemple concernant l'efficacité des ZEP ou la variation du niveau des élèves dans le temps." Les changements de variable d'une année sur l'autre ont des effets qui ne sont pas forcément anticipés. Par ailleurs, Xavier Pons ajoute que "la DGESCO, qui a mis en place les outils d'évaluation des niveaux CE1 et CM2 dans l'urgence, s'est privée de la validation scientifique de la DEPP, alors que ces deux directions travaillent ensemble depuis 1989, la DEPP s'occupant des tâches techniques tandis que la DGESCO s'occupait de la conception des actions de remédiation." Enfin, le chercheur souligne qu'il est important de faire vivre le pluralisme des évaluations et d'améliorer la cohérence entre les différentes productions.
Pour Roger-François Gauthier, IGAENR, avant l'arrivée de la problématique de l'évaluation dans le débat public, elle existait déjà dans l'Education nationale avec la notation des élèves. Mais "les notes évaluent-elle les élèves ou le système ?" Il ajoute que les indicateurs, fabriqués de façon pléthorique depuis plusieurs années par l'administration, "n'ont pas de sens pour les établissements scolaires, ne sont pas perçus comme des éléments importants pour agir au quotidien. Il faudrait évaluer plus en profondeur les établissements scolaires au lieu d'évaluer le niveau des élèves. D'autant plus que l'on sait que la notation des élèves est biaisée en fonction de l'établissement dans lequel ils se trouvent et qu'elle est fondée sur des techniques de compensation et de moyenne."
La conférence avait pour titre "Evaluation en éducation. Qui évalue et sur quels fondements?" Xavier Pons est l'auteur de "Evaluer l'action éducative" (PUF, 2010, 204 p., 20 €).