Navigation – Plan du site
Aperçus et pratiques

Les surprises de l’évaluation qualitative en langue seconde

Denise Louanchi
p. 75-82

Résumés

Cet article a pour but d’analyser le fonctionnement des appréciations qualitatives globales qui sont traditionnellement portées à côté de la note sur une production scolaire, ici un essai en français réalisé par un élève d’un lycée de l’Algérois. L’auteur rapporte les recherches menées avec ses étudiants de licence à l’Université d’Alger. Elle montre comment l’impossibilité de classer les appréciations qualitatives globales portées sur une même copie par quarante évaluateurs différents a fait naître l’idée de les coder et comment le codage a mis en lumière non seulement l’absence de critères communs chez les évaluateurs mais aussi la divergence de leurs jugements lorsqu’ils recourent aux mêmes critères.
L’auteur suggère enfin quelques applications possibles du codage, des appréciations, tant au niveau de la pratique quotidienne qu’au niveau de la formation des futurs enseignants.

Haut de page

Texte intégral

1« Si l'accélération et l'abondance des travaux et publications montrent que les questions liées à l'évaluation sont devenues sensibles et centrales en éducation, il n'est pas sûr que cette évolution récente provoque automatiquement un progrès des pratiques et de la pensée pédagogique » (Parizot, 1990). Le poids de l'administration et des habitudes mentales est en effet tel que bon nombre d'enseignants sont contraints, bon gré mal gré, d'attribuer des notes et d'improviser un « couplet » - la traditionnelle appréciation qualitative globale - sur chaque copie, surtout s'il s'agit de littéraires ».

2Aussi voudrions-nous exposer une étude, menée avec nos étudiants de l'Université d'Alger, sur le fonctionnement de ces appréciations habituellement portées à côté de la note sur une production scolaire.

1. Exercice préliminaire d'évaluation

340 étudiants en 4e année de licence d'enseignement du français langue étrangère avaient été invités à lire attentivement les dix mêmes productions scolaires et à formuler pour chacune d'elles une note sur 20 ainsi qu'une appréciation qualitative globale, comme s'ils se trouvaient en situation d'évaluation scolaire. Afin d'éviter toute contamination réciproque des jugements évaluatifs, aucun échange d'impression n'avait été autorisé, chaque étudiant travaillant sur des exemplaires photocopiés des mêmes copies.

4La production scolaire était un « essai » en langue française d'un élève de 2e année d'un lycée de l'Algérois, d'une longueur de 26 lignes.

5De manière délibérée, nous n'avions proposé aux étudiants aucun critère susceptible de guider leur lecture et leur jugement des copies. Notre objectif était de les mettre ultérieurement face à la diversité de leurs évaluations afin qu'ils énoncent d'eux-mêmes la nécessité de recourir à des critères.

2. Première étape : essai de synthèse

2.1 La tâche

6Les 40 appréciations qualitatives globales portées sur une des copies évaluées ont été reportées, sous forme anonyme, dans un document dactylographié. Les étudiants étaient invités à les classer de manière à dégager les différents types d'informations et les jugements récurrents qu'elles contenaient. Au terme de la classification, ils devaient être en mesure de construire une nouvelle appréciation qui aurait été la synthèse des informations parcellaires contenues dans les 40 appréciations. On devait en quelque sorte parvenir à un jugement équitable, fruit d'un consensus.

2.2 La méthode de classification

7Munis de ciseaux, les étudiants devaient découper les appréciations et les regrouper par « similitude ». Là encore aucun critère de classement ne leur était apporté. Ils devaient donc procéder par tâtonnements et essais successifs, en excluant toutefois les rubriques portant sur des caractéristiques « externes » déjà étudiées lors d'autres séances (stéréotypie ou individualisation de la formule, longueur, fonction : information/conseil/imposition de valeurs/réactions affectives etc.). Ces caractéristiques pouvaient en effet être tenues pour négligeables eu égard à l'objectif poursuivi dans la mesure où elles renseignent plus sur la personnalité de l'évaluateur que sur la copie évaluée.

2.3 Le résultat

8Au bout de deux heures aucun étudiant n'était parvenu à un classement satisfaisant : 1) le nombre des classes était élevé ; 2) les classes se chevauchaient ; 3) certaines appréciations se révélaient inclassables ; 4) aucune appréciation synthétique ne pouvait être proposée.

9L'échec venait-il de la maladresse des étudiants ou était-il inhérent à la tâche ? On sait combien est difficile le maniement du qualitatif. On court toujours le risque de se perdre dans les nuances ou, à l'inverse, de traiter comme semblables des énoncés de significations différentes. C'est pourquoi nous avons eu l'idée de ramener le qualitatif, « ondoyant et divers », à un langage codé et à une mise en formules.

3. Deuxième étape : utilisation du codage

3.1. Le codage

10Chaque critère récurrent, utilisé spontanément lors de l'évaluation, a été codé. La lettre S  désigne ce qui se réfère à la compréhension du sujet et aux idées ; C concerne le plan, l'organisation ; Or,l'orthographe ; Syn, la syntaxe ; L, le lexique ; P,la ponctuation.

11Les signes + et -, affectant chaque critère, permettent d'énoncer un jugement de valeur. Exemples : C+ signifie que le devoir est construit tandis que C- stigmatise un travail mal organisé, des répétitions. Un redoublement des signes + et - se substitue aux adverbes de quantité ou à certains qualifiants.

12Exemples : Or-se lit : « quelques fautes d'orthographe » tandis que Or- - signifie « beaucoup », « trop » de fautes, mais aussi fautes graves ». S- : sujet partiellement traité ou déformé, développement superficiel, confus. S- - : hors sujet. Le signe +/ - se lit : « de bonnes idées » ou bien « sujet compris mais il manque des exemples » ou « les arguments sont insuffisants ».

13Remarque : on peut objecter que le codage regroupe des nuances non négligeables. Certes entre un développement superficiel et un développement confus, il y a lieu de distinguer. Cependant il ne faut pas perdre de vue que l'appréciation globale, placée à côté de la note ne prend son sens que par la totalité des commentaires qui jalonnent le devoir ; et que ce codage se présente comme une simple prospection et non comme un modèle à suivre. Après le codage de chaque élément ou critère d'appréciation, on établit la formule de l'appréciation. La formule (S+/- C- Or- -) renvoie ainsi à l'appréciation : « le sujet n'est que partiellement traité ; on ne voit pas le plan ; trop de fautes d'orthographe ».

3.2. Résultats

3.2.1. Premier constat : le flou des critères de lecture

14Pour la même production scolaire, on obtient des formules très différentes. Exemple : (S+/-) (C- Or-) (Or- - Syn- - P- -) (Syn- p-) (S++ C- Or- -Syn--P--).

15Les évaluateurs ne donnent pas le même type d'informations sur la copie parce qu'ils ne se réfèrent pas, semble-t-il, aux mêmes critères de la lecture. Cela est connu. Noizet et Caverni (1978) n'ont-ils pas qualifié les productions scolaires d'« objets multidimensionnels » ? Certes. Mais cela dispense-t-il de s'interroger sur ce qu'on attend d'un essai en langue étrangère ?

16Le mot essai appartenant à la tradition scolaire, donc à un lexique largement répandu, nous avons cherché la définition dans deux dictionnaires. Le grand Robert (édition de 1977), au sens II du mot, parle « des premières productions de celui qui s'essaye à un genre quelconque ». Le Robert fait silence sur l'usage scolaire de l'essai mais définit la rédaction comme un exercice renvoyant au primaire et aux petites classes du secondaire et consistant à « développer un sujet, généralement de caractère narratif ou descriptif. » Pour sa part, le dictionnaire encyclopédique Quillet (édition de 1975) dit que le terme essai, « employé comme titre d'un ouvrage, signifie tantôt que l'auteur effleure simplement différents sujets, tantôt que l'auteur, bien que traitant d'un sujet particulier, n'a pas la prétention de l'approfondir, de l'épuiser. » Silence, là encore, sur l'essai scolaire. Quant à la rédaction, ce serait en termes scolaires, « l'action de composer un devoir sur un sujet donné. »

17De ces définitions, on retient qu'en tant qu'exercice scolaire, l'essai n'a pas droit de cité dans les deux ouvrages (du moins dans les éditions que nous avons consultées) ; par son appartenance au genre littéraire, ses prétentions ne peuvent être que limitées ; par son apparentement à la rédaction, il constitue un développement personnel (« composition ») à partir d'un sujet donné. Tout cela est trop imprécis pour définir des critères d'évaluation !

18L'embarras augmente quand on lit dans le Quillet un des sens généraux du mot, précédant de peu le sens littéraire : « petite portion de quelque chose qui sert à juger du reste. » N'est-ce-pas la porte ouverte à une induction incontrôlée et arbitraire ?

19L'embarras est à son comble quand l'exercice est fait en langue étrangère ou seconde. Les exigences intellectuelles et linguistiques sont-elles semblables, que la langue soit maternelle ou non ?

20En ce qui concerne notre contexte, l'Algérie, un texte officiel énonce comme suit les exigences de l'essai pour l'épreuve de français langue étrangère au bac (soit une année après le niveau correspondant à la copie évaluée par nos étudiants) : l'essai fait suite à des questions de synthèse et d'analyse posées sur le texte ; il est noté sur 8 ; longueur demandée : entre 20 et 30 lignes ; objectifs : révéler des qualités personnelles : maîtrise de la langue, aptitude à l'analyse, aptitude à la synthèse, degré de maturité, culture. Durée totale de l'épreuve : 2 heures.

21Si au flou des critères on ajoute l'incernable statut du français en Algérie aujourd'hui qui interdit toute définition du degré d'exigence (variation ville/campagne, entre villes, au sein d'une même ville selon les quartiers, les lycées et les familles), on comprendra l'embarras de nos étudiants ... et de nos enseignants. Certains ont vu dans l'essai un exercice d'argumentation structurée, d'autres une occasion de manier une langue étrangère (petite portion qui sert à juger du reste ?), d'autres un peu des deux, sans parler de ceux qui ont exclusivement signalé ... l'absence de ponctuation !

3.2.2. Deuxième constat : un critère, plusieurs jugements

22La codification des critères a fait apparaître de manière flagrante les divergences de jugements. Exemples :

  • pour la compréhension du sujet, cela va de (S++) « sujet bien compris », « devoir riche d'idées » au (S- -) « hors sujet » ;

  • pour la construction, du (C++) « travail bien construit » au (C- -) « décousu, les idées ne s'enchaînent pas » ;

  • pour la syntaxe, du (Syn+) « bon niveau de langue » au (Syn- -) « véritable tissu d'incorrections ».

23Incompétence ? Pour certains, oui ; mais la plupart des étudiants avaient les compétences requises pour évaluer une copie de lycée. Ignorance des « normes » faute d'expérience professionnelle ? On sait en effet combien est grande la tentation de se référer à une intuition globale et confuse de l'élève « moyen » dès qu'on acquiert un peu de pratique évaluatrice. Cette norme inconsciente et fluctuante tient alors lieu de niveau d'exigence. Nos étudiants ont-ils élaboré leurs propres normes à partir de leur niveau linguistique personnel ou bien des propos des enseignants sur la baisse du « niveau » ou bien encore de l'observation de leur environnement forcément limité ?

24On peut se demander cependant si le profil spécifique de nos étudiants est seul en jeu ou si, malgré l'irrévérence de la question, de pareilles divergences ne se rencontrent pas entre évaluateurs aguerris. De nouvelles explications peuvent en effet être suggérées au vu d'un troisième constat.

3.2.3. Troisième constat : le rapport entre note et appréciation

25Bien que les notes aient été données lors de l'exercice préliminaire d'évaluation, donc avant toute idée de codage, il était intéressant de comparer notes et appréciations une fois codées.

26On a alors constaté que des formules identiques ont reçu des notes différentes. Exemples : la formule (S++ Or- -) a été notée 10 et 15 ; (S+/-), 12 et 08 ; (S- -), 10 et 03. Inversement la même note a été attribuée à des formules différentes : pour se limiter à la note 10, on trouve ainsi : (P- -) ; (S- - Or- Syn-) ; (S- Or-) ; (S+ Syn-) ; (S+ Or-) ; (S++ C- Or- - Syn- -P- -) ; (Or- - Syn- P-). Elémentaire, dirait la docimologie classique ; on a là un banal exemple de l'utilisation individualisée de l'échelle des notes (sévérité/clémence, tassement/dispersion etc.). Toutefois la docimologie propose aussi d'autres pistes d'explication lorsqu'elle pose deux questions : l'évaluateur pense-t-il tout ce qu'il dit ? Dit-il tout ce qu'il pense ? La réponse à ces questions nécessite d'interroger le vécu de l'évaluation au quotidien.

4. L'évaluation au quotidien

4.1 La pratique

27Dans la pratique quotidienne de la classe, une copie reçoit une note et une appréciation qualitative globale, en plus des observations jalonnant la copie. Les deux évaluations ont-elles droit à la même considération ? Chacun sait que l'élève n'a d'yeux que pour la note qui, tant pour ses parents que pour l'administration, décide de son sort. L'enseignant, bon gré mal gré, doit « faire avec » la coutume. Mais que donne-t-il en premier ? La note ? Dans ce cas l'appréciation jouerait un rôle de justification de la note qu'elle rendrait « objective ». L'appréciation ? La note ne serait plus que la traduction sommative, l'institutionnalisation, en quelque sorte accessoire, d'une démarche prioritairement formative qui se proposerait d'identifier les points faibles et forts d'une prestation afin d'indiquer à l'élève la direction d'un effort supplémentaire et/ou de l'encourager en lui montrant le chemin parcouru. On serait tenté de conclure que l'appréciation qualitative est alors plus sérieuse. Ce serait conclure hâtivement, selon nous.

4.2 Les contraintes

28Tourner une formule adaptée à la copie que l'on a sous les yeux exige d'en récapituler les caractéristiques au terme d'une lecture ponctuée d'observations précises. La copie fût-elle courte, l'effort est réel d'autant qu'il est... à multiplier par 30 ou 40 pour chacun des paquets de copies ! Nos étudiants évaluateurs avaient certes tout leur temps (2 heures pour 10 copies) ; ils ne risquaient ni la saturation ni la fatigue, et ils étaient vivement intéressés d'être enfin associés à un pouvoir convoité, l'évaluation. Pourtant unanimement ils ont avoué qu'ils n'imaginaient pas que cela était aussi difficile. Cela le reste même pour l'évaluateur entraîné. Pressé par le temps, il répugnera encore plus à s'imposer l'effort d'une lecture appliquée » de bout en bout », suivie d'une synthèse fidèle. Il aura tendance à se réfugier derrière des jugements stéréotypés sur des points habituellement « sensibles ».

29D'autre part, individualiser l'appréciation globale exige l'improvisation sans cesse recommencée d'une nouvelle formule. Avouons sans honte combien péniblement chacun passe de la prose des élèves au style « soutenu » requis d'un enseignant et avec quelle diabolique sournoiserie les « négligences » orthographiques et syntaxiques se glissent dans nos appréciations qualitatives... Moins on écrit, moins on s'expose.

30Il convient aussi de rechercher du côté de la psychologie différentielle. Nos étudiants évaluateurs n'ont-ils pas éprouvé une certaine répugnance à se prononcer, par timidité naturelle, manque de confiance en eux-mêmes ou peur de ce pouvoir évaluateur qui leur revenait enfin après qu'ils l'avaient si longtemps subi ? Est-il exclu de penser que cette même peur du jugement se retrouve chez les enseignants ? N'y a-t-il pas des individus qui, toute leur vie, s'angoissent de porter un jugement personnel sur le moindre fait ? Par peur de se tromper, on se réfugierait derrière des problèmes accessoires de ponctuation (ils ne le sont pas tous ...). Des formules vagues sacralisées par la tradition... On s'interdirait d'aller chercher plus loin pour ne pas trop s'engager, d'autant que chaque reproche constitue un argument auquel l'élève peut opposer un contre-argument. Là encore, moins on en dit, moins on prêtera à dire. Le flou de la formule consacrée permettrait de s'abriter derrière l'institution : c'est 8 ou 10, insuffisant ou moyen parce que, moi professeur, je ne peux me tromper. On peut encore soupçonner un refus de comprendre le fonctionnement de l'élève, par impatience, par manque de générosité, paresse etc. Un style lourd rend la pensée difficile à suivre ; il faudra lire plusieurs fois un devoir mal structuré. Trop de fautes d'orthographe agace et pousse à ignorer le raisonnement, la poésie, l'originalité. Les étudiants manquaient de ce commerce familier avec les élèves qui permet de nuancer les jugements et de percevoir une lueur d'espoir dans une gangue de calamités. Les professeurs expérimentés ne pèchent-ils pas souvent aussi par lassitude, saturation ou parce que leur personnalité ne les pousse pas particulièrement à la patience ni à la générosité, tout professeurs qu'ils sont ?

4.3 Des suggestions

31Nous ne prétendons certes pas avoir épuisé les explications possibles ni même la description des appréciations qualitatives (simple « essai »...). L'intérêt de ces observations réside, selon nous, en ce que, bien que réalisées avec et sur des étudiants, elles font apparaître la dégradation des pratiques scolaires en rites inutiles. La solution est assurément à chercher du côté de l'évaluation formative, de l'explication des objectifs d'apprentissage et des critères d'évaluation. Procédures longues et difficiles qui lentement, trop lentement remettent en question les traditions scolaires. Dans l'immédiat, nos pratiques évaluatrices seraient peut-être facilitées et rendues plus efficaces si chacun s'astreignait, lors de son apprentissage et avant tout exercice, à clarifier avec ses élèves ce qu'il attend d'eux. Dans quelle mesure le recours à des auto-collants sur lesquels seraient imprimés les critères d'évaluation définis en équipes et sur lesquels l'évaluateur devrait porter un jugement codé, ne faciliterait-il pas la tâche évaluatrice en même temps qu'il en assurerait la transparence ? Ce n'est qu'une suggestion que nous ne mettons nous-même que partiellement en pratique tant il est arbitraire de réduire une production scolaire à une somme de symboles affectés de + et de -. A tout le moins, nous sentons-nous tenue à une lecture plus serrée et exhaustive des travaux d'étudiants... d'autant qu' « ils veillent au grain ».

32Ce dont nous sommes certaines, c'est que ce type de recherches mené avec des étudiants en formation professionnelle ne peut que les sensibiliser à la fragilité de l'évaluation scolaire, partant, à la nécessité de s'armer contre elle.

Évaluation codée et notes données avant le codage (même production scolaire)

Évaluation codée et notes données avant le codage (même production scolaire)

Un bel exercice d'écriture ! La Pirogue CE1, EDICEF, IREFA, Paris, 1995, p. 24.

Un bel exercice d'écriture ! La Pirogue CE1, EDICEF, IREFA, Paris, 1995, p. 24.
Haut de page

Bibliographie

BOLTON S., Evaluation de la compétence communicative en langue étrangère, Hatier, Paris, 1987.

PARIZOT J.-C, « Le paradigme docimologique : un frein aux recherches sur l'évaluation pédagogique ? » in DELORME Ch. L'évaluation en questions, E.S.F., Paris, 1990.

HADJI Ch., L'évaluation, de l'intention aux outils, E.S.F., Paris, 1990.

HADJI Ch., Recueil d'instruments et de processus d'évaluation formative, I.N.R.P., Paris, 1986.

NOIZET G., Gaverni J.-P. Psychologie de l'évaluation scolaire, PUF, Paris. 1978.

Haut de page

Table des illustrations

Titre Évaluation codée et notes données avant le codage (même production scolaire)
URL http://trema.revues.org/docannexe/image/2202/img-1.png
Fichier image/png, 275k
Titre Un bel exercice d'écriture ! La Pirogue CE1, EDICEF, IREFA, Paris, 1995, p. 24.
URL http://trema.revues.org/docannexe/image/2202/img-2.png
Fichier image/png, 667k
Haut de page

Pour citer cet article

Référence papier

Denise Louanchi, « Les surprises de l’évaluation qualitative en langue seconde », Tréma, 7 | 1995, 75-82.

Référence électronique

Denise Louanchi, « Les surprises de l’évaluation qualitative en langue seconde », Tréma [En ligne], 7 | 1995, mis en ligne le 23 septembre 2013, consulté le 23 avril 2017. URL : http://trema.revues.org/2202 ; DOI : 10.4000/trema.2202

Haut de page

Auteur

Denise Louanchi

Chargée de cours en pédagogie, Institut des langues étrangères d’Alger

Haut de page

Droits d’auteur

Trema

Haut de page
  • Logo Centre d’Etudes, de Documentation et de Recherches en Histoire de l’Education
  • Logo Faculté d’Éducation de l’Université Montpellier 2
  • Revues.org