Têtière

Evaluation

 

Petite histoire de l’évaluation
de l’enseignement dans les universités

 

Isabelle Chênerie, professeur en électronique à l’université Paul Sabatier Toulouse 3,
vice présidente déléguée aux TICE, à l’évaluation et à la cellule universitaire de pédagogie.

 

Télécharger le document complet [ 49 Ko]

 

 

 

>> Émergence

>> Résistances

>> Accélération

>> Éléments d’analyse

>> Quelles perspectives

>> En guise de conclusion

 

 

 

Émergence

La première date repérable dans l’histoire de l’évaluation des formations et des enseignements à l’université est 1990, date de publication du rapport produit par le groupe de travail piloté par Michel Crozier. Il s’agissait alors de répondre à la question posée par Lionel Jospin, ministre de l’éducation nationale : « comment évaluer les performances pédagogiques des universités ? ». La réponse insistait sur la nécessité d’un affichage fort de l’importance de l’évaluation par le ministère, et préconisait une mise en œuvre laissée à l’appréciation de chaque université.


En 1992, l’arrêté Lang prend le relais, dans le registre de la proposition : « une procédure d’évaluation des enseignements, faisant notamment appel à l’appréciation des étudiants, peut être établie par le conseil d’administration de l’établissement, sur propositions du président de l’université, après avis du CEVU […] ». Pour la première fois l’idée d’associer les étudiants à l’évaluation est évoquée.

 

Plusieurs rapports se succèdent ensuite (Lancelot 1995, Gomel 1996, EVALUE 1998), ouvrant des pistes de réflexion quant aux critères d’évaluation à utiliser. Citons par exemple ponctualité, respect des heures statutaires, cohérence des filières par rapport à leurs objectifs, cohérence interne des formations. Jusque là tout parait simple. Mais déjà les choses se compliquent lorsque l’on aborde les critères de « qualité pédagogique ». Le rapport Gomel y inclut les méthodes, techniques et stratégies d’enseignement, les modalités de contrôle. Le rapport Lancelot quant à lui va plus loin en ajoutant par exemple le degré de préparation du cours, la clarté et l’intérêt des cours, l’intérêt porté aux élèves et la qualité de l’aide méthodologique apportée ; finalement les critères de qualité pédagogique pourraient bien poser des questions dérangeantes, de celles qui font avancer la réflexion.


Le rapport EVALUE distingue l’évaluation du « teaching » de celle du « learning » ; l’effort de clarification est louable (peut être n’y sommes nous pas totalement sensible du fait de la traduction) mais à bien y réfléchir il semble bien que teaching et learning soient indissociablement liés… Jacques Dejean éclairera le débat en affirmant plus tard que « la qualité d’un service ne peut être appréciée de la même façon que celle d’un produit, car elle ne dépend pas seulement d’un seul type d’acteurs mais elle est le fruit d’une co-production entre ceux qui ont conçu ou délivrent le service et ceux qui viennent en profiter ».
En avril 1997 l’arrêté Bayrou installe le principe d’une évaluation des enseignements et des formations obligatoire pour les universités. Il est précisé que cette évaluation doit prendre en compte l’appréciation des étudiants, et l’arrêté instaure une commission paritaire étudiants – enseignants, pour débattre des résultats d’évaluation. Chaque université reste libre des modalités d’application de cet arrêté.


Certaines universités pionnières, convaincues des vertus d’une démarche d’évaluation, se sont alors lancées dans des expériences d’évaluation. Elles se réunissent en 1998 lors du Colloque Interuniversitaire des Méthodes d’Evaluation (CIME) pour échanger expériences et réflexions. La lecture des actes de CIME 1998 est tout à fait significative : alors que le colloque se donne un titre focalisé sur l’évaluation, il soulève des questions beaucoup plus larges, telles que l’innovation pédagogique ou la formation continue des enseignants ; c’est d’ailleurs l’occasion de poser les premiers jalons de la définition des Services Universitaires de Pédagogie (SUP), ayant pour mission de contribuer à la formation pédagogique à l’enseignement supérieur, d’assurer une assistance technique à l’évaluation des enseignements, et de soutenir concrètement les innovations pédagogiques. Ainsi entrer dans une démarche d’évaluation, dans la mesure où les universités jouent le jeu à fond, ne se réduit pas à une simple formalité permettant d’afficher des statistiques, mais soulève une cascade de questions de fond sur l’enseignement universitaire.

 

 

 

Résistances
Tout semble alors en bonne voie, mais le courant CIME va-t-il entraîner les autres universités ? Nous le savons dès février 2002, avec le rapport Dejean qui fait le point sur l’évaluation de l’enseignement dans les universités françaises : beaucoup d’universités restent à la traîne, le rapport indique des situations très diverses, et note des « initiatives intéressantes mais isolées », les pionniers restent donc minoritaires. Au-delà de ce constat peu encourageant, le rapport s’attache à comprendre le pourquoi de ce peu d’enthousiasme pour l’évaluation de la qualité de l’enseignement : « en général ils [les enseignants] n’en voient pas l’intérêt, n’en saisissent pas les enjeux et ne perçoivent pas qu’elle peut être un outil d’aide à la résolution des problèmes posés par une population qui a considérablement évolué ». Approfondissant les causes de ce désintérêt, le rapport pose les vraies questions de fond à propos de la qualité des enseignements à l’université : « on peut penser que les choses ne bougeront en France que lorsque les pratiques d’évaluation des enseignements et des formations (et avec elles toutes celles qui contribuent à la qualité de l’enseignement) auront des répercussions sur les carrières des enseignants » . L’idée d’une « véritable formation à l’enseignement », déjà entendue au colloque CIME 1998, est proposée ici pour tous les enseignants-chercheurs.


Impossible de citer en quelques lignes tout le contenu de ce rapport, dont la lecture est à recommander, cependant nous retiendrons un dernier point qui parait essentiel dans l’échec de la mise en place généralisée de démarches d’évaluation de l’enseignement : « l’absence de volonté politique au ministère dans ces domaines est vivement ressentie sur le terrain. Le ministère a certainement un rôle déterminant à jouer en impulsant une véritable politique d’évaluation pour l’enseignement universitaire ».


En mars 2002, le Haut Conseil de l’évaluation de l’école, alors dirigé par Claude Thélot, et qui avait commandé le rapport Dejean, émet un avis sur l’évaluation des enseignements à l’université. En accord avec le rapport Dejean il renvoie le ministère à ses responsabilités : « Pour que ces enjeux [ceux de l’évaluation] soient effectivement perçus par tous les intéressés, il faut qu’une volonté politique ferme se manifeste d’abord au plus haut niveau. Elle est indispensable pour impulser un débat national qui puisse convaincre tous les intéressés que l’évaluation des enseignements ne s’oppose en rien à l’autonomie des établissements ou au statut des enseignants-chercheurs, mais constitue une nécessité professionnelle et est un gage d’efficacité. Cette volonté politique devrait également manifester que la qualité de l’enseignement, mission essentielle des universités, est déterminante ». On notera le passage de l’indicatif au conditionnel, peut être est-il plus facile d’affirmer l’importance de l’évaluation que celle de l’activité d’enseignement, souvent dominée de fait par celle de chercheur…Sont également préconisées des mesures concrètes, en appui du discours théorique : aide à la mutualisation, proposition d’un cadre théorique et d’outils, « retours » dans le cadre de la politique contractuelle, définition de modalités pour des conséquences sur la carrière des enseignants, effort effectif de formation à l’enseignement. Finalement l’avis du HCÉÉ reprend largement les conclusions du rapport Dejean quant au rôle du ministère. Cependant il n’est pas plus complaisant avec les enseignants : « Les enjeux d’une évaluation des enseignements sont trop peu perçus par les responsables politiques et les universitaires eux-mêmes, même quand ils sont sensibles au fait que l’Université doit assumer le double défi de la massification et de la diversification de ses missions. Tout cela se traduit par une réflexion insuffisante sur l’évaluation des enseignements, ce qui ne permet pas la constitution de compétences, et par une relative pauvreté des outils et des pratiques qui sont mis en place ». Trois pages qui résument la situation sans fioritures.

 

 

 

Accélération
L’avis du HCÉÉ sera entendu, puisque dans la foulée le Comité National d’Evaluation (CNE) propose un outil à disposition des universités : le Livre des références , « conçu comme un outil d’aide à la mise en place de procédures internes de contrôle de la qualité ». Présenté comme un référentiel qualité, ce document liste un certain nombre de critères de qualité concernant l’ensemble des champs d’activités des universités à travers trois sections couvrant la politique de formation, la politique scientifique et le management de l’établissement au service de ses missions. Notons les références A-II.3 (l’offre de formation fait l’objet d’une évaluation régulière), précisée par les critères 1 (les enseignements et les formations font l’objet d’une évaluation régulière), et 2 (les étudiants sont associés aux évaluations des enseignements et des formations), qui confirment l’importance accordée aux démarches d’évaluation de l’enseignement universitaire.


Le 17 octobre 2004, l’Europe est à l’unisson, en publiant une proposition de recommandation énergique qui insiste sur l’importance de l’introduction d’une démarche qualité dans les universités : « il faut exiger de tous les établissements supérieurs opérant sur leur territoire qu’ils introduisent ou développent de rigoureux mécanismes internes de garantie de qualité. La « culture qualité » doit donc pénétrer dans les établissements, or pour l’instant, elle n’est que peu répandue en Europe, et en France. Des progrès substantiels sont à réaliser. »


Le 21 octobre 2004, François Fillon prend le relais, dans un discours prononcé devant la Conférence des Présidents d’Université (CPU), où il cite le chantier de l’évaluation : « les universités seront de plus en plus responsables de la définition de leur politique comme de leur organisation et de leur gestion. Elles devront donc être comptables de leurs résultats. A cette fin, l’évaluation de la qualité devra être le pivot et le régulateur du système. Elle conditionnera le contrat que la Nation doit conclure avec ses universités et le soutien de l’État. […] il convient de rendre obligatoire dans chaque établissement un dispositif d’autoévaluation portant sur l’ensemble de ses missions et sur la gestion. »


Ces 2 déclarations traduisent une accélération du processus : de la notion d’évaluation de l’enseignement on est passé à celle de démarche qualité appliquée à l’ensemble des missions des universités. Simultanément la pression exercée par le ministère s’accentue, il est clairement dit que les moyens attribués dans le cadre des plans quadriennaux seront conditionnés par l’entrée dans ce processus.


Simultanément, des universités continuent d’avancer sur le terrain, et l’on voit paraître des retours d’expériences. L’université de Marne La Vallée publie un manuel d’aide à l’évaluation d’un enseignement en avril 2003, s’appuyant sur quatre années d’expérience  ; ce document constitue une base très utile, susceptible de faire gagner beaucoup de temps en évitant de réinventer tout depuis le début. En novembre 2004 c’est l’Observatoire des Formations, des Insertions Professionnelles, Evaluations (OFIPE), toujours à Marne La Vallée, qui publie une revue des sites des universités dédiés à l’évaluation des enseignements et des formations . On notera que seules six universités sur les 83 sites explorés publient en ligne les résultats d’évaluation de l’enseignement. Les démarches d’évaluation des formations sont de plus en plus nombreuses mais un effort de transparence reste à faire.


Enfin le colloque européen « De Berlin à Bergen, nouveaux enjeux de l’évaluation », organisé à Dijon en juin 2004 , apporte sa pierre à l’édifice, et indique qu’un accord semble ressortir du colloque. C’est celui de la nécessité et de l’utilité de l’évaluation. Mais pas n’importe laquelle, ni n’importe comment. Est privilégiée clairement l’évaluation institutionnelle dans le sens où elle apporte des opportunités de progrès aux établissements et où elle est une occasion de clarifier leur « réputation » ou leur « identité ». Tous les témoignages recueillis (France et étranger) attestent de l ‘effet bénéfique de l’évaluation sur les stratégies de l’établissement ».

 

 

 

Éléments d’analyse
Si nous nous essayons à déchiffrer le sens de cette histoire, elle s’avère riche de ramifications souterraines plus ou moins attendues. Pourtant le point de départ est d’une simplicité incontestable : dans un contexte d’autonomie grandissante les universités ont besoin de mettre en place des indicateurs de pilotage interne, en particulier en ce qui concerne leur activité de formation. Difficile de refuser cette affirmation, d’autant plus qu’elle va dans le sens des démarches qualité introduites depuis longtemps dans les entreprises. Idée politiquement correcte, elle permet de donner un visage anodin à tous les doutes qui pourraient exister quant à la qualité réelle de l’enseignement universitaire capable du meilleur mais aussi parfois du pire, sans aucun contrôle. Or mettre le pied dans une démarche d’évaluation de l’enseignement universitaire, par conviction ou sous la pression conjuguée des institutions, s’avère être de nature à déclencher une suite de rebondissements : l’évaluation des formations s’appuyant sur l’avis des étudiants envisagée au départ sera ensuite à compléter par de nouveaux indicateurs tels que les taux de réussite ou l’insertion professionnelle, pour déboucher finalement sur l’exigence d’un tableau de bord global, renseignant précisément et à tout instant sur les activités d’enseignement, mais aussi de recherche et de management de l’établissement. Il s’agit bien, ainsi que les institutions le disent, de faire entrer la culture « qualité » dans les universités. Au passage cela nécessite la mise en place de structures de type Observatoire de la Vie Etudiante (OVE), chargées de l’observation de l’entrée des étudiants à l’université, puis de leur parcours de formation et enfin de leur insertion professionnelle.

Cependant la production de tableaux de bord n’est pas une fin en soi. Les informations données par les indicateurs doivent être analysées en détail, pour nourrir la construction d’une politique d’établissement. Ce n’est finalement pas la démarche d’évaluation en elle-même qui est intéressante, mais la possibilité qu’elle ouvre d’une réflexion éclairée objectivement. Il y a là une nuance de taille, car l’on pourrait imaginer des universités exemplaires en matière d’évaluation des formations, produisant des résultats fréquents et nombreux, bien exposés dans la vitrine d’un site, et ne donnant lieu à aucun travail d’exploitation. A ce sujet Jacques Dejean précise bien que l’évaluation est « une démarche avant d’être une technique ».


Allant dans le même sens Michel Lecointe élargit encore le rôle de la démarche d’évaluation : « L’évaluation, qu’elle soit quantitative ou qualitative, doit produire du sens à la fois pour le pilote mais aussi pour l’ensemble des acteurs du système, sinon elle n’est que contrôle. Le contrôle, même s’il est nécessaire, fait de l’individu un agent et non un acteur du système. L’évaluation, en donnant du sens, permet que chacun, à sa place, peut comprendre ce qu’il fait avec les autres, ce qui convient ou ne convient pas, ce qui est réussi ou non. Cela n’exclut nullement que l’interprétation faite des données fasse l’objet de débat, de controverse voire d’appréciation conflictuelle ».
Les dangers d’une « l’évaluationnite » (pour reprendre un terme employé par Michel Lecointe), ne produisant que des chiffres et pas de sens, sont bien réels, les techniques d’évaluation en elles mêmes étant clairement beaucoup plus faciles à mettre en œuvre que l’analyse des résultats, ou plus exigeant encore, que la conception de projets pour améliorer la qualité de l’enseignement.
Cependant si ce risque doit être signalé, il n’est pas inéluctable, puisque l’on a vu la réflexion progresser dans certaines universités bien au-delà de simples procédures d’évaluation, prouvant si besoin était tout l’intérêt d’entrer dans la démarche. À la lumière de ces expériences, ous pouvons d’ores et déjà citer trois effets qui peuvent être favorisés par une démarche d’évaluation de l’enseignement.


Tout d’abord le processus d’évaluation fournit l’occasion institutionnalisée de réactiver une réflexion pédagogique de fond au sein des équipes pédagogiques. Réactiver, parce qu’à y réfléchir nous focalisons plus souvent nos efforts sur la coordination des interventions des différents enseignants, que sur la construction d’objectifs d’enseignement communs ; nos discussions se placent plus souvent sur le terrain des contenus pour définir un ensemble cohérent, que sur celui des stratégies pédagogiques. Finalement nous ne nous attaquerions qu’assez rarement, et dans le contexte plus confortable d’équipes qui s’entendent bien à priori, à des questions de fond qui nécessitent de quitter le cadre rassurant d’arguments aux allures rationnelles et scientifiques. Or si la commission paritaire enseignants-étudiants fournit l’occasion de traiter les questions de qualité de l’organisation, de la coordination et de la cohérence interne des enseignements, elle peut aussi, par le biais d’interventions d’étudiants, soulever des questions plus profondes liées à des difficultés d’apprentissage. Et si l’équipe pédagogique est prête à tendre une oreille attentive et ouverte cela peut être le point de départ d’évolutions en profondeur, débouchant sur le terrain des innovations pédagogiques souvent évoqué en lien avec l’évaluation. Ainsi la commission paritaire offre-t-elle la possibilité, en un temps et un lieu bien définis, de nouer un dialogue au sein de l’équipe pédagogique (comprise ici au sens large, elle peut inclure des personnels techniques impliqués dans les formations, tels que les secrétaires pédagogiques ou le personnel technique des salles TP), mais aussi avec les étudiants dont l’avis est indispensable pour bien situer les difficultés. La procédure d’évaluation permet aussi de démarrer la discussion sur des bases saines, à partir d’éléments statistiques chiffrés, représentatifs de l’avis de l’ensemble des étudiants. Il faudra ensuite de prolonger ce travail par la proposition de projets précis, mais il y a là un point de départ solide et indispensable.


Un deuxième effet de l’entrée dans une démarche d’évaluation de l’enseignement universitaire est de nous renvoyer aux fondements de notre activité d’enseignant, un sujet que nous classons souvent très rapidement et dès le début de la carrière en choisissant la facilité du registre de la reproduction de nos propres enseignants. Or nous trouvons sous la plume de Jacques Dejean : « dans un univers comme l’enseignement supérieur, la qualité peut sans doute être davantage approchée par l’atteinte des objectifs et la réalisation des effets recherchés que par le respect de normes de production. Encore faut-il que lesdits objectifs soient définis avec un minimum de précision et qu’ils soient évalués avec validité et fiabilité ». L’économie d’une réflexion sur nos objectifs d’enseignement serait donc tout simplement incompatible avec la mise en œuvre de démarches d’évaluation ; on repense au passage à toutes les difficultés rencontrées pour rédiger les questionnaires d’évaluation, souffrant sans aucun doute du peu de clarté de nos objectifs de formation . De plus dans le contexte actuel, marqué simultanément par des préoccupations grandissantes d’insertion professionnelle et par une extension permanente de l’étendue des connaissances, la question des objectifs de formation prend une dimension nouvelle ; acquisition de méthodes de travail et de savoirs être versus acquisition de connaissances, il y a là un vrai sujet de débat, sur lequel chaque équipe pédagogique doit se positionner afin de se donner les moyens de mettre en œuvre des stratégies adéquates. Revenons à Jacques Dejean qui complète ensuite sa pensée en citant Marc Romainville : « Les universités les plus à même de relever les défis inhérents à la création d’un espace européen de l’enseignement supérieur seront sans doute celles qui auront entrepris des efforts d’explicitation de ce que valident leurs diplômes » et il ajoute « cela signifie que l’évaluation des acquis des étudiants est sans doute une des dimensions de l’évaluation de la qualité des universités ». Nouveau rebondissement dans l’aventure de l’évaluation, après avoir identifié la nécessité de définir les objectifs précis de nos formations nous débouchons sur la question de l’évaluation des acquis des étudiants. Vaste sujet, car poser un sujet de contrôle « des connaissances » (l’appellation en elle-même pose déjà question) sans avoir défini clairement les objectifs de la formation peut devenir un exercice osé, piloté en grande partie par nos attentes implicites ; si ce manque de transparence ne gêne pas les étudiants bien affiliés au système universitaire, il menace d’échec ceux pour qui un certain nombre d’attentes ne vont pas d’elles mêmes. Dans un rapport commandé par le ministère à propos de l’évaluation des acquis des étudiants , Marc Romainville note que :
« - les acquis des étudiants ne sont pas suffisamment explicités, identifiés et répertoriés ;
- les acquis majeurs, aux yeux des étudiants et du monde du travail, ne sont peut être pas ceux qui sont au cœur des examens ;
- si l’université recentrait ses pratiques d’évaluation sur ces acquis essentiels, on peut faire l’hypothèse qu’elle parviendrait à les développer davantage. »

 

Face à des questions d’une telle ampleur nous nous sentons bien démunis, et cela fort logiquement, puisque nous n’avons reçu aucune formation au métier d’enseignant. Or si des profils d’étudiants reproduisant ceux de leurs enseignants ont permis jusqu’alors d’enseigner en ce contentant d’exposer les connaissances naturellement, il s’avère que le public étudiant s’est beaucoup diversifié, et qu’il est maintenant indispensable pour l’enseignant de savoir s’adapter à des d’étudiants aux histoires et aux profils très diversifiés, parfois radicalement différents du sien. Comme le suggérait déjà le congrès CIME en 1998, la notion de formation au métier d’enseignant, aussi bien initiale que continue, apparaît comme un cadre indispensable pour donner aux enseignants les moyens de progresser.


Activation des équipes pédagogiques, innovation, formation, en effet les ramifications de la démarche d’évaluation s’avèrent à la fois riches et ambitieuses. Elles sont également clairement identifiées dans le Livre des références, où en plus de la référence A.II.3 déjà citée à propos de l’évaluation, on trouve la référence A.II.4, critère 1 ( Il existe un service ressource, en liaison avec le CEVU, qui favorise la réflexion pédagogique) et critère 4 (Des formations sont proposées aux enseignants-chercheurs).

 

 

Quelles perspectives ?
Si la démarche d’évaluation de l’enseignement universitaire peut générer tous ces effets positifs, cela n’est en rien automatique ; pour produire des fruits elle doit être constamment suivie, aidée, repensée. Que peut-on identifier comme conditions favorables ?


Des compétences pointues : par exemple en statistiques et en techniques d’enquêtes pour les OVE, en sciences de l’éducation et en sociologie pour les Structures Universitaires de Pédagogie. Plutôt que d’entreprendre des réflexions à partir du niveau zéro, entourons nous plutôt de personnes ressources disposant de ces compétences précises. Ce point est à lier à la notion de politique de gestion des ressources humaines de l’université.


Une évolution des services universitaires : la mise en place de nouvelles structures telles que les SUP ou les OVE nécessite une prise en main courageuse et déterminée de ces projets ; il y aura des résistances à vaincre, des moyens à redéployer, et dans ce contexte une volonté politique locale forte est indispensable.


Un travail d’équipe : la démarche d’évaluation et ses conséquences est délicate à mettre en œuvre, il faut y réfléchir à plusieurs, et inscrire chaque action dans la dynamique d’un tout cohérent. Cela veut dire faire des progrès pour passer d’habitudes de travail essentiellement individuelles à une culture du partage, de la confiance et de l’échange. Plus il y aura d’universitaires impliqués dans des groupes de travail, plus l’adhésion et le soutien aux projets sera fort.


Une mutualisation entre les universités : dans ce contexte complexe rien ne remplace les échanges d’expériences et de réflexions, aussi bien pour gagner du temps et éviter des tâtonnements, que pour bénéficier d’une dynamique d’ensemble. Participer au développement de réseaux coopératifs est de nature à consolider les démarches locales.


Une politique d’établissement : évidemment serions nous tentés de dire. Rien d’évident pourtant, il faut une vraie détermination du pilotage pour que l’on ne se laisse pas aller à répéter de vieilles habitudes dont on ne connaît même plus la justification. Les conseils ont un rôle clef à jouer, mais actuellement on constate que la gestion d’un quotidien étouffant et très administratif ne laisse que très peu de place au travail de clarification d’une politique raisonnée et argumentée. Il faut aussi s’assurer que cette politique diffuse partout dans l’université, pour que tous puissent s’en emparer et en faire un objet de réflexion ; cela passe par le relais d’une communication efficace.

 

 

 

En guise de conclusion
L’introduction d’une culture qualité dans les universités n’est pas une démarche du genre à sécréter le confort. Il s’agit d’un exercice délicat, exposé à des travers, des faiblesses. Cependant des effets positifs sont actuellement clairement identifiés. Aux universités de montrer qu’elles sont à même de se saisir des démarches d’évaluation, en particulier pour l’enseignement, pour éclairer le pilotage et dynamiser l'évolution.