Publié le 29 août 2018
Nous vous proposons de partager notre expertise sur l’évaluation avec cette série de publications scientifiques. Découvrez ci-dessous un article sur la question de l’introduction des outils numériques dans l’évaluation d’un test et ses répercussions sur la mesure de la compétence testée.
Dans des sociétés de plus en plus connectées, où de très nombreuses personnes sont en contact avec des outils numériques pour l’échange d’informations, la tentation est grande de s’appuyer sur les possibilités offertes par le numérique dans le domaine de l’évaluation.
Toutefois, l’introduction des outils numériques dans l’évaluation soulève inévitablement des questions concernant l’altération éventuelle du construit du test par les compétences numériques et l’apparition d’une variance non souhaitée dans les scores.
Pour les tests informatisés à grande échelle dans le domaine des langues, qui souvent existaient également au format papier, un des enjeux était de garantir l’équivalence entre la version électronique et la version papier-crayon.
Cela a souvent conduit à une utilisation a minima des possibilités numériques, pour que les deux versions restent les plus proches possibles et que les candidats puissent parcourir aisément le test au moyen d’une souris.
Dans la cadre de la refonte de ses certifications de français professionnel, la CCI Paris Ile-de-France a décidé de proposer les épreuves de la compétence « Comprendre et traiter de l’information » exclusivement par voie numérique et d’exploiter une variété de formats items (choix dans liste, glisser-déposer, boîtes de saisie…).
Ce recours à l’outil numérique lui permet de proposer une évaluation par tâches plus réaliste, reflétant davantage les processus cognitifs mis en œuvre dans la réalisation d’activités langagières au sein de l’entreprise et qui sont souvent difficilement modélisables en format papier/crayon sans avoir recours à une évaluation humaine.
Ces certifications s’adressent à une population d’étudiants et de salariés, dont la familiarité avec l’outil informatique, aujourd’hui difficilement contournable dans le monde de l’entreprise, est un prérequis.
Les candidats passent certes en général ces certifications à l’issue d’une formation durant laquelle ils ont la possibilité de se familiariser avec les tâches proposées. Un tutoriel interactif leur est également proposé en libre accès (https://www.lefrancaisdesaffaires.fr/ressources/les-tutoriels-d-entrainement/tutoriels-dfp/).
Il convient néanmoins de s’assurer que les différentes modalités de réponse proposées (formats d’items) n’introduisent pas une variance non souhaitée dans les résultats, certains candidats pouvant être moins à l’aise avec certaines modalités.
Pour cela, nous avons analysé les réponses aux items des activités à correction automatique des candidats au Diplôme de français professionnel pour l’année 2017. L’encart ci-dessous présente ces activités. Pour trois d’entre-elles, la modalité de réponse est le choix d’une option dans une liste, et pour les trois autres la modalité de réponse est un glisser-déposer d’une étiquette dans un cadre de réponse.
Activités à correction automatique de la compétence
« Comprendre et traiter de l’information » du Diplôme de français professionnel Affaires B1
|
Habiletés |
Activités |
Modalités de réponse |
NB réponses attendues |
|
Traiter l’information écrite |
1 : Commenter un graphique |
Choix dans listes |
5 |
|
2 : Apporter une réponse adaptée dans une situation problématique |
Glisser-déposer |
10 |
|
|
3 : Réserver un espace d’exposition sur un salon, en tenant compte des instructions données |
Choix dans listes |
10 |
|
|
4 : Compléter une fiche récapitulative de projet, établir des conclusions opérationnelles à partir des informations données |
Glisser-déposer |
12 |
|
|
Traiter l’information orale |
5 : Organiser ses notes |
Glisser-déposer |
5 |
|
6 : Transmettre la teneur du message d’un client et des instructions à un collègue |
Choix dans listes |
8 |
Si le type de modalité de réponse interférait nettement avec la compétence des candidats, i.e. si des candidats bénéficiaient d’un avantage compétitif du fait d’une modalité de réponse particulière, il serait possible de mettre en évidence statistiquement cette interaction.
Nos analyses ont mis en évidence la présence de deux facteurs dominants, dont le premier est un facteur commun à toutes les activités, qui représente la compétence à traiter l’information et interagir en français (ce facteur explique 44,1% de la variance des scores).
Le second facteur, qui explique 14,7% de la variance, ne met pas en opposition les activités selon leur modalité de réponse, mais des activités dont le document support est écrit à des activités dont le document support est oral. Certains d’entre eux peuvent être plus à l’aise dans la compréhension d’un message oral qu’écrit (ou inversement).
En conclusion, compte-tenu de la nature du public ciblé par les diplômes de français professionnel, les différences éventuelles de familiarité des candidats avec l’outil informatique ne semblent pas, pour les activités proposées dans le Diplôme Affaires B1, introduire une variance non souhaitée dans les données. C’est davantage la nature écrite ou orale des documents supports qui explique les différences de performances entre individus selon les tâches.
Cet article fait suite à une communication présentée à l’occasion du 30e colloque de l’ADMEE-Europe, organisé par l’université du Luxembourg du 10 au 12 janvier 2018.
Casanova, D., Aw, A., Demeuse, M. (2018). Quand le numérique défie la mesure. Comment veiller à la qualité de certifications en langue professionnelle au format numérique ? In Actes du 30e colloque international de l’Association pour le Développement des Méthodologies d’Évaluation en Éducation (ADMEE-Europe). Belval, Luxembourg. https://admee2018.sciencesconf.org/data/pages/ADMEE_2018_Actes_du_colloque.pdf (pp. 373-386)
