Publié le 4 juillet 2018
Nous vous proposons de partager avec vous notre expertise sur l’évaluation avec cette série de publications scientifiques. Découvrez ci-dessous un article sur la question de la diversification des accents dans les tests de langue.
Dans un test de langue standardisé à vocation internationale, l’utilisation d’accents dans les bandes son qui sont diffusées aux candidats soulève des questions de désirabilité sociale, d’équité et de standardisation. L’introduction ou non de messages oraux comportant des accents particuliers dépend de l’objectif du test, de son usage par les prescripteurs et du ou des publics ciblés.
Les choses se compliquent lorsqu’un même test est utilisé pour des enjeux différents et/ou par des prescripteurs de pays différents ayant une langue en partage. Des tensions apparaissent alors, compte-tenu de la multiplicité des publics et des usages du test : Doit-on tenir compte des accents dans l’évaluation de la compréhension orale ?
Cette question se pose notamment pour le Test d’évaluation de français (TEF). Si le TEF a été conçu à l’origine pour répondre à une demande et aux besoins d’écoles de commerce françaises qui accueillaient de nombreux étudiants étrangers, il est aujourd’hui fortement utilisé dans le cadre de démarches d’immigration au Canada ou au Québec.
Jusqu’à récemment, le TEF comportait exclusivement des bandes son à l’accent réputé « neutre ». Cet accent « standard » du TEF, qui s’inspire du « français des médias » pour les monologues ou interviews, est cependant souvent perçu comme un accent « français » par la société civile au Canada et au Québec et par les candidats qui passent le test sur place.
La question même de ce que constitue un accent est loin d’être triviale. Selon Raymond Renard (1979), « acoustiquement, l’accent est lié essentiellement à la variation d’intensité de la voix, bien que la durée, la hauteur et/ou le timbre puissent également jouer un rôle compensatoire ». D’autres chercheurs insistent sur sa dimension sociolinguistique (Fries & Deprez, 2003) et le fait que l’accent puisse être défini comme la façon dont le langage parlé d’un locuteur diffère de la variété locale du groupe d’individus qui l’écoute et de l’impact de cette différence sur les différents interlocuteurs (Derwing & Munro, 2009).
Le Cadre européen commun de référence pour les langues (Conseil de l’Europe, 2001) et les Niveaux de compétences linguistiques Canadiens (Immigration, Réfugiés et Citoyenneté Canada, 2012) ne proposent pas de définition de ce qui constitue l’accent. Ils y font cependant référence dans certains descripteurs de certaines échelle.
Selon ces référentiels, la présence d’accents est susceptible d’être un frein à la compréhension de textes oraux pour les locuteurs de niveau élémentaire ou intermédiaire d’une langue, ce qui peut encourager les concepteurs de tests à réserver l’utilisation d’accents variés aux questions de niveau le plus élevé. Mais ce qui constitue un accent familier pour un candidat diffère selon qu’il réside dans un pays francophone d’Afrique, d’Asie, d’Europe ou d’Amérique du Nord, ou dans un pays non francophone.
Réserver l’utilisation d’accents variés aux questions de niveau le plus élevé ne risque-t-il au contraire pas d’être inéquitable envers les candidats moins familiers de l’accent « standard » du test ?
Dans un monde globalisé, la capacité à comprendre des locuteurs à l’accent varié ne doit-elle pas faire partie du construit d’un test de compréhension orale ?
La question fait débat dans le monde anglophone et certains chercheurs s’intéressent également à l’usage d’accents non-anglophones dans des tests de compréhension en langue anglaise (Harding, L. 2011). Plusieurs études ont été menées en ce sens et conduisent à des résultats qui peuvent paraître contradictoires mais sont peut-être dus aux contextes expérimentaux.
Si la présence d’un accent même modéré est susceptible de modifier la compréhension d’un texte oral par les candidats selon leur familiarité avec le type d’accent en question, alors les effets de la présence de quelques textes à l’accent québécois au sein d’un questionnaire du TEF devraient être perceptibles en comparant les réponses des candidats passant ce test au Canada à ceux des candidats passant ce test en France (pour une même catégorie de candidats). A performance égale au test, les candidats familiers avec l’accent québécois devraient mieux réussir les items à l’accent québécois que les autres.
Le français des affaires a ainsi mené une étude en introduisant un nombre limité de bandes son à l’accent québécois au sein de plusieurs questionnaires. L’objectif était d’analyser la présence d’un éventuel fonctionnement différentiel des items selon la variable « groupe d’appartenance », en considérant, d’une part, les candidats ayant passé le test au Canada et, d’autre part, les candidats ayant passé le test en France (et en se limitant aux candidats passant le test dans une perspective d’immigration économique).
Les résultats de l’étude sont très contrastés et il semble que l’accent ne joue qu’un rôle limité dans les différences de compréhension d’un message du TEF selon que les candidats résident au Canada ou en France. Sur les dix questions portant sur un message à l’accent québécois, seules 3 présentent statistiquement un fonctionnement différentiel, dont une qui semble favoriser les candidats passant le test en France.
Par ailleurs, certains items à l’accent « standard » du TEF semblent favoriser les candidats passant le test au Canada. Il y a donc probablement d’autres facteurs intervenant dans la compréhension orale d’un message qui contribuent au fonctionnement différentiel des items et la prudence est de mise dans l’interprétation des résultats d’une telle analyse.
Plusieurs facteurs peuvent expliquer ces résultats. D’une part l’accent utilisé était modéré et restait dans l’esprit de l’accent « standard » du TEF, prenant pour référence l’accent des médias internationaux. D’autre part, ce sont principalement des monologues courts qui ont été utilisés dans ces versions du test. Des résultats différents pourraient apparaître sur de longues interviews. Enfin, la population qui passe le test a en général un niveau B1+ ou supérieur : l’effet potentiel de l’accent sur des candidats de niveau élémentaire ne peut donc pas être analysé.
Les résultats sont rassurants au sens que le standard utilisé dans le TEF en termes d’accent n’a apparemment pas de conséquences fâcheuses sur la compréhension des messages oraux selon le pays de résidence des candidats. Peut-être est-ce simplement dû au fait que, compte-tenu des enjeux pour les candidats, ces derniers se familiarisent avec l’accent utilisé lors de leur préparation au test.
Compte-tenu du fait que la grande majorité des candidats a pour objectif de s’installer durablement au Canada, au Québec ou en France, il ne semble cependant pas absurde d’intégrer une part significative de textes à l’accent québécois dans le test. Cela permettrait d’accroître la validité d’usage des résultats du test dans les procédures d’immigration canadiennes et québécoises par une prise en considération de la capacité à comprendre des messages oraux énoncés avec un accent canadien modéré, susceptible de favoriser l’insertion sociale.
Au-delà de ces deux accents, le test gagnerait à représenter plus largement la francophonie en introduisant une plus grande variété de référents culturels, tant à l’écrit qu’à l’oral, tout en conservant sa référence aux médias internationaux par souci de compréhensibilité. Les candidats au TEF sont en effet répartis dans plus d’une centaine de pays et peuvent être en contact avec différentes variétés locales de la langue française, qui en font sa richesse.
Tout être humain a sa façon propre de prononcer, d’articuler et de marquer phonétiquement ses propos. La capacité à traiter un message oral pour le comprendre implique de s’adapter aux particularités phonétiques de l’interlocuteur. Il semble donc pertinent d’inclure une variété d’accents dans un test de langue, plutôt que de promouvoir un accent particulier au motif qu’il constituerait le « standard » du test. C’est probablement davantage les choix retenus pour l’échantillonnage de ces accents qui doivent être questionnés, au regard de la vocation du test et des usages qui sont faits des résultats.
Retrouvez ici l’intégralité de la note de vulgarisation « Doit-on tenir compte des accents dans l’évaluation de la compréhension orale ? ». Elle fait suite à la communication « Nos items à l’accent québécois difR-ils ? », publiée dans les Actes du 30e colloque international de l’Association pour le Développement des Méthodologies d’Évaluation en Éducation, 10-12 janvier 2018 (ADMEE-Europe). [https://admee2018.sciencesconf.org/]
