[Article] Évaluation d'un outil méthodologique, le " double QCM ", pour le recueil de conceptions et l'analyse de raisonnements en physique
p.41-77


Dans le cadre d’un suivi du DEUG mis en place à l’université Paris 7, un nouvel outil méthodologique de recueil de conceptions et raisonnements en physique a été élaboré afin de permettre une étude à grande échelle. Il s’agit d’un double QCM dans lequel les étudiants doivent non seulement choisir une réponse parmi celles qui leurs sont proposées mais aussi choisir de la même façon la justification qui leur semble la plus pertinente. L’objet de cette recherche est d’évaluer cet outil et de déterminer dans quelle mesure ce type de formulation influe sur les réponses des étudiants. Une étude préliminaire a montré que certains facteurs semblaient « aider » les étudiants lorsque le questionnaire est proposé sous forme de double QCM, c’est-à-dire que les taux de bonnes réponses obtenus sous cette forme sont supérieurs à ceux obtenus avec des questions ouvertes, alors que d’autres facteurs semblent les « gêner ». Ces différents facteurs ont ensuite été testés indépendamment et nous avons montré que deux facteurs influencent de façon significative les résultats d’un double QCM. Il s’agit de la présence ou de l’absence d’un distracteur très attractif ainsi que de la « force » de « l’association » entre les réponses et les justifications. Nous avons pour finir envisagé les implications pratiques de ces résultats, tant du point de vue de problématiques d’évaluation à grande échelle que du point de vue de certaines recherches en didactique. Mots clefs : méthodologie, évaluation, physique, 1er cycle universitaire, QCM.


En el ámbito de un seguimiento del Diploma Universitario de Estudios Generales francés (DEUG) organizado en la universidad de Paris 7, se ha elaborado un nuevo instrumento metodológico de recogida de concepciones y de razonamientos en ciencias físicas en vista de permitir un estudio a gran escala. Se trata de un doble cuestionario de respuestas múltiples o test en el cual los estudiantes deben no solamente elegir una respuesta entre las que se les propone sino también, con el mismo método, la justificación que les parece más pertinente. El objeto de esta investigación es evaluar este instrumento y determinar en que medida este tipo de formulación influye en las respuestas de los estudiantes. Un estudio preliminar ha mostrado que ciertos factores parecían « ayudar » a los estudiantes cuando el cuestionario se propone bajo la forma de doble test es decir que los porcentajes de respuestas correctas obtenidos bajo esta forma son superiores a aquellos obtenidos con preguntas abiertas pero que otros factores parecen « dificultar » su trabajo. Los diferentes factores se probaron luego independientemente y hemos demostrado que dos factores influyen de manera significativa en los resultados de un test doble. Se trata de la presencia o de la ausencia de un elemento de distracción muy atractivo así como de la « fuerza » de « la asociación » entre las respuestas y las justificaciones. Por último hemos examinado las implicaciones prácticas de estos resultados, tanto del punto de vista de problemáticas de evaluaciones a gran escala como del punto de vista de ciertas investigaciones en didáctica. Palabras clave : metodología - evaluación - ciencias físicas - primer ciclo universitario - test.


Paris-7 University has recently developed a new methodological tool designed to evaluate student progress in physics during their second year of studies which should allow for a larger-scale study of student understanding and reasoning in the discipline. It consists of a series of double multiple-choice-questions (DMCQ) in which students are first asked to choose from a series of answers. They are then obliged to justify their choice from a series of explanations. The aim was to assess the effectiveness of the DMCQ and determine its influence on student decisions. A preliminary study showed that certain factors inherent to this type of evaluation seemed to help students in finding the right answer whereas others were a source of confusion. Research was thus carried out on the individual factors leading to the isolation of two influential variables on student responses: firstly, the presence of an eye-catching alternative answer amongst the choices and secondly, a high degree of association between answer and justification. Practical uses based upon the results were also envisaged: that of larger-scale evaluations and that of didactics research. Key words: methodology, testing, physical, undergraduate programme, multiple-choice questions (MCQ).


Ein neues methodologisches Werkzeug wurde geschaffen, um die Fortschritte der Studenten in Physik während ihrer ersten beiden Studienjahre an der Universität Paris 7 zu evaluieren. Dieses Werkzeug sollte eine breit angelegte Untersuchung von den Auffassungen und den logischen Gedankengängen der Studenten in Physik ermöglichen. Es handelt sich um einen doppelten Multiple-Choice-Fragebogen, in dem die Studenten nicht nur eine Antwort unter denjenigen, die ihnen vorgeschlagen wurden, wählen müssen, sondern auch auf dieselbe Art die Rechtfertigung aussuchen müssen, die ihnen die treffendste zu sein scheint. Der Zweck dieser Untersuchung ist, dieses Werkzeug zu bewerten und zu bestimmen, inwiefern dieser Formulierungstyp die Antworten der Studenten beeinflusst. Eine vorbereitende Studie hat gezeigt, dass einige Faktoren den Studenten zu „helfen“ schienen, wenn der Fragebogen in Form eines doppelten Multiple-Choice-Fragebogens vorgeschlagen wird, das heit es hat sich herausgestellt, dass die Raten an mit dieser Form des Fragebogens erzielten richtigen Antworten höher sind als die mit offenen Fragen erzielten Raten, während andere Faktoren sie zu „stören“ schienen. Diese verschiedenen Faktoren wurden dann unabhängig voneinander getestet und wir haben gezeigt, dass zwei Faktoren die Ergebnisse eines doppelten Multiple-Choice-Fragebogens auf eine bedeutsame Weise beeinflussen. Es handelt sich um die Gegenwart oder die Abwesenheit eines besonders verlockenden Distraktoren, sowie um die „Kraft“ der „Assoziation“ zwischen Antworten und Rechtfertigungen. Zum Schluss haben wir die praktischen Auswirkungen dieser Ergebnisse in Erwägung gezogen, sowohl hinsichtlich der Problemstellungen bei breit angelegten Evaluationen, als auch hinsichtlich bestimmter Didaktikforschungen. Schlüsselwörter: Methodologie, Evaluation, Physik, Grundstudium an der Universität, Multiple-Choice-Fragebogen.