Los cuestionarios de evaluación del MOOC

Notas sobre la calidad de los cuestionarios de evaluación

La forma más habitual de evaluación del aprendizaje que encontramos en los cursos MOOC consiste en el uso de cuestionarios de tipo test, normalmente de preguntas con respuesta de opción múltiple (Multiple Choice Questions, MCQ).

La calidad de la evaluación es uno de los aspectos más discutidos cuando se trata sobre la eficacia de los MOOCs en la enseñanza. Este aspecto del curso es de enorme importancia, sobre todo teniendo en cuenta la tendencia a utilizar cursos al estilo de los MOOCs cada vez más como parte de programas educativos formales, con certificación. Si un cuestionario no es de suficiente calidad, podría producirse el efecto indeseado de que estudiantes superaran pruebas que están en realidad más allá de su capacidad, simplemente debido a defectos en el diseño y redacción de las cuestiones. Por otro lado, enfrentarse a preguntas y respuestas de baja calidad en los cuestionarios de evaluación daña gravemente la experiencia de los participantes en el curso.

Es buena práctica pedir siempre la revisión de los cuestionarios a uno o más colegas. Todos estamos expuestos a sesgos cognitivos y errores y, aunque podemos reducir sus efectos mediante el aprendizaje y la experiencia, no podemos eliminarlos completamente; la revisión por pares y el análisis estadístico del comportamiento de nuestras preguntas son herramientas de gran ayuda.

Un estudio reciente (Costello et al., 2018) ha identificado defectos presentes en cuestionarios de una muestra de cursos. Incluimos aquí un extracto traducido del marco de debilidades identificadas (puedes consultar el artículo original siguiendo la referencia incluida al final de la página).


Debilidades observadas en cuestionarios de MOOCs

Debilidades técnicas / formatos no aconsejables

Efecto potencial

Formatos obsoletos

Verdadero / Falso

Las cuestiones de Verdadero / Falso requieren que los examinados decidan si una afirmación es verdadera o falsa, cuestión delicada en un mundo de verdades absolutas escasas. Además, el examinado puede tener que hacer un juicio de valor sobre hasta qué punto una opción es correcta, lo que puede ser claro, o puede significar también la necesidad de interpretar qué tenía el examinador en mente al redactar la cuestión.

Preguntas muy complejas, de tipo K (elige la respuesta A si las opciones 1 y 2 son correctas, la B si son correctas la 1 y la 3, etc…)

Este formato introduce una complejidad innecesaria, alarga el tiempo de lectura, produce una varianza irrelevante de constructo y reduce la validez de los resultados.

Rellena el blanco

Estas preguntas pueden resultar difíciles de redactar sin incluir pistas gramaticales al examinado, por lo que en general es mejor no utilizarlas.

Oscuridad o ambigüedad de las preguntas

Información gratuita en el planteamiento

La inclusión de información irrelevante introduce una complejidad innecesaria y alarga el tiempo de lectura, produce una varianza irrelevante de constructo, y reduce la validez de la prueba. Los planteamientos deben estar centrados en la cuestión, y solo debe incluirse información relevante para responderla.

Información confusa o ambigua

Una pregunta redactada pobremente puede resultar confusa para el examinado, incluso para los muy capacitados, y son especialmente problemáticas para hablantes no nativos.

Planteamiento no centrado

Las preguntas deben ser claras y explícitas, planteando una cuestión precisa.

Términos absolutos

La supresión de las opciones que contienen términos como “siempre” o “nunca” mejora enormemente el riesgo de que los examinados elijan la opción correcta por casualidad. Además, incluso los términos supuestamente absolutos como “siempre” o “nunca” pueden interpretarse de diferentes formas, lo que significa que los examinados se ven forzados a hacer un juicio de valor sobre lo que el redactor quiere decir con ese término en el contexto dado.

Términos de frecuencia vagos

Las personas interpretan de formas muy diversas los términos sobre frecuencias. Su uso conlleva que los examinados tengan que hacer un juicio de valor sobre qué quiere decir el examinador con un término de frecuencia dado en el contexto de la pregunta en particular.

Planteamiento redactado en negativo

Algunos autores están a favor de que se pueda utilizar un enunciado negativo de vez en cuando, siempre que la oración sea simple y libre de ambigüedad. Otros sostienen que es muy difícil lograr una buena calidad de redacción con un enunciado en forma negativa, y que combinarlos con otras preguntas en positivo puede resultar confuso para los examinados.

Defectos estructurales o lógicos

Opciones y enunciado

Problemas en las opciones y no en el enunciado

El problema por resolver ha de estar en el enunciado, no en las opciones. Incluir problemas dentro de las opciones reduce la pregunta a una del tipo Verdadero / Falso, o incluso a una de tipo K compleja, con los problemas asociados a esos formatos (v. más arriba)

Pistas lógicas en el enunciado y en las opciones correctas

Pistas lógicas (gramaticales o numéricas) en el enunciado y en las opciones pueden facilitar que el examinado acierte la respuesta correcta sin tener conocimiento real del contenido.

Repetición de palabras en el enunciado y la respuesta correcta

El uso de palabras similares en el enunciado y en las opciones puede facilitar que el examinado acierte la respuesta correcta sin tener conocimiento real del contenido.

Opciones

La opción más larga es la correcta

Los autores frecuentemente tienen una tendencia a ser extremadamente cuidadosos al redactor la opción de respuesta correcta, incluyendo información exacta y una gramática precisa, lo que les lleva a hacer la opción más larga. De esta forma, los examinados pueden adivinar la respuesta correcta suponiendo que debe ser la más larga.

Distractores inverosímiles

La supresión de los distractores inverosímiles mejora el riesgo de que los examinados elijan la opción correcta por casualidad.

Más de una repuesta correcta, o ninguna

Apartarse del enfoque de la “única mejor respuesta” conduce a reducir el formato a una pregunta de tipo Verdadero / Falso o incluso de tipo K compleja, con los problemas propios de esos tipos (v. más arriba).

“Todos los anteriores”

El uso de “todas las anteriores” significa que los estudiantes pueden eliminar correctamente esta opción solo con identificar una de las otras respuestas incorrectas.

“Ninguno de los anteriores”

El uso de “ninguno de las anteriores” significa que los estudiantes pueden eliminar correctamente esta opción solo con identificar una de las otras respuestas correctas.

Orden de las opciones / posición de la opción correcta

Colocar la lista de opciones en un orden consistente en todo el examen protege al autor del sesgo de aversión a colocar la respuesta correcta en los extremos, la primera o la última. Esto hace que, en cuestiones de 5 opciones, la más frecuentemente correcta es la opción C. Si es técnicamente posible, debe preferirse la programación de un orden aleatorio en la presentación de las respuestas, de forma que se evite este fallo.

Señales de convergencia

Los autores sufren con frecuencia una tendencia a escribir opciones distractoras derivándolas de la opción correcta, alterando o suprimiendo algunas palabras o componentes; los examinados pueden adivinar cuál es la opción correcta seleccionando aquella en que más componentes aparecen juntos.


Referencias

Artículo distribuido con Licencia Internacional Creative Commons Attribution 4.0.(http://creativecommons.org/licenses/by/4.0/). La traducción de la tabla de debilidades de ítems de cuestionarios y sus efectos portenciales es nuestra.

(Acceso al artículo bajo licencia para usuarios UCM). Este estudio presenta 31 recomendaciones para redactar preguntas de opción múltiple, y trata de analizar su validez a la vista de la revisión de la literatura existente en libros de texto y de investigaciones realizadas.

 


Creado por: Jacinto de Castro (jdecastro@ucm.es) revisión: 10-dic-2019