Assisting Instructors in the Design and Provision of Personalized LA-informed Feedback in MOOCs

Abstract

Massive Open Online Courses (MOOCs) have gained increasing prominence in the educational landscape over the last decade. Despite their educational benefits and global adoption, MOOCs are still accompanied by several challenges that have an impact on the learning experience. The provision of timely and personalised feedback is one important challenge, often associated with learner disengagement. The field of Learning Analytics (LA) provides opportunities for scaling up the feedback interventions, enabling automated or semi-automated interventions. Yet, these LA solutions often lack course contextualisation, pedagogical grounding, and guidance for MOOC instructors in understanding and using such feedback tools. Building on this context, the current dissertation aims to assist instructors in the design and provision of personalised LA-informed feedback in MOOC environments. To this end, this dissertation proposes the accomplishment of three research objectives following a Design-Based Research methodological approach. This methodological approach resulted into four cycles, in which we employed a human-centred approach, involving MOOC instructors (and other stakeholders) both in the identification of the research problems, and in the design and refinement of the suggested proposals.

The first research objective deals with understanding the current state of instructor-led LA-informed feedback in MOOCs. Accordingly, we conducted a systematic literature review to understand the current LA proposals that support personalised interventions in MOOCs, and their implications for learners and instructors. The second research objective delves into the need of helping MOOC instructors to shape personalised and contextualised feedback. In response to this need, this dissertation proposes a conceptual framework named FeeD4Mi. FeeD4Mi includes a 5-dimension conceptual structure, accompanied by a process, a set of catalogues and a set of recommendations based on the identified learners’ problems for their courses. The third research objective aims at providing a manageable design and provision of personalised and contextualised feedback strategies in MOOCs. To this end, this dissertation proposes a set of design guidelines that can be transformed in a web-based tool to incorporate the FeeD4Mi catalogues, process and recommendations in a digital format, enabling the computer-interpretable representation of feedback strategies in MOOCs and their automatic or semi-automatic implementation during the enactment of MOOCs.

In total, four evaluative studies served to iteratively refine and assess FeeD4Mi regarding its completeness, usefulness for MOOC instructors, and impact of the feedback strategies designed on learners and instructors. At the same time, we assessed with MOOC instructors the usability, temporal workload, and potential adoption of the digital version of the framework. The results indicated the added value of the framework in guiding instructors in the design and provision of LA-informed feedback in MOOCs. Furthermore, the evaluators highlighted the flexibility of the tool, the possibility to automate feedback strategies and the usefulness in reflecting on potential learners’ problems, LA-based indicators and feedback reactions. Finally, the results of the evaluative studies also pointed out further research directions of feedback MOOCs and in other educational contexts where delivering feedback is also challenging (e.g., online, or hybrid teaching).

Los cursos masivos abiertos en línea (MOOC por sus siglas en inglés) han recibido una gran atención en el panorama educativo en las últimas décadas. A pesar de sus beneficios educativos y su adopción global, los MOOC vienen acompañados de varios desafíos que afectan al desarrollo de la experiencia de aprendizaje. La provisión de retroalimentación personalizada y en un tiempo adecuado es uno de esos desafíos, a menudo asociado con la pérdida de interés de los estudiantes. El campo de las Analíticas de Aprendizaje (LA por sus siglas en inglés) brinda oportunidades para ampliar las intervenciones de retroalimentación, permitiendo la configuración de intervenciones automáticas o semiautomáticas. Sin embargo, estas soluciones de LA carecen de contextualización del curso, de una base pedagógica y orientación para los instructores de MOOC en la comprensión y uso de las herramientas. De acuerdo con estas ideas, esta Tesis Doctoral tiene como objetivo ayudar a los instructores en el diseño y la provisión de retroalimentación (feedback en inglés) personalizada basada en analítica de aprendizaje en entornos MOOCs. Esta tesis aborda tres objetivos de investigación siguiendo un enfoque metodológico de Investigación Basada en Diseño. La Investigación Basada en el Diseño se desarrolló en cuatro ciclos metodológicos, durante los cuales empleamos un enfoque "centrado en el ser humano", involucrando a los instructores MOOC tanto en la identificación de los problemas de investigación como en el diseño y refinamiento de las propuestas sugeridas.

El primer objetivo de investigación trata de comprender cuál es el estado actual del uso de feedback informado por LA dirigida por un instructor en los MOOCs. En consecuencia, se realizó una revisión sistemática de la literatura para comprender cómo las herramientas actuales respaldan la necesidad de desarrollar intervenciones personalizadas en los MOOC y comprender cuál es el impacto que tiene en los estudiantes o profesores.

El segundo objetivo de investigación aborda la necesidad de ayudar al profesorado de MOOC en el diseño de feedback personalizado y contextualizado. Atendiendo a esta necesidad, esta Tesis Doctoral propone un marco conceptual denominado FeeD4Mi. FeeD4Mi consiste en una estructura conceptual de 5 dimensiones, acompañada de un proceso, un conjunto de catálogos, y un conjunto de recomendaciones para ayudar al profesorado en el diseño y provisión de LA- feedback en cursos MOOC.

El tercer objetivo de investigación pretende facilitar el diseño y puesta en marcha del uso de feedback basado en LA en MOOCs. Para ello, esta tesis propone un conjunto de guías de diseño para incorporar FeeD4Mi en una herramienta web, incluyendo sus catálogos, procesos y recomendaciones. Dicha herramienta permite así la representación digital de estrategias de feedback para MOOCs, y su implementación automática o semiautomática durante la ejecución del curso. Se realizaron diversos estudios evaluativos que sirvieron para refinar y evaluar iterativamente FeeD4Mi (y sus componentes asociados) tanto con estudiantes como con instructores. A su vez, se evaluó la usabilidad, la carga de trabajo y la posible adopción digital del marco FeeD4Mi en su versión web (e-FeeD4Mi).

Los resultados indicaron el valor añadido del marco para guiar a los instructores en el diseño y la provisión de intervenciones de retroalimentación informadas por LA en los MOOC. Además, los participantes destacaron la flexibilidad que les ofreció la herramienta, la posibilidad de automatizar estrategias de retroalimentación y los diseños interpretables por computadora que soportan la conexión con los indicadores de las plataformas MOOC. Finalmente, los resultados de los estudios señalaron nuevas direcciones de investigación en el área de la retroalimentación en los MOOC y en otros contextos educativos (enseñanza en línea o híbrida) donde brindar retroalimentación también es un desafío.