Generación automática de recursos de aprendizaje con LLMS

Abstract

Este trabajo del Máster en Inteligencia de Negocio y Big Data en Entornos Seguros presenta una propuesta en cuanto a la generación de contenido educativo, mediante el uso de un modelo de lenguaje de gran escala (LLMs) como Mistral 7B. El objetivo principal es utilizar un modelo de LLMs e implementar una arquitectura RAG (Retrieval- Augmented Generation), con la finalidad de crear un sistema capaz de generar enunciados de casos de estudios de asignaturas universitarias relacionadas con bases de datos. Dentro de los requisitos fundamentales del proyecto, se encuentran el uso de un modelo de código abierto y que sea eficiente en cuanto a rendimiento. Este proyecto ha sido desarrollado en el entorno ofrecido por Google Colab, apoyándose en la utilización de técnicas como RAG - Retrieval-Augmented Generation para el enriquecimiento contextual del modelo mediante la incorporación de materiales de estudios de años anteriores y la consulta de información disponible en la web relacionada al tema. Los resultados obtenidos demuestran que, mediante el uso de modelos de código abierto como Mistral 7B y técnicas de recuperación aumentada (RAG), es posible generar casos de estudio relevantes, coherentes y ajustables en cuanto al nivel de complejidad requerido. Las métricas de evaluación, como BERTScore, muestran valores cercanos a uno en los casos mejor alineados, indicando una alta similitud semántica con los contenidos de referencia. Esto evidencia el potencial de los modelos LLMs, cuando son correctamente orientados mediante técnicas de prompt engineering y recuperación contextual, para la creación de contenido educativo personalizado.Esta propuesta busca contribuir a la disminución del tiempo invertido por los docentes en la elaboración de materiales académicos y permite la producción de contenido personalizado de acuerdo al nivel de complejidad de los estudiantes, propiciando el aprendizaje de forma autónoma y mantiene la motivación estudiantil.

This work, developed as part of the Master’s program in Business Intelligence and Big Data in Secure Environments, presents a proposal for generating educational content through the use of a large language model (LLM) such as Mistral 7B. The main objective is to utilize an LLM and implement a Retrieval-Augmented Generation (RAG) architecture to create a system capable of generating case study prompts for university courses related to databases. Among the fundamental requirements of the project are the use of an opensource model that is also efficient in terms of performance. The project has been developed in the Google Colab environment, leveraging techniques like RAG to enrich the model’s context by incorporating study materials from previous years and querying relevant information available on the web. The results demonstrate that, by using open-source models like Mistral 7B and augmented retrieval techniques (RAG), it is possible to generate relevant, coherent case studies that can be adjusted according to the required complexity level. Evaluation metrics such as BERTScore show values close to one in well-aligned cases, indicating a high semantic similarity with the reference content. This highlights the potential of LLMs, when properly guided through prompt engineering and contextual retrieval, to efficiently create personalized educational content.This solution helps reduce the time educators spend developing teaching materials, allows for resources tailored to students’ levels, fosters autonomous learning, and contributes to maintaining student motivation through relevant and contextualized practical exercises.