Text Inspector corpus linguistics tool on trial: Checking accuracy for students' writings assessment

Abstract

Digital tools are increasingly present in education not only to enhance teaching but also to assist educators with lesson planning and students’ assessment. This undergraduate dissertation defends the use of corpus linguistics tools by language teachers to carry out their work more efficiently. In fact, the dissertation’s main objective is to test one of these applications called Text Inspector to find out if English teachers could use it to evaluate the accuracy of students' writings. To this end, corpora compiled from undergraduate dissertation abstracts of students in Engineering, Business Administration and Early Childhood Teaching at University of Valladolid (Uva) have been introduced in the software, which automatically determines the Common European Framework of Reference for languages (CEFR) level of each group. Then, some metrics have been applied to the data to scientifically validate the reliability of the tool, finding some limitations.

Las herramientas digitales se incluyen cada vez más en Educación, no sólo para mejorar la enseñanza, sino también para planificar las clases y puntuar a los alumnos. Este trabajo final de grado defiende el uso de herramientas de lingüística de corpus por parte de los profesores de idiomas para trabajar de forma más eficiente. De hecho, el objetivo principal del mismo es probar una de estas aplicaciones, llamada Text Inspector, para averiguar si los profesores de inglés podrían utilizarla para evaluar los escritos de sus alumnos. Para ello, se han introducido en el software corpus compilados a partir de abstracts de trabajos finales de grado de estudiantes de Ingeniería, Administración de Empresas y Educación Infantil de la Universidad de Valladolid (Uva), determinando automáticamente para cada grupo su nivel del Marco Común Europeo de Referencia para las lenguas (MCER). A continuación, se han aplicado algunas métricas a los datos para validar científicamente la fiabilidad de la herramienta, descubriendo algunas limitaciones.