Deep Learning aplicado a reconocimiento y caracterización de habla en usuarios con síndrome de Down

Abstract

Las personas con Síndrome de Down sufren muchos problemas a la hora de comunicarse debido a las dificultades propias de su condición. Los avances tecnológicos, en concreto la revolución del NLP, han hecho que nuestras vidas sean mucho mas fáciles y cómodas, pero estos sistemas no responden de igual forma a las personas con disfluencias. Por ello en este trabajo se pretende mejorar el rendimiento para habla anómala de estos modelos, para que sean usables por personas con disfluencias, y así poder mejorar su nivel de vida. Se plantean dos vías, la primera es el intento de conseguir un modelo reconocedor Voz-Texto para habla Down que garantice un rendimiento usable. Y la segunda corresponde a realizar una aproximación hacia la obtención de un evaluador automático del habla. En lo que respecta al reconocedor de Voz-Texto se han conseguido mejoras de hasta un 20 % con respecto al rendimiento que los mejores modelos de propósito general ofrecían para habla Down. Por último, en lo referente al evaluador automático, se puede concluir que dicha tarea no es para nada trivial y se necesita un estudio mucho más amplio y más profundo, que el que se ha realizado en este documento, para obtener un modelo usable y fiable.

People with Down syndrome face many problems when communicating due to the difficulties inherent to their condition. Technological advances, specifically the revolution in NLP, have made our lives much easier and more comfortable, but these systems do not respond equally well to people with speech disfluencies. Therefore, this work aims to improve the performance of these models for anomalous speech so that they can be used by people with disfluencies, thereby improving their quality of life. Two approaches are proposed: the first attempt to achieve a Voice-to-Text recognition model for Down syndrome speech that ensures usable performance. The second approach involves working towards the development of an automatic speech evaluator. Regarding the Voice-to-Text recognizer, improvements of up to 20 % have been achieved compared to the performance of the best general-purpose models for Down syndrome speech. Finally, with respect to the automatic evaluator, it can be concluded that this task is by no means trivial, and a much broader and deeper study than what has been conducted in this document is needed to obtain a usable and reliable model.