Análisis de emociones en la salud mental mediante modelos BERT: Un enfoque basado en procesamiento del lenguaje natural

Abstract

Este trabajo aborda el análisis automático de polaridad y emociones en textos extraóídos de redes sociales relacionados con la salud mental. Para ello, se ha utilizado un modelo preentrenado basado en la arquitectura DistilBERT, una versión simplificada y más eficiente de BERT. Su integración con la librería SimpleTransformers ha permitido una configuración más accesible y organizada del proceso de entrenamiento y evaluación. El objetivo principal fue adaptar el modelo al dominio de la salud mental y examinar su rendimiento en los procesos de clasificación de polaridad (positiva, negativa e indeterminada) y de emociones (amor/admiración, gratitud, comprensión/empatía/ identificación, tristeza/pena, enfado/desprecio/burla e indeterminado). Para ello, se utilizó un corpus desequilibrado, lo que ha motivado la aplicación de varias técnicas de ponderación de clases para ajustar esta distribución desigual. También se ha llevado a cabo una búsqueda sistemática de hiperparámetros mediante barridos aleatorios (random sweeps) informando configuraciones clave para la tasa de aprendizaje, el tamaño del lote y el número de épocas para cada experimento. Los resultados obtenidos indican un rendimiento competitivo del modelo, destacando la efectividad de las técnicas de balanceo en la tarea de emociones, donde las puntuaciones F1 en clases minoritarias aumentan considerablemente. En polaridad, el balanceo no siempre es beneficioso, especialmente en clases ambiguas como "Indeterminado". En general, el trabajo demuestra que los modelos de lenguaje preentrenados pueden usarse para identificar emociones en textos de salud mental y destaca la importancia de la selección de técnicas de ajuste en contextos con fuerte desbalance de clases.

This work focuses on the automatic analysis of polarity and emotions in texts extracted from social media related to mental health. To this end, a pre-trained model based on the DistilBERT architecture — a simplified and more efficient version of BERT — was used. Its integration with the SimpleTransformers library enabled a more accessible and organized configuration of the training and evaluation process. The main goal was to adapt the model to the mental health domain and assess its performance in polarity classification (positive, negative, and neutral) and emotion classification (love/admiration, gratitude, understanding/empathy/identification, sadness/grief, anger/contempt/mockery, and neutral). An imbalanced corpus was used, prompting the application of various class weighting techniques to compensate for the unequal distribution. Additionally, a systematic hyperparameter search was conducted through random sweeps, allowing for the identification of optimal learning rates, batch sizes, and number of epochs for each experiment. The results show competitive performance of the model, highlighting the effectiveness of the balancing techniques in the emotion classification task, where F1-scores for minority classes improved significantly. In the polarity task, however, the benefits of class weighting were less evident, especially for ambiguous classes such as “Neutral.” Overall, this work demonstrates the potential of pre-trained language models for identifying emotions in mental health texts and emphasizes the importance of selecting appropriate adjustment techniques when dealing with highly imbalanced classes.