Procesamiento de lenguaje natural con Deep Learning para el análisis de perfiles profesionales en consejos de administración

Abstract

El gobierno corporativo ha ganado atención en el campo de las finanzas durante varias décadas. Juega un papel clave en la toma de decisiones de inversión o de negocio. Una de sus características más importantes es la independencia del consejo de administración debido a su importante función de control e influencia en diversas variables ligadas al rendimiento y creación de riqueza. Recientemente, los consejos de administración han sido criticados por su complacencia e incapacidad de prevenir crisis en la empresa. Debido a esto, se han ampliado las perspectivas del análisis de los consejos y ahora se incluyen características como la edad, el género, la nacionalidad o la educación. Esta última no puede medirse de forma cuantitativa, ya que no se puede recopilar con datos estructurados, por lo que se ha dejado de lado a pesar de su importancia. En este trabajo se realiza un análisis en profundidad de la experiencia de los consejos de administración de empresas de la bolsa de Madrid utilizando biografías, Procesamiento del Lenguaje Natural (PLN) y redes neuronales profundas. Primero, se construye un modelo de lenguaje (un modelo capaz de generar texto) en español. Después, se modifica y se convierte en un modelo de regresión mediante transferencia de aprendizaje. El modelo final es capaz de, dada una biografía de un consejero, proporcionar una medida de varios perfiles profesionales. Se utilizan dos arquitecturas que generan dos modelos distintos: redes neuronales recurrentes LSTM y transformers. A cada uno se le realiza un análisis de interpretabilidad mediante SHAP para obtener las palabras más importantes de las entradas. Los archivos de donde provienen las biografías se obtienen usando web scraping y se estructuran mediante un proceso ETL. Finalmente, se realiza una comparación de las dos arquitecturas que nos lleva a elegir el modelo con transformadores por su mejor rendimiento e interpretabilidad.

Corporate governance has been the subject of attention in the financial field of study for several decades. It plays a key role in making investment or business decisions. One of its most important features is the independece of boards of directors due to its importance on carrying out their control function and their influence on various company variables linked to performance and value creation. Recently, these boards of directors have been criticized for their complacency and inability to prevent corporate crisis. The effect of this criticism has widened the perspective of the board analysis, which now includes new characteristics such as age, gender, nationality or education. The latter cannot be measured quantitatively as it does not qualify as structured data, so it was left behind despite its importance. In this project, an in-depth analysis of the education of directive boards from the stock market of Madrid is conducted using biographies, Natural Language Processing (NLP) and deep neural networks. First, a spanish language model (i.e. a neural net capable of generating text) is built. Once the previous task is completed, the language model is modified and converted into a regression model using transfer learning. This final model is capable of, given a director biography, outputting a measure of several professional profiles. Two different architectures which provide two different models are used: recurrent LSTM neural networks and state of the art transformers. An interpretability analysis using SHAP is performed to obtain the key words of the inputs. The files containing the biographies used to build these models are extracted using web scraping and later structured in an ETL process. Finally, a comparison of the two architectures is given leading us to choose the transformer model thanks to its better performance and interpretability.