Análisis prosódico y de sentimientos en doblaje mediante redes neuronales del lenguaje natural: el caso del redoblaje italiano de la serie The Big Bang Theory (2007-2019)

Abstract

This doctoral dissertation investigates the impact of audiovisual dubbing on the emotional and prosodic characterization of the character Sheldon Cooper in the television series The Big Bang Theory, comparing the original English version with its Italian dubbed versions. The main objective is to assess how linguistic, cultural, and vocal adaptation choices influence the perception of the character's emotional identity in multilingual contexts. To this end, the study employs a mixed-methods approach, combining acoustic-prosodic analysis—focusing on pitch, intensity, and vocal formants F1 and F2—using the Praat software, with sentiment analysis techniques applied to the original and dubbed dialogues, based on natural language processing (NLP) models. Additionally, statistical tools such as Pearson correlations and multiple regression are used to examine the relationship between vocal features and textual evaluative metrics (polarity and subjectivity). The findings reveal that dubbing entails an expressive reconfiguration of the character, softening or amplifying specific emotional nuances according to cultural conventions, technical constraints, and actor performance strategies. Notable differences are observed between the two Italian voice actors in terms of prosody and expressiveness, highlighting that dubbing is not a neutral process but one that is inherently interpretative and transformative. The thesis also explores the emerging role of artificial intelligence in automated dubbing, analyzing both its technical advancements and its ethical and creative challenges. It discusses the current limitations of voice synthesis, the need for regulation in the use of cloned voices, and the potential of AI as a supportive—rather than substitutive—tool in audiovisual translation. Overall, this research offers a critical and interdisciplinary perspective on dubbing, proposing an analytical model that integrates phonetics, audiovisual translation, and emerging technologies to evaluate interpretative fidelity, emotional coherence, and cultural localization in multilingual audiovisual content.

Esta tesis doctoral investiga el impacto del doblaje audiovisual en la caracterización emocional y prosódica del personaje de Sheldon Cooper en la serie The Big Bang Theory, comparando su versión original en inglés con las versiones dobladas al italiano. El objetivo principal es evaluar cómo las decisiones de adaptación lingüística, cultural y vocal afectan a la percepción de la identidad emocional del personaje en contextos multilingües. Para ello, se emplea una metodología mixta que combina análisis acústico-prosódico —centrado en variables como tono, intensidad, F1 y F2— mediante el software Praat, con técnicas de análisis de sentimientos aplicadas a los diálogos originales y doblados, basadas en modelos de procesamiento del lenguaje natural (PLN). Además, se aplican análisis estadísticos (correlaciones de Pearson y regresión múltiple) para identificar la relación entre las características vocales y las métricas evaluativas del texto (polaridad y subjetividad). Los resultados muestran que el doblaje implica una reconfiguración expresiva del personaje, atenuando o intensificando ciertos matices emocionales en función de convenciones culturales, limitaciones técnicas y estrategias actorales. Se identifican diferencias significativas entre los dobladores italianos en cuanto a prosodia y expresividad, lo que evidencia que el doblaje no es un proceso neutro, sino interpretativo y transformador. La investigación también examina el papel emergente de la inteligencia artificial en la automatización del doblaje, explorando tanto sus avances técnicos como sus desafíos éticos y creativos. Se reflexiona sobre los límites actuales de la síntesis de voz, la necesidad de regulación en el uso de voces clonadas, y las oportunidades que ofrece la IA como herramienta de apoyo —no de sustitución— en la TAV. En conjunto, esta tesis aporta una visión crítica e interdisciplinar sobre el proceso de doblaje, proponiendo un modelo analítico que integra fonética, traducción audiovisual y tecnologías emergentes para evaluar la fidelidad interpretativa, la coherencia emocional y la localización cultural en productos audiovisuales multilingües.