Plataforma para la extracción y análisis de noticias de la web

Abstract

En la actualidad el flujo de noticias e informaciones es más grande que nunca y es necesario someter a escrutinio público el valor que aportan a la sociedad algunas de estas noticias. Actualmente, la única manera de analizar dichas noticias es recurriendo a una persona o grupos de personas para que extraigan las noticias de la web y vayan estudiando la información que aportan dichas noticias, todo ello de manera manual. Es una tarea importante, pero costosa y repetitiva. Este trabajo se centra en la automatización de la extracción y análisis de las noticias de la web mediante la creación de una plataforma web que permita acceder y filtrar rápidamente las noticias y realizar un análisis preliminar de su estructura y otros aspectos relevantes, como el análisis de sentimientos. Para la parte de extracción, se han extraído las noticias de diferentes fuentes web y blogs de noticias en castellano mediante métodos de web scraping, se han estructurado mediante un proceso ETL (Extract, Transform y Load) y se han almacenado en una base de datos. Para la parte de análisis, se han aplicado técnicas de Procesamiento de Lenguaje Natural (PLN). Primero, se realiza un análisis de sentimientos sobre la noticia y posteriormente, un Reconocimiento de Entidades Nombradas (REN) para identificar a las organizaciones, lugares o personas mencionadas. Finalmente, se crea una plataforma web donde se muestran las noticias extraídas y el resultado del análisis.

Nowdays, the flow of news and information is greater than ever and the value that some of this news brings to society needs to be subjected to public scrutiny. Currently, the only way to analyze the news is through the participation of a person or group of people who extract the news from the web and manually annalyze the information provided by the news. It is an important but extensive and repetitive task. The objective of this work is to automate the extraction and analysis of the news from the web by creating a platform that allows to quickly access and filter the news and perform a preliminary analysis of its structure and other relevant aspects, such as sentiment analysis. For the extraction part, the news have been extracted from different web sources and news blogs in Spanish using web scraping methods, structured through an ETL process and stored in a database. For the analysis part, Natural Language Processing (NLP) techniques are applied. First, a sentiment analysis is performed on the news item and then, a Named Entity Recognition (NER) to identify the organizations, places or people mentioned. Finally, a web platform has been created where the extracted news and the result of the analysis are displayed.