Segmentación semántica multicategoría de imágenes todo cielo mediante redes neuronales

Abstract

Las nubes juegan un papel fundamental en el clima terrestre debido a su importancia en el balance energético de la tierra. Además, producir predicciones meteorológicas a muy corto plazo es crucial para una red eléctrica que quiere depender más y más de la energía fotovoltaica. Por estos motivos, las propiedades de las nubes deben ser medidas de manera precisa y asequible. Un instrumento que cumple estos requisitos son las cámaras todo cielo. Mediciones con suficiente resolución espacial y temporal requieren la automatización del análisis de las imágenes. Un paso para conseguirlo es la segmentación semántica de las mismas. Presentamos un modelo ligero basado en Redes Neuronales Convolucionales. Seguimos una arquitectura encoder–decoder similar a U-Net con la red VGG16 como enconder. Técnicas de transferencia de aprendizaje son usadas para entrenar el modelo en un conjuto de datos del grupo de investigación GOA-UVa. El conjunto de datos se construye con seis cámaras en 2 ubicaciones distintas y consiste en imágenes todo cielo con condiciones meteorológicas variadas. Las imágenes se etiquetan en cinco categorías: N/A, cielo despejado, sol, nubes espesa y nube fina. Además, se emplean técnicas de aumentación de datos. El funcionamiento del modelo se explica, proporcionando una aproximación general a las redes neuronales. Después, se explican las operaciones de convolución, convolución transpuesta y pooling, proporcionando ilustraciones para desarrollar la intuición. Finalmente se muestra como estas operaciones conforman las capas convolucionales. El modelo consigue un ratio de positivos verdaderos (TP) de hasta el 97 % en algunos casos. Funciona mejor en imágenes diurnas despejadas, pero también se obtienen muy buenas condiciones con cielos totalmente cubiertos. Mejora trabajos previos en este campo en un 10 % en TP. La medida de la cobertura nubosa se puede obtener a partir de la máscara de segmentación. El modelo consigue una confianza de ±1 octa de hasta el 92 %. Este resultado es similar a los obtenidos por modelos entrenados específicamente en la clasificación de la cobertura nubosa.

Clouds play a leading role in earth’s climate due to their importance in the planet’s energetic balance. Also, making very short-time forecast is crucial to an electric system that wants to relay more and more on photovoltaic systems. For those reasons, clouds properties need to be accurately and cost-effectively measured. An instrument that fulfills those requirements are ground-based all-sky cameras. Measurements with enough temporal and spatial resolution requires image analysis automatization. One step to archive it is semantic segmentation of the images. We present a light-weighted model based on Convolutional Neural Networks. It follows an encoder-decoder architecture like U-Net using VGG16 as encoder. Transfer learning is used to train the model on a dataset from GOA-UVa research group. The dataset is built from six different cameras at two locations and consist of day and night whole-sky images with a variety of weather conditions. The images are labelled into five categories: N/A, clear sky, sun, thick clouds, and thin clouds. Also, data augmentation techniques are used. The inner workings of the model are explained. A general approach on neural networks is given. Then, convolution, transposed convolution and pooling operations are explained with some visuals to promote intuition. Also, how these operations build up convolutional layers is shown. The model achieves a True Positive rate (TP) up to 97% on some cases. It performs better on clear day images, but very good results are obtained with overcast conditions as well. It improves previous work on the field by 10% on TP. Cloud Cover can be derived from the segmentation mask. The model archives a ±1 oktas confidence of up to 92%. This result is like the ones obtained by models trained specifically at Cloud Cover classification.