Sistema biométrico multimodal con imágenes acústicas y LiDAR utilizando una red neuronal

Abstract

Este proyecto se inscribe dentro del campo de la biometría acústica formando parte de una investigación más amplia con escasa literatura existente. A partir de imágenes acústicas 3D capturadas mediante un array fractal de sensores MEMS de alta resolucion, junto con una cámara LiDAR diseñada para entornos interiores, este estudio presenta el hardware y la implementación de un software propio desarrollado en LabVIEW, destinados a la adquisición síncrona y procesamiento de imágenes resultantes de la fusión de ambos sistemas. Esta integración facilita la investigación de imágenes acústicas biométricas filtrando las imágenes espacialmente. El propósito final es implementar un sistema biométrico de verificación. En este contexto, tras una reflexión acerca de múltiples alternativas, se programa en python una arquitectura particular de red neuronal convolucional siamesa. Para cualquier aplicación de inteligencia artificial, resulta esencial disponer de un conjunto de datos amplio y de alta calidad. Con este propósito, se ha creado una base de datos compuesta por 21000 imágenes multifrecuenciales pertenecientes a 10 individuos. Finalmente haciendo uso de esta base de datos, se realizan proyecciones 2D destinadas a servir como entrada para la mencionada red neuronal. Se concluye con la evaluación de los resultados, lo que ha conducido al descarte de la arquitectura inicialmente propuesta y la reflexión sobre posibles vías de mejora.

This project falls within the field of acoustic biometrics and is part of a larger research project with little existing literature. Using 3D acoustic images captured with a fractal array of high-resolution MEMS sensors combined with a LiDAR camera designed for indoor environments, this study presents the hardware and the implementation of a proprietary software developed in LabVIEW for the synchronous acquisition and processing of images resulting from the fusion of both systems. This integration facilitates the research of biometric acoustic images by spatially filtering the images. The final purpose is to implement a biometric verification system. In this context, after studying multiple alternatives, a particular Siamese convolutional neural network architecture has been programmed using Python. For any artificial intelligence application, it is essential to have a large and high quality dataset. With this purpose, a database composed of 21000 multi-frequency images corresponding to 10 individuals has been created. Finally, using this database, 2D projections are made to be used as an input for the mentioned neural network. Finally, the results were evaluated, leading to the discard of the initially proposed architecture and a discussion about possible ways to improve the results.