Desarrollo de una Aplicación Android para el Control de Entornos Inteligentes mediante el Reconocimiento Visual de Gestos Faciales

Abstract

El presente proyecto consiste en el desarrollo de una aplicación destinada a dispositivos Android para permitir el control de dispositivos inteligentes a través de la realización de ciertos gestos faciales. Esta aplicación está pensada para ayudar a personas con problemas de movilidad a reducir su dependencia, permitiéndoles gestionar dispositivos que previamente no podrían controlar sin la ayuda de un asistente personal. La aplicación se basa en la detección de una serie de puntos faciales del usuario por medio de visión artificial, para posteriormente calcular la distancia entre ciertos puntos detectados. Una vez calculada esa distancia, se la compara con un umbral de detección, de modo que si la distancia es mayor o menor que ese umbral se considera que se ha realizado el gesto facial o no. Al haberse detectado la realización de ciertos gestos faciales, se envían mensajes a dispositivos inteligentes para que respondan en consecuencia y actúen así sobre el entorno del usuario de la manera deseada, permitiendo así el control de sus alrededores simplemente con gestos faciales. Adicionalmente, se realizará el acondicionamiento de un robot de asistencia a la alimentación para poder accionarlo mediante los mensajes enviados desde la aplicación en lugar de empleando sus interruptores originales, permitiendo a personas que no puedan mover sus extremidades superiores comer con comodidad.

This project consists of the development of an application for Android devices which enables its users to control Smart devices through the performance of certain facial gestures. The objective of the app is to help people with mobility issues reduce their dependece, allowing them to manage devices that they previously could not control without the help of a personal assistant. This application is based on the detection of a series of facial landmarks using computer vision to calculate the distance between certain detected points. Once this distance is known, it is compared with a threshold, so if the distance is greater than that threshold, it is considered that the facial gesture has been made. After detecting the performance of certain facial gestures, messages are sent to Smart devices for them to act accordingly and modify the user’s environment in the way that the user intended, allowing them to control their surroundings simply with facial gestures. Additionally, a feeding assintance robot will be adapted to be controlled through the messages sent from the application instead of using its original switches, allowing people who cannot move their upper limbs to eat comfortably.