Avaliação de alternativas ao mouse utilizando técnicas da visão computacional

Abstract

Os principais dispositivos de interação humano-computador (mouse e teclado) são limitados em capturar muitos dos comportamentos humanos ao ponto que pessoas com excesso de carga de trabalho pelo mouse podem desenvolver tenossinovite, encontrando dificuldade em interagir com o computador. Sendo assim, este trabalho apresenta uma pesquisa que desenvolveu uma aplicação de interação humanocomputador utilizando técnicas de visão computacional que permite uma pessoa controlar o cursor do mouse e os cliques a partir de formas alternativas, como a palma da mão, dedos e olhos. O projeto é implementado na linguagem de programação Python, fazendo uso de uma webcam e bibliotecas de código aberto (OpenCV, Dlib, Mediapipe, Pynput e PyQt5) para implementar a detecção da palma da mão e dos olhos. Os resultados obtidos demonstram que é possível desenvolver aplicações que controlam os principais comandos do computador utilizando uma webcam, embora alguns aprimoramentos precisem ser realizados para uma melhor experiência de uso das soluções apresentadas.

The main human-computer interaction devices (mouse and keyboard) are limited in capturing many of the human behaviors to the point that people with excessive mouse workload can develop tenosynovitis, finding it difficult to interact with the computer. Therefore, this work presents a research that developed a human-computer interaction application using computer vision techniques that allows a person to control the mouse cursor and clicks from alternative ways, such as the palm, fingers and eyes. The project is implemented in the Python programming language, making use of a webcam and open source libraries (OpenCV, Dlib, Mediapipe, Pynput and PyQt5) to implement palm and eye detection. The results obtained demonstrate that it is possible to develop applications that control the main commands of the computer using a webcam, although some improvements need to be made for a better experience of using the presented solutions.