An intelligent context-aware edge-based data reduction framework for IoT

Abstract

A ampla implantação de sensores nos domínios da Internet das Coisas (IoT), como casas inteligentes, cidades inteligentes e dispositivos vestíveis, gerou grandes quantidades de dados brutos heterogêneos. A transmissão desses dados diretamente para a nuvem sem pré-processamento introduz gargalos significativos no sistema. Este estudo aborda o problema de enviar dados brutos do sensor diretamente da borda da rede para a nuvem sem pré-processamento, o que geralmente não é recomendado, pois pode levar a gargalos significativos no sistema. Ao pré-processar dados na borda usando técnicas avançadas de inteligência artificial (IA), métodos eficazes de redução de dados podem ser aplicados, resultando em benefícios computacionais, como uso reduzido da largura de banda da rede, economia de energia, armazenamento em nuvem otimizado e menores custos de tráfego. Esta tese apresenta uma estrutura de redução de dados agnóstica, orientada por IA e com reconhecimento de contexto, projetada para sistemas de IoT baseados em borda, com foco na preservação da qualidade dos dados. A estrutura integra um modelo inteligente e módulos de redução de dados para processar dados brutos heterogêneos mais próximos de sua fonte, reduzindo assim o volume de dados antes da transmissão. Os resultados experimentais demonstram a eficácia da estrutura, com o modelo de IA alcançando alta precisão preditiva em métricas de qualidade essenciais, incluindo Taxa de Redução (RR) e níveis de distorção. O sistema de previsão multimodelo proposto mostra tempos de execução em torno de 10^{-3} segundos e uma precisão de 99,09%, garantindo que algoritmos de redução ideais sejam selecionados de forma dinâmica e eficiente em cenários em tempo real. Consequentemente, a estrutura proposta orientada por IA não apenas minimiza a sobrecarga computacional, mas também permite o processamento de dados escalável, dando suporte à tomada de decisão dinâmica e respostas em tempo real, o que é essencial para vários aplicativos de alta demanda em IoT.

Abstract: The widespread deployment of sensors across the Internet of Things (IoT) domains, such as smart homes, smart cities, and wearable devices, has generated vast amounts of heterogeneous raw data. Transmitting this data directly to the cloud without preprocessing introduces significant system bottlenecks. This study addresses the problem of sending raw sensor data directly from the network's edge to the cloud without preprocessing, which is generally not recommended as it can lead to significant system bottlenecks. By preprocessing data at the edge using advanced artificial intelligence (AI) techniques, effective data reduction methods can be applied, resulting in computational benefits such as reduced network bandwidth usage, energy savings, optimized cloud storage, and lower traffic costs. This thesis presents an agnostic, AI-driven, context-aware data reduction framework designed for edge-based IoT systems, with a focus on preserving data quality. The framework integrates an intelligent model and data reduction modules to process heterogeneous raw data closer to its source, thereby reducing the data volume before transmission. Experimental results demonstrate the framework's effectiveness, with the AI model achieving high predictive accuracy in key quality metrics, including Reduction Ratio (RR) and distortion levels. The proposed multi-model prediction system shows execution times around 10^{-3} seconds and an accuracy of 99.09%, ensuring that optimal reduction algorithms are selected dynamically and efficiently in real-time scenarios. Consequently, the proposed AI-driven framework not only minimizes computational overhead but also enables scalable data processing, supporting dynamic decision-making and real-time responses which is critical for various high-demand applications in IoT.