Physics-informed echo state networks for modeling controllable dynamical systems

Abstract

Redes Neurais com Estados de Eco (ESNs) são redes neurais recorrentes em que apenas a camada de saída linear instantânea é treinada puramente a partir de dados. Portanto, proporcionam facilidade no treinamento para modelar sistemas dinâmicos não lineares, o que pode ser usado em aplicações de controle, por exemplo. Ao incorporar leis físicas no treinamento das ESNs, as Redes de Estados de Eco Informadas por Física (PI-ESNs) foram propostas na literatura, inicialmente para modelar sistemas dinâmicos caóticos sem entradas externas. Isso resulta em uma rede que requer menos dados para treinamento, ao ser regularizada pelas informações das Equações Diferenciais Ordinárias (ODEs) durante o treinamento. Nesta dissertação, é proposta uma PI-ESN com entradas externas, que pode ser usada para modelar sistemas dinâmicos não lineares controláveis. Adicionalmente, um método autoadaptativo que equilibra as funções de custo da literatura é implementado e integrado à PI-ESN proposta (PI-ESN-a), servindo para balancear as contribuições do termo de regressão residual e do termo de perda informada por física. O desempenho dessa arquitetura foi avaliado em dois sistemas não lineares modelados por ODEs: o oscilador de Van der Pol, conhecido por seu comportamento auto-oscilatório, e o sistema de quatro tanques, comumente usado em testes de sistemas de controle multivariável. Também foi conduzida uma análise para um sistema modelado por Equações Diferenciais Algébricas (DAE), representando uma Bomba Elétrica Submersível (ESP) usada para elevação artificial em poços de petróleo e gás. Uma análise comparativa entre a PI-ESN-a e uma ESN convencional revelou que o erro de previsão diminui para a primeira, especialmente em cenários com disponibilidade limitada de dados. Além disso, constatou-se que o tempo de execução da PI-ESN é ordens de magnitude menor do que os métodos numéricos tradicionais para resolver DAEs.

Abstract: Echo State Networks (ESNs) are recurrent neural networks where only a linear instantaneous readout output layer is trained purely from data. Thus, they provide ease of training for modeling nonlinear dynamical systems, which can be used for control applications, for instance. By incorporating physical laws into ESN's training, Physics-Informed Echo State Networks (PI-ESNs) were proposed in the literature, initially for modeling chaotic dynamic systems without external inputs. This results in a network which needs less data to train, as it is regularized by the information from Ordinary Differential Equations (ODEs) during its training. In this dissertation, a PI-ESN with external inputs is proposed, which can be used to model controllable nonlinear dynamical systems. In addition, a self-adaptive weighting loss method from the literature is implemented and integrated into the proposed PI-ESN, serving to balance the contributions of the residual regression term and the physics-informed loss term (PI-ESN-a). The performance of this architecture was evaluated for two nonlinear systems modeled by ODEs: the Van der Pol oscillator, known for its self-oscillatory behavior, and the four-tank system, standard in multivariable control system tests. Additionally, a system modeled by Differential Algebraic Equations (DAE), representing a Submersible Electric Pump (ESP) used for artificial lift in oil and gas wells, was assessed. Comparative analysis between the proposed PI-ESN and a conventional ESN showed that the prediction error decreases for the former, especially in scenarios with limited data availability. Furthermore, the runtime of the PI-ESN was found to be orders of magnitude lower than traditional numerical methods for solving DAEs.