Reconhecimento de Fala Utilizando Aprendizado Hierárquico Multitarefa

Abstract

Neste trabalho, foi investigada a incorporação de informações fonéticas no processo de treinamento de um sistema de reconhecimento automático de fala (ASR) utilizando aprendizado hierárquico multitarefa, com foco em um encoder do tipo Zipformer. A partir de um modelo baseline composto por este encoder e um decoder RNN-T (Recurrent Neural Network Transducer) treinado conjuntamente com um decoder CTC (Connectionist Temporal Classification), foi proposta uma arquitetura estendida que integra informações fonéticas canônicas em camadas intermediárias do Zipformer através de um decodificador CTC adicional. Experimentos em diversos conjuntos de teste revelaram uma redução consistente na taxa de erro de palavras (Word Error Rate - WER) quando as informações fonéticas foram incorporadas na segunda camada do encoder. A incorporação em camadas superiores ou na primeira resultou, em geral, no aumento da taxa de erro. Os resultados abrem caminho para explorar outras formas de representações fonéticas auxiliares em tarefas que podem beneficiar o treinamento de sistemas ASR com uma arquitetura Zipformer de encoder.