Aplicação adaptativa da técnica Decoupled Interpolated Video Coding

Abstract

O armazenamento, a transmissão e a reprodução de conteúdo em vídeo seriam inviáveis sem compressão eficiente. A abordagem mais consolidada para tal finalidade é a codificação de vídeo híbrida. Contudo, estima-se que a complexidade de algoritmos tradicionais venha aumentando em dez vezes para um ganho de eficiência de codificação de duas vezes, a cada novo padrão. Nesse contexto, surge a necessidade de buscar métodos alternativos de codificação, como o Decoupled Interpolated Video Coding (DIVC). O DIVC combina o modelo de codificação híbrido com Video Frame Interpolation (VFI), apresentando porém, desempenho variável de acordo com o conteúdo do vídeo. Em tal contexto, o presente trabalho propõe uma técnica para melhorar a eficiência de codificação do DIVC a partir da remoção de quadros de forma adaptativa. A versão adaptativa ideal desenvolvida considera a métrica de eficiência de codificação BD-PSNR-YUV obtida a partir da execução do DIVC original e da codificação somente com HEVC Test Model (HM), para quadros pareados. Essa versão teve ganho médio (em BD-PSNR-YUV) de 0,214 dB comparado ao DIVC original e de 0,878 dB comparado ao HM, para o conjunto da classe B das Common Test Conditions (CTC). Também foram utilizados descritores de imagem e vídeo para analisar diferentes vídeos e desenvolver um modelo de Machine Learning (ML) baseado em Random Forest (RF). Esse modelo deu origem a uma versão adaptativa predita do DIVC, que foi testada também com a classe B das CTC. A versão predita apresentou melhoria de 0,01 dB comparado ao DIVC original, e de 0,674 dB comparado ao HM.

Storing, transmitting, and streaming videos would be unfeasible without efficient compression. The most consolidated approach to this task is the hybrid video coding. However, the complexity of traditional coding algorithms has been increasing approximately tenfold with each new standard, while roughly achieving twice the coding efficiency. In this context, the need for alternative video coding methods emerges, such as the Decoupled Interpolated Video Coding (DIVC). DIVC technique combines the hybrid coding model and Video Frame Interpolation (VFI), though its performance varies depending on video content. This work proposes a technique to improve DIVC’s coding efficiency by adaptively removing frames. The developed ideal adaptive version uses the coding efficiency metric BD-PSNR-YUV considering paired frames obtained from the original DIVC execution and the baseline execution, using only the HEVC Test Model (HM). This version achieved a gain of 0.214 dB (in BD-PSNR-YUV) compared to the original DIVC execution and 0.878 dB compared to HM, evaluated on the Class B dataset from the Common Test Conditions (CTC). Image and video features were also used to analyze different videos and develop a Machine Learning (ML) model based on Random Forest (RF). This model was applied to an adaptive predicted DIVC version, which was likewise tested using Class B of CTC. The predicted version showed an improvement of 0.01 dB compared to the original DIVC and 0.674 dB over HM.