Coding Efficiency Analysis of Fractional Motion Estimation and Affine Motion Estimation in VVC Florianópolis 2024

Abstract

O padrão Versatile Video Coding (VVC) surgiu para contornar as exigências cada vez maiores impostas pelo consumo de vídeo em alta resolução. O VVC melhora ferramentas bem estabelecidas, como a Fractional Motion Estimation (FME), além de introduzir novas, como a Affine Motion Estimation (AME), aumentando a eficiência de codificação em comparação ao seu antecessor, o High Efficiency Video Coding (HEVC). Trabalhos relacionados demonstraram que a eficiência de codificação da FME foi reduzida no VVC Test Model (VTM) em comparação ao HEVC Test Model (HM). Assim, é hipotetizado que a AME possa estar interagindo com a FME, uma vez que a AME também depende da geração de amostras interpoladas em possíveis posições fracionárias. Portanto, este trabalho analisa, utilizando Bjøntegaard Delta Rate (BD-Rate), a eficiência de codificação de ambas as ferramentas, FME e AME, considerando suas implementações no VTM e duas configurações, Random Access (RA) e Low Delay (LD). Também mostra-se que desabilitar a AME reduz a eficiência média de codificação em 2,48% (RA) e 3,73% (LD), enquanto desabilitar a FME reduz em média 0,63% (RA) e 0,93% (LD), confirmando o menor impacto da FME. Ao desabilitar ambas as ferramentas, a eficiência média de codificação é reduzida em 4,19% (RA) e 5,05% (LD), valores superiores à soma das perdas individuais de eficiência de codificação, confirmando um pequeno, mas presente, efeito compensatório da AME.

The Versatile Video Coding (VVC) standard emerged to circumvent the ever-higher demands imposed by high-resolution video consumption. VVC improves upon well- established tools, such as the Fractional Motion Estimation (FME), as well as brings new ones, such as the Affine Motion Estimation (AME), increasing the coding efficiency when compared to its predecessor, the High Efficiency Video Coding (HEVC). Related work demonstrated that the overall coding efficiency of the FME was reduced in the VVC Test Model (VTM) compared to HEVC Test Model (HM). Thus, it is hypothetised that the AME may be interacting with FME once AME also relies on the generation of interpolated samples at possible fractional positions. Therefore, this work analyzes, using Bjøntegaard Delta Rate (BD-Rate), the coding efficiency of both tools, FME and AME, considering their implementation in the VTM and two configurations, Random Access (RA) and Low Delay (LD). This work shows that disabling the AME reduces the average coding efficiency by 2.48% (RA) and 3.73% (LD) while disabling the FME reduces, on average, 0.63% (RA) and 0.93% (LD), confirming the lower impact of FME. When disabling both tools, the average coding efficiency is reduced by 4.19% (RA) and 5.05% (LD), which are higher than the sum of the individual coding efficiency losses, confirming a small but present AME compensatory effect.