Fixed search patterns and VLSI architecture for the efficient computation of the versatile video coding fractional motion estimation

Abstract

A codificação de vídeo é o núcleo de qualquer aplicação de vídeo, pois permite a compressão de vídeos, viabilizando seu armazenamento e transmissão através da web. A importância dos algoritmos de codificação de vídeo aumentou significativamente nestes dias de isolamento físico imposto pela pandemia do Covid-19, quando a videoconferência se tornou uma ferramenta muito poderosa para evitar a interrupção completa de atividades como trabalhos e estudos. A fim de permitir a compatibilidade entre os sistemas de codificação e decodificação, vários padrões têm sido desenvolvidos ao longo dos anos por agências internacionais de padronização, como ITU-T e ISO, com a colaboração da indústria e da academia. Finalizado em julho de 2020, o Versatile Video Coding (VVC) é o padrão de codificação de vídeo mais recente, tendo sido desenvolvido para melhorar a eficiência de codificação em mais de 40% para a mesma qualidade de imagem, quando comparado ao seu antecessor, o High Efficiency Video Coding (HEVC). No entanto, o aumento expressivo de tempo de codificação do VVC leva a uma maior dissipação de energia e dificulta a sua implementação em software para aplicações de tempo real. Portanto, é de extrema importância desenvolver técnicas para diminuir a complexidade das etapas computacionalmente mais intensivas deste novo padrão, mantendo, tanto quanto possível, suas melhorias de eficiência de codificação. Como geralmente ocorre quando um novo padrão de codificação de vídeo é lançado, as etapas mais intensivas, \"e.g., a Fractional Motion Estimation (FME), são candidatas naturais a tais estudos, não apenas pela complexidade, mas também pela repetitividade intrínseca de operações. Em particular, quando se trata de dispositivos portáteis, codificadores de vídeo integrados em hardware que sejam energeticamente eficientes são indispensáveis para estender a vida útil da bateria do dispositivo. Dessa forma, este trabalho objetiva reduzir a complexidade da FME do VVC por meio da adoção de um padrão de busca fixo no projeto de uma arquitetura VLSI dedicada. Como primeiro passo, foi estimado o impacto da FME na eficiência de codificação do VVC em termos de BD-Rate executando o VVC Test Model (VTM) com a FME desabilitada. Em seguida, quatro padrões fixos de busca foram avaliados em termos de eficiência de codificação e recursos de hardware, sendo três deles propostos neste trabalho e o quarto encontrado na literatura. A eficiência de codificação foi avaliada através da implementação dos padrões dentro do VTM. Os recursos de hardware foram avaliados em termos de área e potência usando como base uma arquitetura estado da arte de hardware da FME. O padrão Cross, proposto neste trabalho, mostrou-se o de maior potencial de minimização de hardware com uma redução aceitável na eficiência de codificação e, portanto, foi selecionado para um projeto de hardware dedicado. A arquitetura projetada foi descrita em verilog e sintetizada usando o fluxo standard cell para a tecologia de 45nm. A área ocupada pela arquitetura desenvolvida é inferior a 41,4% da arquitetura base, com um potência dissipada total de apenas 28.9% em média. A arquitetura projetada também é capaz de comprimir vídeos em tempo real para resoluções de até 8K a 30 quadros por segundo, porém com um aumento de BD-Rate de 0,34% para configuração LD-P e 0,28% para configuração RA.

Abstract: Video coding is the core of any video application, since it allows for compressing videos, making possible their storage and transmission through the web. The importance of video coding algorithms raised significantly in these days of physical isolation imposed by the Covid-19 pandemic, when video conference became a very powerful tool to avoid the complete interruption of work and study activities. In order to allow for the compatibility between coding and decoding systems, a number of standards have been developed over the years by international standardization agencies, such as ITU-T and ISO, with the collaboration of industry and academia. Finalized in July 2020, the Versatile Video Coding (VVC) is the most recently launched video coding standard, being developed to improve the coding efficiency by more than 40% for the same image quality, when compared to its predecessor, the High Efficiency Video Coding (HEVC). However, the dramatic complexity increase of VVC leads to a higher power dissipation and hinders its implementation in software for real-time applications. Therefore, it is of utmost importance to develop techniques to lower the complexity of the most computationally intensive tasks of this new standard while keeping, as much as possible, its coding efficiency improvements. As usually occurs when a new video coding standard is released, the most intensive tasks, e.g., the Fractional Motion Estimation (FME), are natural candidates for such studies, not only due to their complexity but also to the intrinsic repetitiveness of operations. In particular, when targeting portable devices, energy-efficiency hardware embedded video encoders are indispensable to extend the device?s battery life. Thereby, this work focuses on reducing the complexity of the VVC FME by employing a fixed search pattern to design a dedicated VLSI architecture. As first step, the impact of the FME on the VVC coding efficiency was estimated in terms of BD-Rate by executing the VVC Test Model (VTM) with the FME disabled. Then, four fixed search patterns were evaluated in terms of coding efficiency and hardware resources, three of them proposed in this work and the fourth one found in the literature. Coding efficiency was evaluated by implementing the patterns within VTM. Hardware resources were evaluated in terms of area and power by using as baseline a state-of-the-art FME hardware architecture that searches over all available candidates. The proposed Cross pattern led to the largest hardware minimization potential with acceptable reduction in coding efficiency and therefore was selected for a dedicated hardware design. The designed architecture was described in verilog and synthetize using a standard cell flow for a 45nm technology. The developed architecture occupied area is down to 41.4% of that of the baseline architecture, while dissipating just 28.9% of the total power, on average. The architecture is also capable of running real time applications on video resolutions of up to 8K@30fps. The trade-off is a BD-Rate increase of 0.34% for LD-P configuration, and 0.28% for the RA configuration.