Implementação de um cluster para aplicações de HPC utilizando docker e infiniband

Abstract

Diante dos desafios da Computação de Alto Desempenho, surgem questões agravantes ao tentar provê-la na forma de autosserviço, como (i) a diversidade de softwares a serem suportados; (ii) a constante necessidade de atualização (bibliotecas, softwares, sistema operacional, etc.) e (iii) a execução em hardwares heterogêneos. Sanar estes pontos utilizando apenas os métodos tradicionais de gerenciamento de clusters ou de configuração, se demonstrou inviável dada a flexibilidade exigida pelo cenário. Assim, o objetivo deste projeto é o de desenvolver uma solução que (i) simplifique a manutenção dos clusters, (ii) possibilite ao usuário controlar o ambiente de execução do software e (iii) suporte uma diversidade de softwares evitando conflitos. Este trabalho aborda o contexto, requisitos, modelagem e a implementação do serviço na Superintendência de Governança Eletrônica e Tecnologia da Informação e Comunicação (SeTIC), criando um ambiente constituindo por 7 clusters que, juntos, somam mais de 40 nós, 7TB de RAM, 1.200 núcleos e 40.000 núcleos de processamento gráfico.

In the face of High Performance Computing challenges, there are aggravating issues when attempting to provide it in a self-service manner, such as (i) the diversity of software to be supported, (ii) the constant need for updates (libraries, software, operating system, etc.), and (iii) execution on heterogeneous hardware. Addressing these points using tra- ditional cluster management or configuration methods proved to be unfeasible given the flexibility required by the scenario. Therefore, the objective of this project is to develop a solution that (i) simplifies cluster maintenance, (ii) enables users to control the software execution environment, and (iii) supports a diversity of software, avoiding conflicts. This work addresses the context, requirements, modeling, and implementation of the service at SETIC, creating an environment consisting of 7 clusters that, together, total over 40 nodes, 7TB of RAM, 1,200 cores, and 40,000 graphics processing cores.