Armazenamento de dados eficiente tolerante a faltas bizantinas em múltiplas nuvens com coordenação de metadados integrada a um gerenciador de containers

Abstract

O armazenamento de dados em nuvens tem se tornado uma opção para permitir a geo-replicação. No contexto de aplicações críticas, é preciso garantir tolerância a faltas para que essas aplicações possam depender dos dados armazenados nas nuvens. Esta tese apresenta soluções para tornar mais simples e eficiente a operação de sistemas críticos que armazenam dados em múltiplos provedores de nuvem (Intercloud). Três contribuições integram esta tese. A primeira contribuição consiste em uma técnica denominada Antecipação de Pedidos (AdP) cujo objetivo é melhorar a eficiência de protocolos baseados em quóruns. Essa técnica é otimista e considera a latência dos provedores envolvidos na operação para paralelizar parcialmente fases de um protocolo. A aplicação da AdP no contexto desta tese resulta no RafeStore, um sistema confiável e eficiente de armazenamento de dados em múltiplas nuvens. O RafeStore considera uma categoria específica de dados multiversão, denominada Dado de Conteúdo Independente, cuja formação de novos valores não depende de valores anteriores. A avaliação do RafeStore usando provedores de nuvem comerciais demonstra que o mesmo requer menores latência e custo, quando comparado a outros sistemas baseados em quóruns bizantinos. A segunda contribuição desta tese refere-se à organização da execução de requisições, necessária quando múltiplos clientes atualizam simultaneamente um mesmo dado. Para tal fim, é proposto o sistema DORADO, que coordena metadados segundo a estratégia de replicação de máquinas de estado. O DORADO é projetado para funcionar no gerenciador de containers Kubernetes, visando o uso dessa emergente tecnologia de virtualização. A incorporação do DORADO ao Kubernetes por meio de integração torna a coordenação de metadados transparente sob a perspectiva do usuário. A avaliação de uma integração parcial demonstra a viabilidade dessa proposta. A contribuição final desta tese é o sistema denominado FITS, cuja função é orquestrar os sistemas RafeStore e DORADO. Dessa maneira, obtém-se um sistema de armazenamento de dados eficiente e tolerante a faltas que opera na Intercloud.

Abstract : Storing data in clouds has become an option in enabling geo-replication. In the context of critical systems, fault tolerance is required in order for the applications to be able to rely on the data stored in the cloud. This thesis presents solutions to simplify and make the operation of critical systems which store data in multiple cloud providers (Intercloud) more efficient. The contributions in this Thesis are threefold. The first contribution of this thesis consists in a technique to improve the efficiency of quorum-based protocols. We named it Requests Anticipation. This technique is optimistic and considers latency of providers to partially parallelize phases in a protocol. Applying request anticipation in the storage context results in RafeStore, a dependable and efficient system which stores data in multiple clouds. RafeStore considers a specific multiversion data type, named Data with Independent Content. With this type of data, new values are not necessarily related to previous ones. Our evaluation of RafeStore in commercial providers demonstrates that it requires lower latency and costs, when compared to other Byzantine quorum-based systems. The second contribution of this thesis refers to the organization of requests when multiple users simultaneously update the same data (i.e., race condition). To accomplish that, we propose DORADO: a system that manages metadata according to the strategy of state machine replication. DORADO was designed to work inside the container management system called Kubernetes, aiming at taking advantage of its emerging virtualization technology. Incorporating DORADO in Kubernetes via integration makes the metadata coordination transparent to the user. Our preliminary evaluation of the proposed approach demonstrates its viability. The third and final contribution of this thesis is FITS, a system that orchestrates RafeStore and DORADO. FITS enables the operation of an efficient and fault tolerant storage data system in the Intercloud.