Hive E Mysql - Comparação de Desempenho Em Consultas Num Modelo Multidimensional

Este trabalho tem por objetivo apresentar uma comparação de desempenho de consultas em uma base de dados multidimensional armazenada em duas plataformas distintas. As plataformas escolhidas foram o Hive, uma plataforma de data warehouse, e o MySQL, um dos mais populares sistemas de gerenciamento de banco de dados relacional. Pretendeu-se verificar o impacto no tempo de processamento nas duas plataformas ao ampliar a quantidade de dados disponíveis para consultas específicas. Com isso, procurou-se analisar se, para a quantidade de dados presente em um data warehouse com dados públicos do Serviço Militar Brasileiro, seria vantajoso passar a utilizar uma tecnologia de Big Data como o Hive, e se seria possível fazer essa troca sem alterar a modelagem dos dados. Os ambientes foram criados na Google Cloud, consistindo em um MySQL 5.7 e dois clusters Hive, um com dois workers, e outro, com quatro. Os resultados obtidos mostraram que para o conjunto de dados selecionado, a arquitetura construída no cluster com quatro workers, e utilizando armazenamento Parquet para os dados, foi possível obter um desempenho equivalente ou superior ao MySQL para a maioria das consultas realizadas.