O termo e a tradução não revelam a importância que o Big Data, ou megadados ou grandes dados em português, tem adquirido ao longo dos últimos anos. O conceito surgiu por volta de 2005 com o Google e depois com o Yahoo. E nada mais é do que uma área do conhecimento que estuda como tratar e analisar informações a partir de conjuntos de dados grandes demais para serem analisados por sistemas tradicionais. De posse desses dados, as empresas têm mais chances de tomar decisões acertadas.
O Big Data está relacionados aos 3V´s: volume, velocidade e variedade. O volume, logicamente, se refere à quantidade de dados gerados. E eles podem vir de variadas fontes – desde redes sociais até transações financeiras. Estima-se que, em 2018, as informações armazenadas digitalmente no mundo totalizavam 33 zetabytes, o equivalente a mais de 35 bilhões de terabytes (cada terabyte equivale a 1.024 Gigabytes).
A velocidade pode ser de suma importância dependendo do ramo de negócio e valor que será gerado a partir daquela consulta. Se a velocidade for baixa pode parar toda a cadeia de gestão de uma empresa até ser tomada uma decisão. E tempo é dinheiro.
A variedade não tem menos importância. Ela diz respeito aos formatos de geração dos dados -- estruturados ou não estruturados (como documentos de áudio). E quanto maior a variedade, maior a possibilidade de sair na frente de um concorrente.
Mais recentemente, também tem se falado em mais dois V´s: a veracidade (da informação) e o valor (é uma informação que pode ser usada?).
Com extenso know how de gestão, armazenamento e processamento de dados desde 1997, o Simepar encontrou a necessidade do uso de ferramentas de Big Data em seu cenário para facilitar a aplicação e tomada de decisão. Com este propósito ele desenvolveu o ClimatOS.
O objetivo é aplicar os V´s e associar ao conhecimento e experiência adquiridos pelo Simepar no apoio à tomada de decisões. Alguns exemplos são os dados de estações hidrometeorológicas, ambientais, satélites, radares meteorológicos, descargas atmosféricas (raios), focos de calor, entre outros. Além disso, há também solução avançada para clientes que necessitam de cálculos a partir de dados de medições ou estimativas ambientais.
O Simepar possui um sistema completo que utiliza tecnologia de ponta para entregar um grande volume e variedade de informações no menor tempo possível. A ferramenta inclui desde a recepção de dados (transmissão de dados, decodificadores, processamento de cálculos derivados) até um ambiente WEB para visualização e análise dos dados.
No módulo WEB do ClimatOS há uma série de funcionalidades baseadas em mapas, gráficos, relatórios, exportação e importação de dados e metadados, dashboards, diagramas, consistência de dados e telas de gerenciamento (cadastrar, editar, visualizar e excluir informações), que auxiliam o usuário de maneira gráfica e intuitiva na análise das informações registradas para tomada de decisão.
As tecnologias e conceitos adotados são os mesmos usados por grandes
corporações como Amazon, Facebook, Nike, Shell. Dentre as tecnologias adotadas, fazem parte da solução do ClimatOS ferramentas como Hadoop, Cassandra, Spark, RabbitMQ, Cammel, GeoMesa.