Conhecendo o Hadoop


O que é o Hadoop?

Haddop é uma solução open-source, ou seja...gratuita! Muito utilizada para processamento de dados de elevado volume e variedade, por meio de  computação em grande escala, desenvolvido pela Apache Software Foundation.
Podemos notar e relacionar a utilização de processamento de dados massivos, com a chegada do Hadoop no universo corporativo.

O Hadoop é sem dúvida uma, senão a melhor alternativa para processar e agrupar grandes volumes de dados estruturados, semi-estruturados e não-estruturados.
A implementação permite obter um meio relativamente acessível de extração de informações e efetuar previsões a partir da compreensão dos dados da sua organização, ao invés de obter informações apenas de bancos de dados transacionais ou DWs (data warehouses).

Porém quando os conjuntos de dados analisados são gerados em alta velocidade, necessitamos de utilizar soluções mais customizadas, como o MapReduce.


Como funciona?

O Hadoop utiliza clusters para armazenar os dados, através de nodes que oferecem alta capacidade de computação quando combinados em distribuição paralela.
Dessa forma o Hadoop permite uma redução drástica nos custos envolvidos no armazenamento de Big Data,

O Hadoop possui basicamente 2 componente:

  • Framework de processamento distribuído: Com a utilização do MapReduce como framework de processamento distribuído, onde as tarefas de processamento são distribuídas através de cluesters e nodes para que largos volumes de dados possam ser processados de forma eficaz e muito rápida.
  • File system distribuído:  O Hadoop utiliza o Hadoop Distributed File System (HDFS) como um sistema distribuído de arquivos.
A carga de aplicações que executam sobre o Hadoop é dividida ente nodes do Hadoop Cluster e o output é armazenado no HDFS.
Um Hadoop Cluster pode ser composto de milhares de nodes. De forma a conseguir manter o custo de processamento de I/O (input/output) baixo, os processo Hadoop MapReduce são realizados bem próximos  dos dados quanto possível.
Ou seja, os processo de redução de dados são posicionados próximos aos processos de mapeamento, permitindo o compartilhamento de recursos computacionais em processamento de Big Data.


Outra grande vantagens e qualidade do Hadoop, é o fato dele suportar sistema de organização hierárquica, ou seja os nodes são classificados como masters e slaves. O serviço master, comumente chamado de JobTracker, é o responsável por controlar diversos serviços slaves. Por sua vez os serviços slaves, comumente chamados de TaskTrackers são distribuídos um para cada node.
Dessa forma o JobTracker detém o controle dos TaskTrackers e delega as funções de tarefas do MapReduce para eles.
Depois do lançamento da 2ª versão do Hadoop, um gerenciador de recurso denominado de YARN foi adicionado para ser utilizado como sistema integrado que realiza funções de agendamento, além de gerenciamento de recursos.

O Hadoop processa dados em batch, por consequência não deve ser utilizado para processar dados em tempo real de bancos de dados transacionais. Porém o Hadoop pode resolver muitos outros tipos de problemas relacionados a Big Data.


Não tem como não falar de Hadoop, quando se fala do fenômeno de Big Data, é sem duvida uma alternativa, eficaz e de fácil utilização.




Referências : Apache Hadoop : https://hadoop.apache.org/










Comentários

Postar um comentário

Postagens mais visitadas deste blog

Tutorial de Machine Learning com Python - Iniciantes - Parte 1

Imagem
Este tutorial tem como objetivo explicar apenas o necessário para que qualquer pessoa, possa iniciar sua caminhada em Ciência de Dados.  Abordaremos as principais ferramentas que um Cientista de Dados na linguagem Python, não pode deixar de utilizar. Criamos este material para pessoas que ainda não possuem o ferramental matemático avançado de machine learning. Apresentaremos exemplos mais simples como introdução para motivar os iniciantes O tutorial é dividido em duas partes, sendo a segunda parte publicada posteriormente á publicação da primeira. Como dados utilizaremos um dataset bem conhecido no universo de data science, que é o Pokemons, muito utilizado para fins acadêmicos, como é este caso. O cientista de dados precisa ter as seguintes habilidades: Ferramentas básicas: como python, R ou SQL. Você não precisa saber tudo. O que você só precisa é aprender a usar python. Estatística Básica: Como média, mediana ou desvio padrão. Se você conhece estatísticas básicas, pod
Leia mais

Regressão Múltipla com R

Imagem
CONCEITO A regressão múltipla é uma extensão da regressão linear na relação entre mais de duas variáveis. Na relação linear simples, temos uma variável preditora e uma resposta, mas, na regressão múltipla, temos mais de uma variável preditora e uma variável de resposta. A equação matemática geral para regressão múltipla é : y = a + b1x1 + b2x2 +...bnxn A seguir, é apresentada a descrição dos parâmetros usados: y é a variável de resposta a, b1, b2 ... bn são os coeficientes x1, x2, ... xn são as variáveis preditoras Criamos o modelo de regressão usando a função lm() em R. O modelo determina o valor dos coeficientes usando os dados de entrada. Em seguida, podemos  Prever o valor da variável de resposta para um determinado conjunto de variáveis preditoras usando esses coeficientes. FUNÇÃO LM() Essa função cria o modelo de relacionamento entre o preditor e a variável de resposta. A sintaxe básica da função lm() na regressão múltipla é: lm(y ~ x1+x2+x3...,data)
Leia mais

Tutorial de Machine Learning com Python - Iniciantes - Parte 2

Imagem
Em continuação á parte 1 do tutorial de machine learning para iniciantes, que pode ser encontrado em  https://incubedatascience.blogspot.com/2020/02/tutorial-de-machine-learning-com-python.html vamos iniciar a segunda parte deste tutorial, onde valos abordar mais diretamente Machine Learning, Aprendizado Supervisionado e Não Supervisionado, Deep Learning, Predição de Séries Temporais e um pouco do uso de Pytorch. Vamos iniciar importante as principais bibliotecas que vamos trabalhar do Python Os arquivos de dados de entrada estão disponíveis no diretório "../input/". Por exemplo, executar isso (clicando em executar ou pressionando Shift + Enter) listará os arquivos no diretório de entrada Todos os resultados que você escreve no diretório atual são salvos como saída. Ler o  csv (valor separado por vírgula) nos dados MACHINE LEARNING (ML) Aprendizado Supervisionado Aprendizado supervisionado: usa dados que possuem rótulos. Por exemplo, exis
Leia mais