InCube - Data Science

Em Novembro de 2015 foi lançado uma das mais incríveis bibliotecas de Machine Learning, o Google TensorFlow. Atualmente o crescimento desta biblioteca tem crescido de uma forma imensurável, com constantes atualizações, novas features e uma comunidade muito ativa. Muito se fala em TensorFlow atualmente, mas afinal o que é o TensorFlow? Ao longo deste artigo iremos explicar o que é este importante framework, mas tambem mostrar os dois principais fatores do surgimento desta biblioteca, o fenômeno BIg Data e Deep Learning. Conhecendo Big Data Vivemos numa era de total explosão de informação, onde dados estão sendo gerado de todos os lugares, por qualquer dispositivo, em volume gigantesco e uma velocidade estonteante, através de Smartphones, relógios, Tvs, sensores, eletrodomésticos, etc.. A grande maioria destes dispositivos já estão sendo gerados para armazenar dados  na nuvem, pois a capacidade de armazenamento em nuvem é um fator quase ilimitado. O resultado desse armazenamento s

Web Scraping Muitas vezes nos deparamos com a necessidade de obter informações de sites, sem conseguirmos acessar aos seus respectivos bancos de dados, o que pode ser um enorme problema, inclusive invalidar todo um projeto. É para que tal fato não ocorre que existe o Web Scraping!  Com poucas linhas de código e com uma inspeção minuciosa no site, conseguimos obter os tão desejados dados. A linguagem de programação Python é largamente utilizada na comunidade de data science, e, portanto, tem um ecossistema de módulos e ferramentas que você pode usar em seus próprios projetos. Neste caso estaremos utilizando o pacote Beautiful Soup. O algoritmo utilizado será descrito de forma separada e detalhada para um melhor entendimento de cada passo, e no final do tutorial será apresentado totalmente unificado e pronto para executar. Python e o Beautiful Soup É uma biblioteca Python que permite um retorno rápido em projetos de Web Scraping. Biblioteca compativel

O que é o Hadoop? Haddop é uma solução open-source, ou seja...gratuita! Muito utilizada para processamento de dados de elevado volume e variedade, por meio de  computação em grande escala, desenvolvido pela Apache Software Foundation. Podemos notar e relacionar a utilização de processamento de dados massivos, com a chegada do Hadoop no universo corporativo. O Hadoop é sem dúvida uma, senão a melhor alternativa para processar e agrupar grandes volumes de dados estruturados, semi-estruturados e não-estruturados. A implementação permite obter um meio relativamente acessível de extração de informações e efetuar previsões a partir da compreensão dos dados da sua organização, ao invés de obter informações apenas de bancos de dados transacionais ou DWs (data warehouses). Porém quando os conjuntos de dados analisados são gerados em alta velocidade, necessitamos de utilizar soluções mais customizadas, como o MapReduce. Como funciona? O Hadoop utiliza clusters para armazenar os da