InCube - Data Science

Previsão de Preço de Casas com Apache Spark Regressão Linear Neste artigo, usaremos o conjunto de dados da California Housing. Observe, é claro, que esses dados são realmente 'pequenos' e que o uso do Spark nesse contexto pode ser um exagero, porém este notebook é apenas para fins educacionais e deve nos dar uma idéia de como podemos usar o PySpark para construir um modelo de aprendizado de máquina. Este modelo foi criado com base num estudo do Kaggle Compreendendo o conjunto de dados O conjunto de dados da California Housing apareceu em um artigo de 1997 intitulado Sparse Spatial Autoregressions, escrito por Pace, R. Kelley e Ronald Barry e publicado na revista Statistics and Probability Letters. Os pesquisadores construíram esse conjunto de dados usando os dados do censo da Califórnia em 1990. Os dados contêm uma linha por grupo de blocos censitários. Um grupo de blocos é a menor unidade geográfica para a qual o US Census Bureau publica dados de amostra

Este artigo, tem como objetivo a explanação do uso do método de previsão de séries temporais, o ARIMA, bem como abordagem de técnicas de limpeza de dados e visualização utilizando o Pyplot. Neste kernel, usei fontes de dados múltiplas que são operações de bombardeio aéreo e condições climáticas na Segunda Guerra Mundial. Após esse ponto, usarei a sigla WW2 para a 2ª Guerra Mundial. Começaremos com a descrição e a limpeza dos dados, depois visualizaremos nossos dados para os entender melhor. Esses processos podem ser chamados de AED (Análise Exploratória de Dados). Depois disso, focaremos na previsão de séries temporais para prever quando as operações de bombardeio são realizadas. Para previsão de séries temporais, usaremos o método ARIMA. As labels e todo o código está em inglês para uma universalização da linguagem. Entendendo o ARIMA Em estatística e econometria, particularmente em análise de séries temporais, um modelo auto-regressivo integrado de médias móveis (autoreg