PySpark - Aula 01 - Fundamentos - Tutorial em Português na Prática

Nessa aula vamos aprender os primeiros passos de utilização do PySpark.

Nesse vídeo vamos aprender:

00:00 Introdução
00:25 Instalação PySpark (Jupyter Notebook e Colab)
01:30 Importação bibliotecas / funções
02:20 Criar Sessão PySpark
03:20 Criar DF / ler arquivo
05:10 Exibir DF
06:00 Verificar tipos de colunas
07:00 Verificando dados nulos
09:14 Renomear Colunas
12:50 Selecionar Colunas
15:33 Selecionar Colunas com ALIAS
17:30 Organizar Select
18:30 Filtrar DF
21:36 Filtrar DF com 2 ou mais condições (AND / &)
25:56 Filtrar DF com 2 ou mais condições (OR / |)
28:40 Filtrar DF combinando & e | (And e OR)
33:00 Criar novas colunas (usando função lit)
35:53 Criar coluna condicional (usando função substring)
40:51 Criar coluna condicional (usando função concat / concat_ws)
44:17 Alterar tipo de coluna
47:37 Desafio: Transformar coluna em tipo data


Links e acessos do vídeo:

Site para utilização do Colab Notebook:
https://colab.research.google.com/

Site para instalação Anaconda:
https://anaconda.org/

Comando para instalação PySpark no Anaconda:
conda install -c conda-forge pyspark

Site para download do DataFrame original:
https://www.kaggle.com/datasets/djams...

Arquivo Python finalizado:
https://www.4shared.com/s/fm3WZmho6iq


Caso tenham alguma dúvida, deixem nos comentários.

Obrigado e bons estudos.