Pular para o conteúdo
Atlas de Dados

Preparação de dados

Data Wrangling

Transformar o dado bruto numa base pronta para análise e modelagem — importar, inspecionar, limpar, transformar, juntar, reformatar, validar e versionar.

Visão geral

Data wrangling é levar o dado da estrutura bruta para uma estrutura adequada à extração de informação. Vem antes das descritivas finais, dos gráficos e dos modelos, e costuma consumir de 40% a 80% do tempo de um projeto.

  • Limpeza (faltantes, valores incorretos, extremos, linhas e colunas inúteis) é parte do wrangling, não sinônimo.
  • Não existe roteiro fixo: cada base traz problemas próprios. O método é olhar → achar o problema → aplicar a função certa → conferir.
  • No ciclo CRISP-DM (entendimento do negócio, entendimento dos dados, preparação, modelagem, avaliação, implantação), o wrangling começa no entendimento dos dados e domina a preparação. O ciclo é iterativo.

Funções essenciais (pandas)

Importar e inspecionar

  • pd.read_excel(..., na_values=["..", "-"]) e pd.read_csv(..., sep=";", encoding="latin1").
  • head(), tail() (rodapés e notas no fim do arquivo!), info(), describe(), unique(), nunique(), isna().sum().
  • pd.set_option("display.max_columns", None) para ver todas as colunas.

Renomear e selecionar

  • Renomeie por nome (dicionário), nunca por posição: nomes curtos, minúsculos, sem espaço nem acento.
  • iloc[linhas, colunas] (posição; o limite final não entra), loc (rótulos), df[["a", "b"]].

Criar e transformar variáveis

  • Conta direta: df["margem"] = df.lucro / df.receita.
  • assign + map com dicionário de correspondência.
  • np.where (aninhado, com critérios sem sobreposição; o último argumento cobre o restante).
  • pd.qcut para faixas por quantis; astype para tipos.
  • Datas: pd.to_datetime(col).dt.year.
  • Defasagem: groupby("entidade")["valor"].shift(1) — sempre agrupado, para não misturar entidades.

Filtrar

  • Máscara booleana: ==, !=, &, |, ~, between(...), isin([...]).
  • query("idade > 30 and uf == @estado") — combina bem com encadeamento.

Agregar

  • groupby([...]).size(), .describe(), .agg({"valor": "mean", "id": "count"}).
  • Cuidado para não sobrescrever o DataFrame original com o objeto agrupado.

Juntar e reformatar

  • concat: empilha tabelas com a mesma estrutura (use reset_index(drop=True) depois).
  • merge(how=..., on=chave): junta colunas de fontes diferentes por uma chave.
  • left/right: mantêm todas as linhas de um lado; inner: só chaves presentes nos dois; outer: todas, com NaN onde falta.
  • pivot (longo → largo) e melt (largo → longo).

Texto

  • .str.slice, .str.strip, .str.split(" ").str[0], .str.contains, .str.extractall(regex).
  • Expressões regulares quando o padrão se repete dentro do texto.

Faltantes e extremos

  • Declare códigos de falta na importação (na_values).
  • inf aparece em divisão por zero: remova com isin([np.nan, np.inf, -np.inf]).
  • Cortes de extremos (ex.: variações acima de ±200%) precisam ser declarados no código.

Método passo a passo

  1. Importar com os parâmetros certos e conferir shape, head, tail, info.
  2. Renomear colunas e ajustar tipos.
  3. Inspecionar valores e localizar problemas: faltantes, duplicatas, extremos, categorias inconsistentes, rodapés.
  4. Limpar: remover ou preencher faltantes, descartar duplicatas e colunas sem uso, corrigir valores.
  5. Criar e transformar variáveis (cálculos, faixas, defasagens, extração de texto).
  6. Juntar tabelas por chave e reformatar, conferindo o número de linhas antes e depois.
  7. Validar: descritivas finais, contagens por grupo, casos conhecidos conferidos à mão.
  8. Versionar o script (Git) e documentar as regras de corte.

Encadeamento de métodos

resultado = (
    df.assign(margem=lambda d: d.lucro / d.receita)
      .query("ano >= 2020")
      .rename(columns={"uf": "estado"})
      .groupby("estado")
      .agg(margem_media=("margem", "mean"), empresas=("id", "nunique"))
      .sort_values("margem_media", ascending=False)
)

Rode linha a linha para depurar; encadeie quando o fluxo já estiver claro.

Versionamento com Git

  • Ciclo básico: git add (prepara) → git commit -m "mensagem" (registra o estado) → git push (envia ao GitHub); git pull traz o que está no remoto.
  • Branch isola mudanças ainda não validadas; merge (ou pull request) incorpora na principal.
  • .gitignore mantém bases de dados e credenciais fora do repositório; repositório público pode ser copiado por qualquer pessoa.

Quando usar cada coisa

  • np.where → rótulos vindos de regras; map → tabela de correspondência; qcut → regra por quantis.
  • merge sempre que as fontes forem diferentes; concat para empilhar a mesma estrutura.
  • .str simples para padrões fixos; regex para padrões que se repetem.

Armadilhas

  • Tirar média de categórica codificada (1, 2, 3).
  • Renomear por posição: se a ordem das colunas mudar no próximo arquivo, renomeia a coluna errada sem avisar.
  • Atribuir colunas "pela ordem" em vez de usar merge.
  • Duplicatas por várias versões do mesmo registro inflando contagens.
  • Nota de rodapé no fim do arquivo lida como dado.
  • Agregados (regiões, "total") misturados às unidades na mesma coluna.
  • Valores de texto (.., -, False) que transformam uma coluna numérica em object.