# Data Wrangling

> Transformar o dado bruto numa base pronta para análise e modelagem — importar, inspecionar, limpar, transformar, juntar, reformatar, validar e versionar.

## Visão geral

**Data wrangling** é levar o dado da estrutura bruta para uma estrutura adequada à extração de informação. Vem antes das descritivas finais, dos gráficos e dos modelos, e costuma consumir de 40% a 80% do tempo de um projeto.

- **Limpeza** (faltantes, valores incorretos, extremos, linhas e colunas inúteis) é **parte** do wrangling, não sinônimo.
- Não existe roteiro fixo: cada base traz problemas próprios. O método é **olhar → achar o problema → aplicar a função certa → conferir**.
- No ciclo **CRISP-DM** (entendimento do negócio, entendimento dos dados, preparação, modelagem, avaliação, implantação), o wrangling começa no entendimento dos dados e domina a preparação. O ciclo é iterativo.

## Funções essenciais (pandas)

### Importar e inspecionar
- `pd.read_excel(..., na_values=["..", "-"])` e `pd.read_csv(..., sep=";", encoding="latin1")`.
- `head()`, `tail()` (rodapés e notas no fim do arquivo!), `info()`, `describe()`, `unique()`, `nunique()`, `isna().sum()`.
- `pd.set_option("display.max_columns", None)` para ver todas as colunas.

### Renomear e selecionar
- Renomeie **por nome** (dicionário), nunca por posição: nomes curtos, minúsculos, sem espaço nem acento.
- `iloc[linhas, colunas]` (posição; o limite final não entra), `loc` (rótulos), `df[["a", "b"]]`.

### Criar e transformar variáveis
- Conta direta: `df["margem"] = df.lucro / df.receita`.
- `assign` + `map` com dicionário de correspondência.
- `np.where` (aninhado, com critérios sem sobreposição; o último argumento cobre o restante).
- `pd.qcut` para faixas por quantis; `astype` para tipos.
- Datas: `pd.to_datetime(col).dt.year`.
- Defasagem: `groupby("entidade")["valor"].shift(1)` — sempre agrupado, para não misturar entidades.

### Filtrar
- Máscara booleana: `==`, `!=`, `&`, `|`, `~`, `between(...)`, `isin([...])`.
- `query("idade > 30 and uf == @estado")` — combina bem com encadeamento.

### Agregar
- `groupby([...]).size()`, `.describe()`, `.agg({"valor": "mean", "id": "count"})`.
- Cuidado para não sobrescrever o DataFrame original com o objeto agrupado.

### Juntar e reformatar
- `concat`: **empilha** tabelas com a mesma estrutura (use `reset_index(drop=True)` depois).
- `merge(how=..., on=chave)`: **junta colunas** de fontes diferentes por uma chave.
  - `left`/`right`: mantêm todas as linhas de um lado; `inner`: só chaves presentes nos dois; `outer`: todas, com `NaN` onde falta.
- `pivot` (longo → largo) e `melt` (largo → longo).

### Texto
- `.str.slice`, `.str.strip`, `.str.split(" ").str[0]`, `.str.contains`, `.str.extractall(regex)`.
- Expressões regulares quando o padrão se repete dentro do texto.

### Faltantes e extremos
- Declare códigos de falta na importação (`na_values`).
- `inf` aparece em divisão por zero: remova com `isin([np.nan, np.inf, -np.inf])`.
- Cortes de extremos (ex.: variações acima de ±200%) precisam ser **declarados** no código.

## Método passo a passo

1. Importar com os parâmetros certos e conferir `shape`, `head`, `tail`, `info`.
2. Renomear colunas e ajustar tipos.
3. Inspecionar valores e localizar problemas: faltantes, duplicatas, extremos, categorias inconsistentes, rodapés.
4. Limpar: remover ou preencher faltantes, descartar duplicatas e colunas sem uso, corrigir valores.
5. Criar e transformar variáveis (cálculos, faixas, defasagens, extração de texto).
6. Juntar tabelas por chave e reformatar, **conferindo o número de linhas antes e depois**.
7. Validar: descritivas finais, contagens por grupo, casos conhecidos conferidos à mão.
8. Versionar o script (Git) e documentar as regras de corte.

## Encadeamento de métodos

```python
resultado = (
    df.assign(margem=lambda d: d.lucro / d.receita)
      .query("ano >= 2020")
      .rename(columns={"uf": "estado"})
      .groupby("estado")
      .agg(margem_media=("margem", "mean"), empresas=("id", "nunique"))
      .sort_values("margem_media", ascending=False)
)
```

Rode linha a linha para depurar; encadeie quando o fluxo já estiver claro.

## Versionamento com Git

- Ciclo básico: `git add` (prepara) → `git commit -m "mensagem"` (registra o estado) → `git push` (envia ao GitHub); `git pull` traz o que está no remoto.
- **Branch** isola mudanças ainda não validadas; `merge` (ou pull request) incorpora na principal.
- `.gitignore` mantém bases de dados e credenciais fora do repositório; repositório público pode ser copiado por qualquer pessoa.

## Quando usar cada coisa

- `np.where` → rótulos vindos de regras; `map` → tabela de correspondência; `qcut` → regra por quantis.
- `merge` sempre que as fontes forem diferentes; `concat` para empilhar a mesma estrutura.
- `.str` simples para padrões fixos; regex para padrões que se repetem.

## Armadilhas

- Tirar média de categórica codificada (1, 2, 3).
- Renomear por posição: se a ordem das colunas mudar no próximo arquivo, renomeia a coluna errada sem avisar.
- Atribuir colunas "pela ordem" em vez de usar `merge`.
- Duplicatas por várias versões do mesmo registro inflando contagens.
- Nota de rodapé no fim do arquivo lida como dado.
- Agregados (regiões, "total") misturados às unidades na mesma coluna.
- Valores de texto (`..`, `-`, `False`) que transformam uma coluna numérica em `object`.

## Perguntas de revisão

1. **O que é data wrangling?** Transformar o dado bruto numa estrutura adequada para análise e modelagem.
2. **Limpeza e wrangling são a mesma coisa?** Não; a limpeza é uma das partes do wrangling.
3. **Onde o wrangling entra no CRISP-DM?** Começa no entendimento dos dados e pesa na preparação dos dados.
4. **Por que renomear colunas por nome e não por posição?** Porque se a ordem mudar, a posição renomeia a coluna errada sem nenhum aviso.
5. **O que `iloc[2:5]` seleciona?** As posições 2, 3 e 4; o 5 não entra.
6. **Qual a diferença entre `concat` e `merge`?** `concat` empilha tabelas de mesma estrutura; `merge` junta colunas por uma chave comum.
7. **O que fazem os tipos de `how` no `merge`?** `left`/`right` preservam um lado; `inner` só chaves comuns; `outer` todas, com `NaN` onde falta.
8. **Como detectar duplicidade num painel de dados?** Contando observações por chave e comparando com o número esperado.
9. **O que `value_counts(normalize=True)` devolve?** A frequência relativa de cada categoria.
10. **Como tratar um código como `..` numa coluna numérica?** Declarando `na_values=".."` na importação, ou trocando por `NaN` e convertendo o tipo.
11. **Como converter uma tabela longa em larga?** Com `pivot`; o inverso é `melt`.
12. **Para que serve `shift` agrupado?** Para criar defasagens dentro de cada entidade, sem misturar grupos.
13. **De onde vem `inf` numa variação percentual?** De divisão por zero; deve ser removido antes de resumir.
14. **O que faz `str.split(" ").str[0]`?** Separa o texto pelos espaços e pega a primeira palavra.
15. **Quando usar regex com `str.extractall`?** Quando um padrão aparece várias vezes no mesmo texto e é preciso capturar todas as ocorrências.
16. **Qual o ciclo básico do Git?** `add`, `commit` e `push`; `pull` traz o remoto.
17. **Para que serve uma branch?** Para isolar mudanças não validadas da versão principal.
18. **Por que usar `.gitignore`?** Para manter bases de dados e credenciais fora do versionamento.
19. **Como validar o resultado do tratamento?** Conferindo linhas e colunas, tipos, faltantes, descritivas antes/depois e casos conhecidos à mão.
20. **Por que encadear métodos?** O fluxo fica legível e sem objetos intermediários; para depurar, rode linha a linha.

---
Fonte: Atlas de Dados — https://atlas.frediania.com/materia/data-wrangling
