Visão geral
Data wrangling é levar o dado da estrutura bruta para uma estrutura adequada à extração de informação. Vem antes das descritivas finais, dos gráficos e dos modelos, e costuma consumir de 40% a 80% do tempo de um projeto.
- Limpeza (faltantes, valores incorretos, extremos, linhas e colunas inúteis) é parte do wrangling, não sinônimo.
- Não existe roteiro fixo: cada base traz problemas próprios. O método é olhar → achar o problema → aplicar a função certa → conferir.
- No ciclo CRISP-DM (entendimento do negócio, entendimento dos dados, preparação, modelagem, avaliação, implantação), o wrangling começa no entendimento dos dados e domina a preparação. O ciclo é iterativo.
Funções essenciais (pandas)
Importar e inspecionar
pd.read_excel(..., na_values=["..", "-"])epd.read_csv(..., sep=";", encoding="latin1").head(),tail()(rodapés e notas no fim do arquivo!),info(),describe(),unique(),nunique(),isna().sum().pd.set_option("display.max_columns", None)para ver todas as colunas.
Renomear e selecionar
- Renomeie por nome (dicionário), nunca por posição: nomes curtos, minúsculos, sem espaço nem acento.
iloc[linhas, colunas](posição; o limite final não entra),loc(rótulos),df[["a", "b"]].
Criar e transformar variáveis
- Conta direta:
df["margem"] = df.lucro / df.receita. assign+mapcom dicionário de correspondência.np.where(aninhado, com critérios sem sobreposição; o último argumento cobre o restante).pd.qcutpara faixas por quantis;astypepara tipos.- Datas:
pd.to_datetime(col).dt.year. - Defasagem:
groupby("entidade")["valor"].shift(1)— sempre agrupado, para não misturar entidades.
Filtrar
- Máscara booleana:
==,!=,&,|,~,between(...),isin([...]). query("idade > 30 and uf == @estado")— combina bem com encadeamento.
Agregar
groupby([...]).size(),.describe(),.agg({"valor": "mean", "id": "count"}).- Cuidado para não sobrescrever o DataFrame original com o objeto agrupado.
Juntar e reformatar
concat: empilha tabelas com a mesma estrutura (usereset_index(drop=True)depois).merge(how=..., on=chave): junta colunas de fontes diferentes por uma chave.left/right: mantêm todas as linhas de um lado;inner: só chaves presentes nos dois;outer: todas, comNaNonde falta.pivot(longo → largo) emelt(largo → longo).
Texto
.str.slice,.str.strip,.str.split(" ").str[0],.str.contains,.str.extractall(regex).- Expressões regulares quando o padrão se repete dentro do texto.
Faltantes e extremos
- Declare códigos de falta na importação (
na_values). infaparece em divisão por zero: remova comisin([np.nan, np.inf, -np.inf]).- Cortes de extremos (ex.: variações acima de ±200%) precisam ser declarados no código.
Método passo a passo
- Importar com os parâmetros certos e conferir
shape,head,tail,info. - Renomear colunas e ajustar tipos.
- Inspecionar valores e localizar problemas: faltantes, duplicatas, extremos, categorias inconsistentes, rodapés.
- Limpar: remover ou preencher faltantes, descartar duplicatas e colunas sem uso, corrigir valores.
- Criar e transformar variáveis (cálculos, faixas, defasagens, extração de texto).
- Juntar tabelas por chave e reformatar, conferindo o número de linhas antes e depois.
- Validar: descritivas finais, contagens por grupo, casos conhecidos conferidos à mão.
- Versionar o script (Git) e documentar as regras de corte.
Encadeamento de métodos
resultado = (
df.assign(margem=lambda d: d.lucro / d.receita)
.query("ano >= 2020")
.rename(columns={"uf": "estado"})
.groupby("estado")
.agg(margem_media=("margem", "mean"), empresas=("id", "nunique"))
.sort_values("margem_media", ascending=False)
)
Rode linha a linha para depurar; encadeie quando o fluxo já estiver claro.
Versionamento com Git
- Ciclo básico:
git add(prepara) →git commit -m "mensagem"(registra o estado) →git push(envia ao GitHub);git pulltraz o que está no remoto. - Branch isola mudanças ainda não validadas;
merge(ou pull request) incorpora na principal. .gitignoremantém bases de dados e credenciais fora do repositório; repositório público pode ser copiado por qualquer pessoa.
Quando usar cada coisa
np.where→ rótulos vindos de regras;map→ tabela de correspondência;qcut→ regra por quantis.mergesempre que as fontes forem diferentes;concatpara empilhar a mesma estrutura..strsimples para padrões fixos; regex para padrões que se repetem.
Armadilhas
- Tirar média de categórica codificada (1, 2, 3).
- Renomear por posição: se a ordem das colunas mudar no próximo arquivo, renomeia a coluna errada sem avisar.
- Atribuir colunas "pela ordem" em vez de usar
merge. - Duplicatas por várias versões do mesmo registro inflando contagens.
- Nota de rodapé no fim do arquivo lida como dado.
- Agregados (regiões, "total") misturados às unidades na mesma coluna.
- Valores de texto (
..,-,False) que transformam uma coluna numérica emobject.