Pular para o conteúdo
Atlas de Dados

Fundamentos

Python para Análise de Dados

Ambiente, estruturas de dados, pandas, funções, condições e laços, e o ciclo importar → inspecionar → limpar → agrupar → visualizar.

Visão geral

Python é a linguagem de trabalho de todas as outras matérias. O objetivo aqui não é virar programador, e sim dominar um ciclo que se repete em qualquer projeto de dados:

importar → inspecionar → converter tipos → tratar faltantes → filtrar e agrupar → descrever → visualizar.

Antes do código, vale fixar o mapa de machine learning, porque ele define o que fazer com os dados depois:

  • Aprendizado supervisionado: existe uma variável resposta \(Y\) e o objetivo é prever \(Y\) para observações novas, \(Y = f(X_1, \dots, X_k)\). Se \(Y\) é métrica → regressão; se é categórica → classificação.
  • Aprendizado não supervisionado: não há \(Y\); busca-se estrutura nos dados (agrupamento/clustering, redução de dimensão como PCA, análise de correspondência).

Ambiente

  • Anaconda traz Python e bibliotecas científicas; IDEs comuns: Spyder, VS Code, Jupyter e Google Colab (na nuvem, sem instalar nada).
  • pip install pacote baixa o pacote (uma vez); import pacote carrega na sessão (toda vez).
  • No Spyder, #%% cria células; Shift+Enter roda a célula; F9 roda a linha ou seleção; Ctrl+I abre a ajuda.
  • Trabalhe em projetos (uma pasta por análise), com caminhos curtos e sem caracteres especiais.
  • Erro interrompe a execução; warning só avisa.

Estruturas de dados

Estrutura O que é Exemplo
list sequência ordenada e mutável [1, 2, 3]
dict pares chave → valor {"nome": "Ana", "idade": 30}
Series (pandas) uma coluna com índice df["idade"]
DataFrame (pandas) tabela de várias séries pd.DataFrame(dict)

Bibliotecas do dia a dia

  • pandas: tabelas, leitura e escrita de arquivos, filtros, agrupamentos.
  • numpy: funções numéricas (np.mean, np.std, np.round, np.where).
  • matplotlib: moldura do gráfico (título, rótulos, eixos, legenda, savefig).
  • seaborn: gráficos estatísticos prontos sobre DataFrames.
  • plotly: gráficos interativos, exportáveis em HTML.

Passo a passo do ciclo de dados

  1. Importar: pd.read_csv, pd.read_excel ou uma URL de API. No CSV, confira sep e decimal.
  2. Inspecionar: head(), columns, info(), shape, describe(), value_counts().
  3. Converter tipos: pd.to_numeric(col, errors="coerce") transforma texto inválido em NaN; astype("category") marca variáveis qualitativas.
  4. Tratar faltantes: dropna() ou outra regra explícita, sempre documentada.
  5. Filtrar e selecionar: condições com & (e) e | (ou), cada uma entre parênteses; iloc por posição, nomes por rótulo.
  6. Agrupar e ordenar: groupby(...).agg(...), sort_values(...), pd.crosstab(...).
  7. Descrever cada variável de acordo com o seu tipo.
  8. Visualizar com o gráfico adequado e exportar com to_csv(..., index=False).

Funções, condições e laços

def resumo(serie):
    """Média e desvio arredondados."""
    return round(serie.mean(), 2), round(serie.std(), 2)

if nota >= 7:
    situacao = "aprovado"
elif nota >= 5:
    situacao = "recuperação"
else:
    situacao = "reprovado"

for coluna in df.columns:          # percorre elementos conhecidos
    print(coluna, df[coluna].dtype)

while saldo > 0:                   # repete enquanto a condição valer
    saldo -= parcela

Qual gráfico usar

Pergunta Gráfico
Frequência de uma categórica countplot / barplot (pizza só com poucas partes)
Distribuição de uma métrica histplot (com kde) e boxplot
Relação entre duas métricas scatterplot (+ hue, size, style) ou regplot
Várias métricas de uma vez pairplot e mapa de calor de correlação
Evolução no tempo lineplot / px.line

Boas práticas

  1. Primeira célula com instalações e import; funções definidas no topo.
  2. Toda alteração nos dados por código, nunca editando à mão: a análise fica reprodutível.
  3. Operações geram objetos novos; sobrescreva nomes conscientemente e cuidado com inplace=True.
  4. Paletas acessíveis a daltônicos (ex.: viridis) e rótulos nas barras (bar_label).
  5. Leia a documentação em vez de decorar parâmetros.

Como ler os resultados

  • describe(): média muito diferente da mediana sugere assimetria ou outliers; count menor que o total indica faltantes.
  • info(): coluna numérica aparecendo como object denuncia texto sujo (hífens, vírgulas, símbolos).
  • Boxplot: pontos fora dos bigodes são candidatos a outliers, não necessariamente erros.
  • Dispersão com reta mostra direção e força da relação, nunca causalidade.
  • np.std usa por padrão o desvio populacional (ddof=0) e o Series.std() do pandas usa o amostral (ddof=1).