Visão geral
Python é a linguagem de trabalho de todas as outras matérias. O objetivo aqui não é virar programador, e sim dominar um ciclo que se repete em qualquer projeto de dados:
importar → inspecionar → converter tipos → tratar faltantes → filtrar e agrupar → descrever → visualizar.
Antes do código, vale fixar o mapa de machine learning, porque ele define o que fazer com os dados depois:
- Aprendizado supervisionado: existe uma variável resposta \(Y\) e o objetivo é prever \(Y\) para observações novas, \(Y = f(X_1, \dots, X_k)\). Se \(Y\) é métrica → regressão; se é categórica → classificação.
- Aprendizado não supervisionado: não há \(Y\); busca-se estrutura nos dados (agrupamento/clustering, redução de dimensão como PCA, análise de correspondência).
Ambiente
- Anaconda traz Python e bibliotecas científicas; IDEs comuns: Spyder, VS Code, Jupyter e Google Colab (na nuvem, sem instalar nada).
pip install pacotebaixa o pacote (uma vez);import pacotecarrega na sessão (toda vez).- No Spyder,
#%%cria células;Shift+Enterroda a célula;F9roda a linha ou seleção;Ctrl+Iabre a ajuda. - Trabalhe em projetos (uma pasta por análise), com caminhos curtos e sem caracteres especiais.
- Erro interrompe a execução; warning só avisa.
Estruturas de dados
| Estrutura | O que é | Exemplo |
|---|---|---|
list |
sequência ordenada e mutável | [1, 2, 3] |
dict |
pares chave → valor | {"nome": "Ana", "idade": 30} |
Series (pandas) |
uma coluna com índice | df["idade"] |
DataFrame (pandas) |
tabela de várias séries | pd.DataFrame(dict) |
Bibliotecas do dia a dia
- pandas: tabelas, leitura e escrita de arquivos, filtros, agrupamentos.
- numpy: funções numéricas (
np.mean,np.std,np.round,np.where). - matplotlib: moldura do gráfico (título, rótulos, eixos, legenda,
savefig). - seaborn: gráficos estatísticos prontos sobre DataFrames.
- plotly: gráficos interativos, exportáveis em HTML.
Passo a passo do ciclo de dados
- Importar:
pd.read_csv,pd.read_excelou uma URL de API. No CSV, confirasepedecimal. - Inspecionar:
head(),columns,info(),shape,describe(),value_counts(). - Converter tipos:
pd.to_numeric(col, errors="coerce")transforma texto inválido emNaN;astype("category")marca variáveis qualitativas. - Tratar faltantes:
dropna()ou outra regra explícita, sempre documentada. - Filtrar e selecionar: condições com
&(e) e|(ou), cada uma entre parênteses;ilocpor posição, nomes por rótulo. - Agrupar e ordenar:
groupby(...).agg(...),sort_values(...),pd.crosstab(...). - Descrever cada variável de acordo com o seu tipo.
- Visualizar com o gráfico adequado e exportar com
to_csv(..., index=False).
Funções, condições e laços
def resumo(serie):
"""Média e desvio arredondados."""
return round(serie.mean(), 2), round(serie.std(), 2)
if nota >= 7:
situacao = "aprovado"
elif nota >= 5:
situacao = "recuperação"
else:
situacao = "reprovado"
for coluna in df.columns: # percorre elementos conhecidos
print(coluna, df[coluna].dtype)
while saldo > 0: # repete enquanto a condição valer
saldo -= parcela
Qual gráfico usar
| Pergunta | Gráfico |
|---|---|
| Frequência de uma categórica | countplot / barplot (pizza só com poucas partes) |
| Distribuição de uma métrica | histplot (com kde) e boxplot |
| Relação entre duas métricas | scatterplot (+ hue, size, style) ou regplot |
| Várias métricas de uma vez | pairplot e mapa de calor de correlação |
| Evolução no tempo | lineplot / px.line |
Boas práticas
- Primeira célula com instalações e
import; funções definidas no topo. - Toda alteração nos dados por código, nunca editando à mão: a análise fica reprodutível.
- Operações geram objetos novos; sobrescreva nomes conscientemente e cuidado com
inplace=True. - Paletas acessíveis a daltônicos (ex.:
viridis) e rótulos nas barras (bar_label). - Leia a documentação em vez de decorar parâmetros.
Como ler os resultados
describe(): média muito diferente da mediana sugere assimetria ou outliers;countmenor que o total indica faltantes.info(): coluna numérica aparecendo comoobjectdenuncia texto sujo (hífens, vírgulas, símbolos).- Boxplot: pontos fora dos bigodes são candidatos a outliers, não necessariamente erros.
- Dispersão com reta mostra direção e força da relação, nunca causalidade.
np.stdusa por padrão o desvio populacional (ddof=0) e oSeries.std()do pandas usa o amostral (ddof=1).