# Python para Análise de Dados

> Ambiente, estruturas de dados, pandas, funções, condições e laços, e o ciclo importar → inspecionar → limpar → agrupar → visualizar.

## Visão geral

Python é a linguagem de trabalho de todas as outras matérias. O objetivo aqui não é virar programador, e sim dominar um ciclo que se repete em qualquer projeto de dados:

**importar → inspecionar → converter tipos → tratar faltantes → filtrar e agrupar → descrever → visualizar.**

Antes do código, vale fixar o mapa de machine learning, porque ele define o que fazer com os dados depois:

- **Aprendizado supervisionado**: existe uma variável resposta $Y$ e o objetivo é prever $Y$ para observações novas, $Y = f(X_1, \dots, X_k)$. Se $Y$ é métrica → **regressão**; se é categórica → **classificação**.
- **Aprendizado não supervisionado**: não há $Y$; busca-se estrutura nos dados (agrupamento/clustering, redução de dimensão como PCA, análise de correspondência).

## Ambiente

- **Anaconda** traz Python e bibliotecas científicas; IDEs comuns: **Spyder**, **VS Code**, **Jupyter** e **Google Colab** (na nuvem, sem instalar nada).
- `pip install pacote` baixa o pacote (uma vez); `import pacote` carrega na sessão (toda vez).
- No Spyder, `#%%` cria células; `Shift+Enter` roda a célula; `F9` roda a linha ou seleção; `Ctrl+I` abre a ajuda.
- Trabalhe em **projetos** (uma pasta por análise), com caminhos curtos e sem caracteres especiais.
- **Erro** interrompe a execução; **warning** só avisa.

## Estruturas de dados

| Estrutura | O que é | Exemplo |
|---|---|---|
| `list` | sequência ordenada e mutável | `[1, 2, 3]` |
| `dict` | pares chave → valor | `{"nome": "Ana", "idade": 30}` |
| `Series` (pandas) | uma coluna com índice | `df["idade"]` |
| `DataFrame` (pandas) | tabela de várias séries | `pd.DataFrame(dict)` |

## Bibliotecas do dia a dia

- **pandas**: tabelas, leitura e escrita de arquivos, filtros, agrupamentos.
- **numpy**: funções numéricas (`np.mean`, `np.std`, `np.round`, `np.where`).
- **matplotlib**: moldura do gráfico (título, rótulos, eixos, legenda, `savefig`).
- **seaborn**: gráficos estatísticos prontos sobre DataFrames.
- **plotly**: gráficos interativos, exportáveis em HTML.

## Passo a passo do ciclo de dados

1. **Importar**: `pd.read_csv`, `pd.read_excel` ou uma URL de API. No CSV, confira `sep` e `decimal`.
2. **Inspecionar**: `head()`, `columns`, `info()`, `shape`, `describe()`, `value_counts()`.
3. **Converter tipos**: `pd.to_numeric(col, errors="coerce")` transforma texto inválido em `NaN`; `astype("category")` marca variáveis qualitativas.
4. **Tratar faltantes**: `dropna()` ou outra regra explícita, sempre documentada.
5. **Filtrar e selecionar**: condições com `&` (e) e `|` (ou), cada uma entre parênteses; `iloc` por posição, nomes por rótulo.
6. **Agrupar e ordenar**: `groupby(...).agg(...)`, `sort_values(...)`, `pd.crosstab(...)`.
7. **Descrever** cada variável de acordo com o seu tipo.
8. **Visualizar** com o gráfico adequado e **exportar** com `to_csv(..., index=False)`.

## Funções, condições e laços

```python
def resumo(serie):
    """Média e desvio arredondados."""
    return round(serie.mean(), 2), round(serie.std(), 2)

if nota >= 7:
    situacao = "aprovado"
elif nota >= 5:
    situacao = "recuperação"
else:
    situacao = "reprovado"

for coluna in df.columns:          # percorre elementos conhecidos
    print(coluna, df[coluna].dtype)

while saldo > 0:                   # repete enquanto a condição valer
    saldo -= parcela
```

## Qual gráfico usar

| Pergunta | Gráfico |
|---|---|
| Frequência de uma categórica | `countplot` / `barplot` (pizza só com poucas partes) |
| Distribuição de uma métrica | `histplot` (com `kde`) e `boxplot` |
| Relação entre duas métricas | `scatterplot` (+ `hue`, `size`, `style`) ou `regplot` |
| Várias métricas de uma vez | `pairplot` e mapa de calor de correlação |
| Evolução no tempo | `lineplot` / `px.line` |

## Boas práticas

1. Primeira célula com instalações e `import`; funções definidas no topo.
2. Toda alteração nos dados por código, nunca editando à mão: a análise fica reprodutível.
3. Operações geram objetos novos; sobrescreva nomes conscientemente e cuidado com `inplace=True`.
4. Paletas acessíveis a daltônicos (ex.: `viridis`) e rótulos nas barras (`bar_label`).
5. Leia a documentação em vez de decorar parâmetros.

## Como ler os resultados

- `describe()`: média muito diferente da mediana sugere assimetria ou outliers; `count` menor que o total indica faltantes.
- `info()`: coluna numérica aparecendo como `object` denuncia texto sujo (hífens, vírgulas, símbolos).
- Boxplot: pontos fora dos bigodes são **candidatos** a outliers, não necessariamente erros.
- Dispersão com reta mostra direção e força da relação, nunca causalidade.
- `np.std` usa por padrão o desvio populacional (`ddof=0`) e o `Series.std()` do pandas usa o amostral (`ddof=1`).

## Perguntas de revisão

1. **Qual a diferença entre `pip install` e `import`?** `pip install` baixa o pacote uma vez; `import` o carrega em cada sessão.
2. **Qual a diferença entre erro e warning?** O erro interrompe a execução; o warning só avisa.
3. **O que é uma Series e o que é um DataFrame?** Series é uma coluna com índice; DataFrame é uma tabela formada por várias séries.
4. **Para que serve `astype("category")`?** Para marcar uma variável como qualitativa, mesmo que esteja codificada com números.
5. **Quais parâmetros conferir no `read_csv`?** O separador (`sep`) e o separador decimal (`decimal`).
6. **Por que usar `index=False` ao exportar?** Para não gravar o índice como uma coluna extra.
7. **O que faz `to_numeric(errors="coerce")`?** Converte para número e troca valores inválidos por `NaN`.
8. **Qual a diferença entre `iloc` e seleção por nome?** `iloc` usa posição (começa em 0, fim exclusivo); a seleção por nome usa o rótulo da coluna.
9. **Como combinar condições num filtro do pandas?** Com `&` (e) e `|` (ou), cada condição entre parênteses.
10. **Para que serve o `groupby`?** Para calcular estatísticas separadas por categoria.
11. **O que faz `pd.crosstab(..., normalize=True)`?** Uma tabela cruzada com proporções em vez de contagens.
12. **Qual a estrutura de uma função em Python?** `def nome(argumentos):`, corpo indentado e `return`.
13. **Quando usar `while` em vez de `for`?** `for` percorre elementos conhecidos; `while` repete enquanto uma condição for verdadeira.
14. **Que gráfico mostra a distribuição de uma variável métrica?** Histograma e boxplot.
15. **Como acrescentar variáveis a um gráfico de dispersão?** Com os parâmetros `hue`, `size` e `style`.
16. **Como salvar um gráfico do Plotly?** `fig.write_html("arquivo.html")`.
17. **Quando usar aprendizado supervisionado?** Quando existe uma variável resposta $Y$ e o objetivo é prevê-la para casos novos.
18. **Regressão ou classificação?** Regressão quando $Y$ é métrica; classificação quando $Y$ é categórica.
19. **Por que fazer toda alteração por código?** Para que a análise seja reprodutível e auditável.
20. **Qual paleta de cores é acessível a daltônicos?** `viridis`.

---
Fonte: Atlas de Dados — https://atlas.frediania.com/materia/python
