# Estatística para Ciência de Dados

> Tipos de variável, estatística descritiva, distribuições de probabilidade, testes de hipótese, correlação e intervalo de confiança — a base de tudo que vem depois.

## Visão geral

Quase todo erro em análise de dados começa na estatística: uma variável classificada errado, uma média calculada onde não cabe, um teste aplicado sem conferir a pergunta. Esta matéria organiza o raciocínio em três camadas:

1. **Estrutura**: o banco de dados tem **observações nas linhas** e **variáveis nas colunas**. É assim no Excel, no pandas e em qualquer modelo.
2. **Descrição**: resumir a amostra que você tem (frequências, posição, dispersão, forma).
3. **Inferência**: usar distribuições teóricas para tirar conclusões sobre a população (testes de hipótese e intervalos de confiança).

A regra que atravessa tudo: **o tipo da variável decide a ferramenta**.

## Tipos de variável

- **Qualitativa (categórica)**: classifica, não mede. Ex.: estado civil, cor, região, aprovado/reprovado, faixa de renda.
- **Quantitativa (métrica)**: conta ou mede.
  - **Discreta**: valores inteiros (número de filhos, de pedidos).
  - **Contínua**: qualquer valor real (renda, temperatura, tempo).
- **Armadilha central**: número não significa métrica. Codificar Brasil = 1, Argentina = 2, Chile = 3 é só um rótulo; tirar média disso é uma *ponderação arbitrária*.
- O contrário é permitido: transformar métrica em categórica (renda → faixas) é **categorização**.
- Escala de 0 a 10 com só os extremos descritos tende a ser tratada como métrica; escala em que todos os pontos têm rótulo ("pouco satisfeito"... "muito satisfeito") é categórica.

## Estatística descritiva

### Tabela de frequências (variáveis categóricas)
- **Absoluta** (contagem), **relativa** (% do total), **acumuladas** (somatório até a categoria).
- A relativa permite comparar amostras de tamanhos diferentes.
- As acumuladas dependem da ordem das categorias; servem para mostrar composição (curva ABC / Pareto).
- Para variável contínua, crie faixas antes — **mutuamente exclusivas**, para nenhuma observação ser contada duas vezes.

### Medidas de posição (variáveis métricas)
- **Média** $\bar X = \sum X_i / n$ — sensível a valores extremos.
- **Mediana** — valor central dos dados ordenados; robusta a extremos.
- **Moda** — valor mais frequente (em contínua, pode não existir).
- **Percentis, quartis e decis** — $P_i$ deixa $i\%$ das observações abaixo ou iguais a ele. $Q_1 = P_{25}$, $Q_2 = P_{50}$ (mediana), $Q_3 = P_{75}$.
- Posição do percentil: $\text{Pos}(P_i) = (n-1)\cdot\frac{i}{100} + 1$, com interpolação linear entre posições.

### Medidas de dispersão
- **Mínimo e máximo**: sempre reporte; denunciam erro de coleta (preço zero, valor absurdo).
- **Amplitude** $A = X_{max} - X_{min}$.
- **Amplitude interquartil** $AIQ = Q_3 - Q_1$ (a "caixa" do boxplot). Regra de outlier: abaixo de $Q_1 - 1{,}5\,AIQ$ ou acima de $Q_3 + 1{,}5\,AIQ$.
- **Variância amostral** $S^2 = \sum (X_i - \bar X)^2 / (n-1)$ e **desvio padrão** $S = \sqrt{S^2}$ (mesma unidade dos dados).
- **Erro padrão** $S/\sqrt{n}$: a precisão da média; cai quando a amostra cresce.
- **Coeficiente de variação** $CV = S/\bar X \cdot 100$: dispersão relativa, para comparar variáveis de escalas diferentes.

### Medidas de forma
- **Assimetria** ($g_1$): 0 = simétrica; $>0$ cauda à direita (média > mediana); $<0$ cauda à esquerda.
- **Curtose** ($g_2$, excesso): 0 = como a normal; $>0$ concentrada e alongada (leptocúrtica); $<0$ achatada (platicúrtica).

## Distribuições de probabilidade

| Distribuição | O que modela | Fórmula / parâmetros |
|---|---|---|
| Uniforme discreta | resultados igualmente prováveis | $1/n$ |
| Bernoulli | um ensaio com sucesso/fracasso | $p^x(1-p)^{1-x}$ |
| Binomial | nº de sucessos em $n$ ensaios | $\binom{n}{k}p^k(1-p)^{n-k}$ |
| Binomial negativa | nº de ensaios até $k$ sucessos; contagem com superdispersão | $\binom{x-1}{k-1}p^k(1-p)^{x-k}$ |
| Poisson | contagem num intervalo de tempo/área (eventos raros) | $e^{-\lambda}\lambda^k/k!$ |
| Normal | variável contínua simétrica | $\mu$, $\sigma$ |
| $\chi^2$, $t$, $F$ | estatísticas de teste | dependem dos graus de liberdade |

- **Padronização**: $Z = (X - \mu)/\sigma$ leva qualquer normal para média 0 e desvio 1, sem mudar a forma.
- Em variável contínua não se calcula $P(X = x)$ pontual: trabalha-se com **áreas de intervalos**.
- **Graus de liberdade**: quantas observações ficam livres para variar depois de estimar parâmetros (ex.: $n-1$). Definem a forma de $\chi^2$, $t$ e $F$.
- A $t$ tem caudas mais pesadas que a normal e converge para ela quando os graus de liberdade crescem.

## Testes de hipótese

- $H_0$: hipótese de "não efeito" (sem diferença, sem associação).
- $H_1$: bilateral ($\neq$) ou unilateral ($<$ ou $>$).
- $\alpha$ = probabilidade de **erro tipo I** (rejeitar $H_0$ verdadeira). Confiança = $1-\alpha$.
- Decisão: estatística além do valor crítico, ou **p-valor < α → rejeita $H_0$**.

### Qual teste usar

| Situação | Estatística | Graus de liberdade |
|---|---|---|
| Associação entre duas categóricas | $\chi^2 = \sum (O-E)^2/E$, com $E = L\cdot C/N$ | $(l-1)(c-1)$ |
| Uma categórica contra distribuição esperada | $\chi^2$ de aderência | $K-1$ |
| Correlação de Pearson | $t = r/\sqrt{(1-r^2)/(n-2)}$ | $n-2$ |
| Média de uma amostra, $\sigma$ conhecido ou $n$ grande | $Z = (\bar X - \mu_0)/(\sigma/\sqrt n)$ | — |
| Média de uma amostra, $\sigma$ desconhecido | $T = (\bar X - \mu_0)/(S/\sqrt n)$ | $n-1$ |
| Duas variâncias | $F = S^2_{maior}/S^2_{menor}$ | $n_1-1$ e $n_2-1$ |
| Duas médias independentes | $t$ com variância combinada (ou Welch) | $n_1+n_2-2$ |
| Intervalo de confiança da média | $\bar x \pm t\cdot s/\sqrt n$ | $n-1$ |

## Passo a passo de um teste

1. Escolha o teste pelo **tipo e número de variáveis**.
2. Escreva $H_0$ e $H_1$ e fixe $\alpha$ **antes** de olhar o resultado.
3. Calcule a estatística do teste.
4. Ache o valor crítico ou o p-valor.
5. Decida e escreva a conclusão **em termos do problema**, citando o $\alpha$.

## Armadilhas

- Não rejeitar $H_0$ **não prova** $H_0$: só não houve evidência suficiente.
- O $\chi^2$ diz que há associação, mas **não onde** ela está.
- A conclusão pode mudar com o $\alpha$: um resultado pode rejeitar a 5% e não a 1%.
- Média sozinha engana com assimetria ou outliers: olhe média, mediana, quartis, desvio, mínimo, máximo e forma juntos.
- Correlação não é causalidade.
- No Excel, algumas funções de distribuição devolvem só a cauda esquerda; use as versões de cauda direita ou bicaudal para não errar o sinal.

## Em Python

```python
import pandas as pd
from scipy import stats

df.describe()                      # descritivas
df["categoria"].value_counts(normalize=True)
df[["x", "y"]].corr()

stats.chi2_contingency(pd.crosstab(df.a, df.b))
stats.pearsonr(df.x, df.y)
stats.ttest_1samp(df.x, popmean=50)
stats.ttest_ind(g1, g2, equal_var=False)   # Welch
stats.shapiro(df.x)                # normalidade
stats.norm.sf(1)                   # P(Z > 1) = 0,1587
```

Bibliotecas: `pandas`, `scipy.stats`, `statsmodels`, `matplotlib`/`seaborn` (histograma e boxplot).

## Perguntas de revisão

1. **Como o banco de dados é organizado?** Observações nas linhas e variáveis nas colunas.
2. **Por que codificar países como 1, 2, 3 não cria uma variável métrica?** Porque são rótulos; média e desvio perdem o sentido (ponderação arbitrária).
3. **Com cauda à direita, quem é maior: média ou mediana?** A média, puxada pelos valores altos.
4. **Como identificar outliers pela regra do boxplot?** Valores abaixo de $Q_1 - 1{,}5\,AIQ$ ou acima de $Q_3 + 1{,}5\,AIQ$.
5. **O que significa o percentil 85?** Que 85% das observações são menores ou iguais a ele.
6. **Qual a diferença entre desvio padrão, erro padrão e CV?** Desvio: dispersão dos dados; erro padrão ($S/\sqrt n$): precisão da média; CV: dispersão relativa à média.
7. **O que indicam $g_1 > 0$ e $g_2 < 0$?** Cauda à direita e distribuição achatada.
8. **Qual a diferença entre Bernoulli, binomial, binomial negativa e Poisson?** Um ensaio binário; sucessos em $n$ ensaios; ensaios até $k$ sucessos; contagem numa exposição contínua.
9. **Quando preferir binomial negativa a Poisson?** Quando a contagem tem variância maior que a média (superdispersão).
10. **Como padronizar uma variável normal?** $Z = (X-\mu)/\sigma$, que resulta em média 0 e desvio 1.
11. **Para que servem os graus de liberdade?** Definem a forma das distribuições $\chi^2$, $t$ e $F$.
12. **Em que a distribuição t difere da normal?** Tem caudas mais pesadas e converge para a normal com muitos graus de liberdade.
13. **O que é erro tipo I?** Rejeitar $H_0$ quando ela é verdadeira; sua probabilidade é $\alpha$.
14. **Qual a regra de decisão pelo p-valor?** p < α rejeita $H_0$; p > α não rejeita.
15. **Como se calcula a frequência esperada numa tabela de contingência?** $E_{ij} = L_i \cdot C_j / N$.
16. **Qual a hipótese nula do teste de correlação de Pearson?** $\rho = 0$, testada com $t$ e $n-2$ graus de liberdade.
17. **Z ou t para testar uma média?** Z com $\sigma$ conhecido ou amostra grande; t quando se usa o desvio amostral.
18. **Como comparar duas médias independentes?** Teste F das variâncias primeiro; variâncias iguais → t com variância combinada; diferentes → Welch.
19. **Como interpretar um IC 95% de [46,6; 47,4]?** Com 95% de confiança, a média populacional está nesse intervalo.
20. **Não rejeitar $H_0$ prova que ela é verdadeira?** Não; apenas faltou evidência para rejeitá-la.

---
Fonte: Atlas de Dados — https://atlas.frediania.com/materia/estatistica
