Visão geral
Quase todo erro em análise de dados começa na estatística: uma variável classificada errado, uma média calculada onde não cabe, um teste aplicado sem conferir a pergunta. Esta matéria organiza o raciocínio em três camadas:
- Estrutura: o banco de dados tem observações nas linhas e variáveis nas colunas. É assim no Excel, no pandas e em qualquer modelo.
- Descrição: resumir a amostra que você tem (frequências, posição, dispersão, forma).
- Inferência: usar distribuições teóricas para tirar conclusões sobre a população (testes de hipótese e intervalos de confiança).
A regra que atravessa tudo: o tipo da variável decide a ferramenta.
Tipos de variável
- Qualitativa (categórica): classifica, não mede. Ex.: estado civil, cor, região, aprovado/reprovado, faixa de renda.
- Quantitativa (métrica): conta ou mede.
- Discreta: valores inteiros (número de filhos, de pedidos).
- Contínua: qualquer valor real (renda, temperatura, tempo).
- Armadilha central: número não significa métrica. Codificar Brasil = 1, Argentina = 2, Chile = 3 é só um rótulo; tirar média disso é uma ponderação arbitrária.
- O contrário é permitido: transformar métrica em categórica (renda → faixas) é categorização.
- Escala de 0 a 10 com só os extremos descritos tende a ser tratada como métrica; escala em que todos os pontos têm rótulo ("pouco satisfeito"... "muito satisfeito") é categórica.
Estatística descritiva
Tabela de frequências (variáveis categóricas)
- Absoluta (contagem), relativa (% do total), acumuladas (somatório até a categoria).
- A relativa permite comparar amostras de tamanhos diferentes.
- As acumuladas dependem da ordem das categorias; servem para mostrar composição (curva ABC / Pareto).
- Para variável contínua, crie faixas antes — mutuamente exclusivas, para nenhuma observação ser contada duas vezes.
Medidas de posição (variáveis métricas)
- Média \(\bar X = \sum X_i / n\) — sensível a valores extremos.
- Mediana — valor central dos dados ordenados; robusta a extremos.
- Moda — valor mais frequente (em contínua, pode não existir).
- Percentis, quartis e decis — \(P_i\) deixa \(i\%\) das observações abaixo ou iguais a ele. \(Q_1 = P_{25}\), \(Q_2 = P_{50}\) (mediana), \(Q_3 = P_{75}\).
- Posição do percentil: \(\text{Pos}(P_i) = (n-1)\cdot\frac{i}{100} + 1\), com interpolação linear entre posições.
Medidas de dispersão
- Mínimo e máximo: sempre reporte; denunciam erro de coleta (preço zero, valor absurdo).
- Amplitude \(A = X_{max} - X_{min}\).
- Amplitude interquartil \(AIQ = Q_3 - Q_1\) (a "caixa" do boxplot). Regra de outlier: abaixo de \(Q_1 - 1{,}5\,AIQ\) ou acima de \(Q_3 + 1{,}5\,AIQ\).
- Variância amostral \(S^2 = \sum (X_i - \bar X)^2 / (n-1)\) e desvio padrão \(S = \sqrt{S^2}\) (mesma unidade dos dados).
- Erro padrão \(S/\sqrt{n}\): a precisão da média; cai quando a amostra cresce.
- Coeficiente de variação \(CV = S/\bar X \cdot 100\): dispersão relativa, para comparar variáveis de escalas diferentes.
Medidas de forma
- Assimetria (\(g_1\)): 0 = simétrica; \(>0\) cauda à direita (média > mediana); \(<0\) cauda à esquerda.
- Curtose (\(g_2\), excesso): 0 = como a normal; \(>0\) concentrada e alongada (leptocúrtica); \(<0\) achatada (platicúrtica).
Distribuições de probabilidade
| Distribuição | O que modela | Fórmula / parâmetros |
|---|---|---|
| Uniforme discreta | resultados igualmente prováveis | \(1/n\) |
| Bernoulli | um ensaio com sucesso/fracasso | \(p^x(1-p)^{1-x}\) |
| Binomial | nº de sucessos em \(n\) ensaios | \(\binom{n}{k}p^k(1-p)^{n-k}\) |
| Binomial negativa | nº de ensaios até \(k\) sucessos; contagem com superdispersão | \(\binom{x-1}{k-1}p^k(1-p)^{x-k}\) |
| Poisson | contagem num intervalo de tempo/área (eventos raros) | \(e^{-\lambda}\lambda^k/k!\) |
| Normal | variável contínua simétrica | \(\mu\), \(\sigma\) |
| \(\chi^2\), \(t\), \(F\) | estatísticas de teste | dependem dos graus de liberdade |
- Padronização: \(Z = (X - \mu)/\sigma\) leva qualquer normal para média 0 e desvio 1, sem mudar a forma.
- Em variável contínua não se calcula \(P(X = x)\) pontual: trabalha-se com áreas de intervalos.
- Graus de liberdade: quantas observações ficam livres para variar depois de estimar parâmetros (ex.: \(n-1\)). Definem a forma de \(\chi^2\), \(t\) e \(F\).
- A \(t\) tem caudas mais pesadas que a normal e converge para ela quando os graus de liberdade crescem.
Testes de hipótese
- \(H_0\): hipótese de "não efeito" (sem diferença, sem associação).
- \(H_1\): bilateral (\(\neq\)) ou unilateral (\(<\) ou \(>\)).
- \(\alpha\) = probabilidade de erro tipo I (rejeitar \(H_0\) verdadeira). Confiança = \(1-\alpha\).
- Decisão: estatística além do valor crítico, ou p-valor < α → rejeita \(H_0\).
Qual teste usar
| Situação | Estatística | Graus de liberdade |
|---|---|---|
| Associação entre duas categóricas | \(\chi^2 = \sum (O-E)^2/E\), com \(E = L\cdot C/N\) | \((l-1)(c-1)\) |
| Uma categórica contra distribuição esperada | \(\chi^2\) de aderência | \(K-1\) |
| Correlação de Pearson | \(t = r/\sqrt{(1-r^2)/(n-2)}\) | \(n-2\) |
| Média de uma amostra, \(\sigma\) conhecido ou \(n\) grande | \(Z = (\bar X - \mu_0)/(\sigma/\sqrt n)\) | — |
| Média de uma amostra, \(\sigma\) desconhecido | \(T = (\bar X - \mu_0)/(S/\sqrt n)\) | \(n-1\) |
| Duas variâncias | \(F = S^2_{maior}/S^2_{menor}\) | \(n_1-1\) e \(n_2-1\) |
| Duas médias independentes | \(t\) com variância combinada (ou Welch) | \(n_1+n_2-2\) |
| Intervalo de confiança da média | \(\bar x \pm t\cdot s/\sqrt n\) | \(n-1\) |
Passo a passo de um teste
- Escolha o teste pelo tipo e número de variáveis.
- Escreva \(H_0\) e \(H_1\) e fixe \(\alpha\) antes de olhar o resultado.
- Calcule a estatística do teste.
- Ache o valor crítico ou o p-valor.
- Decida e escreva a conclusão em termos do problema, citando o \(\alpha\).
Armadilhas
- Não rejeitar \(H_0\) não prova \(H_0\): só não houve evidência suficiente.
- O \(\chi^2\) diz que há associação, mas não onde ela está.
- A conclusão pode mudar com o \(\alpha\): um resultado pode rejeitar a 5% e não a 1%.
- Média sozinha engana com assimetria ou outliers: olhe média, mediana, quartis, desvio, mínimo, máximo e forma juntos.
- Correlação não é causalidade.
- No Excel, algumas funções de distribuição devolvem só a cauda esquerda; use as versões de cauda direita ou bicaudal para não errar o sinal.
Em Python
import pandas as pd
from scipy import stats
df.describe() # descritivas
df["categoria"].value_counts(normalize=True)
df[["x", "y"]].corr()
stats.chi2_contingency(pd.crosstab(df.a, df.b))
stats.pearsonr(df.x, df.y)
stats.ttest_1samp(df.x, popmean=50)
stats.ttest_ind(g1, g2, equal_var=False) # Welch
stats.shapiro(df.x) # normalidade
stats.norm.sf(1) # P(Z > 1) = 0,1587
Bibliotecas: pandas, scipy.stats, statsmodels, matplotlib/seaborn (histograma e boxplot).