Pular para o conteúdo
Atlas de Dados

Fundamentos

Estatística para Ciência de Dados

Tipos de variável, estatística descritiva, distribuições de probabilidade, testes de hipótese, correlação e intervalo de confiança — a base de tudo que vem depois.

Visão geral

Quase todo erro em análise de dados começa na estatística: uma variável classificada errado, uma média calculada onde não cabe, um teste aplicado sem conferir a pergunta. Esta matéria organiza o raciocínio em três camadas:

  1. Estrutura: o banco de dados tem observações nas linhas e variáveis nas colunas. É assim no Excel, no pandas e em qualquer modelo.
  2. Descrição: resumir a amostra que você tem (frequências, posição, dispersão, forma).
  3. Inferência: usar distribuições teóricas para tirar conclusões sobre a população (testes de hipótese e intervalos de confiança).

A regra que atravessa tudo: o tipo da variável decide a ferramenta.

Tipos de variável

  • Qualitativa (categórica): classifica, não mede. Ex.: estado civil, cor, região, aprovado/reprovado, faixa de renda.
  • Quantitativa (métrica): conta ou mede.
  • Discreta: valores inteiros (número de filhos, de pedidos).
  • Contínua: qualquer valor real (renda, temperatura, tempo).
  • Armadilha central: número não significa métrica. Codificar Brasil = 1, Argentina = 2, Chile = 3 é só um rótulo; tirar média disso é uma ponderação arbitrária.
  • O contrário é permitido: transformar métrica em categórica (renda → faixas) é categorização.
  • Escala de 0 a 10 com só os extremos descritos tende a ser tratada como métrica; escala em que todos os pontos têm rótulo ("pouco satisfeito"... "muito satisfeito") é categórica.

Estatística descritiva

Tabela de frequências (variáveis categóricas)

  • Absoluta (contagem), relativa (% do total), acumuladas (somatório até a categoria).
  • A relativa permite comparar amostras de tamanhos diferentes.
  • As acumuladas dependem da ordem das categorias; servem para mostrar composição (curva ABC / Pareto).
  • Para variável contínua, crie faixas antes — mutuamente exclusivas, para nenhuma observação ser contada duas vezes.

Medidas de posição (variáveis métricas)

  • Média \(\bar X = \sum X_i / n\) — sensível a valores extremos.
  • Mediana — valor central dos dados ordenados; robusta a extremos.
  • Moda — valor mais frequente (em contínua, pode não existir).
  • Percentis, quartis e decis — \(P_i\) deixa \(i\%\) das observações abaixo ou iguais a ele. \(Q_1 = P_{25}\), \(Q_2 = P_{50}\) (mediana), \(Q_3 = P_{75}\).
  • Posição do percentil: \(\text{Pos}(P_i) = (n-1)\cdot\frac{i}{100} + 1\), com interpolação linear entre posições.

Medidas de dispersão

  • Mínimo e máximo: sempre reporte; denunciam erro de coleta (preço zero, valor absurdo).
  • Amplitude \(A = X_{max} - X_{min}\).
  • Amplitude interquartil \(AIQ = Q_3 - Q_1\) (a "caixa" do boxplot). Regra de outlier: abaixo de \(Q_1 - 1{,}5\,AIQ\) ou acima de \(Q_3 + 1{,}5\,AIQ\).
  • Variância amostral \(S^2 = \sum (X_i - \bar X)^2 / (n-1)\) e desvio padrão \(S = \sqrt{S^2}\) (mesma unidade dos dados).
  • Erro padrão \(S/\sqrt{n}\): a precisão da média; cai quando a amostra cresce.
  • Coeficiente de variação \(CV = S/\bar X \cdot 100\): dispersão relativa, para comparar variáveis de escalas diferentes.

Medidas de forma

  • Assimetria (\(g_1\)): 0 = simétrica; \(>0\) cauda à direita (média > mediana); \(<0\) cauda à esquerda.
  • Curtose (\(g_2\), excesso): 0 = como a normal; \(>0\) concentrada e alongada (leptocúrtica); \(<0\) achatada (platicúrtica).

Distribuições de probabilidade

Distribuição O que modela Fórmula / parâmetros
Uniforme discreta resultados igualmente prováveis \(1/n\)
Bernoulli um ensaio com sucesso/fracasso \(p^x(1-p)^{1-x}\)
Binomial nº de sucessos em \(n\) ensaios \(\binom{n}{k}p^k(1-p)^{n-k}\)
Binomial negativa nº de ensaios até \(k\) sucessos; contagem com superdispersão \(\binom{x-1}{k-1}p^k(1-p)^{x-k}\)
Poisson contagem num intervalo de tempo/área (eventos raros) \(e^{-\lambda}\lambda^k/k!\)
Normal variável contínua simétrica \(\mu\), \(\sigma\)
\(\chi^2\), \(t\), \(F\) estatísticas de teste dependem dos graus de liberdade
  • Padronização: \(Z = (X - \mu)/\sigma\) leva qualquer normal para média 0 e desvio 1, sem mudar a forma.
  • Em variável contínua não se calcula \(P(X = x)\) pontual: trabalha-se com áreas de intervalos.
  • Graus de liberdade: quantas observações ficam livres para variar depois de estimar parâmetros (ex.: \(n-1\)). Definem a forma de \(\chi^2\), \(t\) e \(F\).
  • A \(t\) tem caudas mais pesadas que a normal e converge para ela quando os graus de liberdade crescem.

Testes de hipótese

  • \(H_0\): hipótese de "não efeito" (sem diferença, sem associação).
  • \(H_1\): bilateral (\(\neq\)) ou unilateral (\(<\) ou \(>\)).
  • \(\alpha\) = probabilidade de erro tipo I (rejeitar \(H_0\) verdadeira). Confiança = \(1-\alpha\).
  • Decisão: estatística além do valor crítico, ou p-valor < α → rejeita \(H_0\).

Qual teste usar

Situação Estatística Graus de liberdade
Associação entre duas categóricas \(\chi^2 = \sum (O-E)^2/E\), com \(E = L\cdot C/N\) \((l-1)(c-1)\)
Uma categórica contra distribuição esperada \(\chi^2\) de aderência \(K-1\)
Correlação de Pearson \(t = r/\sqrt{(1-r^2)/(n-2)}\) \(n-2\)
Média de uma amostra, \(\sigma\) conhecido ou \(n\) grande \(Z = (\bar X - \mu_0)/(\sigma/\sqrt n)\) —
Média de uma amostra, \(\sigma\) desconhecido \(T = (\bar X - \mu_0)/(S/\sqrt n)\) \(n-1\)
Duas variâncias \(F = S^2_{maior}/S^2_{menor}\) \(n_1-1\) e \(n_2-1\)
Duas médias independentes \(t\) com variância combinada (ou Welch) \(n_1+n_2-2\)
Intervalo de confiança da média \(\bar x \pm t\cdot s/\sqrt n\) \(n-1\)

Passo a passo de um teste

  1. Escolha o teste pelo tipo e número de variáveis.
  2. Escreva \(H_0\) e \(H_1\) e fixe \(\alpha\) antes de olhar o resultado.
  3. Calcule a estatística do teste.
  4. Ache o valor crítico ou o p-valor.
  5. Decida e escreva a conclusão em termos do problema, citando o \(\alpha\).

Armadilhas

  • Não rejeitar \(H_0\) não prova \(H_0\): só não houve evidência suficiente.
  • O \(\chi^2\) diz que há associação, mas não onde ela está.
  • A conclusão pode mudar com o \(\alpha\): um resultado pode rejeitar a 5% e não a 1%.
  • Média sozinha engana com assimetria ou outliers: olhe média, mediana, quartis, desvio, mínimo, máximo e forma juntos.
  • Correlação não é causalidade.
  • No Excel, algumas funções de distribuição devolvem só a cauda esquerda; use as versões de cauda direita ou bicaudal para não errar o sinal.

Em Python

import pandas as pd
from scipy import stats

df.describe()                      # descritivas
df["categoria"].value_counts(normalize=True)
df[["x", "y"]].corr()

stats.chi2_contingency(pd.crosstab(df.a, df.b))
stats.pearsonr(df.x, df.y)
stats.ttest_1samp(df.x, popmean=50)
stats.ttest_ind(g1, g2, equal_var=False)   # Welch
stats.shapiro(df.x)                # normalidade
stats.norm.sf(1)                   # P(Z > 1) = 0,1587

Bibliotecas: pandas, scipy.stats, statsmodels, matplotlib/seaborn (histograma e boxplot).