Visão geral
Árvores e seus ensembles são os modelos mais usados em dados tabulares. O caminho recomendado é progressivo:
árvore (baseline explicável) → Random Forest (robusto) → XGBoost (desempenho máximo, com mais ajuste).
Não existe "o melhor modelo": existe o mais adequado ao problema, aos dados e ao custo do erro.
Árvore de decisão
- Modelo supervisionado, não paramétrico e "caixa branca": raiz, nós internos (um teste em uma variável) e folhas (a previsão).
- Classificação: a folha prevê a classe mais frequente. Regressão: a folha prevê a média dos casos que caíram nela.
- Critério de divisão: escolhe a variável e o corte que mais reduzem a impureza.
- Gini: \(1 - \sum_k p_k^2\) (0 = nó puro).
- Entropia: \(-\sum_k p_k \log_2 p_k\).
- Regressão: erro quadrático (padrão) ou absoluto.
- Não exige padronização. No scikit-learn, categóricas precisam virar números (one-hot).
- Fraquezas: overfitting (a árvore completa decora o treino), instabilidade (poucas linhas mudam a árvore), sensibilidade a desbalanceamento e não extrapola (nunca prevê fora da faixa vista no treino).
Overfitting
- Diagnóstico: métrica de treino muito acima da de teste (ex.: 100% no treino e 80% no teste).
- O que importa é a distância treino × teste e o desempenho absoluto no teste.
- 100% de acerto também no teste deve levantar suspeita de vazamento de dados (o alvo, ou algo derivado dele, entre as variáveis).
- Controles: limitar
max_depth, aumentarmin_samples_splitemin_samples_leaf, usar ensembles, regularização, subamostragem, early stopping e validação cruzada.
Hiperparâmetros principais
| Modelo | Hiperparâmetro | Efeito |
|---|---|---|
| Árvore | max_depth |
profundidade; principal freio de overfitting |
| Árvore | min_samples_split / min_samples_leaf |
mínimo para dividir / por folha; maior = mais conservador |
| Árvore | criterion |
gini, entropy; costuma mudar pouco |
| Árvore | class_weight |
pesos por classe (desbalanceamento) |
| Random Forest | n_estimators |
nº de árvores; mais estabiliza, raramente piora |
| Random Forest | max_features |
variáveis sorteadas por divisão; descorrelaciona as árvores |
| XGBoost | learning_rate |
tamanho do passo; menor = mais lento e estável |
| XGBoost | max_depth, min_child_weight |
complexidade de cada árvore |
| XGBoost | subsample, colsample_bytree |
fração de linhas / colunas por árvore |
| XGBoost | reg_alpha (L1), reg_lambda (L2), gamma |
regularização |
| XGBoost | early_stopping_rounds |
para quando a validação não melhora |
Em Random Forest, limitar a profundidade costuma piorar: as árvores individuais precisam de viés baixo; a média é que reduz a variância.
Validação e seleção de modelo
- Hold-out:
train_test_split80/20 ou 70/30, comstratify=yem classificação erandom_statefixo. O teste só serve para a avaliação final. - Treino / validação / teste: a validação escolhe hiperparâmetros e decide quando parar.
- K-Fold (
cross_val_score,cross_validate): K treinos, cada um validado num bloco diferente; reporte média ± desvio (o desvio mostra estabilidade).StratifiedKFoldem classificação. - GridSearchCV testa todas as combinações (cada uma com CV); RandomizedSearchCV sorteia
n_itercombinações — mais barato. Estratégia: busca aleatória ampla, depois grade pequena ao redor do melhor. scoringdefine o que otimizar (ex.:recallquando a classe rara importa).- Faça a busca só no treino (ou use CV aninhada). Buscar com todos os dados e avaliar no teste dá uma estimativa otimista.
- Séries temporais: separe por data (treino no passado, teste no futuro) e use
TimeSeriesSplit; embaralhar mistura o futuro no treino.
Métricas
Classificação
- Matriz de confusão: VN, FP, FN, VP.
- Acurácia \(= (VP+VN)/\text{total}\) — engana com classes desbalanceadas (prever só a classe majoritária já dá número alto).
- Precisão \(= VP/(VP+FP)\); recall \(= VP/(VP+FN)\); F1 = média harmônica das duas (pune desequilíbrio: 90% e 10% dão F1 ≈ 18%).
- ROC/AUC: separação entre classes independente do corte; calcule com probabilidades (
predict_proba), não com classes. - Escolha pela regra de negócio: se deixar passar um positivo custa caro (FN), maximize recall; se alarme falso custa caro (FP), precisão.
- Baixar o limiar de 0,5 aumenta o recall à custa da precisão.
Regressão
- MAE: média dos erros absolutos (mesma unidade, robusto).
- MSE: média dos erros ao quadrado (penaliza erros grandes).
- RMSE: raiz do MSE (mesma unidade).
- R²: fração da variância explicada (1 = perfeito).
- MAPE: erro percentual; quebra com valores reais próximos de zero.
Exemplo: reais 300, 500, 700, 900 e previstos 280, 550, 650, 1000 → erros 20, 50, 50, 100 → MAE = 55, MSE = 3850, RMSE ≈ 62.
Ensembles
A ideia do júri: muitos modelos diversos, combinados, erram menos que um só.
| Família | Como combina | Efeito | Exemplo |
|---|---|---|---|
| Voting / averaging | voto (hard) ou média de probabilidades (soft) | reduz o erro individual | VotingClassifier |
| Bagging | modelos em paralelo, cada um num bootstrap | reduz variância | Random Forest |
| Boosting | modelos em sequência, cada um corrige o resíduo do anterior | reduz viés | AdaBoost, Gradient Boosting, XGBoost |
| Stacking | modelos base alimentam um metamodelo | aprende a combinar | StackingClassifier |
Viés × variância: árvore profunda = viés baixo, variância alta; árvore rasa = o inverso. Bagging ataca a variância; boosting, o viés.
Random Forest, passo a passo
- Gerar B amostras bootstrap (cada uma com ~63% das linhas únicas; ~37% ficam fora da amostra, OOB).
- Em cada nó, sortear um subconjunto de variáveis e escolher a melhor divisão entre elas.
- Crescer cada árvore profunda.
- Classificação: voto ou média de probabilidades; regressão: média.
- OOB como validação "gratuita";
feature_importances_para ranking.
XGBoost, passo a passo
- Começar com uma previsão simples.
- Calcular o resíduo (gradiente da perda).
- Ajustar uma árvore rasa a esse resíduo.
- Somar a nova árvore multiplicada pelo
learning_rate. - Repetir até
n_estimatorsou até o early stopping. - Objetivo = erro nos dados + penalidade de complexidade (L1/L2 nos pesos das folhas e
gammapor divisão).
Aceita NaN nativamente e o tipo category do pandas; é muito sensível a hiperparâmetros.
Importância de variáveis
feature_importances_(redução de impureza/ganho): rápida, mas favorece variáveis contínuas e de alta cardinalidade, divide o crédito entre variáveis correlacionadas e não mostra o sentido do efeito.- Permutation importance: embaralha uma variável no teste e mede a queda da métrica.
- SHAP (valores de Shapley): contribuição de cada variável em cada previsão, com sinal.
Comparação rápida
| Árvore | Random Forest | XGBoost | |
|---|---|---|---|
| Ideia | modelo único | bagging | boosting |
| Overfitting | alto | menor | controlável com regularização |
| Sensibilidade a hiperparâmetros | média | baixa | alta |
| Pré-processamento | mínimo | mínimo | mínimo |
| Interpretabilidade | muito alta | média | média/baixa (use SHAP) |