Árvores de decisão e ensembles
Divida os dados com a impureza de Gini, veja por que árvores sozinhas sofrem overfitting e combine muitas árvores em random forests e gradient boosting.
- Calcular a impureza de Gini e escolher a melhor divisão
- Explicar por que árvores profundas sofrem overfitting
- Comparar bagging (random forests) e boosting
Uma árvore de decisão faz uma série de perguntas de sim ou não - “renda abaixo de 40 mil?”, “atrasou algum pagamento?” - e cada folha dá uma previsão. Ela é fácil de ler, não precisa de padronização das features e lida bem com dados mistos.
Para fazer a árvore crescer, em cada nó escolhemos a pergunta que deixa os grupos o mais puros possível. Na classificação, a pureza costuma ser medida pela impureza de Gini:
em que é a proporção da classe no nó. Um nó puro tem ; uma divisão meio a meio entre duas classes tem . A melhor divisão minimiza o Gini dos dois filhos, ponderado pelo tamanho.
Muitas árvores vencem uma
Se crescer fundo, uma árvore pode criar uma folha para quase cada exemplo de treino - overfitting clássico. Os ensembles resolvem isso combinando muitas árvores:
- As random forests (florestas aleatórias, Breiman, 2001) treinam centenas de árvores profundas, cada uma numa amostra bootstrap aleatória dos dados e com subconjuntos aleatórios de features, e depois fazem uma votação ou tiram a média. Os erros individuais se cancelam (o bagging reduz a variância).
- O gradient boosting treina árvores pequenas uma depois da outra, cada uma ajustando os erros que as anteriores deixaram. Bibliotecas como XGBoost e LightGBM costumam ser a escolha mais forte para dados tabulares.
Experimente
Até 15 XPBagging ou boosting?
Classifique cada afirmação.
“As árvores são treinadas de forma independente, então podem ser treinadas em paralelo”
“Cada árvore nova corrige os erros das árvores anteriores”
“Reduz principalmente a variância, tirando a média de muitas árvores profundas”
“Usa uma taxa de aprendizado para encolher a contribuição de cada árvore”
“Funciona bem quase sem ajuste fino”
1from collections import Counter
2def gini(labels):
3 return 1 - sum((count / len(labels)) ** 2 for count in Counter(labels).values())
4print(gini(["yes"] * 4), gini(["yes", "no"] * 2), round(gini(["a", "b", "c"]), 3))0.0 0.5 0.667
Principais conclusões
As árvores dividem pela pergunta que mais reduz a impureza, como o Gini .
Árvores profundas sozinhas sofrem overfitting; limite a profundidade ou use ensembles.
Random forests tiram a média de árvores independentes; o gradient boosting acrescenta árvores que corrigem erros anteriores.
Quiz da aula
5 perguntas · aprovação com 4 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Encontre a melhor divisão
Cada linha é value label. Para cada limiar no meio do caminho entre valores distintos consecutivos (em ordem), divida em value <= t e value > t, e calcule o Gini dos dois lados, ponderado pelo tamanho. Imprima o melhor limiar e o Gini ponderado dele como best split: x <= T (gini G) (T com :g, G com 3 casas decimais; em caso de empate, vence o menor limiar).
- Renda e inadimplência
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Votação por maioria num ensemble
Cada linha tem as previsões de uma árvore para os mesmos exemplos (rótulos separados por espaços). Imprima o voto da maioria para cada exemplo (em caso de empate, o primeiro em ordem alfabética), separados por espaços, e depois agreement: P% - a proporção média de árvores que concordam com o voto (porcentagem inteira).
- Cinco árvores
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…