Carregando
0x60Lição 7 de 11

Árvores de decisão e ensembles

Divida os dados com a impureza de Gini, veja por que árvores sozinhas sofrem overfitting e combine muitas árvores em random forests e gradient boosting.

25 min Questionário com 5 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Calcular a impureza de Gini e escolher a melhor divisão
  • Explicar por que árvores profundas sofrem overfitting
  • Comparar bagging (random forests) e boosting

Uma árvore de decisão faz uma série de perguntas de sim ou não - “renda abaixo de 40 mil?”, “atrasou algum pagamento?” - e cada folha dá uma previsão. Ela é fácil de ler, não precisa de padronização das features e lida bem com dados mistos.

Para fazer a árvore crescer, em cada nó escolhemos a pergunta que deixa os grupos o mais puros possível. Na classificação, a pureza costuma ser medida pela impureza de Gini:

G=1−∑kpk2G = 1 - \sum_{k} p_k^2

em que pkp_k é a proporção da classe kk no nó. Um nó puro tem G=0G = 0; uma divisão meio a meio entre duas classes tem G=0.5G = 0.5. A melhor divisão minimiza o Gini dos dois filhos, ponderado pelo tamanho.

Muitas árvores vencem uma

Se crescer fundo, uma árvore pode criar uma folha para quase cada exemplo de treino - overfitting clássico. Os ensembles resolvem isso combinando muitas árvores:

  • As random forests (florestas aleatórias, Breiman, 2001) treinam centenas de árvores profundas, cada uma numa amostra bootstrap aleatória dos dados e com subconjuntos aleatórios de features, e depois fazem uma votação ou tiram a média. Os erros individuais se cancelam (o bagging reduz a variância).
  • O gradient boosting treina árvores pequenas uma depois da outra, cada uma ajustando os erros que as anteriores deixaram. Bibliotecas como XGBoost e LightGBM costumam ser a escolha mais forte para dados tabulares.

Experimente

Até 15 XP

Bagging ou boosting?

Classifique cada afirmação.

0 de 5 classificadosPontuação 0/0
  • “As árvores são treinadas de forma independente, então podem ser treinadas em paralelo”

  • “Cada árvore nova corrige os erros das árvores anteriores”

  • “Reduz principalmente a variância, tirando a média de muitas árvores profundas”

  • “Usa uma taxa de aprendizado para encolher a contribuição de cada árvore”

  • “Funciona bem quase sem ajuste fino”

gini.py
1from collections import Counter
2def gini(labels):
3    return 1 - sum((count / len(labels)) ** 2 for count in Counter(labels).values())
4print(gini(["yes"] * 4), gini(["yes", "no"] * 2), round(gini(["a", "b", "c"]), 3))
Saída
0.0 0.5 0.667

Principais conclusões

  • As árvores dividem pela pergunta que mais reduz a impureza, como o Gini 1−∑pk21 - \sum p_k^2.

  • Árvores profundas sozinhas sofrem overfitting; limite a profundidade ou use ensembles.

  • Random forests tiram a média de árvores independentes; o gradient boosting acrescenta árvores que corrigem erros anteriores.

Quiz da aula

5 perguntas · aprovação com 4 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Encontre a melhor divisão

+25 XP

Cada linha é value label. Para cada limiar no meio do caminho entre valores distintos consecutivos (em ordem), divida em value <= t e value > t, e calcule o Gini dos dois lados, ponderado pelo tamanho. Imprima o melhor limiar e o Gini ponderado dele como best split: x <= T (gini G) (T com :g, G com 3 casas decimais; em caso de empate, vence o menor limiar).

  • Renda e inadimplência
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Votação por maioria num ensemble

+25 XP

Cada linha tem as previsões de uma árvore para os mesmos exemplos (rótulos separados por espaços). Imprima o voto da maioria para cada exemplo (em caso de empate, o primeiro em ordem alfabética), separados por espaços, e depois agreement: P% - a proporção média de árvores que concordam com o voto (porcentagem inteira).

  • Cinco árvores
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…