Carregando
0x10Lição 2 de 11

Prepare os dados e as features

Divida os dados primeiro, padronize e codifique as features só com estatísticas do treino, e evite vazamento.

22 min Questionário com 7 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Dividir os dados em conjuntos de treino, validação e teste
  • Padronizar números e aplicar one-hot encoding em categorias
  • Identificar e evitar vazamento de dados

Os modelos só entendem números, e aprendem melhor quando as features estão em escalas comparáveis. Duas transformações padrão:

  • Padronização: z=x−μσz = \frac{x - \mu}{\sigma}, usando a média μ\mu e o desvio-padrão σ\sigma dos dados de treino, para que toda feature fique centrada em 0 com dispersão 1.
  • One-hot encoding: uma categoria com os valores vermelho, verde e azul vira três colunas de 0/1. Numerá-las como 1, 2 e 3 inventaria uma ordem que não existe.

Mas, antes, divida os dados: em geral, 60-80% para treino, uma parte para validação (escolher configurações) e um conjunto de teste reservado, usado uma única vez, no fim. Depois ajuste cada transformação só no conjunto de treino e aplique-a sem mudanças aos outros.

Experimente

Até 15 XP

Vazamento ou não?

Um banco prevê se um empréstimo vai ficar inadimplente. Que features ou etapas vazam informações que o modelo não teria na hora da previsão?

0 de 5 classificadosPontuação 0/0
  • “A renda do solicitante no momento do pedido”

  • “Indicador de “contato da agência de cobrança””

  • “Padronizar a renda com a média do conjunto de dados inteiro, incluindo o conjunto de teste”

  • “Número de empréstimos anteriores quitados”

  • “Dividir aleatoriamente quando o mesmo cliente aparece nos conjuntos de treino e de teste”

standardize.py
1import numpy as np
2train = np.array([10.0, 20.0, 30.0])
3mean, spread = train.mean(), train.std()
4print(np.round((train - mean) / spread, 3))
5print(round((40 - mean) / spread, 3))
Saída
[-1.225  0.     1.225]
2.449

Principais conclusões

  • Divida primeiro; use o conjunto de teste uma única vez, no fim.

  • Padronize com as estatísticas do treino; aplique one-hot encoding nas categorias.

  • Vazamento - informações do futuro ou estatísticas do teste no treino - faz as métricas mentirem.

Quiz da aula

7 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Padronize com as estatísticas do treino

+25 XP

A linha 1 tem os valores de treino; a linha 2, os de teste. Usando numpy, calcule a média e o desvio-padrão (populacional) do treino e imprima mean=M std=S (3 casas decimais) e os valores de teste padronizados, arredondados para 3 casas decimais, como uma lista (np.round(...).tolist()).

  • Rendas em milhares
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Aplique one-hot encoding numa categoria

+25 XP

A linha 1 lista as categorias de treino; a linha 2, as de teste. As colunas são as categorias de treino distintas, em ordem. Imprima o cabeçalho columns: A, B, C e depois uma linha de valores 0/1 por categoria de teste (separados por espaços). Uma categoria que nunca apareceu no treino vira só zeros.

  • Cores
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…