Prepare os dados e as features
Divida os dados primeiro, padronize e codifique as features só com estatísticas do treino, e evite vazamento.
- Dividir os dados em conjuntos de treino, validação e teste
- Padronizar números e aplicar one-hot encoding em categorias
- Identificar e evitar vazamento de dados
Os modelos só entendem números, e aprendem melhor quando as features estão em escalas comparáveis. Duas transformações padrão:
- Padronização: , usando a média e o desvio-padrão dos dados de treino, para que toda feature fique centrada em 0 com dispersão 1.
- One-hot encoding: uma categoria com os valores vermelho, verde e azul vira três colunas de 0/1. Numerá-las como 1, 2 e 3 inventaria uma ordem que não existe.
Mas, antes, divida os dados: em geral, 60-80% para treino, uma parte para validação (escolher configurações) e um conjunto de teste reservado, usado uma única vez, no fim. Depois ajuste cada transformação só no conjunto de treino e aplique-a sem mudanças aos outros.
Experimente
Até 15 XPVazamento ou não?
Um banco prevê se um empréstimo vai ficar inadimplente. Que features ou etapas vazam informações que o modelo não teria na hora da previsão?
“A renda do solicitante no momento do pedido”
“Indicador de “contato da agência de cobrança””
“Padronizar a renda com a média do conjunto de dados inteiro, incluindo o conjunto de teste”
“Número de empréstimos anteriores quitados”
“Dividir aleatoriamente quando o mesmo cliente aparece nos conjuntos de treino e de teste”
1import numpy as np
2train = np.array([10.0, 20.0, 30.0])
3mean, spread = train.mean(), train.std()
4print(np.round((train - mean) / spread, 3))
5print(round((40 - mean) / spread, 3))[-1.225 0. 1.225] 2.449
Principais conclusões
Divida primeiro; use o conjunto de teste uma única vez, no fim.
Padronize com as estatísticas do treino; aplique one-hot encoding nas categorias.
Vazamento - informações do futuro ou estatísticas do teste no treino - faz as métricas mentirem.
Quiz da aula
7 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Padronize com as estatísticas do treino
A linha 1 tem os valores de treino; a linha 2, os de teste. Usando numpy, calcule a média e o desvio-padrão (populacional) do treino e imprima mean=M std=S (3 casas decimais) e os valores de teste padronizados, arredondados para 3 casas decimais, como uma lista (np.round(...).tolist()).
- Rendas em milhares
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Aplique one-hot encoding numa categoria
A linha 1 lista as categorias de treino; a linha 2, as de teste. As colunas são as categorias de treino distintas, em ordem. Imprima o cabeçalho columns: A, B, C e depois uma linha de valores 0/1 por categoria de teste (separados por espaços). Uma categoria que nunca apareceu no treino vira só zeros.
- Cores
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…