Carregando
0x90Lição 10 de 11

Coloque em produção, monitore e governe sistemas de ML

Detecte drift com o índice de estabilidade populacional, confira o desempenho entre subgrupos e planeje as respostas antes do lançamento.

22 min Questionário com 6 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Diferenciar drift de dados de drift de conceito
  • Medir o drift com o índice de estabilidade populacional
  • Comparar taxas de erro entre subgrupos e planejar a supervisão humana

Um modelo é treinado com o passado e usado no futuro, e o mundo não para de mudar:

  • Drift de dados - as entradas mudam: um novo segmento de clientes, um novo dispositivo, uma pandemia.
  • Drift de conceito - a relação muda: as mesmas features agora significam outro resultado (os fraudadores se adaptam).

Os rótulos costumam chegar atrasados, então as equipes observam as entradas primeiro. Uma medida comum de drift é o índice de estabilidade populacional (PSI) sobre as proporções de uma feature divididas em faixas, comparando a proporção esperada (do treino) eie_i com a proporção real (recente) aia_i em cada faixa:

PSI=∑i(ai−ei)ln⁡aiei\text{PSI} = \sum_{i} (a_i - e_i) \ln \frac{a_i}{e_i}

Uma regra prática comum: abaixo de 0,1 é estável, de 0,1 a 0,25 merece atenção, acima de 0,25 é uma mudança significativa.

Experimente

Até 15 XP

Drift de dados ou drift de conceito?

Classifique cada mudança em produção.

0 de 4 classificadosPontuação 0/0
  • “Uma campanha de marketing traz muito mais clientes jovens do que os dados de treino tinham”

  • “Os fraudadores mudam de tática, então padrões que antes eram seguros agora são arriscados”

  • “Um novo modelo de celular manda imagens com outra resolução”

  • “Depois de uma mudança de política, os mesmos sintomas agora levam a outro código de diagnóstico”

Justiça e supervisão

Uma acurácia geral pode esconder um modelo que falha muito mais com um grupo do que com outro. Informe as taxas de erro - principalmente as de falsos negativos e falsos positivos - por subgrupo relevante, investigue as diferenças e decida com antecedência quem revisa os casos sinalizados, como as pessoas podem contestar e quando reverter. Documente o uso pretendido e os limites do modelo (um “model card”).

psi_bin.py
import math
expected, actual = 0.20, 0.35
print(round((actual - expected) * math.log(actual / expected), 4))
Saída
0.0839

Principais conclusões

  • Monitore as entradas (drift de dados) e, quando os rótulos chegarem, os resultados (drift de conceito).

  • O PSI compara proporções de features por faixa; acima de cerca de 0,25 indica uma mudança grande.

  • Confira os erros por subgrupo, mantenha pessoas no circuito para decisões importantes e planeje reversões.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Calcule o índice de estabilidade populacional

+25 XP

A linha 1 tem a proporção de cada faixa no treino; a linha 2, a proporção recente. Coloque um piso de 0.0001 em cada proporção para evitar ln⁡0\ln 0. Imprima PSI: X (4 casas decimais) e status: stable (< 0.1), status: watch (< 0.25) ou status: shifted.

  • Idade dos clientes
  • Uma campanha traz clientes mais jovens
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Taxas de erro por subgrupo

+25 XP

Leia um CSV com group,label,prediction (0/1). Para cada grupo (em ordem alfabética), imprima GROUP: n=N accuracy=A fnr=F - a taxa de falsos negativos é positivos perdidos ÷ positivos reais (2 casas decimais cada; n/a se o grupo não tiver positivos). Depois imprima largest fnr gap: G (2 casas decimais) entre os grupos.

  • Duas regiões
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…