Coloque em produção, monitore e governe sistemas de ML
Detecte drift com o índice de estabilidade populacional, confira o desempenho entre subgrupos e planeje as respostas antes do lançamento.
- Diferenciar drift de dados de drift de conceito
- Medir o drift com o índice de estabilidade populacional
- Comparar taxas de erro entre subgrupos e planejar a supervisão humana
Um modelo é treinado com o passado e usado no futuro, e o mundo não para de mudar:
- Drift de dados - as entradas mudam: um novo segmento de clientes, um novo dispositivo, uma pandemia.
- Drift de conceito - a relação muda: as mesmas features agora significam outro resultado (os fraudadores se adaptam).
Os rótulos costumam chegar atrasados, então as equipes observam as entradas primeiro. Uma medida comum de drift é o índice de estabilidade populacional (PSI) sobre as proporções de uma feature divididas em faixas, comparando a proporção esperada (do treino) com a proporção real (recente) em cada faixa:
Uma regra prática comum: abaixo de 0,1 é estável, de 0,1 a 0,25 merece atenção, acima de 0,25 é uma mudança significativa.
Experimente
Até 15 XPDrift de dados ou drift de conceito?
Classifique cada mudança em produção.
“Uma campanha de marketing traz muito mais clientes jovens do que os dados de treino tinham”
“Os fraudadores mudam de tática, então padrões que antes eram seguros agora são arriscados”
“Um novo modelo de celular manda imagens com outra resolução”
“Depois de uma mudança de política, os mesmos sintomas agora levam a outro código de diagnóstico”
Justiça e supervisão
Uma acurácia geral pode esconder um modelo que falha muito mais com um grupo do que com outro. Informe as taxas de erro - principalmente as de falsos negativos e falsos positivos - por subgrupo relevante, investigue as diferenças e decida com antecedência quem revisa os casos sinalizados, como as pessoas podem contestar e quando reverter. Documente o uso pretendido e os limites do modelo (um “model card”).
import math
expected, actual = 0.20, 0.35
print(round((actual - expected) * math.log(actual / expected), 4))0.0839
Principais conclusões
Monitore as entradas (drift de dados) e, quando os rótulos chegarem, os resultados (drift de conceito).
O PSI compara proporções de features por faixa; acima de cerca de 0,25 indica uma mudança grande.
Confira os erros por subgrupo, mantenha pessoas no circuito para decisões importantes e planeje reversões.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Calcule o índice de estabilidade populacional
A linha 1 tem a proporção de cada faixa no treino; a linha 2, a proporção recente. Coloque um piso de 0.0001 em cada proporção para evitar . Imprima PSI: X (4 casas decimais) e status: stable (< 0.1), status: watch (< 0.25) ou status: shifted.
- Idade dos clientes
- Uma campanha traz clientes mais jovens
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Taxas de erro por subgrupo
Leia um CSV com group,label,prediction (0/1). Para cada grupo (em ordem alfabética), imprima GROUP: n=N accuracy=A fnr=F - a taxa de falsos negativos é positivos perdidos ÷ positivos reais (2 casas decimais cada; n/a se o grupo não tiver positivos). Depois imprima largest fnr gap: G (2 casas decimais) entre os grupos.
- Duas regiões
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…