Resposta a incidentes e postmortems
Lide com quedas com calma, com papéis e severidades claros, mitigue primeiro e aprenda com cada incidente com postmortems sem culpados.
- Conduzir um incidente com papéis, severidades e atualizações regulares definidos
- Priorizar a mitigação em vez do diagnóstico, e medir os tempos de detecção e de recuperação
- Escrever um postmortem sem culpados e manter um rodízio de plantão saudável
18h02, sexta-feira. Todos os drones começam a voar para o mesmo telhado. Doze pessoas pulam num único canal de chat; três delas reiniciam coisas diferentes ao mesmo tempo; ninguém avisa nada aos clientes; o CEO pede atualizações a cada dois minutos. Leva duas horas para corrigir um envio de configuração ruim que poderia ter sido revertido em cinco minutos.
Incidentes vão acontecer. O que separa as boas equipes é uma resposta a incidentes calma e praticada:
- Detectar - de preferência por um alerta, não por um cliente.
- Declarar - dizer “isto é um incidente”, escolher uma severidade e abrir um canal dedicado.
- Mitigar - estancar o sangramento: voltar a versão, virar uma flag, fazer failover, acrescentar capacidade. Entender o porquê vem depois.
- Resolver - corrigir direito quando os usuários estiverem seguros.
- Aprender - um postmortem sem culpados, com ações de acompanhamento.
| Papel | Faz |
|---|---|
| Comandante do incidente | coordena: decide, delega e mantém a visão geral - e não depura |
| Operações / especialistas | investigam e fazem as mudanças |
| Responsável pela comunicação | atualiza as partes interessadas e a página de status pública num ritmo regular |
| Escriba | mantém a linha do tempo: o que foi visto, decidido e feito, e quando |
Os níveis de severidade (por exemplo, SEV1 = grande impacto para os clientes, SEV3 = pequeno) decidem quem é acordado e com que frequência saem as atualizações.
Medindo a resposta
As equipes acompanham o tempo para detectar (início do impacto → alerta), o tempo para reconhecer (alerta → uma pessoa responde), o tempo para mitigar (início do impacto → usuários sem impacto) e o tempo para resolver. Com tão poucos incidentes, as médias escondem muita coisa, então olhe também a linha do tempo de cada incidente.
1events = {"start": "18:02", "alert": "18:15", "ack": "18:19", "mitigated": "18:43"}
2
3def minutes(clock):
4 hours, mins = map(int, clock.split(":"))
5 return hours * 60 + mins
6
7print("time to detect:", minutes(events["alert"]) - minutes(events["start"]), "min")
8print("time to mitigate:", minutes(events["mitigated"]) - minutes(events["start"]), "min")time to detect: 13 min time to mitigate: 41 min
Postmortems sem culpados
Depois do incidente, escreva um postmortem: resumo, impacto, linha do tempo, fatores contribuintes, o que deu certo e ações com responsáveis e prazos.
Ele precisa ser sem culpados (blameless). As pessoas agem com bom senso diante do que sabiam no momento; se uma pessoa conseguiu derrubar a produção com um único comando, o sistema permitiu. Pergunte “como o nosso sistema tornou isso possível?”, e não “quem fez isso?”. A culpa ensina as pessoas a esconder erros; a ausência de culpados ensina a organização. E procure vários fatores contribuintes, em vez de uma única “causa raiz” - falhas complexas raramente têm uma só.
Experimente
Até 15 XPSem culpados ou com culpados?
Classifique cada frase dos rascunhos de postmortem da Byte Bakery.
“A ferramenta de envio de configuração não validava as coordenadas, então um valor vazio mandou todos os drones para o telhado padrão.”
“O Sam enviou por descuido uma configuração quebrada.”
“O nosso alerta disparou 13 minutos depois do início do impacto porque só olhava as taxas de erro, e não os locais de entrega.”
“O plantão deveria ter sabido que tinha que voltar a versão antes.”
“Ação: acrescentar um estágio canário para os envios de configuração (responsável: equipe de plataforma, prazo: 30 de outubro).”
Principais conclusões
Detectar, declarar, mitigar, resolver, aprender.
Papéis claros - principalmente um comandante do incidente que coordena em vez de depurar - e atualizações regulares.
Meça os tempos de detecção, reconhecimento e mitigação de cada incidente.
Postmortems sem culpados encontram fatores contribuintes e geram ações com responsáveis.
Quiz da aula
7 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: automatize tarefas de DevOps com Python
Escreva as pequenas ferramentas em Python que times de DevOps realmente criam, como executores de pipeline, verificadores de plano, calculadoras de métricas e scanners, e execute-as com entradas de exemplo. Elas rodam localmente no navegador; não é preciso ter servidores nem contas na nuvem.
Monte a linha do tempo do incidente
Cada linha da entrada é HH:MM kind description..., em que kind é start (o impacto começou), alert, ack, mitigated, resolved ou note; as linhas podem estar fora de ordem. Imprima timeline: e os eventos ordenados por horário como 18:02 start: drones all routed to one rooftop.
Depois imprima time to detect, time to acknowledge (do alerta ao ack), time to mitigate e time to resolve (os dois a partir do start), formatados como 13 min ou, a partir de uma hora, 1 h 58 min. Se a detecção levou mais de 10 minutos, termine com detection was slow: add an alert for this symptom.
- O incidente do telhado
- Pego rápido
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Monte o rodízio do plantão
A primeira linha da entrada lista os engenheiros na ordem do rodízio; a segunda é o número de semanas. Cada linha seguinte é name unavailable week,week,....
Em cada semana, o primário é o próximo engenheiro disponível na ordem do rodízio, continuando depois do primário da semana anterior (voltando ao começo quando acabar); o secundário é o próximo engenheiro disponível depois do primário. O secundário não move o rodízio. Imprima week 1: primary ana, secondary bo, com secondary none se mais ninguém estiver disponível, ou week 3: nobody available!. Termine com primary shifts: ana 2, bo 1, ... na ordem do rodízio.
- Um mês de plantão
- Semana de feriado
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…