Carregando
0xD0Lição 14 de 16

Resposta a incidentes e postmortems

Lide com quedas com calma, com papéis e severidades claros, mitigue primeiro e aprenda com cada incidente com postmortems sem culpados.

26 min Questionário com 7 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Conduzir um incidente com papéis, severidades e atualizações regulares definidos
  • Priorizar a mitigação em vez do diagnóstico, e medir os tempos de detecção e de recuperação
  • Escrever um postmortem sem culpados e manter um rodízio de plantão saudável

18h02, sexta-feira. Todos os drones começam a voar para o mesmo telhado. Doze pessoas pulam num único canal de chat; três delas reiniciam coisas diferentes ao mesmo tempo; ninguém avisa nada aos clientes; o CEO pede atualizações a cada dois minutos. Leva duas horas para corrigir um envio de configuração ruim que poderia ter sido revertido em cinco minutos.

Incidentes vão acontecer. O que separa as boas equipes é uma resposta a incidentes calma e praticada:

  1. Detectar - de preferência por um alerta, não por um cliente.
  2. Declarar - dizer “isto é um incidente”, escolher uma severidade e abrir um canal dedicado.
  3. Mitigar - estancar o sangramento: voltar a versão, virar uma flag, fazer failover, acrescentar capacidade. Entender o porquê vem depois.
  4. Resolver - corrigir direito quando os usuários estiverem seguros.
  5. Aprender - um postmortem sem culpados, com ações de acompanhamento.
PapelFaz
Comandante do incidentecoordena: decide, delega e mantém a visão geral - e não depura
Operações / especialistasinvestigam e fazem as mudanças
Responsável pela comunicaçãoatualiza as partes interessadas e a página de status pública num ritmo regular
Escribamantém a linha do tempo: o que foi visto, decidido e feito, e quando

Os níveis de severidade (por exemplo, SEV1 = grande impacto para os clientes, SEV3 = pequeno) decidem quem é acordado e com que frequência saem as atualizações.

Medindo a resposta

As equipes acompanham o tempo para detectar (início do impacto → alerta), o tempo para reconhecer (alerta → uma pessoa responde), o tempo para mitigar (início do impacto → usuários sem impacto) e o tempo para resolver. Com tão poucos incidentes, as médias escondem muita coisa, então olhe também a linha do tempo de cada incidente.

timeline.py
1events = {"start": "18:02", "alert": "18:15", "ack": "18:19", "mitigated": "18:43"}
2
3def minutes(clock):
4    hours, mins = map(int, clock.split(":"))
5    return hours * 60 + mins
6
7print("time to detect:", minutes(events["alert"]) - minutes(events["start"]), "min")
8print("time to mitigate:", minutes(events["mitigated"]) - minutes(events["start"]), "min")
Saída
time to detect: 13 min
time to mitigate: 41 min

Postmortems sem culpados

Depois do incidente, escreva um postmortem: resumo, impacto, linha do tempo, fatores contribuintes, o que deu certo e ações com responsáveis e prazos.

Ele precisa ser sem culpados (blameless). As pessoas agem com bom senso diante do que sabiam no momento; se uma pessoa conseguiu derrubar a produção com um único comando, o sistema permitiu. Pergunte “como o nosso sistema tornou isso possível?”, e não “quem fez isso?”. A culpa ensina as pessoas a esconder erros; a ausência de culpados ensina a organização. E procure vários fatores contribuintes, em vez de uma única “causa raiz” - falhas complexas raramente têm uma só.

Experimente

Até 15 XP

Sem culpados ou com culpados?

Classifique cada frase dos rascunhos de postmortem da Byte Bakery.

0 de 5 classificadosPontuação 0/0
  • “A ferramenta de envio de configuração não validava as coordenadas, então um valor vazio mandou todos os drones para o telhado padrão.”

  • “O Sam enviou por descuido uma configuração quebrada.”

  • “O nosso alerta disparou 13 minutos depois do início do impacto porque só olhava as taxas de erro, e não os locais de entrega.”

  • “O plantão deveria ter sabido que tinha que voltar a versão antes.”

  • “Ação: acrescentar um estágio canário para os envios de configuração (responsável: equipe de plataforma, prazo: 30 de outubro).”

Principais conclusões

  • Detectar, declarar, mitigar, resolver, aprender.

  • Papéis claros - principalmente um comandante do incidente que coordena em vez de depurar - e atualizações regulares.

  • Meça os tempos de detecção, reconhecimento e mitigação de cada incidente.

  • Postmortems sem culpados encontram fatores contribuintes e geram ações com responsáveis.

Quiz da aula

7 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: automatize tarefas de DevOps com Python

Escreva as pequenas ferramentas em Python que times de DevOps realmente criam, como executores de pipeline, verificadores de plano, calculadoras de métricas e scanners, e execute-as com entradas de exemplo. Elas rodam localmente no navegador; não é preciso ter servidores nem contas na nuvem.

Exercício 1

Monte a linha do tempo do incidente

+25 XP

Cada linha da entrada é HH:MM kind description..., em que kind é start (o impacto começou), alert, ack, mitigated, resolved ou note; as linhas podem estar fora de ordem. Imprima timeline: e os eventos ordenados por horário como 18:02 start: drones all routed to one rooftop.

Depois imprima time to detect, time to acknowledge (do alerta ao ack), time to mitigate e time to resolve (os dois a partir do start), formatados como 13 min ou, a partir de uma hora, 1 h 58 min. Se a detecção levou mais de 10 minutos, termine com detection was slow: add an alert for this symptom.

  • O incidente do telhado
  • Pego rápido
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Monte o rodízio do plantão

+25 XP

A primeira linha da entrada lista os engenheiros na ordem do rodízio; a segunda é o número de semanas. Cada linha seguinte é name unavailable week,week,....

Em cada semana, o primário é o próximo engenheiro disponível na ordem do rodízio, continuando depois do primário da semana anterior (voltando ao começo quando acabar); o secundário é o próximo engenheiro disponível depois do primário. O secundário não move o rodízio. Imprima week 1: primary ana, secondary bo, com secondary none se mais ninguém estiver disponível, ou week 3: nobody available!. Termine com primary shifts: ana 2, bo 1, ... na ordem do rodízio.

  • Um mês de plantão
  • Semana de feriado
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…