Medindo a entrega: as métricas DORA
Meça velocidade e estabilidade juntas com as quatro métricas-chave - frequência de deploy, lead time, taxa de falha de mudanças e tempo de restauração.
- Definir as quatro métricas DORA e calculá-las a partir de um log de deploys
- Explicar por que velocidade e estabilidade melhoram juntas, em vez de uma prejudicar a outra
- Usar métricas para encontrar gargalos sem transformá-las em metas que serão burladas
O CEO da Byte Bakery pergunta: “Estamos melhorando na entrega?” As opiniões divergem. Dados ajudariam.
O programa de pesquisa DORA (DevOps Research and Assessment, hoje parte do Google Cloud) entrevistou dezenas de milhares de profissionais ao longo de muitos anos e encontrou quatro métricas-chave que preveem o desempenho da entrega de software - e, curiosamente, também o desempenho da organização:
| Métrica | Pergunta | Mede |
|---|---|---|
| Frequência de deploy | Com que frequência fazemos deploy em produção? | velocidade |
| Lead time de mudanças | Quanto tempo do commit até rodar em produção? | velocidade |
| Taxa de falha de mudanças | Que parte dos deploys causa uma falha que exige correção? | estabilidade |
| Tempo para restaurar o serviço | Quando uma falha acontece, com que rapidez nos recuperamos? | estabilidade |
1deploys = [ # (hours from commit to deploy, caused a failure?, hours to restore)
2 (30, False, 0), (4, False, 0), (6, True, 2), (3, False, 0), (5, False, 0),
3]
4days = 5
5lead_times = sorted(hours for hours, _, _ in deploys)
6failures = [restore for _, failed, restore in deploys if failed]
7print(f"deploys per day: {len(deploys) / days:.1f}")
8print(f"median lead time: {lead_times[len(lead_times) // 2]} h")
9print(f"change failure rate: {len(failures) / len(deploys):.0%}")
10print(f"mean time to restore: {sum(failures) / len(failures):.1f} h")deploys per day: 1.0 median lead time: 5 h change failure rate: 20% mean time to restore: 2.0 h
Lendo os números:
- Use a mediana do lead time - uma mudança travada por um mês não deveria esconder que a maioria sai em horas (nem o contrário).
- Os relatórios DORA recentes descrevem as equipes elite como as que fazem deploy sob demanda (várias vezes por dia), com lead times de menos de um dia, poucas mudanças com falha e recuperação em menos de uma hora; as de desempenho baixo fazem deploy uma vez por mês ou menos, com lead times de meses. Os limites exatos mudam de ano para ano.
- Os relatórios mais novos acrescentam uma quinta área, a confiabilidade - cumprir as suas metas de disponibilidade e desempenho.
Principais conclusões
As quatro métricas-chave: frequência de deploy, lead time de mudanças, taxa de falha de mudanças e tempo de restauração.
Quem tem o melhor desempenho é mais rápido e mais estável ao mesmo tempo - lotes pequenos tornam as duas coisas possíveis.
Use medianas para o lead time e meça as tendências ao longo do tempo.
As métricas orientam a melhoria; transformadas em metas, elas são burladas.
Quiz da aula
7 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: automatize tarefas de DevOps com Python
Escreva as pequenas ferramentas em Python que times de DevOps realmente criam, como executores de pipeline, verificadores de plano, calculadoras de métricas e scanners, e execute-as com entradas de exemplo. Elas rodam localmente no navegador; não é preciso ter servidores nem contas na nuvem.
Calcule as quatro métricas-chave
A primeira linha da entrada é o número de dias cobertos. Cada linha seguinte é um deploy: id commit_hour deploy_hour ok, ou id commit_hour deploy_hour failed restored_hour (horas desde o início do período).
Imprima deployment frequency: 1.4 per day, lead time for changes (median): 5.0 h, change failure rate: 29% e time to restore (mean): 1.5 h (ou time to restore: no failures). O lead time é deploy − commit; o tempo de restauração é restored − deploy.
- Uma boa semana
- A era da Noite do Release
- Mar tranquilo
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Classifique o desempenho da entrega
Cada linha da entrada é uma equipe: team deploys_per_week lead_time_hours failure_percent restore_hours. Classifique cada métrica com estes limites simplificados:
| Métrica | elite | high | medium | senão |
|---|---|---|---|---|
| deploys por semana | 7 ou mais | 1 ou mais | 0,25 ou mais | low |
| lead time (horas) | menos de 24 | menos de 168 | menos de 720 | low |
| % de falhas | 5 ou menos | 10 ou menos | 15 ou menos | low |
| restauração (horas) | menos de 1 | menos de 24 | menos de 168 | low |
O nível geral é o mais fraco dos quatro. Imprima oven-team: deploys elite, lead time high, failures elite, restore elite -> overall high.
- Equipes da Byte Bakery
- Limites
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…