Projeto final: o relatório de logs da estação
Combine pipelines, laços, arrays associativos, funções e strict mode numa ferramenta de relatório de verdade.
- Dividir uma tarefa de relatório em passos pequenos e testáveis
- Escolher entre um pipeline e um laço do Bash em cada passo
- Escrever um script completo e robusto que transforme um log bruto num relatório de status
Mensagem chegando da Comandante Hopper:
Engenheiro - toda manhã eu percorro o
station.logà mão para descobrir se a estação está pegando fogo. Em vez disso, eu gostaria de um relatório na minha tela até as 09:30. Providencie.
Cada linha do log tem quatro partes - um horário, um nível (INFO, WARN ou ERROR), um subsistema e uma mensagem em texto livre:
08:09 ERROR reactor coolant pump stalledA ferramenta pronta vai imprimir:
1=== KESTREL LOG REPORT ===
2Entries: 12 (08:00-09:15)
3ERROR: 5 WARN: 3 INFO: 4
4Busiest: reactor (5 entries)
5Latest error: 09:10 reactor: pressure spike
6Status: REDVocê vai construí-la em três exercícios. Primeiro um pipeline rápido, depois um laço com arrays associativos e depois o relatório completo.
Passo 1: responda a perguntas com pipelines
Antes de escrever um script grande, descubra até onde os one-liners levam você. Eles são rápidos de experimentar e fáceis de conferir. Contar as linhas por nível é o padrão de contagem de frequência da aula de pipelines, com o awk reformatando o resultado e acrescentando um total:
1log='08:00 INFO galley coffee brewed
208:09 ERROR reactor coolant pump stalled
308:12 WARN comms signal weak
408:20 ERROR reactor pressure spike'
5cut -d' ' -f2 <<< "$log" | sort | uniq -c | sort -k1,1nr -k2,2 |
6 awk '{ print $2, $1; total += $1 } END { print "total", total }'ERROR 2 INFO 1 WARN 1 total 4
Um pipeline pode continuar na linha seguinte depois de um | - prático para os longos. sort -k1,1nr -k2,2 ordena pela contagem (numericamente, decrescente) e depois pelo nome, então os empates saem numa ordem previsível.
Passo 2: uma passada, muitas contagens
O relatório completo precisa de vários números ao mesmo tempo: contagens por nível e por subsistema, o primeiro e o último horário e o erro mais recente. Rodar um pipeline separado para cada um leria o log muitas vezes. Em vez disso, leia-o uma vez com while read, dividindo cada linha em campos, e mantenha as contagens em arrays associativos:
1declare -A by_subsystem
2latest_error="none"
3while read -r time level subsystem message; do
4 (( by_subsystem[$subsystem] += 1 ))
5 [[ $level == ERROR ]] && latest_error="$time $subsystem: $message"
6done <<'EOF'
708:09 ERROR reactor coolant pump stalled
808:12 INFO galley coffee brewed
908:20 ERROR comms antenna misaligned
1008:31 INFO reactor temperature stable
11EOF
12for name in "${!by_subsystem[@]}"; do echo "$name ${by_subsystem[$name]}"; done | sort
13echo "latest error: $latest_error"comms 1 galley 1 reactor 2 latest error: 08:20 comms: antenna misaligned
read -r time level subsystem message coloca as três primeiras palavras nas suas próprias variáveis e todo o resto em message, então as mensagens com várias palavras sobrevivem intactas.
Passo 3: encontre o subsistema mais movimentado sem pipeline
Para escolher o subsistema com mais entradas, você poderia passar as contagens por sort | head -n 1. Mas, com set -o pipefail, o head fechando o pipe antes pode, de vez em quando, fazer o sort falhar com SIGPIPE - e, com set -e, isso encerra o seu script. Um pequeno laço evita o problema e desempata em ordem alfabética:
1set -euo pipefail
2declare -A tally=([galley]=3 [comms]=5 [reactor]=5)
3busiest=""
4for name in "${!tally[@]}"; do
5 if [[ -z $busiest ]] || (( tally[$name] > tally[$busiest] )) ||
6 { (( tally[$name] == tally[$busiest] )) && [[ $name < $busiest ]]; }; then
7 busiest=$name
8 fi
9done
10echo "Busiest: $busiest (${tally[$busiest]} entries)"Busiest: comms (5 entries)
Para onde ir agora
Agora você consegue automatizar quase tudo o que consegue digitar. Algumas ideias do que aprender em seguida:
- cron e timers do systemd - rode o seu relatório toda manhã às 09:25.
- ssh e rsync - rode comandos e copie arquivos em outras máquinas.
- tmux - mantenha sessões rodando e divida o terminal em painéis.
- jq - um sed-e-awk para JSON, a língua da maioria das APIs.
- make - descreva uma vez como construir as coisas e reconstrua só o que mudou.
E sempre que um script passar de uma ou duas páginas, ou precisar de estruturas de dados de verdade, considere migrar para Python. Saber quando trocar também faz parte da sabedoria do shell.
Principais conclusões
Comece com pipelines para explorar; troque por uma única passada com
while readquando precisar de muitos números de uma vez.Os arrays associativos transformam um laço num conjunto de contagens.
Com strict mode, evite pipelines frágeis com
| headdentro de substituições e decisões com&&no final.Teste os scripts com entradas pequenas e traiçoeiras - incluindo o caso chato de “nada deu errado”.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em scripts Bash
Escreva um script no editor e execute-o de verdade com entradas de exemplo. Cada execução ganha um sandbox Linux novo com Bash 5.2 e as ferramentas GNU no Wandbox, um serviço público gratuito, então experimente à vontade, até com rm. Seu script e a entrada de teste são enviados para lá.
Resumo por nível
O stdin é um log da estação. Imprima cada nível com a contagem, do mais frequente para o menos (empates em ordem alfabética), e depois total e o número de linhas:
1ERROR 5
2INFO 4
3WARN 3
4total 12- Log da manhã
- Um empate
Seu script roda com Bash 5.2 e ferramentas GNU no Wandbox, um serviço público gratuito, em um sandbox novo a cada execução. Seu script e a entrada de teste são enviados a esse serviço.
Focos de erro
O stdin é um log da estação. Para cada subsistema com pelo menos um ERROR, imprima o nome, a contagem de erros e os horários dos erros na ordem do log, como reactor 3: 08:09 08:40 09:10. Liste primeiro o subsistema com mais erros; desempate em ordem alfabética.
- Log da manhã
- Uma pane
Seu script roda com Bash 5.2 e ferramentas GNU no Wandbox, um serviço público gratuito, em um sandbox novo a cada execução. Seu script e a entrada de teste são enviados a esse serviço.
O relatório completo
Escreva o relatório completo para a Comandante Hopper. O stdin é um log da estação; imprima:
1=== KESTREL LOG REPORT ===
2Entries: 12 (08:00-09:15)
3ERROR: 5 WARN: 3 INFO: 4
4Busiest: reactor (5 entries)
5Latest error: 09:10 reactor: pressure spike
6Status: RED- Entries: o número de linhas, com o primeiro e o último horário.
- As contagens por nível sempre mostram os três níveis, mesmo quando uma contagem é 0. (Repare nos dois espaços entre elas.)
- Busiest: o subsistema com mais entradas de qualquer nível; os empates ficam com o nome que vem primeiro em ordem alfabética.
- Latest error:
time subsystem: messageda última linha de ERROR, ounone. - Status:
REDse houver algum erro; senãoAMBERse houver algum aviso; senãoGREEN.
O código inicial tem o strict mode ligado - mantenha-o e garanta que o seu script ainda saia com status 0.
- Log da manhã
- Uma tarde tranquila
- Avisos e um empate
- Uma pane
Seu script roda com Bash 5.2 e ferramentas GNU no Wandbox, um serviço público gratuito, em um sandbox novo a cada execução. Seu script e a entrada de teste são enviados a esse serviço.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…