Pipelines e filtros
Encadeie ferramentas pequenas com | para ordenar, contar, recortar e transformar texto numa linha só.
- Conectar comandos com pipes e raciocinar sobre o texto entre as etapas
- Usar sort, uniq, head, tail, wc, cut e tr como blocos de montar
- Escrever a clássica contagem de frequência: sort | uniq -c | sort -nr
Um pipe, |, liga o stdout de um comando ao stdin do comando seguinte. Os comandos rodam ao mesmo tempo, com o texto fluindo entre eles, e nenhum arquivo temporário é necessário:
cat station.log | grep ERROR | wc -lLeia da esquerda para a direita: pegue o log, fique com as linhas de ERROR, conte-as. Os comandos que leem texto, o mudam e escrevem texto se chamam filtros, e um punhado deles cobre uma quantidade impressionante do trabalho do dia a dia:
| Filtro | Faz | Opções úteis |
|---|---|---|
sort | ordena linhas | -n numérico, -r inverso, -u únicos, -t, -k2 pelo 2º campo separado por vírgula |
uniq | junta linhas duplicadas adjacentes | -c prefixa cada uma com a contagem |
head / tail | primeiras / últimas linhas | -n 5 |
wc | conta | -l linhas, -w palavras |
cut | escolhe colunas | -d" " -f3 o 3º campo separado por espaço, -c1-5 caracteres |
tr | traduz caracteres | tr a-z A-Z maiúsculas, -d apagar, -s comprimir repetições |
Experimente
Até 15 XPLaboratório de pipelines
Aqui está uma manhã inteira de station.log: cada linha tem um horário, um nível, um subsistema e uma mensagem. Clique nos comandos para montar um pipeline e veja o texto depois de cada etapa. Reproduza cada saída-alvo.
Repare, no desafio 2, no que acontece se você usar uniq antes de sort.
Desafio 1: Quantas linhas de ERROR há no log?
$ cat station.log
Clique em um comando para adicioná-lo ao fim do pipeline:
08:00 INFO life-support oxygen nominal 08:05 WARN reactor temperature rising 08:09 ERROR reactor coolant pump stalled 08:12 INFO galley coffee brewed 08:20 ERROR comms antenna misaligned 08:31 INFO reactor temperature stable 08:40 ERROR reactor coolant pump stalled 08:42 WARN comms signal weak 08:55 ERROR galley coffee machine jammed 09:03 INFO galley coffee brewed 09:10 ERROR reactor pressure spike 09:15 WARN life-support filter clogged
5
Vale decorar o desafio 3 - ele responde “quais são os X mais comuns?” para qualquer X:
... | sort | uniq -c | sort -nr | headO primeiro sort coloca as linhas iguais uma ao lado da outra, o uniq -c junta cada sequência numa linha com a contagem, o sort -nr ordena por essa contagem, da maior para a menor, e o head fica com as dez primeiras.
1cat > crew.csv <<'EOF'
2ada,engineer,deck2
3grace,captain,deck1
4linus,engineer,deck2
5margaret,pilot,deck1
6ken,engineer,deck3
7EOF
8echo "Roles by headcount:"
9cut -d, -f2 crew.csv | sort | uniq -c | sort -nr
10echo "Decks:"
11cut -d, -f3 crew.csv | sort -u | tr '\n' ' '
12echo
13echo "First two names, upper-cased:"
14head -n 2 crew.csv | cut -d, -f1 | tr a-z A-ZRoles by headcount:
3 engineer
1 pilot
1 captain
Decks:
deck1 deck2 deck3
First two names, upper-cased:
ADA
GRACERepare em tr '\n' ' ': ele transforma quebras de linha em espaços, juntando as linhas numa só. Repare também nos empates: pilot e captain têm 1 cada, e o sort do GNU desempata comparando as linhas inteiras, aqui em ordem inversa por causa do -r. (A ordenação também depende do seu locale: no seu terminal, LC_ALL=C sort dá a mesma ordem simples de bytes deste sandbox.)
Prática: responda a uma pergunta com um pipeline
Experimente
Até 15 XPQue sistema está falhando?
Monte estes comandos uma etapa de cada vez, pressionando a seta para cima para trazer de volta o último comando e acrescentando a próxima etapa.
Missão 1 de 3
Conte os erros
Hopper: “Quantas linhas de ERROR há em station.log? Responda com answer e o número.”
Shell simulado. Tente ls, ou digite help para ver os comandos.
- Conte os erros
- Encontre o pior subsistema
- Guarde as provas
Principais conclusões
O
|faz o stdout de um comando fluir para o stdin do comando seguinte.Filtros pequenos - sort, uniq, head, tail, wc, cut, tr - se combinam em one-liners poderosos.
sort | uniq -c | sort -nrconta e classifica qualquer coisa.O
uniqprecisa de entrada ordenada;sort -ué um atalho quando você não precisa das contagens.
Quiz da aula
7 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em scripts Bash
Escreva um script no editor e execute-o de verdade com entradas de exemplo. Cada execução ganha um sandbox Linux novo com Bash 5.2 e as ferramentas GNU no Wandbox, um serviço público gratuito, então experimente à vontade, até com rm. Seu script e a entrada de teste são enviados para lá.
Frequentadores da câmara de ar
O stdin do seu script é o log de acesso da câmara de ar: um nome de tripulante por linha, na ordem em que passaram. Imprima os três nomes que mais usaram a câmara de ar, do mais frequente para o menos, no formato do uniq -c.
- Uma manhã movimentada
- Uma manhã tranquila
Seu script roda com Bash 5.2 e ferramentas GNU no Wandbox, um serviço público gratuito, em um sandbox novo a cada execução. Seu script e a entrada de teste são enviados a esse serviço.
Funções da escala
O stdin é a escala da tripulação em CSV: name,role,deck. Imprima cada função uma vez, em maiúsculas, em ordem alfabética.
- Cinco tripulantes
- Recém-chegados
Seu script roda com Bash 5.2 e ferramentas GNU no Wandbox, um serviço público gratuito, em um sandbox novo a cada execução. Seu script e a entrada de teste são enviados a esse serviço.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…