Carregando
0x50Lição 6 de 28

Pipelines e filtros

Encadeie ferramentas pequenas com | para ordenar, contar, recortar e transformar texto numa linha só.

28 min Questionário com 7 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Conectar comandos com pipes e raciocinar sobre o texto entre as etapas
  • Usar sort, uniq, head, tail, wc, cut e tr como blocos de montar
  • Escrever a clássica contagem de frequência: sort | uniq -c | sort -nr

Um pipe, |, liga o stdout de um comando ao stdin do comando seguinte. Os comandos rodam ao mesmo tempo, com o texto fluindo entre eles, e nenhum arquivo temporário é necessário:

cat station.log | grep ERROR | wc -l

Leia da esquerda para a direita: pegue o log, fique com as linhas de ERROR, conte-as. Os comandos que leem texto, o mudam e escrevem texto se chamam filtros, e um punhado deles cobre uma quantidade impressionante do trabalho do dia a dia:

FiltroFazOpções úteis
sortordena linhas-n numérico, -r inverso, -u únicos, -t, -k2 pelo 2º campo separado por vírgula
uniqjunta linhas duplicadas adjacentes-c prefixa cada uma com a contagem
head / tailprimeiras / últimas linhas-n 5
wcconta-l linhas, -w palavras
cutescolhe colunas-d" " -f3 o 3º campo separado por espaço, -c1-5 caracteres
trtraduz caracterestr a-z A-Z maiúsculas, -d apagar, -s comprimir repetições

Experimente

Até 15 XP

Laboratório de pipelines

Aqui está uma manhã inteira de station.log: cada linha tem um horário, um nível, um subsistema e uma mensagem. Clique nos comandos para montar um pipeline e veja o texto depois de cada etapa. Reproduza cada saída-alvo.

Repare, no desafio 2, no que acontece se você usar uniq antes de sort.

Resolvidos 0/6

Desafio 1: Quantas linhas de ERROR há no log?

$ cat station.log

Clique em um comando para adicioná-lo ao fim do pipeline:

cat station.log12 linhas
08:00 INFO life-support oxygen nominal
08:05 WARN reactor temperature rising
08:09 ERROR reactor coolant pump stalled
08:12 INFO galley coffee brewed
08:20 ERROR comms antenna misaligned
08:31 INFO reactor temperature stable
08:40 ERROR reactor coolant pump stalled
08:42 WARN comms signal weak
08:55 ERROR galley coffee machine jammed
09:03 INFO galley coffee brewed
09:10 ERROR reactor pressure spike
09:15 WARN life-support filter clogged
Saída esperada
5

Vale decorar o desafio 3 - ele responde “quais são os X mais comuns?” para qualquer X:

... | sort | uniq -c | sort -nr | head

O primeiro sort coloca as linhas iguais uma ao lado da outra, o uniq -c junta cada sequência numa linha com a contagem, o sort -nr ordena por essa contagem, da maior para a menor, e o head fica com as dez primeiras.

crew-stats.sh
1cat > crew.csv <<'EOF'
2ada,engineer,deck2
3grace,captain,deck1
4linus,engineer,deck2
5margaret,pilot,deck1
6ken,engineer,deck3
7EOF
8echo "Roles by headcount:"
9cut -d, -f2 crew.csv | sort | uniq -c | sort -nr
10echo "Decks:"
11cut -d, -f3 crew.csv | sort -u | tr '\n' ' '
12echo
13echo "First two names, upper-cased:"
14head -n 2 crew.csv | cut -d, -f1 | tr a-z A-Z
Saída
Roles by headcount:
      3 engineer
      1 pilot
      1 captain
Decks:
deck1 deck2 deck3 
First two names, upper-cased:
ADA
GRACE

Repare em tr '\n' ' ': ele transforma quebras de linha em espaços, juntando as linhas numa só. Repare também nos empates: pilot e captain têm 1 cada, e o sort do GNU desempata comparando as linhas inteiras, aqui em ordem inversa por causa do -r. (A ordenação também depende do seu locale: no seu terminal, LC_ALL=C sort dá a mesma ordem simples de bytes deste sandbox.)

Prática: responda a uma pergunta com um pipeline

Experimente

Até 15 XP

Que sistema está falhando?

Monte estes comandos uma etapa de cada vez, pressionando a seta para cima para trazer de volta o último comando e acrescentando a próxima etapa.

Missão 1 de 3

Conte os erros

Hopper: “Quantas linhas de ERROR há em station.log? Responda com answer e o número.”

Shell simulado. Tente ls, ou digite help para ver os comandos.

Seta para cima: histórico. Tab: completar. Ctrl-L: limpar. Ctrl-C: cancelar.
  1. Conte os erros
  2. Encontre o pior subsistema
  3. Guarde as provas

Principais conclusões

  • O | faz o stdout de um comando fluir para o stdin do comando seguinte.

  • Filtros pequenos - sort, uniq, head, tail, wc, cut, tr - se combinam em one-liners poderosos.

  • sort | uniq -c | sort -nr conta e classifica qualquer coisa.

  • O uniq precisa de entrada ordenada; sort -u é um atalho quando você não precisa das contagens.

Quiz da aula

7 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em scripts Bash

Escreva um script no editor e execute-o de verdade com entradas de exemplo. Cada execução ganha um sandbox Linux novo com Bash 5.2 e as ferramentas GNU no Wandbox, um serviço público gratuito, então experimente à vontade, até com rm. Seu script e a entrada de teste são enviados para lá.

Exercício 1

Frequentadores da câmara de ar

+25 XP

O stdin do seu script é o log de acesso da câmara de ar: um nome de tripulante por linha, na ordem em que passaram. Imprima os três nomes que mais usaram a câmara de ar, do mais frequente para o menos, no formato do uniq -c.

  • Uma manhã movimentada
  • Uma manhã tranquila
script.sh
Carregando editor…

Seu script roda com Bash 5.2 e ferramentas GNU no Wandbox, um serviço público gratuito, em um sandbox novo a cada execução. Seu script e a entrada de teste são enviados a esse serviço.

Exercício 2

Funções da escala

+25 XP

O stdin é a escala da tripulação em CSV: name,role,deck. Imprima cada função uma vez, em maiúsculas, em ordem alfabética.

  • Cinco tripulantes
  • Recém-chegados
script.sh
Carregando editor…

Seu script roda com Bash 5.2 e ferramentas GNU no Wandbox, um serviço público gratuito, em um sandbox novo a cada execução. Seu script e a entrada de teste são enviados a esse serviço.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…