Desacople o trabalho com filas de mensagens

Uma fila de mensagens (SQS, RabbitMQ) ou um log (Kafka) fica entre os serviços que produzem trabalho e os que o consomem. O produtor retorna assim que a mensagem é armazenada, então o trabalho lento - enviar e-mails, transcodificar vídeos, atualizar feeds - acontece de forma assíncrona. Filas também nivelam a carga: um pico se acumula na fila em vez de sobrecarregar os consumidores, que a esvaziam no seu próprio ritmo.

• At-most-once (no máximo uma vez): uma mensagem pode se perder, mas nunca é entregue de novo.
• At-least-once (pelo menos uma vez): uma mensagem é reentregue até ser confirmada, então pode chegar mais de uma vez. É o padrão mais comum.
• Exactly-once (exatamente uma vez): muito difícil de ponta a ponta. Na prática, você consegue um efetivamente uma vez combinando entrega at-least-once com consumidores idempotentes.

Uma operação é idempotente se aplicá-la duas vezes tem o mesmo efeito que aplicá-la uma vez. Os consumidores conseguem isso registrando os IDs das mensagens já processadas (ou usando uma chave de idempotência) e ignorando as duplicatas.

Um exemplo: as entregas chegam como pay-1 de US$ 50, pay-2 de US$ 20 e depois pay-1 de novo. Um consumidor que registra os IDs processados ignora a repetição, então o saldo fica em US$ 70, e não US$ 120.

Outros padrões de fila aparecem com frequência. Filas de trabalho entregam cada mensagem a um único consumidor; o pub/sub entrega cada mensagem a todos os assinantes. O Kafka só garante a ordem dentro de uma partição, então você escolhe uma chave de partição (como o ID do usuário) para eventos que precisam continuar em ordem. Uma dead-letter queue (DLQ) junta as mensagens que continuam falhando, para que uma mensagem ruim não trave as outras. Fique de olho no consumer lag (atraso dos consumidores): se os produtores forem mais rápidos que os consumidores por muito tempo, o acúmulo cresce sem limite.