Particione dados com sharding

Quando os dados ou o tráfego de escrita não cabem mais numa máquina, você faz sharding (particiona): cada nó guarda um subconjunto das linhas. A chave de shard decide onde cada linha fica, e é uma das escolhas de maior impacto num projeto. Uma boa chave tem muitos valores distintos, distribui a carga por igual e mantém no mesmo shard os dados que são consultados juntos.

• Particionamento por intervalo: divide por faixas de chave (A-F, G-M, …). Varreduras por intervalo são eficientes, mas chaves sequenciais, como timestamps, mandam todas as escritas novas para um único shard.
• Particionamento por hash: coloca as linhas por hash(key). A carga se espalha por igual, mas consultas por intervalo precisam perguntar a todos os shards.
• Baseado em diretório: um serviço de consulta mapeia chaves para shards. É flexível, mas o diretório precisa ser rápido e altamente disponível.

O esquema ingênuo hash(key) % N tem uma propriedade ruim: quando N muda, a maioria das chaves passa a apontar para outro nó, forçando uma migração enorme de dados.

Um exemplo: pegue 12 chaves distribuídas por key % 3 e passe para key % 4. 9 das 12 chaves mudam de lugar, embora você tenha adicionado só um nó.

O hashing consistente coloca nós e chaves num anel de valores de hash. Cada chave pertence ao primeiro nó no sentido horário a partir dela. Um nó novo só assume as chaves entre ele e o nó anterior - cerca de 1/N dos dados - e um nó removido entrega as suas chaves ao próximo. Cada nó físico costuma ter muitos nós virtuais no anel, para a carga ficar equilibrada. Sistemas como Cassandra e DynamoDB foram construídos sobre essa ideia.