Carregando
0x20Lição 3 de 16

Tamanho do modelo, memória e cache KV

Estime quanta memória um modelo precisa, por que a quantização ajuda e quanto custa o cache KV.

20 min Questionário com 6 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Estime a memória de peso a partir da contagem e precisão dos parâmetros
  • Explique a quantização e suas compensações
  • Calcule o tamanho do cache KV para contextos longos

Os parâmetros (pesos) de um modelo são apenas números, e cada número ocupa memória. Regra aproximada: memória para pesos = parâmetros × bytes por parâmetro.

PrecisãoBytes por parâmetroModelo 8B
fp32432 GB
fp16/bf16216 GB
int818 GB
int40,54 GB

Quantização armazena pesos com menos bits. Ele permite que modelos maiores sejam executados em GPUs (ou laptops) menores e acelera a inferência, geralmente com uma pequena perda de qualidade que aumenta à medida que os bits diminuem.

O cache KV

Durante a geração, cada novo token atende a todos os tokens anteriores. Recalcular suas chaves e valores em cada etapa seria um desperdício, então os modelos os mantêm em um cache KV. Seu tamanho aumenta com o comprimento do contexto:

KV bytes=2×layers×KV heads×head size×tokens×batch×bytes per value\text{KV bytes} = 2 \times \text{layers} \times \text{KV heads} \times \text{head size} \times \text{tokens} \times \text{batch} \times \text{bytes per value}

(o 2 é para chaves e valores)

Para contextos longos, isso pode rivalizar com os próprios pesos. É por isso que muitos modelos usam atenção de consulta agrupada (vários cabeçotes de consulta compartilham um cabeçote KV), o que reduz o cache - e por que prompts longos custam mais memória e tempo.

weights_memory.py
bytes_per_parameter = {"fp32": 4, "bf16": 2, "int8": 1, "int4": 0.5}
for precision, size in bytes_per_parameter.items():
    print(precision, 8e9 * size / 1e9, "GB")
Saída
fp32 32.0 GB
bf16 16.0 GB
int8 8.0 GB
int4 4.0 GB

Principais conclusões

  • Memória de peso ≈ parâmetros × bytes por parâmetro.

  • A quantização troca um pouco de qualidade por muito menos memória e inferência mais rápida.

  • O cache KV cresce com o comprimento do contexto; a atenção da consulta agrupada a reduz.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Estimar memória de peso

+25 XP

Cada linha é PARAMS_IN_BILLIONS PRECISION (fp32, bf16, fp16, int8 ou int4). Imprima NB PRECISION: X GB com X = bilhões × bytes por parâmetro, com 1 decimal.

  • Quatro modelos
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Dimensione o cache KV

+25 XP

Cada linha é layers kv_heads head_dim tokens batch bytes. Imprima o tamanho do cache KV em GB (1 GB = 10⁹ bytes) com 2 casas decimais: KV cache: X GB.

  • Consulta agrupada versus atenção total
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…