Tamanho do modelo, memória e cache KV
Estime quanta memória um modelo precisa, por que a quantização ajuda e quanto custa o cache KV.
- Estime a memória de peso a partir da contagem e precisão dos parâmetros
- Explique a quantização e suas compensações
- Calcule o tamanho do cache KV para contextos longos
Os parâmetros (pesos) de um modelo são apenas números, e cada número ocupa memória. Regra aproximada: memória para pesos = parâmetros × bytes por parâmetro.
| Precisão | Bytes por parâmetro | Modelo 8B |
|---|---|---|
| fp32 | 4 | 32 GB |
| fp16/bf16 | 2 | 16 GB |
| int8 | 1 | 8 GB |
| int4 | 0,5 | 4 GB |
Quantização armazena pesos com menos bits. Ele permite que modelos maiores sejam executados em GPUs (ou laptops) menores e acelera a inferência, geralmente com uma pequena perda de qualidade que aumenta à medida que os bits diminuem.
O cache KV
Durante a geração, cada novo token atende a todos os tokens anteriores. Recalcular suas chaves e valores em cada etapa seria um desperdício, então os modelos os mantêm em um cache KV. Seu tamanho aumenta com o comprimento do contexto:
(o 2 é para chaves e valores)
Para contextos longos, isso pode rivalizar com os próprios pesos. É por isso que muitos modelos usam atenção de consulta agrupada (vários cabeçotes de consulta compartilham um cabeçote KV), o que reduz o cache - e por que prompts longos custam mais memória e tempo.
bytes_per_parameter = {"fp32": 4, "bf16": 2, "int8": 1, "int4": 0.5}
for precision, size in bytes_per_parameter.items():
print(precision, 8e9 * size / 1e9, "GB")fp32 32.0 GB bf16 16.0 GB int8 8.0 GB int4 4.0 GB
Principais conclusões
Memória de peso ≈ parâmetros × bytes por parâmetro.
A quantização troca um pouco de qualidade por muito menos memória e inferência mais rápida.
O cache KV cresce com o comprimento do contexto; a atenção da consulta agrupada a reduz.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Estimar memória de peso
Cada linha é PARAMS_IN_BILLIONS PRECISION (fp32, bf16, fp16, int8 ou int4). Imprima NB PRECISION: X GB com X = bilhões × bytes por parâmetro, com 1 decimal.
- Quatro modelos
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dimensione o cache KV
Cada linha é layers kv_heads head_dim tokens batch bytes. Imprima o tamanho do cache KV em GB (1 GB = 10⁹ bytes) com 2 casas decimais: KV cache: X GB.
- Consulta agrupada versus atenção total
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…