Calcule a atenção passo a passo
Transforme pontuações palavra a palavra em pesos de atenção com softmax e misture informações por esses pesos.
- Transforme pontuações em pesos com softmax
- Explique consultas, chaves e valores em palavras simples
- Calcule pesos de atenção a partir de produtos escalares
Em “O animal não atravessou a rua porque estava muito cansado”, a que se refere isso? Você sabe que é o animal - as ruas não cansam. Atenção é o mecanismo que permite que um modelo faça esse tipo de conexão: ao construir o novo vetor para isso, ele pode se basear fortemente em animal.
Experimente
Até 15 XPExplorador de atenção
Estes são pesos de atenção de brinquedo para uma cabeça de atenção. Clique em uma palavra para ver o quanto ela corresponde a cada palavra (mais verde = mais).
- Clique nele: qual palavra chama mais atenção?
- Clique em cruzar: quem faz a travessia e o que é atravessado?
- Deslize a temperatura: em temperatura baixa, a atenção se concentra na palavra de cima; em alta temperatura, ele se espalha uniformemente.
Clique em uma palavra para ver para onde ela olha
“it” dá mais atenção a “animal” (66%). Os pesos somam 100%.
- The1,2%
- animal65,8%
- didn’t1,2%
- cross1,2%
- the1,2%
- street10,9%
- because3,3%
- it5,4%
- was3,3%
- too1,2%
- tired5,4%
Das pontuações aos pesos: softmax
A atenção começa com uma pontuação para cada par de palavras: quão relevante é a palavra B para a palavra A? As pontuações podem ser qualquer número, então softmax as transforma em pesos: exponencie cada pontuação e depois divida pelo total. Pontuações maiores recebem pesos muito maiores, cada peso é positivo e somam 1.
1import math
2scores = [2.0, 1.0, 0.0]
3exponentials = [math.exp(score) for score in scores]
4total = sum(exponentials)
5print([round(value / total, 2) for value in exponentials])[0.67, 0.24, 0.09]
Consultas, chaves e valores
De onde vêm as pontuações? O vetor de cada token é transformado em três vetores, um pouco como uma pesquisa de biblioteca:
- uma consulta: o que este token está procurando (ele procura um substantivo ao qual possa se referir),
- uma chave: o que este token oferece aos outros (animal oferece “Eu sou um substantivo vivo”),
- um valor: a informação que ele passa se for escolhido.
A pontuação entre dois tokens é o produto escalar da consulta de um com a chave do outro (escalada pela raiz quadrada do tamanho do vetor). Softmax transforma as pontuações em pesos, e o novo vetor do token é a soma ponderada dos valores. Um Transformer executa muitas dessas “cabeças” de atenção lado a lado, cada uma livre para aprender um tipo diferente de ligação.
Principais conclusões
A atenção permite que cada token construa seu novo vetor a partir dos tokens mais relevantes para ele.
Softmax transforma qualquer pontuação em pesos positivos que somam 1; a temperatura controla o quão atingidos eles são.
Pontuação = consulta · chave; saída = soma ponderada dos valores. Muitas cabeças aprendem diferentes links em paralelo.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: aplique NLP com Python
Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.
Implementar softmax
Leia as pontuações separadas por espaços em uma linha. Imprima seus pesos softmax, cada um arredondado para 2 casas decimais, separados por um espaço.
- Três pontuações
- Pontuações iguais
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Pesos de atenção de produtos escalares
A primeira linha é um vetor de consulta. O segundo é N, seguido por N vetores-chave, um por linha. Pontue cada chave por seu produto escalar com a consulta, aplique softmax e imprima os pesos arredondados para 2 casas decimais, separados por um espaço.
- Três chaves
- Duas chaves iguais
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…