Conheça a visão moderna: transformadores, CLIP e geração
Veja como as imagens se tornam sequências de manchas e como a visão agora se conecta à linguagem.
- Explique como um Vision Transformer transforma uma imagem em tokens de patch
- Descreva o que modelos de imagem e texto como CLIP tornam possível
- Cite o que os modelos de imagem generativos fazem - e seus riscos
Durante a maior parte da década de 2010, as CNNs dominaram a visão. Então chegou o Transformer – a arquitetura por trás dos modelos de linguagem. O artigo “Uma imagem vale 16x16 palavras” (Dosovitskiy et al., 2020) mostrou que um transformador simples pode classificar imagens muito bem quando treinado com dados suficientes.
Imagens como sequências de patches
Um Vision Transformer (ViT) corta a imagem em uma grade de manchas quadradas (digamos 16×16 pixels), nivela cada mancha em uma lista de números e transforma cada uma em um vetor - uma “palavra visual”. Adicione informações de posição e os patches passarão pelas mesmas camadas de autoatenção usadas para texto.
Uma imagem de 224×224 com 16×16 patches torna-se 14 × 14 = 196 tokens de patch. A atenção permite que cada patch observe todos os outros patches desde a primeira camada, enquanto uma CNN vê apenas pequenas vizinhanças até o fundo da rede.
image_size, patch_size = 224, 16
patches_per_side = image_size // patch_size
print(patches_per_side ** 2, patch_size * patch_size * 3)196 768
A visão encontra a linguagem
Os modelos no estilo CLIP são treinados em centenas de milhões de pares de imagens e legendas para colocar imagens e textos correspondentes próximos uns dos outros em um espaço de incorporação compartilhado. Isso permite a classificação de foto zero - compare uma imagem com os textos “foto de um cachorro” e “foto de um gato” e escolha a mais próxima, sem treinamento específico da tarefa - e pesquise fotos por descrição.
Modelos generativos vão na direção oposta: os modelos de difusão partem do ruído e o “reduzem” repetidamente em uma imagem que corresponde a um prompt de texto. As mesmas ferramentas que fazem ilustrações também fazem fotos falsas convincentes, e é por isso que a procedência e a marca d'água são importantes.
Experimente
Até 15 XPCombine o modelo com o trabalho
Que tipo de modelo se adapta melhor a cada trabalho?
“Encontre fotos na sua galeria que correspondam a “pôr do sol sobre o mar””
“Crie uma imagem de “uma raposa lendo um jornal””
“Classifique as fotos de fábrica em “defeito” e “sem defeito” com milhares de exemplos rotulados”
“Rotule as imagens em categorias que você só pensou hoje, sem exemplos de treinamento”
Principais conclusões
Um ViT divide uma imagem em patches e os trata como palavras em um Transformer.
Modelos como CLIP aproximam imagens e textos em um mesmo espaço para busca por descrição e classificação zero-shot.
Modelos generativos criam imagens a partir de texto – poderosos e fáceis de usar indevidamente.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: aplique visão computacional com Python
Use pequenas matrizes de pixels para explorar conceitos de visão, execute seu código com imagens de exemplo e relacione cada resultado à ideia maior de visão computacional.
Cortar uma imagem em patches
Leia uma imagem JSON em escala de cinza cujos lados são múltiplos do tamanho do patch e o tamanho do patch na próxima linha. Imprima cada patch, achatado linha por linha em uma lista, em ordem de leitura (da esquerda para a direita e de cima para baixo) - um patch por linha.
- 4×4 em patches 2×2
- Um patch
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…