Carregando
0xD0Lição 14 de 16

Conheça a visão moderna: transformadores, CLIP e geração

Veja como as imagens se tornam sequências de manchas e como a visão agora se conecta à linguagem.

20 min Questionário com 6 perguntas 1 exercício de código
Ao final desta lição, você saberá
  • Explique como um Vision Transformer transforma uma imagem em tokens de patch
  • Descreva o que modelos de imagem e texto como CLIP tornam possível
  • Cite o que os modelos de imagem generativos fazem - e seus riscos

Durante a maior parte da década de 2010, as CNNs dominaram a visão. Então chegou o Transformer – a arquitetura por trás dos modelos de linguagem. O artigo “Uma imagem vale 16x16 palavras” (Dosovitskiy et al., 2020) mostrou que um transformador simples pode classificar imagens muito bem quando treinado com dados suficientes.

Imagens como sequências de patches

Um Vision Transformer (ViT) corta a imagem em uma grade de manchas quadradas (digamos 16×16 pixels), nivela cada mancha em uma lista de números e transforma cada uma em um vetor - uma “palavra visual”. Adicione informações de posição e os patches passarão pelas mesmas camadas de autoatenção usadas para texto.

Uma imagem de 224×224 com 16×16 patches torna-se 14 × 14 = 196 tokens de patch. A atenção permite que cada patch observe todos os outros patches desde a primeira camada, enquanto uma CNN vê apenas pequenas vizinhanças até o fundo da rede.

patches.py
image_size, patch_size = 224, 16
patches_per_side = image_size // patch_size
print(patches_per_side ** 2, patch_size * patch_size * 3)
Saída
196 768

A visão encontra a linguagem

Os modelos no estilo CLIP são treinados em centenas de milhões de pares de imagens e legendas para colocar imagens e textos correspondentes próximos uns dos outros em um espaço de incorporação compartilhado. Isso permite a classificação de foto zero - compare uma imagem com os textos “foto de um cachorro” e “foto de um gato” e escolha a mais próxima, sem treinamento específico da tarefa - e pesquise fotos por descrição.

Modelos generativos vão na direção oposta: os modelos de difusão partem do ruído e o “reduzem” repetidamente em uma imagem que corresponde a um prompt de texto. As mesmas ferramentas que fazem ilustrações também fazem fotos falsas convincentes, e é por isso que a procedência e a marca d'água são importantes.

Experimente

Até 15 XP

Combine o modelo com o trabalho

Que tipo de modelo se adapta melhor a cada trabalho?

0 de 4 classificadosPontuação 0/0
  • “Encontre fotos na sua galeria que correspondam a “pôr do sol sobre o mar””

  • “Crie uma imagem de “uma raposa lendo um jornal””

  • “Classifique as fotos de fábrica em “defeito” e “sem defeito” com milhares de exemplos rotulados”

  • “Rotule as imagens em categorias que você só pensou hoje, sem exemplos de treinamento”

Principais conclusões

  • Um ViT divide uma imagem em patches e os trata como palavras em um Transformer.

  • Modelos como CLIP aproximam imagens e textos em um mesmo espaço para busca por descrição e classificação zero-shot.

  • Modelos generativos criam imagens a partir de texto – poderosos e fáceis de usar indevidamente.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: aplique visão computacional com Python

Use pequenas matrizes de pixels para explorar conceitos de visão, execute seu código com imagens de exemplo e relacione cada resultado à ideia maior de visão computacional.

Exercício 1

Cortar uma imagem em patches

+25 XP

Leia uma imagem JSON em escala de cinza cujos lados são múltiplos do tamanho do patch e o tamanho do patch na próxima linha. Imprima cada patch, achatado linha por linha em uma lista, em ordem de leitura (da esquerda para a direita e de cima para baixo) - um patch por linha.

  • 4×4 em patches 2×2
  • Um patch
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…