O Que É Rotulagem de Dados? O Trabalho Humano que Ensina a IA

Algum site já pediu para você "selecionar todas as imagens com semáforos" antes de entrar? Você provavelmente clicou em alguns quadrados, suspirou e seguiu em frente. Mas, naquele momento, você estava fazendo algo surpreendentemente importante: dizendo a um computador o que há numa imagem.

Isso é rotulagem de dados (em inglês, data labeling), uma das partes menos glamorosas, mas mais essenciais, da inteligência artificial. Por trás de quase todo sistema de IA que reconhece rostos, filtra spam ou entende a fala, existe uma quantidade enorme de exemplos que pessoas rotularam com cuidado antes.

Este artigo explica a rotulagem de dados em linguagem simples: o que é, por que a IA precisa dela, quem faz e por que fazer direito importa tanto.

Você talvez já tenha rotulado dados

Esses desafios se chamam CAPTCHAs, e o trabalho principal deles é diferenciar pessoas de robôs. Mas o Google, que mantém o popular serviço reCAPTCHA, já disse que as respostas das pessoas ao longo dos anos também ajudaram a digitalizar livros e jornais antigos e a melhorar o reconhecimento de imagens da empresa, por exemplo no Google Maps. Milhões de pessoas viraram rotuladoras de dados nas horas vagas sem perceber.

O que é um rótulo?

Um rótulo é simplesmente a resposta certa ligada a um exemplo. O exemplo pode ser uma foto, um e-mail, uma frase ou um trecho de áudio. O rótulo diz o que ele é, ou o que significa:

Por que a IA precisa disso? A maior parte do aprendizado de máquina aprende como um aluno que estuda com o gabarito. Mostre a um computador milhares de fotos rotuladas como "gato" ou "não é gato", e ele aos poucos aprende como os gatos são. Sem rótulos, ele tem exemplos, mas não tem respostas, e não tem com o que aprender a resposta certa.

Rotulagem de dados (também chamada de anotação de dados) é o trabalho de adicionar esses rótulos.

Muitos tipos de rotulagem

Rotular não é só escrever uma palavra ao lado de uma imagem. Dependendo do que a IA precisa aprender, quem rotula pode:

• Etiquetas: um rótulo para o item inteiro. "Esta foto mostra um cão." "Esta avaliação é negativa."
• Caixas: desenhar um retângulo em volta de cada objeto, como cada carro e pedestre numa foto de rua. Empresas de carros autônomos precisam de milhões delas.
• Contornos: traçar a forma exata das coisas, pixel por pixel. Usado em exames médicos e para desfocar o fundo de videochamadas.
• Marcação de texto: destacar partes de uma frase, como nomes de pessoas, lugares e datas, para a IA aprender a encontrá-los.
• Transcrição: digitar exatamente o que é dito numa gravação, para os assistentes de voz aprenderem a entender a fala.
• Ranking: comparar duas respostas de um chatbot de IA e escolher a melhor. Esse tipo de feedback humano é uma etapa importante para deixar os chatbots úteis e educados.

Quem faz a rotulagem?

A resposta: muita gente, de muitos jeitos.

• Trabalhadores on-line (crowdsourcing): plataformas como o Amazon Mechanical Turk, lançado em 2005, dividem a rotulagem em tarefas minúsculas que qualquer pessoa pode fazer por um pequeno pagamento. A famosa coleção de fotos ImageNet, com mais de 14 milhões de imagens rotuladas, foi feita assim, com a ajuda de cerca de 49 mil trabalhadores de 167 países.
• Empresas de rotulagem: negócios que empregam equipes treinadas, muitas vezes em vários países.
• Especialistas: alguns rótulos exigem conhecimento especializado. Médicos rotulam exames, advogados rotulam contratos e linguistas rotulam gramática.
• Usuários comuns: quando você clica em "denunciar spam", marca um amigo numa foto ou dá um "joinha para baixo" numa resposta de chatbot, talvez esteja produzindo rótulos também.
• A própria IA, com pessoas conferindo: cada vez mais, uma IA sugere rótulos e pessoas corrigem, o que é bem mais rápido do que começar do zero.

Como funciona um projeto de rotulagem

Uma boa rotulagem é muito mais organizada do que gente clicando ao acaso. Um projeto típico funciona em ciclo:

1. Escrever regras. Instruções claras, com exemplos: um cachorro num cartaz conta como "cão"? Uma avaliação irônica é positiva ou negativa? Essas decisões precisam ser tomadas antes.
2. Rotular. Pessoas (muitas vezes com ajuda de ferramentas) rotulam os exemplos.
3. Conferir. Revisores checam amostras do trabalho, e o mesmo item muitas vezes vai para várias pessoas para comparar as respostas.
4. Treinar o modelo. Os dados rotulados são usados para ensinar a IA.
5. Achar erros. Onde o modelo tem dificuldade, muitas vezes há regras confusas ou rótulos errados. Corrige-se e dá-se outra volta.

Por que é mais difícil do que parece

Rotular parece fácil até você tentar. Aquele animal numa foto borrada é um lobo ou um husky? "Que ótimo, mais uma segunda-feira" é uma frase positiva ou negativa? Onde exatamente termina um tumor num exame? Pessoas sensatas discordam, e pessoas cansadas erram.

Uma solução comum é perguntar a várias pessoas e ficar com a maioria. Veja o quanto isso ajuda, num modelo simples da matemática:

Com três pessoas que acertam 80% das vezes cada uma, a maioria acerta cerca de 90% das vezes. Com cinco, cerca de 94%. O detalhe: isso supõe que as pessoas erram de forma independente. Em itens realmente difíceis, muita gente se engana do mesmo jeito, então, na prática, as equipes também usam especialistas, regras claras e revisão cuidadosa.

Por que a qualidade dos rótulos importa tanto

Existe um ditado conhecido na computação: lixo entra, lixo sai. Se o gabarito está errado, o aluno aprende as lições erradas.

Para mostrar isso, fizemos um pequeno experimento de verdade. Treinamos um modelo simples com 400 exemplos inventados, e depois de novo e de novo, a cada vez trocando de propósito mais rótulos para a resposta errada:

Com rótulos perfeitos, o modelo acerta 93% dos exemplos novos. Quando 20% dos rótulos de treino estão errados, cai para 88%. Com 40%, vai para 71%. Cada rótulo errado ensina ao modelo um pouquinho de bobagem.

E rótulos errados são mais comuns do que você imagina. Um estudo de 2021, de pesquisadores do MIT e de outras instituições, conferiu dez conjuntos de dados de teste muito usados em IA e estimou que, em média, pelo menos 3,3% dos rótulos estavam errados, incluindo pelo menos 6% numa parte popular do ImageNet. São justamente os dados que pesquisadores usam para decidir quais sistemas de IA são os melhores.

O lado humano da rotulagem

A rotulagem de dados é trabalho de verdade, feito por pessoas de verdade, e levanta questões reais:

• Pagamento e condições: boa parte da rotulagem é feita por salários baixos, muitas vezes em países de renda mais baixa. Em 2023, uma investigação da revista TIME relatou que trabalhadores no Quênia que rotulavam conteúdo nocivo para deixar um chatbot mais seguro recebiam menos de 2 dólares por hora.
• Conteúdo perturbador: para ensinar a IA a filtrar violência, abuso e discurso de ódio, alguém precisa ver e rotular esse conteúdo antes. Isso pode afetar seriamente a saúde mental.
• Reconhecimento: quem rotula raramente recebe crédito, embora os sistemas de IA não existiriam sem essas pessoas.
• Privacidade: a rotulagem às vezes envolve dados pessoais, como gravações de voz ou fotos, que precisam ser tratados com cuidado e com consentimento.

Muitos pesquisadores e empresas trabalham em padrões melhores: pagamento justo, apoio à saúde mental, consentimento claro e ferramentas que reduzem a quantidade de conteúdo perturbador que cada pessoa precisa ver.

Para onde a rotulagem está indo

A rotulagem não vai acabar, mas está mudando:

• Rotulagem assistida por IA: modelos sugerem rótulos e pessoas revisam, deixando o trabalho mais rápido.
• Menos rótulos, escolhas mais espertas: técnicas que escolhem os exemplos mais úteis para rotular, para precisar de menos.
• Dados sintéticos: exemplos gerados por computador que já vêm rotulados, como cenas de rua simuladas para treinar carros autônomos.
• Aprender sem rótulos: os chatbots de hoje primeiro aprendem com quantidades enormes de texto sem rótulo, prevendo a próxima palavra. Mas o feedback humano, como o ranking de respostas, continua sendo usado para deixá-los úteis e seguros.

Um pequeno glossário

• Rotulagem (ou anotação) de dados: adicionar as respostas certas a exemplos para a IA aprender com eles.
• Rótulo: a resposta ligada a um exemplo, como "gato" ou "spam".
• Rotulador (ou anotador): a pessoa que adiciona os rótulos.
• Regras (guidelines): as instruções que dizem como rotular de forma consistente.
• Caixa delimitadora (bounding box): um retângulo desenhado em volta de um objeto numa imagem.
• Transcrição: escrever o que é dito num áudio.
• Voto da maioria: dar o mesmo item a várias pessoas e ficar com a resposta mais comum.
• Ruído nos rótulos: rótulos errados ou inconsistentes num conjunto de dados.
• Crowdsourcing: dividir um trabalho em pequenas tarefas feitas por muitas pessoas on-line.
• Feedback humano: pessoas avaliando ou ordenando respostas da IA para ajudar a melhorá-la.
• Dados sintéticos: exemplos gerados artificialmente, muitas vezes já criados com rótulos.

Concluindo

Por trás das coisas impressionantes que a IA faz, existe muito trabalho humano e paciente. A rotulagem de dados transforma fotos, textos e sons brutos em exemplos com respostas, e são essas respostas que o aprendizado de máquina aprende. A qualidade dos rótulos define o limite da qualidade da IA: regras claras, conferência cuidadosa e tratamento justo das pessoas que fazem o trabalho aparecem no resultado final.

Então, da próxima vez que um site pedir para você achar todos os semáforos, você vai saber que está fazendo um pedacinho do trabalho que ensina os computadores a enxergar.