Como Rotular Dados para IA: Um Guia Prático para Bons Exemplos de Treinamento

Imagine a caixa de entrada do suporte como um desfile de mensagens: “Fui cobrado duas vezes”, “O link para redefinir a senha expirou” e “Onde está meu pacote?”. Você quer que uma IA envie cada mensagem para a equipe certa. Antes de o modelo aprender esse trabalho, alguém precisa mostrar exemplos com as respostas certas anexadas.

Esse trabalho é a rotulagem de dados. Pode ser tão simples quanto escolher uma categoria ou tão detalhado quanto contornar cada pixel ao redor de um pedestre. A parte difícil raramente é clicar no rótulo. O desafio é decidir o que cada rótulo significa, tratar os casos esquisitos de forma consistente e conferir se os dados finais servem para a tarefa real.

Este guia acompanha um pequeno projeto realista, da página em branco ao conjunto de dados revisado. Você não precisa de uma plataforma de anotação nem de um diploma em aprendizado de máquina.

Etapa 1: Comece pela decisão que a IA precisa tomar

“Rotule estas mensagens” não é uma tarefa completa. O que a IA deve fazer com o rótulo? No nosso exemplo, ela deve enviar cada mensagem de cliente para uma fila de suporte. Esse objetivo sugere um conjunto pequeno de rótulos:

Repare que OTHER e NEEDS_REVIEW significam coisas diferentes. “Outro” é um pedido válido e claro que não cabe nas filas oferecidas. “Precisa de revisão” significa que não há informação suficiente para decidir. Um bom esquema de rótulos permite dizer “os dados não me contam” em vez de forçar um palpite confiante.

Repare também no que a tarefa não pergunta: se a pessoa parece feliz. “Adoro o serviço, mas meu cartão foi cobrado de novo!” continua sendo BILLING. Os rótulos devem responder à pergunta do projeto, e não a todas as perguntas possíveis.

Etapa 2: Escreva um pequeno manual antes do lote grande

O nome de um rótulo é um título, não uma instrução. Anote:

1. A unidade: uma mensagem completa do cliente, não cada frase.
2. A pergunta: qual equipe deve atender o pedido principal?
3. As definições: que evidências contam para cada categoria?
4. As regras de prioridade: se houver dois assuntos, escolha o pedido que exige ação primeiro; se o pedido principal não estiver claro, use NEEDS_REVIEW.
5. As exclusões: não deduza um problema de cobrança só porque aparece a palavra “cartão”, se a mensagem for na verdade sobre acesso à conta.
6. Exemplos e contraexemplos: mostre um exemplo que se encaixa e outro parecido que não se encaixa.
7. A escalada: explique quais exemplos um revisor ou especialista precisa decidir.

Aqui está nossa regra para a mensagem ambígua “Meu cartão não me deixa entrar na conta”: use ACCOUNT_ACCESS se o cliente não consegue entrar e não houver evidência de pagamento recusado. A palavra cartão sozinha não basta para usar BILLING.

Deixe o guia junto dos dados e dê uma versão a ele, como support-routing-v1. Se a regra mudar, registre outra versão. Esse pequeno hábito ajuda a explicar depois por que dois lotes foram rotulados de forma diferente.

Etapa 3: Faça um piloto e corrija o que confunde

Antes de rotular milhares de mensagens, pegue uma pequena amostra com casos comuns e difíceis. Um primeiro piloto útil pode ter algumas dezenas de mensagens, revisadas por pelo menos duas pessoas se houver mais de uma pessoa rotuladora. Esse número é um ponto de partida, não um limite mágico de qualidade.

Peça para cada pessoa rotular de forma independente, sem ver as respostas das outras. Depois, compare os resultados. Se as duas classificarem “Não consigo entrar na minha conta” como ACCOUNT_ACCESS, ótimo. Se uma escolher BILLING porque o cliente menciona cartão, o guia precisa de um contraexemplo melhor. Corrija a regra e experimente um lote novo.

Uma divergência dá pistas sobre a tarefa. Pode significar que uma instrução está confusa, que o exemplo não tem contexto, que falta uma categoria ou que o caso do mundo real é ambíguo. A maioria pode ajudar em categorias factuais claras, mas não cria certeza quando ninguém tem informação suficiente. Mantenha NEEDS_REVIEW ou peça a opinião de um revisor qualificado quando fizer sentido.

Etapa 4: Rotule os dados, com ou sem sugestões de IA

Quando as regras do piloto fizerem sentido, rotule o lote principal. Uma planilha serve para um projeto pequeno; uma ferramenta de anotação ajuda com imagens, áudio e equipes maiores. Um conjunto de textos simples pode ficar assim:

1item_id,text,label,guideline_version,review_status
2001,"Fui cobrado duas vezes pelo pedido 1842",BILLING,support-routing-v1,approved
3002,"Meu link para redefinir a senha expirou",ACCOUNT_ACCESS,support-routing-v1,approved
4003,"Onde está meu pacote?",DELIVERY,support-routing-v1,approved
5004,"Como altero os e-mails da newsletter?",OTHER,support-routing-v1,approved
6005,"Pode me ajudar?",NEEDS_REVIEW,support-routing-v1,escalated

Em projetos modernos, a IA pode sugerir um rótulo para que as pessoas confiram as sugestões em vez de começar do zero. Mantenha a sugestão separada da decisão humana e meça quantas vezes as pessoas a corrigem. Revise todas as sugestões incertas e também uma amostra das que parecem confiantes: os modelos também erram com confiança, especialmente em grupos raros ou mensagens diferentes das que viram antes.

Um próximo passo eficiente é a aprendizagem ativa: depois de um primeiro lote rotulado, peça ao modelo que sinalize os exemplos sobre os quais tem dúvida e priorize esses para revisão humana. Também faça amostras de categorias raras e de casos comuns escolhidos ao acaso. Se você só revisar as dúvidas do modelo, pode deixar passar erros sistemáticos em que ele está confiante e errado. Num estudo de caso do Google Ads em 2025, pesquisadores relataram reduzir de 100 mil para menos de 500 os exemplos de treinamento de uma tarefa específica de segurança de anúncios, usando rótulos de alta fidelidade feitos por especialistas. É um resultado impressionante, relatado pela própria empresa para uma tarefa, e não uma promessa de que todo projeto possa reduzir o conjunto na mesma proporção.

Etapa 5: Meça a qualidade sem idolatrar uma nota

Use mais de uma verificação de qualidade:

• Concordância: quando várias pessoas rotulam o mesmo item de forma independente, com que frequência escolhem a mesma resposta? Confira os resultados por rótulo, não só numa porcentagem geral.
• Um conjunto de referência revisado: misture exemplos cujos rótulos foram decididos com cuidado por revisores qualificados. Veja se os rótulos das pessoas e da IA coincidem.
• Auditorias aleatórias: inspecione uma parte escolhida ao acaso do trabalho concluído, inclusive exemplos que pareciam fáceis.
• Revisão direcionada: confira itens incertos, categorias raras e grupos em que erros teriam consequências maiores.
• Análise de erros: agrupe os enganos por motivo. BILLING e ACCOUNT_ACCESS vivem sendo confundidos? OTHER está absorvendo exemplos demais?

A concordância é um bom sinal de alerta, não uma prova de que o rótulo está correto. Duas pessoas podem concordar porque o guia é claro ou porque fizeram a mesma suposição. Um revisor deve olhar as divergências e perguntar por que aconteceram antes de mudar as regras.

Mantenha um conjunto de avaliação separado dos exemplos usados para treinar o modelo. Se uma mensagem, duplicata ou quase duplicata escapar para os dois conjuntos, a nota do teste pode parecer melhor do que o desempenho do sistema em dados realmente novos.

Etapa 6: Deixe um registro para a próxima pessoa

Quando compartilhar ou reutilizar um conjunto de dados, documente como ele surgiu. Registre a fonte e o período de coleta, a população ou os idiomas cobertos, como os rótulos foram definidos, se pessoas ou modelos fizeram a primeira versão, quais verificações foram usadas, as lacunas conhecidas e os usos pretendidos. O Data Cards Playbook do Google e a pesquisa “Datasheets for Datasets” reforçam a mesma ideia prática: o contexto do conjunto faz parte de entendê-lo; não é papelada decorativa.

Proteja as pessoas tanto nos dados quanto no trabalho. Use dados que você tem permissão para rotular; remova ou proteja informações pessoais quando possível; limite quem pode ver exemplos sensíveis; e ofereça treinamento claro, condições justas e uma forma de sinalizar itens perturbadores ou ambíguos. Se a tarefa tiver alto risco, use revisores qualificados e um caminho de escalada documentado.

Seu primeiro projeto de 10 minutos

Escolha uma previsão pequena, como organizar mensagens de suporte em BILLING, ACCOUNT_ACCESS e DELIVERY. Escreva um parágrafo definindo cada rótulo, inclua as opções OTHER e NEEDS_REVIEW e reúna 20 exemplos representativos que você tem autorização para usar. Rotule-os e depois peça a outra pessoa para rotular os mesmos exemplos de forma independente. Compare as divergências e melhore o guia antes de aumentar o volume.

Esse é o ciclo principal: definir, testar, rotular, revisar, aprender e repetir. Bons dados para IA não são apenas uma pilha de respostas. São um registro cuidadoso da pergunta feita, das evidências consideradas, dos pontos de discordância e de como o resultado foi conferido.

Fontes e para continuar aprendendo

• Escalar a qualidade de dados para IA: boas práticas para integrar e avaliar pessoas rotuladoras — instruções, treinamento, calibração e critérios de qualidade.
• Como medir concordância entre pessoas rotuladoras e construir consenso — concordância, consenso e revisão direcionada.
• Alcançando redução de 10.000 vezes nos dados de treinamento com rótulos de alta fidelidade — estudo de caso do Google Ads sobre rótulos de especialistas e seleção ativa; os resultados são específicos dessa tarefa.
• Data Cards Playbook — documentação da origem, métodos de rotulagem, decisões e usos de um conjunto de dados.
• Datasheets for Datasets — pesquisa que propõe documentação estruturada para criação e uso de conjuntos de dados.