Crie um conjunto de dados de texto confiável

Uma equipe de suporte deseja encaminhar as mensagens recebidas para faturamento, acesso à conta ou outros. Um modelo só pode aprender com exemplos que as pessoas rotularam de forma consistente. Antes de treinar qualquer coisa, escreva um pequeno guia: o que cada categoria significa, o que fazer quando uma mensagem menciona dois problemas e quando pedir a um humano que decida. Mantenha os detalhes privados do cliente fora dos exemplos usados ​​para demonstrações.

Uma regra útil é cobrança de cobranças, faturas e reembolsos; acesso para login, senha e bloqueios de conta; outros para todo o resto. Se uma mensagem tiver duas solicitações independentes, envie-a para revisão humana em vez de escolher uma silenciosamente. Dois anotadores devem tentar o mesmo lote pequeno e discutir as divergências antes de rotular milhares de linhas.

Muitas vezes, um cliente envia uma primeira mensagem e uma mensagem de acompanhamento quase idêntica no mesmo tópico. Se um vai para o treinamento e o outro para o teste, a pontuação do teste recompensa a memorização. Mantenha cada thread em uma divisão. Use dados de treinamento para ajustar o modelo, dados de validação para ajustá-lo e um conjunto de testes retido uma vez para a verificação final. Para uma caixa de entrada real, compare também os resultados ao longo do tempo, idiomas e grupos de clientes.