Projeto final: construa e avalie um prompt de triagem
Monte um prompt no estilo de produção a partir de uma configuração, depois dê notas a um lote de respostas do modelo e relate o que corrigir.
- Montar um prompt completo a partir de uma configuração versionada
- Fazer o parse das respostas com tolerância e dar notas comparando com os rótulos esperados
- Transformar os resultados num relatório curto que aponte a próxima correção
Junte tudo numa tarefa realista: fazer a triagem de chamados de suporte em rótulos. Um prompt de produção não é um parágrafo digitado à mão - ele é montado a partir de uma configuração que você pode revisar e versionar: nome do produto, conjunto de rótulos, exemplos equilibrados e o chamado escapado.
Depois você avalia: roda o prompt num conjunto de teste rotulado (aqui, as respostas já são dadas), faz o parse de cada resposta com tolerância e relata a acurácia, as falhas de parse e a confusão mais comum - o que diz o que mudar em seguida (uma definição de rótulo mais clara? um exemplo do caso confuso?).
from collections import Counter
mistakes = [("technical", "billing"), ("technical", "billing"), ("shipping", "billing")]
print(Counter(mistakes).most_common(1))[(('technical', 'billing'), 2)]Principais conclusões
Monte os prompts a partir de configurações revisadas e versionadas.
Faça o parse das respostas com tolerância e conte as falhas de parse separadamente das respostas erradas.
A confusão mais comum aponta a próxima mudança no prompt.
Quiz da aula
5 perguntas · aprovação com 4 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Etapa 1: monte o prompt de triagem
Leia uma configuração JSON com product, labels, examples (pares de chamado e rótulo) e ticket. Imprima exatamente:
1<instructions>
2You triage support tickets for PRODUCT. Classify the ticket into exactly one label: L1, L2, L3. If none fits, use "other". Respond with only JSON: {"label": "...", "reason": "..."}
3</instructions>
4<examples>
5<example><ticket>TEXT</ticket><label>LABEL</label></example>
6</examples>
7<ticket>TICKET</ticket>Escape todo o texto dos exemplos e do chamado com html.escape(text, quote=False).
- Acme Bikes
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Etapa 2: avalie as respostas
Cada linha é id|expected|reply. Extraia o objeto JSON da resposta (do primeiro { até o último }) e leia o label dele.
- Se não houver JSON com rótulo que dê para fazer o parse, imprima
ID: could not parse reply. - Se o rótulo estiver errado, imprima
ID: expected E, got G.
Depois imprima accuracy: C/N (P%), parse failures: F e, se houver rótulos errados, most confused: E -> G (COUNT) para o par mais frequente (em caso de empate, o primeiro em ordem alfabética).
- Seis respostas
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…