Carregando
0x80Lição 9 de 9

Projeto final: construa e avalie um prompt de triagem

Monte um prompt no estilo de produção a partir de uma configuração, depois dê notas a um lote de respostas do modelo e relate o que corrigir.

30 min Questionário com 5 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Montar um prompt completo a partir de uma configuração versionada
  • Fazer o parse das respostas com tolerância e dar notas comparando com os rótulos esperados
  • Transformar os resultados num relatório curto que aponte a próxima correção

Junte tudo numa tarefa realista: fazer a triagem de chamados de suporte em rótulos. Um prompt de produção não é um parágrafo digitado à mão - ele é montado a partir de uma configuração que você pode revisar e versionar: nome do produto, conjunto de rótulos, exemplos equilibrados e o chamado escapado.

Depois você avalia: roda o prompt num conjunto de teste rotulado (aqui, as respostas já são dadas), faz o parse de cada resposta com tolerância e relata a acurácia, as falhas de parse e a confusão mais comum - o que diz o que mudar em seguida (uma definição de rótulo mais clara? um exemplo do caso confuso?).

confusions.py
from collections import Counter
mistakes = [("technical", "billing"), ("technical", "billing"), ("shipping", "billing")]
print(Counter(mistakes).most_common(1))
Saída
[(('technical', 'billing'), 2)]

Principais conclusões

  • Monte os prompts a partir de configurações revisadas e versionadas.

  • Faça o parse das respostas com tolerância e conte as falhas de parse separadamente das respostas erradas.

  • A confusão mais comum aponta a próxima mudança no prompt.

Quiz da aula

5 perguntas · aprovação com 4 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Etapa 1: monte o prompt de triagem

+25 XP

Leia uma configuração JSON com product, labels, examples (pares de chamado e rótulo) e ticket. Imprima exatamente:

1<instructions>
2You triage support tickets for PRODUCT. Classify the ticket into exactly one label: L1, L2, L3. If none fits, use "other". Respond with only JSON: {"label": "...", "reason": "..."}
3</instructions>
4<examples>
5<example><ticket>TEXT</ticket><label>LABEL</label></example>
6</examples>
7<ticket>TICKET</ticket>

Escape todo o texto dos exemplos e do chamado com html.escape(text, quote=False).

  • Acme Bikes
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Etapa 2: avalie as respostas

+25 XP

Cada linha é id|expected|reply. Extraia o objeto JSON da resposta (do primeiro { até o último }) e leia o label dele.

  • Se não houver JSON com rótulo que dê para fazer o parse, imprima ID: could not parse reply.
  • Se o rótulo estiver errado, imprima ID: expected E, got G.

Depois imprima accuracy: C/N (P%), parse failures: F e, se houver rótulos errados, most confused: E -> G (COUNT) para o par mais frequente (em caso de empate, o primeiro em ordem alfabética).

  • Seis respostas
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…