Crie prompts e gerencie o contexto

Os modelos de bate-papo recebem uma lista de mensagens: uma mensagem do sistema (instruções permanentes do aplicativo) e, em seguida, turnos alternados de usuário e assistente. Nos bastidores, eles se tornam uma longa sequência de tokens. Bons prompts geralmente incluem:

• a tarefa, declarada claramente - e por que, se isso ajuda o modelo a fazer julgamentos;
• o contexto necessário, claramente separado das instruções (por exemplo, em tags de estilo XML);
• exemplos de bons resultados (few-shot prompting) quando o formato ou estilo é importante;
• o formato de saída, idealmente um esquema que seu código valida.

Pedir a um modelo que pense passo a passo antes de responder geralmente melhora a precisão nas tarefas de raciocínio; muitos modelos atuais fazem isso automaticamente como “pensamento estendido” integrado.

As janelas de contexto são grandes agora - centenas de milhares de tokens - mas não são gratuitas: cada token custa dinheiro e tempo, e os modelos usam informações no meio de contextos muito longos de forma menos confiável. Quando a história crescer, resuma os turnos antigos, mantenha os fatos importantes (como o número do pedido) fixados no prompt do sistema ou em um bloco de notas e recupere documentos em vez de colar tudo.