OpenAI Batch: preço 50% menor, trabalho pendente no vencimento

Summary

A OpenAI anuncia o Batch API com custo 50% menor que o das chamadas síncronas e uma janela de 24 horas. Quando o lote expira, os tokens das solicitações concluídas continuam sendo cobrados.
As solicitações inacabadas são canceladas e identificadas por batch_expired no arquivo de erros. O arquivo de saída guarda as respostas; o custom_id liga cada linha ao pedido original e mostra o que precisa de nova execução.

O desconto aparece inteiro na apresentação comercial. A entrega pode chegar aos pedaços.

No Batch API, o cliente envia um arquivo JSONL com muitas solicitações e deixa a execução em uma fila assíncrona. A OpenAI oferece redução de 50% em relação às APIs síncronas, limites de taxa em um conjunto separado e prazo de 24 horas para o processamento. A conta parece simples para quem roda avaliações, classifica acervos ou produz embeddings. Paga-se menos por unidade de trabalho do modelo. Mas o resultado que uma empresa precisa entregar costuma ser um conjunto, não uma coleção qualquer de respostas disponíveis.

A documentação da OpenAI descreve o ponto em que essas duas medidas se separam. Se o lote não termina dentro da janela, o estado passa a expired. As respostas prontas ficam no arquivo de saída. As solicitações que faltaram são canceladas e entram no arquivo de erros com o código batch_expired. A OpenAI cobra os tokens consumidos pelas solicitações concluídas. O relógio encerra a execução; a cobrança reconhece a parcela feita; a obrigação do cliente continua aberta nas linhas que faltam.

Isso cria uma conta parcial com uma entrega parcial. Para o fornecedor, cada resposta pronta tem uso medido. Para um comprador que prometeu classificar todos os registros, uma parte em branco não satisfaz o próprio projeto. O percentual de desconto não informa quais registros ficaram sem resposta nem quanto custará terminar a tarefa. A decisão de usar a fila barata precisa incluir um modo de identificar o restante.

A chave já está no protocolo de entrada. Cada solicitação deve receber um custom_id único. A OpenAI avisa que a ordem das linhas de saída pode ser diferente da ordem de entrada. Quem casa “linha 10” com “linha 10” corre o risco de atribuir uma resposta ao registro errado. Guarde o conjunto de IDs enviado, compare-o aos IDs do arquivo de saída e faça a mesma comparação com o arquivo de erros. A diferença deixa de ser uma porcentagem e vira uma lista concreta de solicitações ainda sem resultado útil.

O objeto do lote oferece a visão geral: estado, expires_at, expired_at, IDs dos arquivos de saída e de erros, além de request_counts com total, concluídas e falhas. Para lotes elegíveis, há dados de uso em tokens. Esses campos ajudam a medir o tamanho do buraco. Os arquivos e seus custom_id mostram onde ele está. A distinção importa quando uma única linha ausente pode ser exatamente a linha que a operação precisava entregar naquele dia.

Depois do vencimento, repetir o arquivo inteiro recoloca na fila respostas já recebidas. Um segundo arquivo só com os IDs pendentes limita a recuperação ao trabalho que falta. A documentação pública estabelece a regra, mas não traz o arquivo nem a fatura de um cliente específico. Para atribuir um valor real à perda ou ao retrabalho, seriam necessários esses registros e o preço do modelo usado.

A tarifa de 50% é uma condição comercial verificável. O custo de fechar o projeto depende de outro inventário: quantas solicitações terminaram, quais falharam e quais precisam de uma segunda rota. O comprador que não mantém esse inventário pode economizar no preço de tabela e perder o controle do pedido.