Summary

  • OpenAI wirbt für seine Batch API mit 50 Prozent niedrigeren Kosten gegenüber synchronen APIs und einem 24-Stunden-Fenster. Bei Ablauf bleiben die verbrauchten Tokens abgeschlossener Anfragen berechnungspflichtig.
  • Offene Anfragen werden abgebrochen und im Fehlerfile als batch_expired ausgewiesen. Ein eindeutiges custom_id je Eingabezeile verbindet Eingabe, Ausgabedatei und Fehlerdatei zum prüfbaren Arbeitsstand.

Ein günstiger Stückpreis hilft wenig, wenn der Auftrag aus einem vollständigen Satz von Stücken besteht und einige davon fehlen.

Bei OpenAI Batch API schickt der Kunde eine JSONL-Datei mit vielen einzelnen Anfragen in eine asynchrone Verarbeitung. Die offizielle Anleitung nennt einen Preisvorteil von 50 Prozent gegenüber synchronen APIs, ein eigenes Kontingent für Ratenlimits und eine Bearbeitung innerhalb von 24 Stunden. Für Auswertungen, die Klassifikation großer Bestände und Embeddings ist das ein verlockender Handel. Die Rechenarbeit wird günstiger. Die Verantwortung für ein vollständiges Ergebnis wandert jedoch nicht mit der Datei zum Anbieter.

Die Ablauflogik ist eindeutig. Schafft ein Batch nicht alle Anfragen rechtzeitig, wechselt er in den Status expired. Antworten aus abgeschlossenen Anfragen bleiben in der Ausgabedatei verfügbar. Noch unerledigte Anfragen werden abgebrochen und in einer Fehlerdatei mit batch_expired markiert. Für Tokens, die abgeschlossene Anfragen verbraucht haben, fällt die Gebühr an. Der Batch endet als Prozess; der Arbeitsauftrag des Kunden kann weiter offen sein.

Damit stehen zwei Maße nebeneinander. OpenAI kann die geleistete Modellarbeit zählen und abrechnen. Ein Unternehmen will vielleicht tausend Unterlagen vollständig klassifizieren oder alle Fälle einer Prüfung auswerten. Eine Lücke in den Ergebnissen kann genau die Unterlagen treffen, auf die eine nachgelagerte Entscheidung wartet. Die 50-Prozent-Angabe beschreibt den Preis der erledigten Arbeit. Sie sagt nichts darüber, welche Zeilen nach dem Zeitfenster fehlen.

Für diese Frage verlangt die Schnittstelle bereits das richtige Werkzeug. Jede Eingabezeile braucht ein eindeutiges custom_id. OpenAI warnt ausdrücklich, dass die Reihenfolge der Ausgabe von der Reihenfolge der Eingabe abweichen kann. Wer Zeile für Zeile nach Position zusammenführt, kann Antworten falschen Fällen zuordnen. Der Betreiber muss die IDs der ursprünglichen Datei behalten und sie mit den IDs in Ausgabe- und Fehlerdatei vergleichen. Erst dann wird aus einer Ausfallquote eine Liste konkreter unerledigter Anfragen.

Auch das Batch-Objekt selbst liefert Daten: Status, expires_at, expired_at, IDs der beiden Ergebnisdateien sowie request_counts für Gesamtzahl, abgeschlossene und fehlgeschlagene Anfragen. Für dafür geeignete Batches sind Angaben zum Tokenverbrauch verfügbar. Die Zähler zeigen die Größenordnung. Die Dateien zeigen, welche Fälle betroffen sind. Ein Budgetverantwortlicher benötigt beides, bevor er eine weitere Runde bezahlt.

Wird nach Ablauf die gesamte ursprüngliche Datei erneut geschickt, laufen auch bereits beantwortete Anfragen wieder an. Eine zweite Datei nur mit ungelösten custom_id begrenzt den neuen Auftrag auf den Rest. Die öffentliche Dokumentation enthält keine abgelaufene Kundendatei und keine individuelle Rechnung. Ein konkreter Betrag erfordert diese Unterlagen und den geltenden Modellpreis.

Der eigentliche Kaufentscheid lautet daher: Reicht günstige Bearbeitung einzelner Anfragen, oder braucht der Betrieb einen vollständigen Datensatz bis zu einem festen Termin? Die erste Leistung hat einen veröffentlichten Rabatt. Für die zweite braucht der Käufer eine eigene Liste der offenen Arbeit und eine Entscheidung über deren Finanzierung.

Sources