Message Batches

Viele Message-Anfragen als einen Batch einreichen und Ergebnisse abrufen, wenn er fertig ist

Mit Message Batches reichen Sie eine Reihe von Message-Anfragen als einen einzigen Job ein und rufen die Ergebnisse ab, sobald die Verarbeitung abgeschlossen ist. Die Struktur folgt der Anthropic Message Batches API.

Batches laufen auf der Anthropic-kompatiblen Schnittstelle unter /v1/messages/batches. Den OpenAI-Endpunkt /v1/batches gibt es nicht, nutzen Sie also die folgenden Anthropic-Batch-Endpunkte.

Einen Batch erstellen

POST /v1/messages/batches erwartet ein requests-Array. Jeder Eintrag hat ein von Ihnen gewähltes custom_id und ein params-Objekt, das denselben Body enthält, den Sie an /v1/messages senden würden.

curl https://api.ablatic.ai/v1/messages/batches \
  -H "x-api-key: $ABLATIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "requests": [
      {
        "custom_id": "req-1",
        "params": {
          "model": "talos",
          "max_tokens": 1024,
          "messages": [{ "role": "user", "content": "Summarize Q1." }]
        }
      },
      {
        "custom_id": "req-2",
        "params": {
          "model": "talos",
          "max_tokens": 1024,
          "messages": [{ "role": "user", "content": "Summarize Q2." }]
        }
      }
    ]
  }'

Senden Sie einen Idempotency-Key-Header, damit ein Create-Aufruf gefahrlos wiederholt werden kann.

Einen Batch verwalten

GET    /v1/messages/batches/{id}          retrieve one batch
GET    /v1/messages/batches               list batches
POST   /v1/messages/batches/{id}/cancel   cancel a batch
DELETE /v1/messages/batches/{id}          delete a batch
GET    /v1/messages/batches/{id}/results  stream results

Ergebnisse lesen

Wenn ein Batch den processing_status "ended" erreicht, rufen Sie seinen Results-Endpoint ab. Der Body wird als application/x-ndjson gestreamt, ein JSON-Ergebnis pro Zeile.

Limits

Pro Batch: bis zu 100000 Anfragen und 256 MiB.
Pro Benutzer: bis zu 50 Batches gleichzeitig in Bearbeitung.
Ergebnisse bleiben 29 Tage verfügbar.

Jeder Eintrag innerhalb von params ist eine Standard-Messages-Anfrage, daher ist max_tokens dort erforderlich. Siehe die Seite Anthropic-Kompatibilität für den vollständigen Body.

Nächste Schritte

Anthropic-Kompatibilität