Docs
Funktionen

Vision

Bilder und Video zusammen mit Text senden und eine Textantwort erhalten

Talos m1 nimmt multimodale Eingaben entgegen. Sie können Text, Bilder und Video senden, und das Modell antwortet mit Text.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.ablatic.ai/v1",
    api_key="sk-ablatic-...",
)

resp = client.chat.completions.create(
    model="talos",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What is in this image?"},
                {
                    "type": "image_url",
                    "image_url": {"url": "https://example.com/photo.jpg"},
                },
            ],
        }
    ],
)
print(resp.choices[0].message.content)

Die Ausgabe ist immer Text. Das Modell erzeugt keine Bilder, kein Audio und kein Video.

Gescannte und abfotografierte PDFs erreichen dasselbe Vision-Modell. Senden Sie das PDF, und Talos rendert die Seiten zu Bildern, sobald die Datei keine Textebene enthält. Siehe Dateien.

OpenAI-Oberfläche

Bei /v1/chat/completions kann eine User-Nachricht eine Liste von Content-Teilen enthalten. Mischen Sie text-Teile mit image_url-Teilen. Der image_url.url-Wert kann eine öffentliche URL oder eine Data-URL sein. URLs, die auf private, lokale oder interne Adressen zeigen, werden mit 400 abgewiesen.

Anthropic-Oberfläche

Bei /v1/messages senden Sie Bild-Content-Blöcke. Jeder Block verwendet eine source, die entweder base64-codierte Bilddaten oder eine URL ist.

import anthropic

client = anthropic.Anthropic(
    base_url="https://api.ablatic.ai",
    api_key="sk-ablatic-...",
)

msg = client.messages.create(
    model="talos",
    max_tokens=512,
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Describe this image."},
                {
                    "type": "image",
                    "source": {"type": "url", "url": "https://example.com/photo.jpg"},
                },
            ],
        }
    ],
)
print(msg.content)

Bildpreise

Bilder zählen als Input-Tokens. Talos betrachtet ein Bild in Kacheln von 32 × 32 Pixeln, jede Kachel kostet 1,2 Tokens:

  1. Breite und Höhe werden auf das nächste Vielfache von 32 px gerundet. Bilder über 2.000.000 Pixel werden verkleinert, Bilder unter 65.536 Pixel vergrößert, jeweils mit gleichem Seitenverhältnis.
  2. Tokens = ⌈(Breite ÷ 32) × (Höhe ÷ 32) × 1,2⌉

Ein Bild kostet zwischen 77 und 2.344 Tokens.

BildgrößeTokens
256 × 25677
1000 × 700819
1920 × 10802.297
4000 × 30002.326

Kann Talos die Größe eines Bildes hinter einer URL nicht ermitteln, berechnet es den Höchstwert von 2.344 Tokens. Bilder aus früheren Turns zählen bei jeder Anfrage erneut, wie der restliche Verlauf. /v1/messages/count_tokens meldet für URL-Bilder den Höchstwert, weil es sie nicht herunterlädt.

Nächste Schritte