Vision
Bilder und Video zusammen mit Text senden und eine Textantwort erhalten
Talos m1 nimmt multimodale Eingaben entgegen. Sie können Text, Bilder und Video senden, und das Modell antwortet mit Text.
from openai import OpenAI
client = OpenAI(
base_url="https://api.ablatic.ai/v1",
api_key="sk-ablatic-...",
)
resp = client.chat.completions.create(
model="talos",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What is in this image?"},
{
"type": "image_url",
"image_url": {"url": "https://example.com/photo.jpg"},
},
],
}
],
)
print(resp.choices[0].message.content)Die Ausgabe ist immer Text. Das Modell erzeugt keine Bilder, kein Audio und kein Video.
Gescannte und abfotografierte PDFs erreichen dasselbe Vision-Modell. Senden Sie das PDF, und Talos rendert die Seiten zu Bildern, sobald die Datei keine Textebene enthält. Siehe Dateien.
OpenAI-Oberfläche
Bei /v1/chat/completions kann eine User-Nachricht eine Liste von Content-Teilen enthalten. Mischen Sie text-Teile mit image_url-Teilen. Der image_url.url-Wert kann eine öffentliche URL oder eine Data-URL sein. URLs, die auf private, lokale oder interne Adressen zeigen, werden mit 400 abgewiesen.
Anthropic-Oberfläche
Bei /v1/messages senden Sie Bild-Content-Blöcke. Jeder Block verwendet eine source, die entweder base64-codierte Bilddaten oder eine URL ist.
import anthropic
client = anthropic.Anthropic(
base_url="https://api.ablatic.ai",
api_key="sk-ablatic-...",
)
msg = client.messages.create(
model="talos",
max_tokens=512,
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe this image."},
{
"type": "image",
"source": {"type": "url", "url": "https://example.com/photo.jpg"},
},
],
}
],
)
print(msg.content)Bildpreise
Bilder zählen als Input-Tokens. Talos betrachtet ein Bild in Kacheln von 32 × 32 Pixeln, jede Kachel kostet 1,2 Tokens:
- Breite und Höhe werden auf das nächste Vielfache von 32 px gerundet. Bilder über 2.000.000 Pixel werden verkleinert, Bilder unter 65.536 Pixel vergrößert, jeweils mit gleichem Seitenverhältnis.
- Tokens = ⌈(Breite ÷ 32) × (Höhe ÷ 32) × 1,2⌉
Ein Bild kostet zwischen 77 und 2.344 Tokens.
| Bildgröße | Tokens |
|---|---|
| 256 × 256 | 77 |
| 1000 × 700 | 819 |
| 1920 × 1080 | 2.297 |
| 4000 × 3000 | 2.326 |
Kann Talos die Größe eines Bildes hinter einer URL nicht ermitteln, berechnet es den Höchstwert von 2.344 Tokens. Bilder aus früheren Turns zählen bei jeder Anfrage erneut, wie der restliche Verlauf. /v1/messages/count_tokens meldet für URL-Bilder den Höchstwert, weil es sie nicht herunterlädt.