Welches Modell für welche Aufgabe

So messe ich

Öffentliche Benchmarks sagen wenig darüber, wie ein Modell bei meiner Aufgabe abschneidet. Deshalb laufen alle Messungen auf eigenen, beschrifteten Fällen. Die Punkte unten kannst du für deine eigenen Aufgaben übernehmen.

1. 01

   Eigene Fälle mit Gold-Antwort.

   Jede Aufgabe hat beschriftete Fälle, entweder aus echter Arbeit oder ihr nachgebaut. Die Gold-Antwort ist die richtige Antwort, die vor dem Lauf feststeht. Bei den Entscheidungsaufgaben sind die Anweisungen an das Modell wortgleich die aus dem Produktivbetrieb.

2. 02

   Kriterium vor dem ersten Lauf festlegen.

   Schwelle, Metrik und Auswahlregel schreibe ich auf, bevor ein Modell läuft, sonst passe ich die Regel unbewusst dem Ergebnis an. Abweichungen kommen mit Datum ins Protokoll.

3. 03

   Mehrere Läufe je Fall, wo es um Streuung geht.

   Bei der Extraktion lief jedes Modell dreimal über jeden Fall. Bei den Entscheidungsaufgaben lief Jev dreimal je Fall, die übrigen Modelle einmal.

4. 04

   Gepaart vergleichen, mit Marge.

   Alle Modelle laufen auf denselben Fällen. Verglichen wird die Differenz der Accuracy über diese Fälle (gepaartes Intervall nach Newcombe, 95 %) gegen eine Marge: 5 Prozentpunkte, bei Entscheidungen mit Geldwirkung 2. Als Ersatz gilt ein Modell nur, wenn die Untergrenze des Intervalls über minus Marge liegt. Überlappende Einzelintervalle belegen nichts. Das habe ich erst nach dem ersten Entscheidungs-Lauf gemerkt und die Marge dort deshalb erst am 19.09.2026 gesetzt, als ich die Ergebnisse schon kannte.

5. 05

   Ein zweiter Durchgang, der die Zahlen widerlegen soll.

   Eine unabhängige Nachrechnung prüft jede Zahl, und bei der Extraktion prüft ein Holdout mit Fällen, die vor jeder Prompt-Arbeit beschriftet wurden, die Wahl. Bei den Entscheidungsaufgaben gab es kein Holdout. Dort hat eine gepaarte Neuauswertung derselben Daten meine ersten Urteile gekippt.

Ergebnis 1: strukturierte Extraktion

gemessen am 29.10.2026

Ein Produkt, an dem ich gerade baue, führt ein Interview und soll aus freien Antworten typisierte Felder füllen. Fünf Modelle, 21 Fälle, drei Läufe je Fall: 315 Läufe, alle gültig. Gewertet wird Micro-F1 über die erfassten Fakten, Schwelle 0,90. Präzision misst, wie viele gelieferte Fakten stimmen, Trefferquote, wie viele der richtigen Fakten gefunden wurden, und F1 verbindet beides.

USD je 1.000 Läufe = Median-Listenpreis je Lauf × 1.000.

Micro-F1 im Vergleich

Die Balken beginnen bei der Schwelle 0,90 und enden bei 1,00. Die Tabelle oben ist die Quelle.

Holdout: Auf 20 synthetischen Fällen, beschriftet vor jeder Prompt-Arbeit, liefen nur Sonnet 5.5 und Haiku 5.5. Sonnet erreicht 0,9304, Haiku 0,9187. Eine unabhängige Nachrechnung bestätigt alle Werte und die Rangfolge.

Meine Wahl ist Sonnet 5.5 mit Effort high: vorn auf dem Gold-Set, auf dem Holdout vor Haiku 5.5 und halb so teuer wie Opus. Sonnet, Opus, GPT-6.1 Sol und Haiku sind statistisch nicht trennbar, GPT-6 Astra liegt messbar hinter GPT-6.1 Sol. Haiku 5.5 kostet rund ein Zehntel von Sonnet und hat bestanden, liegt auf dem Gold-Set aber an letzter Stelle. Wenn dir die Kosten wichtiger sind, ist Haiku einen eigenen Lauf auf deinen Fällen wert.

Was die erste Fassung gelehrt hat

In der ersten Fassung (28.10.2026) bestand kein Modell, das beste kam auf 0,7398. Die Modelle waren nicht schuld. Gold-Set und Prompt beschrieben zwei verschiedene Aufgaben: Beim Beschriften kam auch Erschlossenes ins Gold-Set, der Prompt verlangte nur ausdrücklich Genanntes. 64 % der Gold-Einträge waren erschlossen. Wenn alle Modelle gleich schlecht abschneiden, prüf zuerst, ob Gold und Prompt dieselbe Frage stellen.

Ergebnis 2: Entscheidungen und Klassifikation

gemessen vom 17.09. bis 20.10.2026

Hier geht es um kurze, typisierte Entscheidungen: eine Option aus N, ja oder nein. Fünf beschriftete Aufgaben aus eigenen Projekten, acht Modelle im Hauptlauf, später ergänzt um neue Modelle auf demselben Testaufbau. Die Tabelle unten zeigt vier Modelle aus dem Hauptlauf und drei später nachgemessene. Der verlinkte Artikel zählt eine sechste Aufgabe mit, die ich hier nicht zeige.

Jev (TypeSafe AI, ausgesprochen wie „Jeff“) ist kein Chat-Modell. Es beantwortet typisierte Fragen zu einem Zustand und liefert eine Wahrscheinlichkeit je Option. Abgerechnet wird fast nur der Input, deshalb ist es sehr billig. Die Frage war: Reicht Jev dort, wo heute ein LLM entscheidet?

Buchungsentscheidung: automatisch buchen, zur Prüfung vorlegen oder sich enthalten

Die Aufgabe mit Geldwirkung, 200 Fälle, Marge 2 Prozentpunkte. Ein falsch automatisch gebuchter Fall ist hier teurer als ein unnötiger Blick ins Review.

Gepaarter Vergleich je Aufgabe

Differenz der Accuracy, erstes Modell minus zweites, gepaart über dieselben Fälle, mit 95-%-Intervall. „Unentschieden“ heißt: Die Daten belegen den Ersatz nicht und widerlegen ihn auch nicht. Für einen Wechsel zählt das als Nein: erst mehr Fälle messen.

Was der Unterschied kostet

Auf der Buchungsentscheidung kostet Jev 0,067 USD je 1.000 Aufrufe, GPT-5.6 Luna 0,416 USD (6,2-mal so viel) und Gemini 3.8 Flash 4,551 USD (67,9-mal so viel; Stand 17.09.2026, abgerechnet über das Vercel AI Gateway). Selbst bei 200 Entscheidungen im Monat kostet das teuerste dieser drei Modelle weniger als einen Dollar. Der Preis entscheidet hier also nicht, die falschen Auto-Buchungen schon.

Für die Buchungsentscheidung bleibt bei mir ein LLM im Einsatz, derzeit GPT-5.6 Luna. Haiku 5.5 mit Effort low ist der Kandidat daneben: 0 falsche Auto-Buchungen bei etwa gleichen Kosten. Umstellen werde ich erst nach einem Schattenlauf. Jev und Mercury Decide sind billiger, liegen bei der Accuracy aber deutlich darunter. Für die übrigen vier Aufgaben reichen meine Fallzahlen für kein Urteil.

Was ich nicht weiß

• Die Fallzahlen sind klein: 18 bis 200 Fälle je Entscheidungsaufgabe, 21 Fälle bei der Extraktion. Zwei Aufgaben (47 und 18 Fälle) taugen nur als Machbarkeitsprobe.
• Es sind nur meine eigenen Aufgaben. Für Coding, das Schreiben deutscher Texte oder langen Kontext sagen diese Zahlen nichts.
• Preise sind Listenpreise am jeweiligen Messtag. Sie ändern sich, und neue Tokenizer verschieben die Kosten zusätzlich.
• Alle Zahlen gelten für die genannte Modellversion und das genannte Datum. Jev ließ sich im September über das Gateway nicht auf eine Version festlegen, seit Oktober gibt es versionierte IDs.
• Vergleichswerte aus verschiedenen Wochen können driften. Wo es darauf ankam, habe ich im selben Fenster nachgemessen.
• Den Extraktions-Prompt habe ich teils anhand der Gold-Fälle festgelegt. Unabhängig davon ist nur das Holdout, und dort besteht Sonnet 5.5 ebenfalls.

Weiterlesen

Die Methode dahinter steckt in zwei Kursen und einem Artikel.

• Kurs „KI-Output verlässlich prüfen“

  Wie du prüfst, ob Agenten-Arbeit stimmt, bevor du dich darauf verlässt.

• Kurs Multi-Agent-Orchestrierung in der Praxis

  Wie du Aufgaben auf mehrere Agenten und Modelle verteilst.

• Reicht das billigere Modell? (öffnet in neuem Tab)

  Artikel auf gotzendorfer.at, 21.10.2026, nur auf Deutsch.