Warum so viele LLM-Aufrufe eigentlich Klassifikation sind

Ein großer Teil des produktiven LLM-Traffics liefert am Ende ein einziges Wort. Dieses Ticket eskalieren oder nicht. Spam oder kein Spam. Welcher von sechs Handlern übernimmt dieses Event. Um dieses eine Wort zu bekommen, schicken Sie den kompletten Prompt an ein General-Purpose-Modell, warten, während es Token für Token eine Antwort dekodiert, und parsen anschließend ein JSON-Objekt aus dem Ergebnis. Sie zahlen den Preis und die Latenz von Textgenerierung für eine Entscheidung, die in ein Enum passt.

„System One Model" ist TypeSafe AIs Name für ein Modell, das genau für diese zweite Form gebaut ist: Es nimmt einen Zustand plus eine Menge typisierter Fragen entgegen und liefert für jede eine Antwort in einem einzigen Durchgang, ohne Text zu generieren. Der Begriff leiht sich Daniel Kahnemans Unterscheidung zwischen schnellem, automatischem „System 1"-Denken und langsamem, bedächtigem „System 2"-Denken. Jev, TypeSafes Implementierung, dient hier als Beispiel. Der Name gehört dem Anbieter, die Idee dahinter ist älter: Ist die Ausgabe auf eine bekannte Menge an Antworten begrenzt, kann das Modell eine davon auswählen, statt eine zu schreiben. Die Frage für Ihr System ist, ob diese Form zu einem echten Engpass passt.

Warum ein System-One-Modell auf schrittweises Dekodieren verzichten kann

Ein generatives LLM erzeugt Ausgabe, die es noch nicht gesehen hat. Jedes Token hängt von jedem vorherigen ab, das Modell sagt also eines voraus, hängt es an die Eingabe an und sagt das nächste voraus. Diese Abhängigkeit ist der Grund, warum Generierung langsam ist. Token 40 kann erst starten, wenn Token 39 existiert.

Ein Modell dieser Art entfernt die Abhängigkeit, indem es den Ausgaberaum vor dem Aufruf festlegt. Sie bitten es nicht, eine Antwort zu schreiben. Für jede Frage geben Sie ihm ein Menü (eines dieser Labels wählen, das auf einer Skala von 1 bis 10 einordnen, mit Ja oder Nein antworten), und es bewertet jede Option auf jedem Menü in einem einzigen parallelen Forward-Pass. Es gibt nichts zu dekodieren, weil jede mögliche Antwort schon vorher bekannt ist.

Das ist der ganze Trick, und es ist zugleich die Grenze. Die Ausgabe festzulegen ist das, was die Autoregression überflüssig macht, und alles außerhalb dieser festen Ausgabe fällt weg: Sie bekommen keinen freien Text und keine ausformulierte Begründung zum Nachlesen. Jevs eigene Dokumentation sagt, dass das Modell bei Arithmetik, Zählen und Datumsvergleichen schwach abschneidet — Aufgaben, die mehrstufige Berechnung statt einer Wahl zwischen Optionen brauchen. Muss das Modell etwas erzeugen statt etwas auszuwählen, greifen Sie zu einem anderen Werkzeug.

Was Sie einem System-One-Modell schicken und was zurückkommt

Jeder Aufruf hat zwei Teile. Der Zustand ist, was auch immer das Modell betrachten soll: eine E-Mail, ein Support-Ticket, ein Spielframe, eine Zeile Anwendungsdaten. Die Fragen sind typisiert und begrenzt, in einer der drei oben genannten Formen. Für jede Frage bekommen Sie die gewählte Antwort zurück, plus eine Wahrscheinlichkeitsverteilung über die Alternativen.

Bauen Sie um diese Verteilung herum. „Eskalieren" mit 0,52 und „eskalieren" mit 0,98 tragen dasselbe Label und bedeuten etwas völlig anderes. Bei der zweiten können Sie automatisch handeln. Die erste gehört auf einen langsameren, sorgfältigeren Pfad — entweder zu einem Menschen oder zu einem vollständigen LLM-Aufruf.

Ein ähnliches Signal bekommen Sie auch aus einem generativen Modell, wenn Sie die Token-Log-Wahrscheinlichkeiten einer eingeschränkten Antwort auslesen, sofern Ihr Anbieter sie offenlegt. Der Unterschied ist, dass ein System-One-Modell die Verteilung selbst als Antwort liefert, für jede Frage, ohne zusätzliche Verkabelung.

Wann Sie ein System-One-Modell in einer LLM-Pipeline einsetzen

Das Muster, das funktioniert, ist Gating, nicht Ersatz. Ein schnelles typisiertes Modell entscheidet, ob der teure generative Aufruf überhaupt nötig ist.

  • Routing. Klassifizieren Sie die Anfrage, bevor Sie entscheiden, welches Modell oder welcher Handler sie verarbeitet, statt ein allgemeines Modell im selben Aufruf klassifizieren und antworten zu lassen. Eine RAG-Pipeline kann dasselbe Gate nutzen, um zu entscheiden, ob eine Frage überhaupt Retrieval braucht.
  • Moderation und Triage. Bewerten Sie Inhalte auf Spam oder Dringlichkeit, bevor sie einen Menschen oder ein teureres Modell erreichen, sodass der teure Pfad nur läuft, wo er gebraucht wird.
  • Guardrails. Prüfen Sie die Antwort nach der Generierung gegen typisierte Bedingungen (enthält sie ein bestimmtes Datenmuster, fällt sie in eine verbotene Kategorie) als billigen separaten Durchgang, statt die Prüfung in den Generierungs-Prompt zu falten.
  • Echtzeit-Regelkreise. Eine Spiel-Loop oder ein Robotercontroller, der jeden Frame eine Entscheidung braucht, kann nicht auf Generierung warten. Ein Single-Pass-Modell passt in diese Schleife. Ein Token-für-Token-Modell strukturell nicht.

Es geht schief, sobald Sie die Antwort des schnellen Modells als gesicherte Wahrheit behandeln. Schicken Sie Antworten mit niedriger Konfidenz auf den langsameren Pfad, und setzen Sie die Schwelle anhand eigener gelabelter Daten, nicht anhand einer runden Zahl, die sich richtig anfühlte. Eine flache Verteilung mit einem Label obendrauf bleibt eine Vermutung.

Alternativen: strukturierte Ausgabe und fine-getunte Klassifikatoren

Teams haben dieses Problem gelöst, bevor die Kategorie einen Namen hatte, auf zwei Hauptwegen.

Strukturierte Ausgabe auf einem General-Purpose-LLM. Die großen LLM-APIs können die Generierung auf ein JSON-Schema oder ein Enum einschränken, was Ihnen dieselbe Garantie einer typisierten Antwort gibt, ohne eine neue Art Modell einzuführen. Das Dekodieren bleibt autoregressiv, aber wenn die Antwort ein einzelner Enum-Wert ist, ist der generierte Teil nur eine Handvoll Token. Der Großteil von Latenz und Kosten steckt in der Verarbeitung des Prompts, und das muss ein System-One-Modell auch leisten. TypeSafe positioniert Jev als schneller und günstiger als diesen Ansatz. Wie viel davon für Ihre Aufrufe zutrifft, hängt von Ihrer Prompt-Länge und der Anzahl der Fragen pro Aufruf ab — das ist eine Zahl, die Sie messen sollten, nicht annehmen. Strukturierte Ausgabe braucht außerdem keine neue Infrastruktur, wenn Sie diesen Anbieter ohnehin schon aufrufen.

Ein kleiner, fine-getunter Klassifikator. Für eine einzelne, stabile Entscheidung, etwa genau diesen Eskalationsfall oder genau diesen Spam-Filter, ist ein auf eigenen gelabelten Daten trainierter Klassifikator meist schneller und günstiger als jedes General-Purpose-Modell, typisiert oder nicht. Der Preis dafür: Sie brauchen gelabelte Daten und einen Retraining-Lauf, sobald sich die Aufgabe verschiebt. Der Vorteil eines System-One-Modells gegenüber diesem Ansatz ist die Breite: Ein Modell beantwortet viele verschiedene typisierte Fragen über unterschiedliche Arten von Zustand, ohne Trainingslauf pro Entscheidung.

Die richtige Wahl hängt davon ab, wie viele verschiedene Entscheidungen Sie haben und wie viel Traffic sie bekommen. Bei einer stabilen, hochvolumigen Entscheidung nehmen Sie einen dedizierten Klassifikator. Bei mehreren verwandten, aber unterschiedlichen Entscheidungen über eine Pipeline hinweg ist das der Fall, für den die System-One-Form gedacht ist. Machen Sie keine tausenden solcher Aufrufe pro Minute, fangen Sie mit strukturierter Ausgabe auf dem Modell an, das Sie bereits nutzen.

Wie Sie die LLM-Aufrufe finden, die eigentlich Entscheidungen sind

Gehen Sie durch, was Sie bereits an ein General-Purpose-LLM schicken, und markieren Sie jeden Aufruf, dessen gesamter nützlicher Output ein Enum-Wert oder eine Zahl sein könnte. Das sind Ihre Kandidaten. Verschieben Sie zwei davon auf strukturierte Ausgabe eines Modells, das Sie bereits nutzen — eine gehostete API oder ein lokales Modell, das unter Ollama läuft und ein JSON-Schema in seinem format-Parameter akzeptiert. Messen Sie Latenz und Kosten pro Aufruf gegen die aktuelle Version.

Was auch immer Sie einsetzen: Schicken Sie weiterhin ein paar Prozent des gegateten Traffics über den alten Pfad und vergleichen Sie die Antworten. Passt strukturierte Ausgabe bereits in Ihr Latenzbudget und stimmt mit dem alten Pfad überein, hören Sie dort auf. Ein dediziertes System-One-Modell wie Jev evaluieren Sie erst, wenn das nicht der Fall ist, und nutzen dafür genau diese Side-by-Side-Stichprobe.

Verwandte Artikel