AI Engineering

Wenn Sie ein Modell um eine Antwort in JSON bitten, funktioniert json.loads() meistens problemlos. Die Ausfälle sind die, die Sie eine Debugging-Sitzung kosten: ein einzeiliger Kommentar innerhalb des Objekts, ein Markdown-Code-Fence darum, ein Schlüssel als userEmail geschrieben, wo Ihr Code user_email erwartet. Ein strikterer Prompt (“antworte NUR mit dem JSON-Objekt, kein weiterer Text”) macht diese Fälle seltener. Unmöglich macht er sie nicht, denn das Modell kann die Anweisung trotzdem ignorieren. Strukturierte Ausgabe macht diese Anweisung überflüssig: Sie übergeben der API ein JSON Schema, und das schränkt das Token-Sampling des Modells selbst so ein, dass die Antwort dazu passen muss. ...

Warum “sieht richtig aus” kein Test für einen Prompt ist Sie schärfen die Formulierung eines Prompts, der Tickets routet, testen ihn an den drei Beispielen, die in Ihrem Scratch-Notebook offen sind, und bringen ihn live. Eine Woche später landen Rechnungsbeschwerden, die früher in der richtigen Warteschlange ankamen, plötzlich bei “Frage”. Nicht die drei Fälle, die Sie geprüft haben: die anderen vierhundert, die Sie nicht geprüft haben. Nichts stürzt ab. Es gibt keinen Stacktrace. Der Prompt klingt, laut vorgelesen, immer noch gut. ...

Was Function Calling bei LLMs wirklich macht Fragen Sie ein Modell „wie ist das Wetter gerade in Austin" ohne jede Verbindung zur Außenwelt, und es hat zwei Optionen: sagen, dass es das nicht weiß, oder sich etwas ausdenken. Function Calling gibt ihm eine dritte Option. Es beschreibt, was es braucht, gibt diese Beschreibung an Ihren Code weiter und wartet auf eine echte Antwort, bevor es antwortet. Der Name ist etwas irreführend. Das Modell ruft nichts auf. Es gibt einen Block strukturierter Daten aus, der sagt, welches Tool es möchte und mit welchen Argumenten, und Ihre Anwendung entscheidet, ob sie es ausführt und was sie mit dem Ergebnis macht. „Tool Use" ist der genauere Begriff und der, den Anthropics Dokumentation verwendet; OpenAI und Google sprechen meist von Function Calling. Der Mechanismus ist unter beiden Namen derselbe. Das Modell erzeugt immer nur eine Anfrage, nie den Seiteneffekt. ...

Suchen Sie “Welpe” in einem System, das nur Stichwörter abgleicht, und ein Dokument über Hundetraining taucht nicht auf, obwohl jeder, der beide liest, sie als eng verwandt bezeichnen würde. Stichwortsuche vergleicht Zeichenketten. Sie weiß nicht, dass “Welpe” und “Hund” fast dasselbe bedeuten. Embeddings lösen genau das. Sie verwandeln einen Text in eine Liste von Zahlen, einen Vektor, der so platziert wird, dass Texte mit ähnlicher Bedeutung nah beieinander landen, unabhängig davon, welche Wörter verwendet werden. ...

Warum so viele LLM-Aufrufe eigentlich Klassifikation sind Ein großer Teil des produktiven LLM-Traffics liefert am Ende ein einziges Wort. Dieses Ticket eskalieren oder nicht. Spam oder kein Spam. Welcher von sechs Handlern übernimmt dieses Event. Um dieses eine Wort zu bekommen, schicken Sie den kompletten Prompt an ein General-Purpose-Modell, warten, während es Token für Token eine Antwort dekodiert, und parsen anschließend ein JSON-Objekt aus dem Ergebnis. Sie zahlen den Preis und die Latenz von Textgenerierung für eine Entscheidung, die in ein Enum passt. ...

Was einen CLI-Coding-Agenten von einem anderen unterscheidet Bitten Sie einen CLI-Coding-Agenten, einen fehlschlagenden Test zu reparieren, antwortet er nicht mit einem Vorschlag. Er liest die Testausgabe, öffnet die Datei, ändert eine Zeile, führt den Test erneut aus und meldet sich zurück, sobald er grün ist. Diese Schleife ist das Produkt, nicht das Chatfenster. Das Modell in dieser Schleife bekommt die meiste Aufmerksamkeit, und es ist auch der Teil, der sich am schnellsten ändert: Anbieter tauschen alle paar Monate ein neues ein, und bei mehreren Agenten können Sie selbst wählen. Was bleibt, ist der Harness um das Modell herum — welche Tools er erreichen kann, wie er mit Kontext umgeht, was er ohne Nachfrage ausführen darf und wo diese Befehle laufen. Zwei Agenten mit demselben Modell können sich dadurch völlig unterschiedlich verhalten. Der Harness ist es, was Sie eigentlich auswählen. ...

Jeder Aufruf einer gehosteten LLM-API schickt Ihren Prompt an den Server von jemand anderem und berechnet Ihnen Kosten pro Token. Fällt das Netzwerk aus, antwortet sie nicht mehr. Ollama beseitigt beide Probleme: Es lädt ein Modell mit offenen Gewichten auf Ihren Rechner und stellt es über eine REST-API auf localhost:11434 bereit. Eine einzige Binärdatei ist Modellverwaltung, Chat-Client und Server zugleich. Was Ollama tatsächlich macht Ollama kapselt llama.cpp und ähnliche Inferenz-Engines, sodass Sie nie ein Compiler-Flag oder einen CUDA-Bibliothekspfad anfassen müssen. ollama pull llama3.2 lädt eine quantisierte Modelldatei (GGUF-Format) aus Ollamas eigener Registry herunter statt von Hugging Face, kann aber auch GGUF-Dateien von dort importieren. Beim Ausführen des Modells übergibt Ollama diese Gewichte an einen Hintergrundserver, der sie in den RAM (oder VRAM, falls eine kompatible GPU gefunden wird) lädt, sie einige Minuten nach der letzten Anfrage im Speicher hält, damit die nächste Anfrage schnell beantwortet wird, und sie entlädt, sobald keine Anfragen mehr kommen. ...

Fragen Sie ein allgemeines LLM nach der Rückgaberichtlinie Ihres Unternehmens oder den Support-Tickets der letzten Woche, und es wird entweder sagen, dass es das nicht weiß, oder etwas Plausibles erfinden. Sein Wissen endet dort, wo die Trainingsdaten aufhören. Es hat Ihre Dokumente nie gesehen und kann sie nicht mitten im Gespräch nachschlagen. Retrieval-Augmented Generation (RAG) behebt genau das: Bevor das Modell antwortet, findet ein separater Schritt den relevanten Text in Ihren eigenen Daten und gibt ihn dem Modell als Teil des Prompts mit. ...