AI Engineering

Demandez à un modèle de répondre en JSON, et la plupart du temps json.loads() fonctionne sans problème. Les échecs sont ceux qui vous coûtent une session de débogage : un commentaire sur une ligne à l’intérieur de l’objet, un code fence markdown qui l’entoure, une clé écrite userEmail quand votre code attend user_email. Un prompt plus strict (“répondez UNIQUEMENT avec l’objet JSON, aucun autre texte”) rend ces cas plus rares. Il ne les rend pas impossibles, car le modèle peut quand même ignorer la consigne. La sortie structurée n’a plus besoin de cette consigne : vous donnez à l’API un JSON Schema, qui contraint l’échantillonnage des tokens du modèle pour que la réponse doive s’y conformer. ...

Pourquoi “ça a l’air juste” n’est pas un test pour un prompt Vous resserrez la formulation d’un prompt qui route des tickets, vous le testez sur les trois exemples ouverts dans votre notebook improvisé, et vous le déployez. Une semaine plus tard, les réclamations de facturation qui finissaient dans la bonne file commencent à finir dans “question”. Pas les trois cas que vous avez vérifiés : les quatre cents autres que vous n’avez pas vérifiés. Rien ne plante. Il n’y a pas de stack trace. Le prompt, lu à voix haute, sonne toujours bien. ...

Ce que fait réellement le function calling dans un LLM Demandez à un modèle « quel temps fait-il à Austin en ce moment » sans aucune connexion au monde extérieur, et il n’a que deux options : dire qu’il ne sait pas, ou inventer quelque chose. Le function calling lui offre une troisième option. Il décrit ce dont il a besoin, transmet cette description à votre code et attend une vraie réponse avant de répondre à son tour. ...

Cherchez “chiot” dans un système qui ne compare que des mots-clés et un document sur l’éducation des chiens ne ressortira pas, même si n’importe qui lisant les deux les jugerait étroitement liés. La recherche par mots-clés compare des chaînes de caractères. Elle ne sait pas que “chiot” et “chien” veulent dire presque la même chose. Les embeddings règlent exactement ce problème. Ils transforment un texte en une liste de nombres, un vecteur, placé de sorte que des textes de sens proche se retrouvent près d’autres textes de sens proche, quels que soient les mots employés. ...

Ce qui différencie un agent CLI de code d’un autre Demandez à un agent CLI de code de corriger un test qui échoue, et il ne répondra pas par une suggestion. Il lit la sortie du test, ouvre le fichier, modifie une ligne, relance le test, et revient vers vous une fois qu’il passe. Cette boucle, c’est le produit, pas la fenêtre de chat. Le modèle à l’intérieur de la boucle capte la majeure partie de l’attention, et c’est aussi la partie qui change le plus vite : les éditeurs en changent tous les quelques mois, et plusieurs agents vous laissent choisir. Ce qui reste en place, c’est le harnais qui entoure le modèle — quels outils il peut atteindre, comment il gère le contexte, ce qu’il peut exécuter sans demander, et où ces commandes s’exécutent. Deux agents qui tournent avec le même modèle peuvent se comporter très différemment à cause de ça. Le harnais, c’est ce que vous choisissez réellement. ...

Pourquoi tant d’appels LLM sont en réalité de la classification Une grande partie du trafic LLM en production renvoie un seul mot. Escalader ce ticket ou non. Spam ou pas spam. Lequel des six handlers traite cet événement. Pour obtenir ce mot, vous envoyez le prompt entier à un modèle généraliste, vous attendez qu’il décode une réponse token par token, et vous parsez un objet JSON dans le résultat. Vous payez le prix et la latence de la génération de texte, et ce qui revient est une décision qui tient dans un enum. ...

Chaque appel à une API de LLM hébergée envoie votre prompt vers le serveur de quelqu’un d’autre et vous facture par token. Coupez la connexion, et elle arrête de répondre. Ollama supprime ces deux problèmes : il récupère un modèle à poids ouverts sur votre machine et le sert via une API REST sur localhost:11434. Un seul binaire fait office de gestionnaire de modèles, de client de chat et de serveur. ...

Demandez à un LLM généraliste quelle est la politique de remboursement de votre entreprise ou ce que disent les tickets de support de la semaine dernière, et il vous dira qu’il ne sait pas ou inventera quelque chose de plausible. Sa connaissance s’arrête à ce qui figurait dans ses données d’entraînement. Il n’a jamais vu vos documents et ne peut pas les consulter en cours de conversation. La retrieval-augmented generation (RAG) règle exactement ce problème : avant que le modèle ne réponde, une étape séparée trouve le texte pertinent dans vos propres données et le transmet au modèle dans le prompt. ...