AI Engineering

Cada chamada a uma API de LLM hospedada envia seu prompt para o servidor de outra pessoa e cobra por token. Perdeu a rede, ela para de responder. O Ollama tira os dois problemas do caminho: baixa um modelo de pesos abertos para a sua máquina e o disponibiliza por uma API REST em localhost:11434. Um único binário funciona como gerenciador de modelos, cliente de chat e servidor. O que o Ollama faz de verdade O Ollama usa o llama.cpp e engines de inferência parecidas por baixo dos panos, então você nunca precisa mexer numa flag de compilador ou num caminho de biblioteca CUDA. ollama pull llama3.2 baixa um arquivo de modelo quantizado (formato GGUF) do próprio registro do Ollama em vez do Hugging Face, embora também consiga importar arquivos GGUF de lá. Ao executar o modelo, o Ollama entrega esses pesos a um servidor em segundo plano, que os carrega na RAM (ou VRAM, se encontrar uma GPU compatível), os mantém residentes por alguns minutos após a última requisição para que a próxima seja rápida, e os descarrega assim que você para de fazer perguntas. ...

Pergunte a um LLM genérico qual é a política de reembolso da sua empresa ou o que diziam os tickets de suporte da semana passada, e ele vai dizer que não sabe ou vai inventar algo plausível. O conhecimento dele para no que estava nos dados de treinamento. Ele nunca viu os seus documentos e não pode ir consultá-los no meio da conversa. A retrieval-augmented generation (RAG) resolve exatamente isso: antes de o modelo responder, uma etapa separada encontra o texto relevante nos seus próprios dados e o entrega ao modelo como parte do prompt. ...