Volver al blog

LLM Studio local con Ollama: guía paso a paso

Ollama te da un LLM local en menos de 20 minutos: cero coste por token, privacidad total y experimentación sin límites. Soporta macOS, Linux y Windows.

Descarga un modelo con ollama pull llama3. Para hardware modesto: Mistral 7B o Phi-3 Mini. Con GPU de 16GB VRAM: Llama 3 8B o Gemma 2 9B. Open WebUI (Docker) añade una interfaz tipo ChatGPT conectada a tus modelos. Ollama expone una API compatible con OpenAI en localhost:11434 — cualquier cliente (LangChain, LlamaIndex) funciona sin cambios.

Instala con: npm install -g ollama && ollama pull llama3 && docker run -d -p 3000:8080 ghcr.io/open-webui/open-webui:main