Ollama permite ejecutar modelos de IA local desde la propia máquina o exponer su API para usarla desde otros equipos de la red.
En esta entrada instalamos Ollama en Ubuntu, comprobamos que el servicio responde y dejamos preparada la configuración opcional para aceptar conexiones externas.
La parte de GPU NVIDIA queda en la pieza anterior: preparar Ubuntu con NVIDIA para IA local.
Instalar Ollama
La instalación oficial en Linux se hace con el script de Ollama:
curl -fsSL https://ollama.com/install.sh | sh
Después de instalar, comprueba el servicio:
systemctl status ollama
Y revisa que la API local responde:
curl http://localhost:11434/api/version
Si responde con una versión, Ollama está levantado.
Probar un modelo pequeño
Para una primera prueba conviene usar un modelo pequeño. Por ejemplo:
ollama run llama3.2:1b
También puedes probar descargando el modelo sin entrar en modo interactivo:
ollama pull llama3.2:1b
Y consultar los modelos instalados:
ollama list
Para ver qué modelos están cargados ahora mismo, usa ollama ps:
ollama ps
Este comando es útil cuando quieres saber si un modelo sigue en memoria, cuánto ocupa y si se está ejecutando en CPU, GPU o de forma mixta.
Permitir conexiones desde otras máquinas
Por defecto, Ollama escucha solo en 127.0.0.1:11434. Eso está bien para uso local.
Si quieres usarlo desde otra máquina de tu red, configura OLLAMA_HOST en el servicio systemd.
Crea un override del servicio:
sudo systemctl edit ollama.service
Añade este bloque:
[Service]
Environment=»OLLAMA_HOST=0.0.0.0:11434″
Guarda el fichero, recarga systemd y reinicia Ollama:
sudo systemctl daemon-reload sudo systemctl restart ollama
Comprueba que escucha en el puerto 11434:
ss -ltnp | grep 11434
Desde otra máquina de la red, prueba:
curl http://IP_DEL_SERVIDOR:11434/api/version
Cambia IP_DEL_SERVIDOR por la IP real del equipo donde corre Ollama.
Cuidado al exponer Ollama
No expongas ese puerto directamente a Internet.
Si necesitas usar Ollama desde fuera de la red local, es mejor entrar por VPN, túnel seguro o un proxy con autenticación. Para una red local controlada, abrirlo solo a las IPs necesarias suele ser suficiente.
Si usas firewall en Ubuntu, puedes permitir el puerto solo desde tu red:
sudo ufw allow from 192.168.1.0/24 to any port 11434 proto tcp
Ajusta la red 192.168.1.0/24 a tu caso.
Comprobar que usa la GPU
Si vienes de la entrada anterior y tienes NVIDIA funcionando, revisa en otra terminal:
nvidia-smi
Mientras ejecutas un modelo, deberías ver uso de memoria o proceso asociado si el modelo está usando la GPU.
Siguiente pieza
Con Ollama instalado y accesible en red local, la siguiente pieza puede ser usarlo desde otra máquina o desde una herramienta que consuma la API de Ollama.