Si vas a ejecutar modelos de IA en local en Ubuntu 22.04, 24.04 o 26.04, lo primero es que el sistema vea bien la tarjeta NVIDIA.
En esta entrada dejamos preparada la base: instalar el driver recomendado, reiniciar y comprobar que la GPU aparece con nvidia-smi.
No instalamos todavía Ollama ni descargamos modelos. Eso irá en piezas separadas para no mezclar demasiadas cosas en una sola entrada.
Versiones de Ubuntu
Este método está pensado para Ubuntu 22.04 LTS, Ubuntu 24.04 LTS y Ubuntu 26.04 LTS.
La parte de drivers se apoya en ubuntu-drivers, la herramienta propia de Ubuntu para detectar e instalar drivers recomendados. La parte de CUDA Toolkit queda como opcional y debe revisarse contra la documentación de NVIDIA si una herramienta concreta lo pide.
En Ubuntu 20.04 puede seguir habiendo instalaciones válidas, pero ya lo trataría como caso de mantenimiento o compatibilidad, no como base nueva para preparar un equipo de IA local.
Comprobar si Ubuntu detecta drivers NVIDIA
Ubuntu incluye la herramienta ubuntu-drivers, que ayuda a ver qué driver recomienda para el equipo.
sudo ubuntu-drivers list
En servidores o equipos que se van a usar para cálculo/GPU, también puede interesar listar la variante GPGPU:
sudo ubuntu-drivers list --gpgpu
Instalar el driver recomendado
La opción más sencilla es dejar que Ubuntu instale el driver recomendado:
sudo ubuntu-drivers install
Si estás preparando un equipo para cálculo con GPU, Ubuntu también permite instalar la variante GPGPU recomendada:
sudo ubuntu-drivers install --gpgpu
Después de instalar el driver, reinicia el equipo:
sudo reboot
Verificar la GPU con nvidia-smi
Tras reiniciar, comprueba que el driver está cargado y que Ubuntu ve la tarjeta:
nvidia-smi
Si todo está correcto, verás una tabla con la GPU, la versión del driver y la versión de CUDA soportada por ese driver.
Ese dato de CUDA no significa que ya hayas instalado todo el toolkit de desarrollo. Para ejecutar herramientas como Ollama normalmente lo importante en este punto es que el driver funcione y que la GPU aparezca correctamente.
¿Hace falta instalar CUDA Toolkit?
Depende de lo que vayas a ejecutar.
Para muchos usos de IA local, como correr modelos con herramientas ya preparadas, puede bastar con tener el driver NVIDIA funcionando.
Si necesitas compilar software, usar nvcc o ejecutar herramientas que pidan explícitamente CUDA Toolkit, entonces instala el toolkit desde los repositorios de NVIDIA o siguiendo la documentación oficial.
El paquete indicado por NVIDIA para sistemas Debian/Ubuntu es:
sudo apt install cuda-toolkit
No lo instalaría por costumbre en todos los equipos. Primero comprobaría qué necesita la herramienta que vas a usar.
Problemas habituales
Si nvidia-smi no aparece o falla:
command -v nvidia-smi
Si el comando no existe, revisa que el paquete de utilidades NVIDIA se haya instalado correctamente.
Si el comando existe pero no detecta la GPU, revisa:
- que el equipo se haya reiniciado después de instalar el driver;
- que la GPU sea compatible con el driver instalado;
- si Secure Boot está bloqueando la carga del módulo del kernel;
- que no haya mezclas de drivers instalados manualmente y por paquetes.
Siguiente pieza
Con esto la base queda preparada: Ubuntu, driver NVIDIA y comprobación de GPU.
La siguiente pieza lógica sería instalar Ollama y probar un modelo pequeño usando la GPU.