Hola!
Llevaba tiempo detrás de hacer un despliegue local de IA, que me permitiera jugar con ella, consultar, buscar, dar un documento y pedirle un resumen, búsqueda, referencias, etc… pero no quería exponer mi información al mundo público, vease ChatGPT, o Gemini, etc.
Tras probar y buscar muchas alternativas locales, como LLM Studio, Anything LLM, etc. pensé, tiene que haber una forma fácil de desplegar esto en mi lab, y sin GPU, ya que no dispongo de gráfica dedicada, y aquí viene la magia.
Para aquellos que no os queréis complicar la vida, os traigo un despliegue de llama y OpenWebUI muy sencillo, en un contenedor dentro de Proxmox, que con un puñado de comandos y menus, lo vais a tener corriendo en vuestro lab.
Comenzamos;
Nos vamos a la siguiente web y buscamos OpenWebUI;
https://community-scripts.org/
Nos va a salir el siguiente texto, y comando para ejecutar en nuestro Nodo Proxmox,
A mi me gusta darle a Advanced, ya que me permite seleccionar parámetros adicionales, como CPU, RAM, Disco, etc.
En mi caso, al ser mi IA local, para Jugar, le he dado 4 cores y 16GB de RAM, dependerá del modelo que escojamos luego.
ya lo tenemos, copiamos el comando, y nos vamos a la consola ssh de un nodo Proxmox de nuestro cluster, y ejecutamos el comando:
Le pegamos al Intro, y comienza el wizard
Vamos a ir con las opciones por defecto, para no compocarnos:
Seleccionamos el almacenamiento donde va a guardar el template,
Ahora, seleccionamos el almacenamiento donde va a estar el contenedor, yo aquí seleccionaría el más rápido que tengas, para darle punch!
Y sigue la magia por detrás….
Paso muy Importante: INSTALAR OLLAMA? YES!!!!
Tarda un ratito, ya que baja un sin fin de cosas!! paciencia!!!
LISTO!
Ya tenemos instalado Ollama y OpenWebUI!
Ahora, vamos a la URL que nos indica, y procederemos a la configuración Inicial.
Empezar
Creamos una cuenta local administrativa, para poder configurar y trabajar con nuestros modelos.
Entramos
Listo! ya tenemos el interfaz comunicado y funcionando.
En la siguiente entrada, parámetros generales y modelo
Pruebas y ya
un saludo
