Ejecutar modelos de IA avanzados localmente ofrece a los desarrolladores y entusiastas de la tecnología un control, privacidad y opciones de personalización sin precedentes. Si estás ansioso por aprovechar el poder de la inteligencia artificial de vanguardia en tu propia máquina, Mistral Small 3.1, combinado con Ollama, proporciona una excelente solución. Mistral Small 3.1 es un modelo de lenguaje de última generación desarrollado por Mistral AI, que cuenta con 24 mil millones de parámetros y un rendimiento de primer nivel en su clase de peso. Mientras tanto, Ollama simplifica el proceso de implementación de modelos de lenguaje grandes (LLM) localmente, haciéndolo accesible incluso para aquellos con configuraciones técnicas modestas. En esta guía completa, te guiaremos a través de cada paso para que Mistral Small 3.1 se ejecute en tu sistema utilizando Ollama. Además, te mostraremos cómo mejorar tu experiencia integrando Apidog, una poderosa herramienta para el desarrollo y prueba de API.
¿Por qué optar por lo local? Al ejecutar Mistral Small 3.1 en tu máquina, mantienes tus datos privados, evitas los costos de la nube y obtienes la flexibilidad de modificar el modelo para tus necesidades, ya sea construir un chatbot, generar código o procesar texto multilingüe.
¿Por qué elegir Mistral Small 3.1 y Ollama?
Antes de entrar en la configuración, exploremos por qué Mistral Small 3.1 y Ollama forman una pareja tan convincente. Mistral Small 3.1, lanzado bajo la licencia de código abierto Apache 2.0, ofrece un rendimiento excepcional para su tamaño. Con una ventana de contexto de 128k tokens, maneja conversaciones o documentos largos con facilidad. También admite múltiples idiomas y entradas multimodales, lo que lo hace versátil para tareas como la generación de texto, la traducción o incluso el análisis de subtítulos de imágenes. A los desarrolladores les encanta su eficiencia, ya que rivaliza con los modelos más grandes mientras se ejecuta en hardware relativamente modesto.
Ollama, por otro lado, es una herramienta ligera diseñada para ejecutar LLM localmente. Abstrae gran parte de la complejidad (piensa en la gestión de dependencias o la configuración de la GPU) para que puedas concentrarte en usar el modelo en lugar de luchar con los obstáculos de la configuración. Juntos, Mistral Small 3.1 y Ollama te permiten implementar un modelo de IA de alto rendimiento sin depender de los servicios en la nube.
Instalación de Ollama en tu máquina
Ollama simplifica la ejecución de LLM localmente, y su instalación es sencilla. Sigue estos pasos para ponerlo en marcha:
Instalar Ollama: Descárgalo del sitio web oficial de Ollama y sigue las indicaciones.
Verificar la instalación: Confirma que Ollama está instalado correctamente comprobando su versión:
ollama --version
Deberías ver un número de versión (por ejemplo, 0.1.x). Si no es así, soluciona el problema asegurándote de que tu PATH incluya el binario de Ollama.
Después de instalar Ollama, estás un paso más cerca de ejecutar Mistral Small 3.1. A continuación, debes obtener el modelo en sí.
Descarga de los pesos del modelo Mistral Small 3.1
Abre tu terminal y escribe:
ollama pull cnjack/mistral-samll-3.1
Esto descarga los pesos del modelo a tu almacenamiento local (una versión comunitaria de mistral small 3.1). Enlace: https://ollama.com/cnjack/mistral-samll-3.1
Dependiendo de la velocidad de tu internet, esto podría tomar de 15 a 30 minutos debido al tamaño del archivo de más de 50 GB.
Verificar la descarga: Ejecuta ollama list de nuevo. Deberías ver mistral-small-3.1 en la lista, lo que indica que está listo para usar.
Ahora que tienes el modelo, vamos a cargarlo en Ollama y a empezar a explorar sus capacidades.
Carga de Mistral Small 3.1 en Ollama
Cargar el modelo lo prepara para la inferencia. Ollama se encarga del trabajo pesado, por lo que este paso es rápido:
- Cargar el modelo: Ejecuta este comando para cargar Mistral Small 3.1 en la memoria:
ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_SLa primera vez que ejecutas esto, Ollama inicializa el modelo, lo que puede tardar unos minutos dependiendo de tu hardware. Las ejecuciones posteriores son más rápidas.
- Pruébalo: Una vez cargado, Ollama te lleva a un prompt interactivo. Escribe una consulta simple:
Hola, ¿cómo funciona Mistral Small 3.1?
El modelo responde directamente en la terminal, mostrando su destreza en la generación de texto.
En este punto, Mistral Small 3.1 está operativo. Sin embargo, para desbloquear todo su potencial, especialmente para el acceso programático, exploremos cómo interactuar con él aún más.
Interactuar con Mistral Small 3.1 localmente
Puedes interactuar con Mistral Small 3.1 de dos maneras principales: inferencia directa de línea de comandos o a través de un servidor API. Ambos métodos aprovechan la flexibilidad de Ollama, y vincularemos Apidog para el enfoque de la API.
Método 1: Inferencia directa a través de la línea de comandos
Para pruebas rápidas o generaciones únicas, usa el comando run de Ollama con un prompt:
ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_S "Escribe un poema corto sobre la IA."
El modelo procesa la entrada y genera una respuesta, como:
Mentes artificiales en circuitos profundos,
Aprendiendo patrones mientras dormimos,
Voces de código, hablan suavemente,
Un futuro brillante, sus pensamientos guardamos.
Este método se adapta a la experimentación, pero carece de escalabilidad. Para aplicaciones más robustas, configura un servidor API.
Método 2: Ejecutar Mistral Small 3.1 como un servidor API
Para integrar Mistral Small 3.1 en proyectos o probarlo sistemáticamente, ejecútalo como un servidor API local:
- Iniciar el servidor: Inicia Ollama en modo servidor:
ollama serve
Esto inicia una API REST en http://localhost:11434 (el puerto predeterminado de Ollama). Mantén esto en ejecución en una terminal.
- Probar la API: En una nueva terminal, usa
curlpara enviar una solicitud:
curl http://localhost:11434/api/generate -d '{"model": "mistral-small-3.1", "prompt": "Explica la IA en una frase."}'
La respuesta podría verse así:
{
"response": "La IA es la simulación de la inteligencia humana por máquinas, lo que les permite aprender, razonar y realizar tareas de forma autónoma."
}
Esta configuración de API abre la puerta a interacciones avanzadas, que es donde Apidog brilla.
Usar Apidog para interactuar con la API de Mistral Small 3.1
Apidog simplifica las pruebas y el desarrollo de API, lo que lo hace perfecto para consultar tu servidor local de Mistral Small 3.1. Aquí te mostramos cómo configurarlo:
Instalar Apidog:
- Dirígete al sitio web de Apidog y descarga la aplicación de escritorio gratuita para tu sistema operativo.
- Instálala siguiendo las instrucciones en pantalla.
Crear un nuevo proyecto:
- Abre Apidog y haz clic en "Nuevo proyecto".
- Nómbralo algo como "API local de Mistral Small 3.1".
Añadir una solicitud de API:
- Haz clic en "Nueva solicitud" y establece el método en
POST. - Introduce el endpoint:
http://localhost:11434/api/generate.
Configurar el cuerpo de la solicitud:
- Cambia a la pestaña "Cuerpo", selecciona "JSON" e introduce:
{
"model": "mistral-small-3.1",
"prompt": "Genera un script de Python para imprimir '¡Hola, IA!'",
"stream": false
}
Enviar y revisar:
- Pulsa "Enviar". Apidog muestra la respuesta, como:
{
"response": "print('¡Hola, IA!')"
}
- Usa las herramientas de Apidog para modificar los parámetros, guardar las solicitudes o depurar los errores.
La interfaz intuitiva de Apidog te permite experimentar con prompts, supervisar los tiempos de respuesta e incluso automatizar las pruebas, ideal para los desarrolladores que construyen sobre Mistral Small 3.1.
Solución de problemas comunes
Ejecutar un modelo de 24B parámetros localmente puede tener problemas. Aquí tienes soluciones a problemas frecuentes:
- Errores de falta de memoria:
- Solución: Asegúrate de tener 32 GB+ de RAM y una GPU con suficiente VRAM (por ejemplo, 24 GB en una RTX 4090). Reduce el tamaño del lote o la longitud del contexto si es necesario.
- Modelo no encontrado:
- Solución: Verifica que la descarga se haya completado (
ollama list) y que el nombre del modelo coincida exactamente. - El servidor API no se inicia:
- Solución: Comprueba si el puerto 11434 está en uso (
netstat -tuln | grep 11434) y libéralo o cambia el puerto de Ollama a través de la configuración. - Rendimiento lento:
- Solución: Actualiza tu GPU o descarga tareas menos críticas a la CPU.
Con estos consejos, puedes resolver la mayoría de los problemas y mantener Mistral Small 3.1 funcionando sin problemas.
Optimización y expansión de tu configuración
Ahora que Mistral Small 3.1 se ejecuta localmente, considera mejorarlo:
- Ajuste fino: Usa conjuntos de datos específicos de tu dominio (por ejemplo, textos legales, código) para adaptar las salidas del modelo.
- Escalado: Ejecuta varias instancias de Ollama para diferentes modelos o tareas.
- Integración: Conecta la API a aplicaciones web, bots o flujos de trabajo usando Apidog para prototipar endpoints.
Estos pasos desbloquean todo el potencial de Mistral Small 3.1, adaptándolo a tus proyectos únicos.
Conclusión
Ejecutar Mistral Small 3.1 localmente usando Ollama es un cambio de juego para los desarrolladores y entusiastas de la IA. Esta guía te ha guiado a través del proceso, desde la recopilación de los requisitos previos hasta la instalación de Ollama, la descarga del modelo y la interacción con él a través de la línea de comandos o la API. Al añadir Apidog a la mezcla, optimizas las pruebas de la API y abres nuevas posibilidades de integración. Con sus 24 mil millones de parámetros, 128k tokens de contexto y flexibilidad de código abierto, Mistral Small 3.1 ofrece un inmenso poder al alcance de tu mano. Empieza a experimentar hoy mismo y comprueba cómo este dúo puede transformar tus proyectos.
