Comment exécuter Mistral Small 3.1 en local avec Ollama : un guide étape par étape

```html

L'exécution de modèles d'IA avancés en local offre aux développeurs et aux passionnés de technologie un contrôle, une confidentialité et des options de personnalisation inégalés. Si vous souhaitez exploiter la puissance de l'intelligence artificielle de pointe sur votre propre machine, Mistral Small 3.1, combiné à Ollama, offre une excellente solution. Mistral Small 3.1 est un modèle de langage de pointe développé par Mistral AI, doté de 24 milliards de paramètres et de performances de premier ordre dans sa catégorie de poids. Pendant ce temps, Ollama simplifie le processus de déploiement de tels grands modèles de langage (LLM) en local, ce qui le rend accessible même à ceux qui ont des configurations techniques modestes. Dans ce guide complet, nous vous guiderons à travers chaque étape pour faire fonctionner Mistral Small 3.1 sur votre système en utilisant Ollama. De plus, nous vous montrerons comment améliorer votre expérience en intégrant Apidog, un outil puissant pour le développement et les tests d'API.

Pourquoi opter pour le local ? En exécutant Mistral Small 3.1 sur votre machine, vous protégez vos données, évitez les coûts du cloud et gagnez la flexibilité de modifier le modèle en fonction de vos besoins, qu'il s'agisse de créer un chatbot, de générer du code ou de traiter du texte multilingue.

💡

Pour rendre l'interaction avec votre modèle local encore plus fluide, nous vous recommandons d'utiliser Apidog. Cet outil d'API gratuit vous permet de tester et de déboguer les points de terminaison de votre modèle sans effort. Téléchargez Apidog gratuitement dès aujourd'hui et rationalisez votre flux de travail tout en explorant les capacités de Mistral Small 3.1 !

button

Pourquoi choisir Mistral Small 3.1 et Ollama ?

Avant de passer à la configuration, explorons pourquoi Mistral Small 3.1 et Ollama forment une paire si convaincante. Mistral Small 3.1, publié sous la licence open-source Apache 2.0, offre des performances exceptionnelles pour sa taille. Avec une fenêtre contextuelle de 128k tokens, il gère facilement les longues conversations ou les documents. Il prend également en charge plusieurs langues et des entrées multimodales, ce qui le rend polyvalent pour des tâches telles que la génération de texte, la traduction ou même l'analyse d'images légendées. Les développeurs adorent son efficacité, car il rivalise avec des modèles plus grands tout en fonctionnant sur du matériel relativement modeste.

Ollama, d'autre part, est un outil léger conçu pour exécuter des LLM en local. Il abstrait une grande partie de la complexité, comme la gestion des dépendances ou la configuration du GPU, afin que vous puissiez vous concentrer sur l'utilisation du modèle plutôt que de lutter avec les obstacles de la configuration. Ensemble, Mistral Small 3.1 et Ollama vous permettent de déployer un modèle d'IA performant sans dépendre des services cloud.

Installation d'Ollama sur votre machine

Ollama simplifie l'exécution des LLM en local, et son installation est simple. Suivez ces étapes pour le mettre en marche :

Installer Ollama : Téléchargez-le depuis le site officiel d'Ollama et suivez les instructions.

Vérifier l'installation : Confirmez qu'Ollama est installé correctement en vérifiant sa version :

ollama --version

Vous devriez voir un numéro de version (par exemple, 0.1.x). Sinon, dépannez en vous assurant que votre PATH inclut le binaire d'Ollama.

Après avoir installé Ollama, vous êtes à un pas de l'exécution de Mistral Small 3.1. Ensuite, vous devez récupérer le modèle lui-même.

Téléchargement des poids du modèle Mistral Small 3.1

Ouvrez votre terminal et tapez :

ollama pull cnjack/mistral-samll-3.1

Cela télécharge les poids du modèle sur votre stockage local (une version communautaire de mistral small 3.1). Lien : https://ollama.com/cnjack/mistral-samll-3.1

Selon votre vitesse Internet, cela peut prendre 15 à 30 minutes en raison de la taille du fichier de plus de 50 Go.

Vérifier le téléchargement : Exécutez à nouveau ollama list. Vous devriez voir mistral-small-3.1 répertorié, indiquant qu'il est prêt à être utilisé.

Maintenant que vous avez le modèle, chargeons-le dans Ollama et commençons à explorer ses capacités.

Chargement de Mistral Small 3.1 dans Ollama

Le chargement du modèle le prépare pour l'inférence. Ollama gère le gros du travail, cette étape est donc rapide :

Charger le modèle : Exécutez cette commande pour charger Mistral Small 3.1 en mémoire :

ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_S

La première fois que vous exécutez cela, Ollama initialise le modèle, ce qui peut prendre quelques minutes selon votre matériel. Les exécutions suivantes sont plus rapides.

Testez-le : Une fois chargé, Ollama vous place dans une invite interactive. Tapez une requête simple :

Bonjour, comment fonctionne Mistral Small 3.1 ?

Le modèle répond directement dans le terminal, mettant en valeur ses prouesses en matière de génération de texte.

À ce stade, Mistral Small 3.1 est opérationnel. Cependant, pour libérer tout son potentiel, en particulier pour l'accès programmatique, explorons comment interagir davantage avec lui.

Interaction avec Mistral Small 3.1 en local

Vous pouvez interagir avec Mistral Small 3.1 de deux manières principales : l'inférence directe en ligne de commande ou via un serveur API. Les deux méthodes tirent parti de la flexibilité d'Ollama, et nous intégrerons Apidog pour l'approche API.

Méthode 1 : Inférence directe via la ligne de commande

Pour des tests rapides ou des générations ponctuelles, utilisez la commande run d'Ollama avec une invite :

ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_S "Écrivez un court poème sur l'IA."

Le modèle traite l'entrée et produit une réponse, telle que :

Esprits artificiels dans des circuits profonds,
Apprendre des schémas pendant que nous dormons,
Voix de code, ils parlent doucement,
Un avenir brillant, leurs pensées que nous gardons.

Cette méthode convient à l'expérimentation, mais manque d'évolutivité. Pour des applications plus robustes, configurez un serveur API.

Méthode 2 : Exécution de Mistral Small 3.1 en tant que serveur API

Pour intégrer Mistral Small 3.1 dans des projets ou le tester systématiquement, exécutez-le en tant que serveur API local :

Démarrer le serveur : Lancez Ollama en mode serveur :

ollama serve

Cela démarre une API REST sur http://localhost:11434 (port par défaut d'Ollama). Gardez cela en cours d'exécution dans un terminal.

Tester l'API : Dans un nouveau terminal, utilisez curl pour envoyer une requête :

curl http://localhost:11434/api/generate -d '{"model": "mistral-small-3.1", "prompt": "Expliquez l'IA en une phrase."}'

La réponse pourrait ressembler à ceci :

{
  "response": "L'IA est la simulation de l'intelligence humaine par des machines, leur permettant d'apprendre, de raisonner et d'effectuer des tâches de manière autonome."
}

Cette configuration d'API ouvre la porte à des interactions avancées, c'est là qu'Apidog brille.

Utilisation d'Apidog pour interagir avec l'API de Mistral Small 3.1

Apidog simplifie les tests et le développement d'API, ce qui le rend parfait pour interroger votre serveur Mistral Small 3.1 local. Voici comment le configurer :

Installer Apidog :

Rendez-vous sur le site Web d'Apidog et téléchargez l'application de bureau gratuite pour votre système d'exploitation.
Installez-la en suivant les instructions à l'écran.

button

Créer un nouveau projet :

Ouvrez Apidog et cliquez sur « Nouveau projet ».
Nommez-le quelque chose comme « Mistral Small 3.1 Local API ».

Ajouter une requête API :

Cliquez sur « Nouvelle requête » et définissez la méthode sur POST.
Entrez le point de terminaison : http://localhost:11434/api/generate.

Configurer le corps de la requête :

Passez à l'onglet « Corps », sélectionnez « JSON » et entrez :

{
  "model": "mistral-small-3.1",
  "prompt": "Générer un script Python pour imprimer 'Hello, AI!'",
  "stream": false
}

Envoyer et examiner :

Cliquez sur « Envoyer ». Apidog affiche la réponse, telle que :

{
  "response": "print('Hello, AI!')"
}

Utilisez les outils d'Apidog pour modifier les paramètres, enregistrer les requêtes ou déboguer les erreurs.

L'interface intuitive d'Apidog vous permet d'expérimenter avec des invites, de surveiller les temps de réponse et même d'automatiser les tests, ce qui est idéal pour les développeurs qui s'appuient sur Mistral Small 3.1.

Dépannage des problèmes courants

L'exécution d'un modèle de 24 milliards de paramètres en local peut rencontrer des problèmes. Voici des solutions aux problèmes fréquents :

Erreurs de mémoire insuffisante :
Correction : Assurez-vous d'avoir 32 Go+ de RAM et un GPU avec suffisamment de VRAM (par exemple, 24 Go sur une RTX 4090). Réduisez la taille du lot ou la longueur du contexte si nécessaire.
Modèle introuvable :
Correction : Vérifiez que le téléchargement est terminé (ollama list) et que le nom du modèle correspond exactement.
Le serveur API ne démarre pas :
Correction : Vérifiez si le port 11434 est utilisé (netstat -tuln | grep 11434) et libérez-le ou modifiez le port d'Ollama via la configuration.
Performances lentes :
Correction : Mettez à niveau votre GPU ou déchargez les tâches moins critiques vers le CPU.

Avec ces conseils, vous pouvez résoudre la plupart des problèmes et faire fonctionner Mistral Small 3.1.

Optimisation et extension de votre configuration

Maintenant que Mistral Small 3.1 fonctionne en local, envisagez de l'améliorer :

Réglage fin : Utilisez des ensembles de données spécifiques à votre domaine (par exemple, textes juridiques, code) pour adapter les résultats du modèle.
Mise à l'échelle : Exécutez plusieurs instances d'Ollama pour différents modèles ou tâches.
Intégration : Connectez l'API à des applications Web, des bots ou des flux de travail en utilisant Apidog pour prototyper les points de terminaison.

Ces étapes libèrent tout le potentiel de Mistral Small 3.1, en l'adaptant à vos projets uniques.

Conclusion

L'exécution de Mistral Small 3.1 en local à l'aide d'Ollama change la donne pour les développeurs et les passionnés d'IA. Ce guide vous a guidé tout au long du processus, de la collecte des prérequis à l'installation d'Ollama, au téléchargement du modèle et à l'interaction avec lui via la ligne de commande ou l'API. En ajoutant Apidog au mélange, vous rationalisez les tests d'API et ouvrez de nouvelles possibilités d'intégration. Avec ses 24 milliards de paramètres, son contexte de 128k tokens et sa flexibilité open-source, Mistral Small 3.1 offre une immense puissance à portée de main. Commencez à expérimenter dès aujourd'hui et voyez comment ce duo peut transformer vos projets.

button

```