Menjalankan model AI tingkat lanjut secara lokal menawarkan kontrol, privasi, dan opsi penyesuaian yang tak tertandingi bagi pengembang dan penggemar teknologi. Jika Anda ingin memanfaatkan kekuatan kecerdasan buatan mutakhir di mesin Anda sendiri, Mistral Small 3.1, yang dikombinasikan dengan Ollama, memberikan solusi yang sangat baik. Mistral Small 3.1 adalah model bahasa canggih yang dikembangkan oleh Mistral AI, yang memiliki 24 miliar parameter dan kinerja terbaik di kelas beratnya. Sementara itu, Ollama menyederhanakan proses penerapan model bahasa besar (LLM) secara lokal, membuatnya dapat diakses bahkan oleh mereka yang memiliki pengaturan teknis sederhana. Dalam panduan komprehensif ini, kami akan memandu Anda melalui setiap langkah untuk menjalankan Mistral Small 3.1 di sistem Anda menggunakan Ollama. Selain itu, kami akan menunjukkan cara meningkatkan pengalaman Anda dengan mengintegrasikan Apidog, alat yang ampuh untuk pengembangan dan pengujian API.
Mengapa harus lokal? Dengan menjalankan Mistral Small 3.1 di mesin Anda, Anda menjaga data Anda tetap pribadi, menghindari biaya cloud, dan mendapatkan fleksibilitas untuk mengubah model sesuai kebutuhan Anda, baik itu membangun chatbot, menghasilkan kode, atau memproses teks multibahasa.
Mengapa Memilih Mistral Small 3.1 dan Ollama?
Sebelum melompat ke pengaturan, mari kita jelajahi mengapa Mistral Small 3.1 dan Ollama menjadi pasangan yang menarik. Mistral Small 3.1, yang dirilis di bawah lisensi Apache 2.0 sumber terbuka, memberikan kinerja luar biasa untuk ukurannya. Dengan jendela konteks 128k-token, ia menangani percakapan atau dokumen panjang dengan mudah. Ia juga mendukung banyak bahasa dan input multimodal, membuatnya serbaguna untuk tugas-tugas seperti pembuatan teks, terjemahan, atau bahkan analisis keterangan gambar. Pengembang menyukai efisiensinya, karena ia menyaingi model yang lebih besar saat berjalan di perangkat keras yang relatif sederhana.
Ollama, di sisi lain, adalah alat ringan yang dirancang untuk menjalankan LLM secara lokal. Ia mengabstraksi sebagian besar kompleksitas seperti manajemen dependensi atau konfigurasi GPU sehingga Anda dapat fokus menggunakan model daripada bergulat dengan rintangan pengaturan. Bersama-sama, Mistral Small 3.1 dan Ollama memberdayakan Anda untuk menerapkan model AI berkinerja tinggi tanpa bergantung pada layanan cloud.
Memasang Ollama di Mesin Anda
Ollama menyederhanakan menjalankan LLM secara lokal, dan memasangnya sangat mudah. Ikuti langkah-langkah ini untuk membuatnya berfungsi:
Pasang Ollama: Unduh dari situs web resmi Ollama dan ikuti petunjuknya.
Verifikasi Pemasangan: Konfirmasikan bahwa Ollama terpasang dengan benar dengan memeriksa versinya:
ollama --version
Anda akan melihat nomor versi (mis., 0.1.x). Jika tidak, atasi masalah dengan memastikan PATH Anda menyertakan biner Ollama.
Setelah memasang Ollama, Anda selangkah lebih dekat untuk menjalankan Mistral Small 3.1. Selanjutnya, Anda perlu mengambil model itu sendiri.
Mengunduh Bobot Model Mistral Small 3.1
Buka terminal Anda dan ketik:
ollama pull cnjack/mistral-samll-3.1
Ini mengunduh bobot model ke penyimpanan lokal Anda (versi komunitas dari mistral small 3.1). Tautan: https://ollama.com/cnjack/mistral-samll-3.1
Tergantung pada kecepatan internet Anda, ini bisa memakan waktu 15-30 menit karena ukuran file 50GB+.
Verifikasi Unduhan: Jalankan ollama list lagi. Anda akan melihat mistral-small-3.1 terdaftar, yang menunjukkan bahwa ia siap digunakan.
Sekarang Anda memiliki modelnya, mari kita muat ke Ollama dan mulai menjelajahi kemampuannya.
Memuat Mistral Small 3.1 ke dalam Ollama
Memuat model mempersiapkannya untuk inferensi. Ollama menangani pekerjaan berat, jadi langkah ini cepat:
- Muat Model: Jalankan perintah ini untuk memuat Mistral Small 3.1 ke dalam memori:
ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_SPertama kali Anda menjalankan ini, Ollama menginisialisasi model, yang mungkin memakan waktu beberapa menit tergantung pada perangkat keras Anda. Jalankan berikutnya lebih cepat.
- Uji Coba: Setelah dimuat, Ollama membawa Anda ke prompt interaktif. Ketik kueri sederhana:
Halo, bagaimana cara kerja Mistral Small 3.1?
Model merespons langsung di terminal, menunjukkan kehebatan pembuatan teksnya.
Pada titik ini, Mistral Small 3.1 beroperasi. Namun, untuk membuka potensi penuhnya terutama untuk akses terprogram, mari kita jelajahi cara berinteraksi dengannya lebih lanjut.
Berinteraksi dengan Mistral Small 3.1 Secara Lokal
Anda dapat terlibat dengan Mistral Small 3.1 dalam dua cara utama: inferensi baris perintah langsung atau melalui server API. Kedua metode memanfaatkan fleksibilitas Ollama, dan kami akan mengikat Apidog untuk pendekatan API.
Metode 1: Inferensi Langsung melalui Baris Perintah
Untuk pengujian cepat atau generasi satu kali, gunakan perintah run Ollama dengan prompt:
ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_S "Tulis puisi pendek tentang AI."
Model memproses input dan menghasilkan respons, seperti:
Pikiran buatan dalam sirkuit yang dalam,
Mempelajari pola saat kita tidur,
Suara kode, mereka berbicara dengan lembut,
Masa depan cerah, pikiran mereka kita simpan.
Metode ini cocok untuk eksperimen tetapi kurang skalabilitas. Untuk aplikasi yang lebih kuat, siapkan server API.
Metode 2: Menjalankan Mistral Small 3.1 sebagai Server API
Untuk mengintegrasikan Mistral Small 3.1 ke dalam proyek atau mengujinya secara sistematis, jalankan sebagai server API lokal:
- Mulai Server: Luncurkan Ollama dalam mode server:
ollama serve
Ini memulai REST API di http://localhost:11434 (port default Ollama). Biarkan ini berjalan di satu terminal.
- Uji API: Di terminal baru, gunakan
curluntuk mengirim permintaan:
curl http://localhost:11434/api/generate -d '{"model": "mistral-small-3.1", "prompt": "Jelaskan AI dalam satu kalimat."}'
Responsnya mungkin terlihat seperti:
{
"response": "AI adalah simulasi kecerdasan manusia oleh mesin, memungkinkan mereka untuk belajar, bernalar, dan melakukan tugas secara mandiri."
}
Pengaturan API ini membuka pintu untuk interaksi tingkat lanjut, di sinilah Apidog bersinar.
Menggunakan Apidog untuk Berinteraksi dengan API Mistral Small 3.1
Apidog menyederhanakan pengujian dan pengembangan API, menjadikannya sempurna untuk menanyakan server Mistral Small 3.1 lokal Anda. Berikut cara mengaturnya:
Pasang Apidog:
- Buka situs web Apidog dan unduh aplikasi desktop gratis untuk OS Anda.
- Pasang dengan mengikuti instruksi di layar.
Buat Proyek Baru:
- Buka Apidog dan klik "Proyek Baru".
- Beri nama seperti "API Lokal Mistral Small 3.1".
Tambahkan Permintaan API:
- Klik "Permintaan Baru" dan atur metodenya ke
POST. - Masukkan titik akhir:
http://localhost:11434/api/generate.
Konfigurasikan Badan Permintaan:
- Beralih ke tab "Badan", pilih "JSON", dan masukkan:
{
"model": "mistral-small-3.1",
"prompt": "Hasilkan skrip Python untuk mencetak 'Halo, AI!'",
"stream": false
}
Kirim dan Tinjau:
- Tekan "Kirim". Apidog menampilkan respons, seperti:
{
"response": "print('Halo, AI!')"
}
- Gunakan alat Apidog untuk mengubah parameter, menyimpan permintaan, atau men-debug kesalahan.
Antarmuka intuitif Apidog memungkinkan Anda bereksperimen dengan prompt, memantau waktu respons, dan bahkan mengotomatiskan pengujian yang ideal untuk pengembang yang membangun di atas Mistral Small 3.1.
Memecahkan Masalah Umum
Menjalankan model 24B-parameter secara lokal dapat mengalami kendala. Berikut adalah solusi untuk masalah yang sering terjadi:
- Kesalahan Kehabisan Memori:
- Perbaikan: Pastikan Anda memiliki RAM 32GB+ dan GPU dengan VRAM yang cukup (mis., 24GB pada RTX 4090). Kurangi ukuran batch atau panjang konteks jika diperlukan.
- Model Tidak Ditemukan:
- Perbaikan: Verifikasi unduhan selesai (
ollama list) dan nama model cocok persis. - Server API Gagal Dimulai:
- Perbaikan: Periksa apakah port 11434 sedang digunakan (
netstat -tuln | grep 11434) dan bebaskan atau ubah port Ollama melalui konfigurasi. - Kinerja Lambat:
- Perbaikan: Tingkatkan GPU Anda atau alihkan tugas yang kurang penting ke CPU.
Dengan tips ini, Anda dapat menyelesaikan sebagian besar masalah dan menjaga Mistral Small 3.1 tetap berjalan dengan lancar.
Mengoptimalkan dan Memperluas Pengaturan Anda
Sekarang Mistral Small 3.1 berjalan secara lokal, pertimbangkan untuk meningkatkannya:
- Penyetelan Halus: Gunakan dataset khusus untuk domain Anda (mis., teks hukum, kode) untuk menyesuaikan output model.
- Penskalaan: Jalankan beberapa instance Ollama untuk model atau tugas yang berbeda.
- Integrasi: Kaitkan API ke aplikasi web, bot, atau alur kerja menggunakan Apidog untuk membuat prototipe titik akhir.
Langkah-langkah ini membuka potensi penuh Mistral Small 3.1, menyesuaikannya dengan proyek unik Anda.
Kesimpulan
Menjalankan Mistral Small 3.1 secara lokal menggunakan Ollama adalah pengubah permainan bagi pengembang dan penggemar AI. Panduan ini telah memandu Anda melalui proses dari mengumpulkan prasyarat hingga memasang Ollama, mengunduh model, dan berinteraksi dengannya melalui baris perintah atau API. Dengan menambahkan Apidog ke dalam campuran, Anda menyederhanakan pengujian API dan membuka kemungkinan baru untuk integrasi. Dengan 24 miliar parameter, konteks 128k-token, dan fleksibilitas sumber terbuka, Mistral Small 3.1 menawarkan kekuatan besar di ujung jari Anda. Mulai bereksperimen hari ini, dan lihat bagaimana duo ini dapat mengubah proyek Anda.
