Cara Menjalankan EXAONE Deep Secara Lokal Menggunakan Ollama

Menjalankan model AI tingkat lanjut secara lokal telah menjadi solusi praktis bagi pengembang dan peneliti yang membutuhkan kecepatan, privasi, dan kontrol. EXAONE Deep, model AI inferensi inovatif dari LG AI Research, unggul dalam memecahkan masalah kompleks dalam matematika, sains, dan pengkodean. Dengan menggunakan Ollama, platform yang dirancang untuk menyebarkan model bahasa besar pada perangkat keras lokal, Anda dapat mengatur EXAONE Deep di mesin Anda sendiri dengan mudah.

💡

Tingkatkan Alur Kerja Anda dengan Apidog
Bekerja dengan model AI seperti EXAONE Deep sering kali melibatkan integrasi API. Apidog adalah alat gratis dan canggih yang membuat pengujian dan debugging API menjadi mudah. Unduh Apidog hari ini untuk menyederhanakan pengembangan Anda dan memastikan komunikasi yang lancar dengan pengaturan AI lokal Anda.

button

Mari selami prosesnya.

Apa Itu EXAONE Deep dan Ollama?

Sebelum kita melanjutkan, mari kita perjelas apa itu EXAONE Deep dan Ollama dan mengapa keduanya penting.

EXAONE Deep adalah model AI mutakhir yang dikembangkan oleh LG AI Research. Tidak seperti model bahasa pada umumnya, ini adalah AI inferensi, yang berarti berfokus pada penalaran dan pemecahan masalah. Ia secara mandiri menghasilkan hipotesis, memverifikasinya, dan memberikan jawaban atas pertanyaan kompleks di bidang-bidang seperti matematika, sains, dan pemrograman. Hal ini menjadikannya aset berharga bagi siapa pun yang menghadapi tantangan teknis.

Sementara itu, Ollama adalah platform sumber terbuka yang memungkinkan Anda menjalankan model bahasa besar, termasuk EXAONE Deep, di mesin lokal Anda. Ia menggunakan kontainerisasi untuk mengelola dependensi dan sumber daya model, menyederhanakan proses penyebaran. Dengan menjalankan EXAONE Deep secara lokal dengan Ollama, Anda mendapatkan beberapa keuntungan:

Privasi: Data Anda tetap berada di perangkat Anda, menghindari paparan cloud.
Kecepatan: Pemrosesan lokal mengurangi latensi dari panggilan jaringan.
Fleksibilitas: Anda mengontrol pengaturan dan dapat mengubahnya sesuai kebutuhan.

Prasyarat untuk Menjalankan EXAONE Deep Secara Lokal

Untuk menjalankan EXAONE Deep secara lokal, sistem Anda harus memenuhi standar perangkat keras dan perangkat lunak tertentu. Karena ini adalah model AI yang memakan banyak sumber daya, memiliki pengaturan yang tepat sangat penting. Inilah yang Anda butuhkan:

Persyaratan Perangkat Keras

RAM: Setidaknya 16GB. Lebih banyak lebih baik untuk kinerja yang lebih lancar.
GPU: GPU NVIDIA khusus dengan setidaknya 8GB VRAM. Ini memastikan model berjalan secara efisien, karena EXAONE Deep bergantung pada akselerasi GPU untuk tugas inferensi.
Penyimpanan: Ruang kosong yang cukup (20-50GB) untuk menyimpan model dan dependensinya.

Persyaratan Perangkat Lunak

Sistem Operasi: Linux atau macOS. Windows mungkin berfungsi tetapi seringkali memerlukan langkah tambahan, jadi Linux/macOS direkomendasikan.
Internet: Koneksi yang stabil untuk mengunduh Ollama dan model EXAONE Deep.

Dengan semua ini, Anda siap untuk menginstal Ollama dan menjalankan EXAONE Deep. Mari beralih ke proses instalasi.

Menginstal Ollama di Sistem Anda

Ollama adalah pintu gerbang Anda untuk menjalankan EXAONE Deep secara lokal, dan instalasinya sangat mudah. Ikuti langkah-langkah ini untuk mengaturnya:

Unduh Ollama:

Buka situs web Ollama dan ambil biner untuk OS Anda.

Atau, untuk Linux atau macOS, gunakan perintah terminal ini:

curl -fsSL https://ollama.ai/install.sh | sh

Skrip ini mengotomatiskan pengunduhan dan pengaturan.

Periksa Instalasi:

Setelah menginstal, verifikasi bahwa Ollama berfungsi dengan menjalankan:

ollama --version

Anda akan melihat nomor versi (mis., 0.1.x). Jika tidak, periksa kembali instalasi Anda atau konsultasikan Ollama GitHub untuk mendapatkan bantuan.

Setelah Ollama diinstal, Anda siap untuk mengunduh dan menjalankan EXAONE Deep. Mari kita beralih ke sana selanjutnya.

Menyiapkan dan Menjalankan EXAONE Deep dengan Ollama

Sekarang Ollama sudah siap, mari kita jalankan EXAONE Deep. Ini melibatkan pengunduhan model dan peluncurannya secara lokal.

Langkah 1: Unduh Model EXAONE Deep

Ollama menghosting EXAONE Deep di pustaka modelnya. Untuk menariknya ke mesin Anda, jalankan:

ollama pull exaone-deep

Perintah ini mengambil file model. Bergantung pada kecepatan internet Anda dan ukuran model (yang bisa beberapa gigabyte), ini mungkin memakan waktu beberapa menit. Perhatikan terminal untuk pembaruan kemajuan.

Langkah 2: Luncurkan Model

Setelah diunduh, mulai EXAONE Deep dengan:

ollama run exaone-deep

Perintah ini menjalankan model, dan Ollama memutar server lokal. Anda akan melihat prompt tempat Anda dapat mengetik pertanyaan atau perintah. Misalnya:

> Selesaikan 2x + 3 = 7

Model memprosesnya dan mengembalikan jawabannya (mis., x = 2).

Langkah 3: Sesuaikan Pengaturan (Opsional)

Ollama memungkinkan Anda mengubah cara EXAONE Deep berjalan. Misalnya:

Lapisan GPU: Lepaskan komputasi ke GPU Anda dengan flag seperti --num-gpu-layers.
Batas Memori: Sesuaikan penggunaan RAM jika diperlukan.
Periksa dokumen Ollama untuk spesifikasi, karena opsi ini bergantung pada perangkat keras Anda.

Pada titik ini, EXAONE Deep sudah beroperasi. Namun, mengetik prompt di terminal bukanlah satu-satunya cara untuk menggunakannya. Selanjutnya, kita akan menjelajahi cara berinteraksi dengannya secara terprogram menggunakan API-nya—dan bagaimana Apidog cocok di dalamnya.

Menggunakan Apidog untuk Berinteraksi dengan EXAONE Deep

Untuk pengembang yang membangun aplikasi, mengakses EXAONE Deep melalui API-nya lebih praktis daripada baris perintah. Untungnya, Ollama menyediakan API RESTful saat Anda menjalankan model. Di sinilah Apidog, alat pengujian API, menjadi sangat berharga.

Memahami API Ollama

Saat Anda meluncurkan EXAONE Deep dengan ollama run exaone-deep, ia membuka server lokal, biasanya di http://localhost:11434. Server ini mengekspos titik akhir seperti:

/api/generate: Untuk mengirim prompt dan mendapatkan respons.
/api/tags: Untuk mencantumkan model yang tersedia.

Menyiapkan Apidog

Ikuti langkah-langkah ini untuk menggunakan Apidog dengan EXAONE Deep:

Instal Apidog:

Unduh dan instal. Gratis dan berfungsi di semua OS utama.

button

Buat Permintaan Baru:

Buka Apidog dan klik "Permintaan Baru".
Atur metode ke POST dan URL ke http://localhost:11434/api/generate.

Konfigurasikan Permintaan:

Di badan permintaan, tambahkan JSON seperti ini:

{
  "model": "exaone-deep",
  "prompt": "What is the square root of 16?",
  "stream": false
}

Ini memberi tahu EXAONE Deep untuk memproses prompt Anda.

Kirim dan Uji:

Tekan "Kirim" di Apidog. Anda akan melihat respons (mis., {"response": "4"}) di antarmuka alat.

Gunakan Apidog untuk mengubah permintaan, menguji kasus ekstrem, atau mengotomatiskan panggilan berulang.

Mengapa Menggunakan Apidog?

Apidog menyederhanakan pekerjaan API dengan:

Memvisualisasikan Respons: Lihat persis apa yang dikembalikan EXAONE Deep.
Menghemat Waktu: Simpan dan gunakan kembali permintaan alih-alih mengetiknya ulang.
Debugging: Temukan kesalahan dalam panggilan API Anda dengan cepat.

Dengan Apidog, mengintegrasikan EXAONE Deep ke dalam proyek Anda menjadi mulus. Tetapi bagaimana jika Anda mengalami masalah? Mari kita bahas pemecahan masalah selanjutnya.

Memecahkan Masalah Umum

Menjalankan model seperti EXAONE Deep secara lokal terkadang dapat membuat Anda tersandung. Berikut adalah masalah umum dan perbaikannya:

Masalah: Kesalahan Memori GPU

Gejala: Model macet dengan pesan "CUDA out of memory".
Perbaikan: Turunkan ukuran batch atau lapisan GPU. Jalankan nvidia-smi untuk memeriksa penggunaan dan menyesuaikan pengaturan melalui flag Ollama.

Masalah: Model Tidak Mau Mulai

Gejala: ollama run exaone-deep gagal dengan kesalahan.
Perbaikan: Pastikan Docker berjalan (docker ps). Periksa log Ollama (ollama logs) untuk petunjuk dan verifikasi model diunduh sepenuhnya.

Masalah: API Tidak Merespons

Gejala: Permintaan Apidog kehabisan waktu atau mengembalikan kesalahan.
Perbaikan: Konfirmasikan server berjalan (curl http://localhost:11434) dan titik akhir cocok dengan dokumen Ollama.

Tip Optimasi

Untuk kinerja yang lebih baik, tingkatkan GPU Anda atau tambahkan RAM. EXAONE Deep berkembang pada perangkat keras yang kuat.

Dengan solusi ini, Anda akan menjaga pengaturan Anda tetap berjalan. Mari kita akhiri.

Kesimpulan

Menjalankan EXAONE Deep secara lokal menggunakan Ollama membuka dunia penalaran bertenaga AI tanpa ketergantungan cloud. Panduan ini telah menunjukkan kepada Anda cara menginstal Ollama, menyiapkan EXAONE Deep, dan menggunakan Apidog untuk berinteraksi dengan API-nya. Mulai dari memecahkan masalah matematika hingga bantuan pengkodean, pengaturan ini memberdayakan Anda untuk mengatasi tugas-tugas sulit secara efisien.

Siap menjelajah? Nyalakan Ollama, unduh EXAONE Deep, dan ambil Apidog untuk menyederhanakan alur kerja Anda. Kekuatan AI lokal ada di ujung jari Anda.

button