Cara Menjalankan GPT-OSS Gratis dengan Ollama

Ashley Innocent

Ashley Innocent

5 August 2025

Cara Menjalankan GPT-OSS Gratis dengan Ollama

Menjalankan model bahasa besar (LLM) secara lokal memberdayakan pengembang dengan privasi, kontrol, dan penghematan biaya. Model bobot terbuka OpenAI, yang secara kolektif dikenal sebagai GPT-OSS (gpt-oss-120b dan gpt-oss-20b), menawarkan kemampuan penalaran yang kuat untuk tugas-tugas seperti pengkodean, alur kerja agen, dan analisis data. Dengan Ollama, platform sumber terbuka, Anda dapat menerapkan model-model ini pada perangkat keras Anda sendiri tanpa ketergantungan cloud. Panduan teknis ini akan memandu Anda melalui instalasi Ollama, konfigurasi model GPT-OSS, dan debugging dengan Apidog, alat yang menyederhanakan pengujian API untuk LLM lokal.

💡
Untuk debugging API yang mulus, unduh Apidog secara gratis untuk memvisualisasikan dan mengoptimalkan interaksi GPT-OSS Anda.
tombol

Mengapa Menjalankan GPT-OSS Secara Lokal dengan Ollama?

Menjalankan GPT-OSS secara lokal menggunakan Ollama memberikan keuntungan yang berbeda bagi pengembang dan peneliti. Pertama, ini memastikan privasi data, karena input dan output Anda tetap berada di mesin Anda. Kedua, ini menghilangkan biaya API cloud yang berulang, menjadikannya ideal untuk kasus penggunaan volume tinggi atau eksperimental. Ketiga, kompatibilitas Ollama dengan struktur API OpenAI memungkinkan integrasi yang mulus dengan alat yang ada, sementara dukungannya untuk model terkuantisasi seperti gpt-oss-20b (hanya membutuhkan memori 16GB) memastikan aksesibilitas pada perangkat keras sederhana.

Selain itu, Ollama menyederhanakan kompleksitas penerapan LLM. Ini menangani bobot model, dependensi, dan konfigurasi melalui satu Modelfile, mirip dengan kontainer Docker untuk AI. Dipasangkan dengan Apidog, yang menawarkan visualisasi real-time dari respons AI streaming, Anda mendapatkan ekosistem yang kuat untuk pengembangan AI lokal. Selanjutnya, mari kita jelajahi prasyarat untuk menyiapkan lingkungan ini.

Prasyarat untuk Menjalankan GPT-OSS Secara Lokal

Sebelum melanjutkan, pastikan sistem Anda memenuhi persyaratan berikut:

Dengan prasyarat ini, Anda siap menginstal Ollama dan menerapkan GPT-OSS. Mari kita lanjutkan ke proses instalasi.

Langkah 1: Menginstal Ollama di Sistem Anda

Instalasi Ollama mudah, mendukung macOS, Linux, dan Windows. Ikuti langkah-langkah ini untuk mengaturnya:

Unduh Ollama:

curl -fsSL https://ollama.com/install.sh | sh

Skrip ini mengotomatiskan proses pengunduhan dan pengaturan.

Verifikasi Instalasi:

Mulai Server Ollama:

Setelah terinstal, Ollama siap untuk mengunduh dan menjalankan model GPT-OSS. Mari kita lanjutkan ke pengunduhan model.

Langkah 2: Mengunduh Model GPT-OSS

Model GPT-OSS OpenAI (gpt-oss-120b dan gpt-oss-20b) tersedia di Hugging Face dan dioptimalkan untuk Ollama dengan kuantisasi MXFP4, mengurangi persyaratan memori. Ikuti langkah-langkah ini untuk mengunduhnya:

Pilih Model:

Unduh melalui Ollama:

ollama pull gpt-oss-20b

atau

ollama pull gpt-oss-120b

Tergantung pada perangkat keras Anda, pengunduhan (20-50GB) mungkin memakan waktu. Pastikan koneksi internet stabil.

Verifikasi Unduhan:

ollama list

Cari gpt-oss-20b:latest atau gpt-oss-120b:latest.

Dengan model yang sudah diunduh, Anda sekarang dapat menjalankannya secara lokal. Mari kita jelajahi cara berinteraksi dengan GPT-OSS.

Langkah 3: Menjalankan Model GPT-OSS dengan Ollama

Ollama menyediakan berbagai cara untuk berinteraksi dengan model GPT-OSS: antarmuka baris perintah (CLI), API, atau antarmuka grafis seperti Open WebUI. Mari kita mulai dengan CLI untuk kesederhanaan.

Mulai Sesi Interaktif:

ollama run gpt-oss-20b

Ini membuka sesi obrolan real-time. Ketik pertanyaan Anda (misalnya, “Tulis fungsi Python untuk pencarian biner”) dan tekan Enter. Gunakan /help untuk perintah khusus.

Kueri Sekali Pakai:

ollama run gpt-oss-20b "Explain quantum computing in simple terms"

Sesuaikan Parameter:

ollama run gpt-oss-20b --temperature 0.1 --top-p 1.0 "Write a factual summary of blockchain technology"

Suhu yang lebih rendah (misalnya, 0.1) memastikan output yang deterministik dan faktual, ideal untuk tugas teknis.

Selanjutnya, mari kita sesuaikan perilaku model menggunakan Modelfile untuk kasus penggunaan tertentu.

Langkah 4: Menyesuaikan GPT-OSS dengan Modelfile Ollama

Modelfile Ollama memungkinkan Anda untuk menyesuaikan perilaku GPT-OSS tanpa melatih ulang. Anda dapat mengatur prompt sistem, menyesuaikan ukuran konteks, atau menyempurnakan parameter. Berikut cara membuat model kustom:

Buat Modelfile:

FROM gpt-oss-20b
SYSTEM "Anda adalah asisten teknis yang berspesialisasi dalam pemrograman Python. Berikan kode yang ringkas dan akurat dengan komentar."
PARAMETER temperature 0.5
PARAMETER num_ctx 4096

Ini mengkonfigurasi model sebagai asisten yang berfokus pada Python dengan kreativitas sedang dan jendela konteks 4k token.

Bangun Model Kustom:

ollama create python-gpt-oss -f Modelfile

Jalankan Model Kustom:

ollama run python-gpt-oss

Sekarang, model memprioritaskan respons terkait Python dengan perilaku yang ditentukan.

Kustomisasi ini meningkatkan GPT-OSS untuk domain tertentu, seperti pengkodean atau dokumentasi teknis. Sekarang, mari kita integrasikan model ke dalam aplikasi menggunakan API Ollama.

Langkah 5: Mengintegrasikan GPT-OSS dengan API Ollama

API Ollama, yang berjalan di http://localhost:11434, memungkinkan akses terprogram ke GPT-OSS. Ini ideal untuk pengembang yang membangun aplikasi bertenaga AI. Berikut cara menggunakannya:

Titik Akhir API:

curl http://localhost:11434/api/generate -H "Content-Type: application/json" -d '{"model": "gpt-oss-20b", "prompt": "Write a Python script for a REST API"}'
curl http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "gpt-oss-20b", "messages": [{"role": "user", "content": "Explain neural networks"}]}'

Kompatibilitas OpenAI:

from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
response = client.chat.completions.create(
    model="gpt-oss-20b",
    messages=[{"role": "user", "content": "What is machine learning?"}]
)
print(response.choices[0].message.content)

Integrasi API ini memungkinkan GPT-OSS untuk mendukung chatbot, generator kode, atau alat analisis data. Namun, debugging respons streaming bisa jadi menantang. Mari kita lihat bagaimana Apidog menyederhanakannya.

Langkah 6: Debugging GPT-OSS dengan Apidog

Apidog adalah alat pengujian API yang kuat yang memvisualisasikan respons streaming dari titik akhir Ollama, sehingga lebih mudah untuk melakukan debug output GPT-OSS. Berikut cara menggunakannya:

Instal Apidog:

Konfigurasi API Ollama di Apidog:

{
  "model": "gpt-oss-20b",
  "prompt": "Generate a Python function for sorting",
  "stream": true
}

Visualisasikan Respons:

Pengujian Komparatif:

Visualisasi Apidog mengubah debugging dari tugas yang membosankan menjadi proses yang jelas dan dapat ditindaklanjuti, meningkatkan alur kerja pengembangan Anda. Sekarang, mari kita bahas masalah umum yang mungkin Anda temui.

Langkah 7: Pemecahan Masalah Umum

Menjalankan GPT-OSS secara lokal mungkin menimbulkan tantangan. Berikut adalah solusi untuk masalah yang sering terjadi:

Kesalahan Memori GPU:

Model Tidak Mau Mulai:

API Tidak Merespons:

Performa Lambat:

Untuk masalah yang terus-menerus, konsultasikan GitHub Ollama atau komunitas Hugging Face untuk dukungan GPT-OSS.

Langkah 8: Meningkatkan GPT-OSS dengan Open WebUI

Untuk antarmuka yang ramah pengguna, pasangkan Ollama dengan Open WebUI, dasbor berbasis browser untuk GPT-OSS:

Instal Open WebUI:

docker run -d -p 3000:8080 --name open-webui ghcr.io/open-webui/open-webui:main

Akses Antarmuka:

Unggahan Dokumen:

Open WebUI menyederhanakan interaksi untuk pengguna non-teknis, melengkapi kemampuan debugging teknis Apidog.

Kesimpulan: Melepaskan Potensi GPT-OSS dengan Ollama dan Apidog

Menjalankan GPT-OSS secara lokal dengan Ollama memberdayakan Anda untuk memanfaatkan model bobot terbuka OpenAI secara gratis, dengan kontrol penuh atas privasi dan kustomisasi. Dengan mengikuti panduan ini, Anda telah belajar menginstal Ollama, mengunduh model GPT-OSS, menyesuaikan perilaku, mengintegrasikan melalui API, dan melakukan debug dengan Apidog. Baik Anda membangun aplikasi bertenaga AI atau bereksperimen dengan tugas penalaran, pengaturan ini menawarkan fleksibilitas yang tak tertandingi. Penyesuaian kecil, seperti menyesuaikan parameter atau menggunakan visualisasi Apidog, dapat secara signifikan meningkatkan alur kerja Anda. Mulailah menjelajahi AI lokal hari ini dan buka potensi GPT-OSS!

tombol

Mengembangkan API dengan Apidog

Apidog adalah alat pengembangan API yang membantu Anda mengembangkan API dengan lebih mudah dan efisien.