10 LLM Lokal Kecil Terbaik untuk Dicoba (Kurang dari 8GB)

Dunia Model Bahasa Besar (LLM) telah meledak, sering kali memunculkan gambaran superkomputer masif berbasis cloud yang menghasilkan teks. Namun, bagaimana jika Anda dapat memanfaatkan kekuatan AI yang signifikan langsung di komputer pribadi Anda, tanpa konektivitas internet yang konstan atau langganan cloud yang mahal? Kenyataan yang menarik adalah Anda bisa. Berkat kemajuan dalam teknik optimasi, jenis baru "LLM lokal kecil" telah muncul, memberikan kemampuan luar biasa sambil tetap sesuai dengan batasan memori perangkat keras kelas konsumen – khususnya, hanya membutuhkan kurang dari 8GB RAM atau VRAM.

Mari Bicara Tentang Quantisasi LLM Terlebih Dahulu

Untuk memanfaatkan LLM lokal kecil secara efektif, pemahaman mendasar tentang konsep teknis utama sangat penting. Interaksi antara komponen perangkat keras dan teknik optimasi model menentukan kinerja dan aksesibilitas.

Poin kebingungan umum bagi pengguna baru adalah perbedaan antara VRAM (Video RAM) dan RAM sistem. VRAM adalah memori khusus berkecepatan tinggi yang terletak langsung di kartu grafis (GPU) Anda. Ini secara khusus dirancang untuk tugas pemrosesan paralel cepat yang unggul pada GPU, seperti merender grafis atau melakukan perkalian matriks besar yang penting untuk inferensi LLM. Sebaliknya, RAM sistem biasa lebih lambat tetapi biasanya lebih banyak, berfungsi sebagai memori utama untuk unit pemrosesan pusat (CPU) komputer dan aplikasi umum. Untuk operasi LLM yang efisien, parameter model (bobot) dan perhitungan perantara (aktivasi) idealnya berada sepenuhnya dalam VRAM yang cepat, memungkinkan GPU mengaksesnya secara instan dan memproses informasi dengan cepat. Jika komponen model dipaksa berada di RAM sistem yang lebih lambat, proses inferensi akan sangat terhambat, menyebabkan waktu respons jauh lebih lambat.

Teknologi dasar yang memungkinkan menjalankan model bahasa besar pada perangkat keras kelas konsumen adalah kuantisasi.

Proses ini secara drastis mengurangi jejak memori LLM dengan merepresentasikan bobot model dengan bit yang lebih sedikit, misalnya, menggunakan bilangan bulat 4-bit atau 8-bit alih-alih presisi floating-point standar 16-bit atau 32-bit. Teknik ini memungkinkan model 7 miliar parameter, yang biasanya memerlukan sekitar 14GB dalam FP16 (presisi penuh), untuk berjalan hanya dengan 4-5GB menggunakan kuantisasi 4-bit. Pengurangan memori dan beban komputasi ini secara langsung mengatasi hambatan biaya perangkat keras yang tinggi dan konsumsi energi, membuat kemampuan AI canggih dapat diakses di perangkat konsumen standar.

Format GGUF telah muncul sebagai standar untuk menyimpan dan memuat model lokal yang dikuantisasi, menawarkan kompatibilitas luas di berbagai mesin inferensi. Dalam ekosistem GGUF, terdapat berbagai jenis kuantisasi, masing-masing menawarkan kompromi yang berbeda antara ukuran file, kualitas, dan kecepatan inferensi. Untuk banyak kasus penggunaan umum, Q4_K_M sering direkomendasikan karena mencapai kompromi yang seimbang antara kualitas dan efisiensi memori. Meskipun kuantisasi sangat efektif, mendorong ke tingkat bit yang sangat rendah, seperti Q2_K atau IQ3_XS, dapat menyebabkan penurunan kualitas model yang terlihat.

Penting juga untuk dicatat bahwa kebutuhan VRAM atau RAM sebenarnya untuk menjalankan LLM sedikit lebih tinggi daripada ukuran file model yang dikuantisasi. Ini karena memori tambahan diperlukan untuk menyimpan data input (prompt dan konteks) dan hasil perhitungan perantara (aktivasi). Biasanya, overhead ini dapat diperkirakan sekitar 1,2 kali ukuran dasar model.

Memulai dengan LLM Lokal dan Ollama

Ekosistem untuk menjalankan LLM lokal telah matang secara signifikan, menawarkan berbagai alat yang disesuaikan dengan preferensi pengguna dan kemahiran teknis yang berbeda. Dua platform terkemuka menonjol karena kemudahan penggunaan dan kemampuan yang tangguh.

Ollama adalah alat yang kuat dan berfokus pada pengembang yang dirancang untuk menjalankan LLM secara lokal dengan kesederhanaan dan efisiensi. Antarmuka utamanya adalah antarmuka baris perintah (CLI), yang memungkinkan pengaturan dan manajemen model yang mudah. Ollama unggul dalam pengemasan model bawaannya dan fitur "Modelfile", yang memungkinkan pengguna menyesuaikan model dan mengintegrasikannya dengan mulus ke dalam skrip dan berbagai aplikasi. Platform ini ringan dan dioptimalkan kinerjanya, menjadikannya ideal untuk penerapan yang cepat dan berulang dalam lingkungan pengembangan atau alur kerja otomatis.

Untuk pengguna yang lebih menyukai antarmuka grafis (GUI), LM Studio sering menjadi pilihan utama. Ini menawarkan aplikasi desktop yang intuitif dengan desain yang bersih, antarmuka obrolan bawaan, dan sistem yang mudah digunakan untuk menelusuri dan mengunduh model berformat GGUF langsung dari Hugging Face. LM Studio menyederhanakan manajemen model, memungkinkan pengguna untuk dengan mudah beralih di antara LLM yang berbeda dan menyesuaikan parameter langsung dari antarmuka pengguna. Umpan balik visual langsung ini sangat bermanfaat bagi pemula dan pengguna non-teknis, memfasilitasi eksperimen cepat dan pengujian prompt tanpa memerlukan pengetahuan baris perintah.

Banyak alat yang mudah digunakan, termasuk LM Studio, sering memanfaatkan Llama.cpp sebagai mesin inferensi dasarnya. Llama.cpp adalah mesin inferensi berkinerja tinggi yang ditulis dalam C++ yang terutama menggunakan format GGUF dan mendukung akselerasi pada CPU maupun GPU.

Pilihan berikut menyoroti sepuluh LLM kecil yang sangat mampu yang dapat dijalankan secara lokal pada sistem dengan VRAM kurang dari 8GB, menawarkan keseimbangan kinerja, keserbagunaan, dan efisiensi. Jejak memori yang disediakan berfokus pada versi GGUF yang dikuantisasi, yang dioptimalkan untuk perangkat keras konsumen.

LLM Kecil yang Dapat Anda Jelajahi

Llama 3.1 8B (Dikuantisasi)

ollama run llama3.1:8b

Llama 3.1 8B dari Meta adalah model sumber terbuka yang sangat diakui, dikenal karena kinerja umum yang kuat dan efisiensi biaya yang mengesankan. Ini adalah bagian dari keluarga Llama 3.1, yang telah mendapat manfaat dari peningkatan substansial dalam data pelatihan dan teknik optimasi, termasuk peningkatan data pelatihan tujuh kali lipat (lebih dari 15 triliun token) dibandingkan dengan pendahulunya.

Meskipun model 8B penuh biasanya memerlukan lebih banyak VRAM, versi kuantisasi yang lebih rendah dirancang agar sesuai dengan batas VRAM/RAM 8GB. Misalnya, kuantisasi Q2_K memiliki ukuran file 3,18 GB dan memerlukan sekitar 7,20 GB memori. Demikian pula, Q3_K_M (file 4,02 GB, memori yang diperlukan 7,98 GB) adalah pilihan yang layak untuk sistem dengan memori terbatas.

Llama 3.1 8B unggul dalam kinerja AI percakapan, seperti yang diukur oleh Tingkat Kemenangan AlpacaEval 2.0. Ini menunjukkan kemampuan yang kuat dalam pembuatan kode (HumanEval Pass@1), ringkasan teks (CNN/DailyMail Rouge-L-Sum untuk memproses ulasan produk dan email), dan tugas Retrieval-Augmented Generation (RAG) (MS Marco Rouge-L-Sum untuk menjawab pertanyaan yang akurat dan ringkasan pencarian bahasa alami). Ini juga efektif untuk menghasilkan output terstruktur dari teks, seperti mengekstrak konsep ke dalam payload JSON, dan untuk memberikan ikhtisar cuplikan kode pendek. Efisiensinya membuatnya cocok untuk pemrosesan batch dan alur kerja agen.

Mistral 7B (Dikuantisasi)

ollama run mistral:7b

Mistral 7B adalah model transformer padat penuh yang secara luas dipuji karena efisiensi, kecepatan, dan jejak VRAM yang ringkas. Ini menggabungkan teknik arsitektural canggih seperti Grouped-Query Attention (GQA) dan Sliding Window Attention (SWA) untuk meningkatkan kinerjanya.

Model ini sangat dioptimalkan untuk lingkungan VRAM rendah. Versi kuantisasi seperti Q4_K_M (file 4,37 GB, memori yang diperlukan 6,87 GB) dan Q5_K_M (file 5,13 GB, memori yang diperlukan 7,63 GB) sesuai dengan anggaran VRAM 8GB. Mistral 7B adalah pilihan yang sangat baik untuk inferensi AI yang cepat, mandiri, dan aplikasi real-time di mana latensi rendah sangat penting. Ini menunjukkan kinerja yang kuat dalam pengetahuan umum dan tugas penalaran terstruktur. Jejak VRAM-nya yang ringkas membuatnya cocok untuk penerapan pada perangkat edge. Ini efektif untuk obrolan multi-giliran dan dapat digunakan dalam solusi chatbot AI untuk pertanyaan umum. Lisensi Apache 2.0-nya sangat menguntungkan untuk kasus penggunaan komersial.

Gemma 3:4b (Dikuantisasi)

ollama run gemma3:4b

Model parameter Gemma 3:4B adalah anggota keluarga Gemma dari Google DeepMind, yang secara khusus dirancang untuk efisiensi dan kinerja mutakhir dalam paket yang ringan. Jejak memorinya sangat kecil, membuatnya sangat mudah diakses untuk berbagai perangkat keras.

Misalnya, kuantisasi Q4_K_M memiliki ukuran file 1,71 GB dan direkomendasikan untuk sistem dengan VRAM 4GB. Penggunaan memori yang minimal ini menjadikannya kandidat ideal untuk pembuatan prototipe cepat dan penerapan pada perangkat keras kelas sangat rendah, termasuk perangkat seluler. Gemma 3:4B sangat cocok untuk tugas pembuatan teks dasar, menjawab pertanyaan, dan meringkas. Ini bisa efektif untuk pengambilan informasi cepat dan aplikasi Optical Character Recognition (OCR). Meskipun ukurannya kecil, Gemma 3:4B menunjukkan kinerja yang kuat.

Gemma 7B (Dikuantisasi)

ollama run gemma:7b

Sebagai saudara yang lebih besar dalam keluarga Gemma, model 7B menawarkan kemampuan yang ditingkatkan sambil tetap dapat dijalankan pada perangkat keras kelas konsumen. Ini berbagi komponen teknis dan infrastruktur dengan model Gemini Google yang lebih luas, memungkinkannya mencapai kinerja tinggi langsung di laptop pengembang atau komputer desktop.

Versi kuantisasi Gemma 7B, seperti Q5_K_M (file 6,14 GB) dan Q6_K (file 7,01 GB), sesuai dengan batas VRAM 8GB. Umumnya memerlukan setidaknya 8GB RAM sistem untuk kinerja optimal. Gemma 7B adalah model serbaguna, mampu menangani berbagai tugas pemrosesan bahasa alami, termasuk pembuatan teks, menjawab pertanyaan, meringkas, dan penalaran. Ini menunjukkan kemampuan dalam pembuatan dan interpretasi kode, serta menangani pertanyaan matematika. Arsitekturnya, yang dibagikan dengan model Gemini yang lebih besar, memungkinkan kinerja tinggi pada laptop pengembang atau komputer desktop, menjadikannya alat yang berharga untuk pembuatan konten, AI percakapan, dan eksplorasi pengetahuan.

Phi-3 Mini (3.8B, Dikuantisasi)

ollama run phi3

Phi-3 Mini dari Microsoft adalah model mutakhir yang ringan, dibedakan oleh efisiensi luar biasa dan fokus kuat pada properti berkualitas tinggi dan padat penalaran. Model ini menantang anggapan konvensional bahwa hanya LLM yang lebih besar yang dapat menangani tugas-tugas kompleks secara efektif. Phi-3 Mini sangat efisien memori. Misalnya, kuantisasi Q8_0 memiliki ukuran file 4,06 GB dan memerlukan sekitar 7,48 GB memori, menempatkannya dalam batas 8GB.

Bahkan versi FP16 (presisi penuh) memiliki ukuran file 7,64 GB, meskipun memerlukan 10,82 GB memori. Phi-3 Mini unggul dalam pemahaman bahasa, penalaran logis, pengkodean, dan penyelesaian masalah matematika. Ukurannya yang ringkas dan desainnya membuatnya cocok untuk lingkungan yang dibatasi memori/komputasi dan skenario yang terikat latensi, termasuk penerapan pada perangkat seluler. Ini sangat cocok untuk prompt yang disampaikan dalam format obrolan dan dapat berfungsi sebagai blok bangunan untuk fitur bertenaga AI generatif.

DeepSeek R1 7B/8B (Dikuantisasi)

ollama run deepseek-r1:7b

Model DeepSeek, termasuk varian 7B dan 8B mereka, dikenal karena kemampuan penalaran yang tangguh dan efisiensi komputasi. Varian DeepSeek-R1-0528-Qwen3-8B telah disorot sebagai model penalaran terbaik dalam ukuran 8B, setelah disaring dari model yang lebih besar untuk mencapai kinerja tinggi. Kuantisasi DeepSeek R1 7B Q4_K_M memiliki ukuran file 4,22 GB dan memerlukan sekitar 6,72 GB memori.

Model DeepSeek R1 8B memiliki ukuran model umum 4,9 GB, dengan VRAM yang direkomendasikan 6GB. Konfigurasi ini sesuai dengan batasan 8GB. Model DeepSeek kuat dalam pemahaman bahasa alami, pembuatan teks, menjawab pertanyaan, dan khususnya unggul dalam penalaran dan pembuatan kode. Jejak komputasi mereka yang relatif rendah menjadikannya pilihan yang menarik bagi usaha kecil dan menengah (UKM) dan pengembang yang ingin menerapkan solusi AI tanpa menanggung biaya cloud yang besar, cocok untuk sistem dukungan pelanggan cerdas, analisis data lanjutan, dan pembuatan konten otomatis.

Qwen 1.5/2.5 7B (Dikuantisasi)

ollama run qwen:7b

Seri Qwen dari Alibaba menawarkan beragam model, dengan varian 7B berfungsi sebagai kekuatan yang seimbang untuk aplikasi AI tujuan umum. Qwen 1.5, yang dianggap sebagai versi beta dari Qwen2, menyediakan dukungan multibahasa dan panjang konteks stabil 32K token.

Untuk jejak memori, kuantisasi Qwen 1.5 7B Q5_K_M memiliki ukuran file 5,53 GB. Qwen2.5 7B memiliki ukuran model umum 4,7 GB, dengan VRAM yang direkomendasikan 6GB. Model-model ini berada dalam batas VRAM 8GB. Model Qwen 7B serbaguna, cocok untuk AI percakapan, pembuatan konten, tugas penalaran dasar, dan terjemahan bahasa. Secara khusus, model Qwen 7B Chat menunjukkan kinerja yang kuat dalam pemahaman bahasa Mandarin dan Inggris, pengkodean, dan matematika, serta mendukung ReAct Prompting untuk penggunaan alat. Efisiensinya membuatnya cocok untuk chatbot dukungan pelanggan dan bantuan pemrograman dasar.

Deepseek-coder-v2 6.7B (Dikuantisasi)

ollama run deepseek-coder-v2:6.7b

Deepseek-coder-v2 6.7B adalah model khusus dari DeepSeek, yang dirancang dengan cermat untuk tugas-tugas spesifik pengkodean. Varian yang disetel dengan baik ini bertujuan untuk secara signifikan meningkatkan kemampuan pembuatan dan pemahaman kode. Dengan ukuran model 3,8 GB dan VRAM yang direkomendasikan 6GB, ini sesuai dengan batasan 8GB, membuatnya sangat mudah diakses oleh pengembang dengan perangkat keras terbatas. Kasus penggunaan utamanya meliputi penyelesaian kode, pembuatan cuplikan kode, dan interpretasi kode yang ada. Bagi pengembang dan programmer yang beroperasi dengan VRAM terbatas, Deepseek-coder-v2 6.7B menawarkan kemampuan yang sangat khusus, menjadikannya pilihan utama untuk bantuan pengkodean lokal.

BitNet b1.58 2B4T

ollama run hf.co/microsoft/bitnet-b1.58-2B-4T-gguf

BitNet b1.58 2B4T dari Microsoft mewakili model sumber terbuka revolusioner yang menggunakan format bobot 1,58-bit, menghasilkan pengurangan drastis dalam konsumsi memori dan energi sambil mempertahankan kinerja yang kompetitif. Efisiensi memorinya yang tak tertandingi, hanya memerlukan 0,4 GB memori non-tertanam, menjadikannya sangat cocok untuk lingkungan yang sangat terbatas sumber daya, termasuk perangkat AI edge seperti smartphone, laptop, dan perangkat IoT, serta untuk inferensi hanya CPU yang efisien.

Ini membawa kemampuan LLM berkinerja tinggi ke perangkat yang tidak memiliki dukungan GPU khusus, memungkinkan terjemahan di perangkat, rekomendasi konten, dan asisten suara seluler yang lebih mampu tanpa konektivitas cloud yang konstan. Meskipun mungkin menunjukkan akurasi yang sedikit lebih rendah dibandingkan dengan model yang jauh lebih besar, kinerjanya relatif terhadap ukurannya luar biasa. Efisiensi memorinya yang tak tertandingi dan kemampuannya untuk berjalan secara efektif pada CPU memposisikannya sebagai pengubah permainan untuk aksesibilitas dan keberlanjutan dalam lanskap AI.

Orca-Mini 7B (Dikuantisasi)

ollama run orca-mini:7b

Orca-Mini 7B adalah model tujuan umum yang dibangun di atas arsitektur Llama dan Llama 2, dilatih pada dataset Orca Style. Ini tersedia dalam berbagai ukuran, dengan varian 7B terbukti menjadi pilihan yang cocok untuk perangkat keras tingkat pemula. Model orca-mini:7b memiliki ukuran file 3,8 GB. Versi kuantisasi seperti Q4_K_M (file 4,08 GB, memori yang diperlukan 6,58 GB) dan Q5_K_M (file 4,78 GB, memori yang diperlukan 7,28 GB) sesuai dengan batasan 8GB. Umumnya memerlukan setidaknya 8GB RAM sistem untuk operasi optimal. Orca-Mini 7B sangat cocok untuk pembuatan teks umum, menjawab pertanyaan, dan tugas percakapan. Ini menunjukkan kepatuhan instruksi yang kuat dan dapat dimanfaatkan secara efektif untuk membangun agen AI. Varian Mistral-7B-OpenOrca yang disetel dengan baik, berdasarkan penelitian Orca, menunjukkan kinerja luar biasa dalam menghasilkan teks dan kode, menjawab pertanyaan, dan terlibat dalam percakapan.

Kesimpulan

Model-model yang disorot dalam laporan ini—termasuk Llama 3 8B, Mistral 7B, Gemma 2B dan 7B, Phi-3 Mini, DeepSeek R1 7B/8B, Qwen 1.5/2.5 7B, Deepseek-coder-v2 6.7B, BitNet b1.58 2B4T, dan Orca-Mini 7B—merepresentasikan barisan depan aksesibilitas ini. Masing-masing menawarkan perpaduan unik antara kemampuan, efisiensi memori, dan kasus penggunaan ideal, menjadikannya cocok untuk berbagai tugas mulai dari percakapan umum dan penulisan kreatif hingga bantuan pengkodean khusus dan penalaran kompleks.

Efektivitas model-model ini pada sistem dengan VRAM terbatas sebagian besar disebabkan oleh teknik kuantisasi canggih, yang secara drastis mengurangi jejak memori mereka tanpa penurunan kualitas yang parah. Kemajuan berkelanjutan dalam efisiensi model dan peningkatan fokus pada penerapan AI edge menandakan masa depan di mana kemampuan AI yang canggih terintegrasi dengan mulus ke dalam perangkat sehari-hari. Pengguna didorong untuk bereksperimen dengan model yang direkomendasikan, karena pilihan "terbaik" pada akhirnya bersifat subjektif dan bergantung pada konfigurasi perangkat keras individu serta persyaratan aplikasi spesifik. Komunitas sumber terbuka yang dinamis terus berkontribusi pada lanskap yang berkembang ini, memastikan masa depan yang dinamis dan inovatif untuk LLM lokal.