Cara Menggunakan Kimi K2 di VSCode Copilot

Di era di mana alat pengembang bertenaga AI bukan lagi hal baru melainkan suatu keharusan, Copilot Visual Studio Code telah dengan mantap memantapkan dirinya sebagai pemimpin. Namun, kekuatan sejati AI terletak pada keragamannya dan kemampuan khusus dari berbagai model. Bagaimana jika Anda bisa mengganti mesin default Copilot Anda dengan sesuatu yang lebih kuat, lebih khusus, atau bahkan sesuatu yang Anda jalankan sendiri? Artikel ini akan memandu Anda melalui proses integrasi model bahasa Kimi K2 yang tangguh dari Moonshot AI ke dalam VSCode Copilot Anda, dan kita akan melakukannya dengan alat cerdas bernama Fake Ollama.

Panduan komprehensif ini akan memandu Anda melalui seluruh proses, mulai dari mendapatkan kunci API Anda hingga mengonfigurasi lingkungan lokal Anda, dan akhirnya, menyaksikan kekuatan model satu triliun parameter langsung di dalam editor favorit Anda.

💡

Ingin alat Pengujian API hebat yang menghasilkan Dokumentasi API yang indah?

Ingin platform Terintegrasi, All-in-One agar Tim Pengembang Anda bekerja sama dengan produktivitas maksimal?

Apidog memenuhi semua permintaan Anda, dan menggantikan Postman dengan harga yang jauh lebih terjangkau!

tombol

Sebelum kita menyelami detail teknis, mari kita berkenalan dengan komponen-komponen kunci dari pengaturan ini.

Apa itu Kimi K2?

Kimi K2 adalah model bahasa besar canggih yang dikembangkan oleh Moonshot AI. Ini adalah model Mixture-of-Experts (MoE) dengan total satu triliun parameter yang mencengangkan, dengan 32 miliar aktif selama inferensi apa pun.

Arsitektur ini memungkinkan Kimi K2 unggul dalam berbagai tugas, khususnya dalam:

Pengodean: Dengan skor mengesankan pada tolok ukur seperti LiveCodeBench dan SWE-bench, Kimi K2 adalah pembangkit tenaga pengodean.
Penalaran: Model ini menunjukkan kemampuan logis dan penalaran yang kuat, menjadikannya mitra yang sangat baik untuk pemecahan masalah yang kompleks.
Pemahaman Konteks Panjang: Kimi K2 dapat menangani jendela konteks besar hingga 128.000 token, memungkinkannya memahami dan bekerja dengan basis kode besar, dokumentasi ekstensif, dan percakapan panjang.

Kimi K2 tersedia dalam dua varian utama:

Kimi-K2-Base: Model dasar, ideal untuk peneliti dan pengembang yang ingin menyempurnakan dan membangun solusi khusus.
Kimi-K2-Instruct: Versi yang disetel ulang yang dioptimalkan untuk tugas obrolan dan agen, menjadikannya pengganti yang sempurna untuk model yang mengikuti instruksi lainnya.

Untuk tujuan kita, kita akan menggunakan model Instruct melalui API.

Apa itu VSCode Copilot?

Jika Anda membaca artikel ini, Anda mungkin sudah tidak asing lagi dengan VSCode Copilot. Ini adalah alat penyelesaian kode dan bantuan bertenaga AI yang dikembangkan oleh GitHub dan OpenAI. Ini menyediakan saran kode cerdas, menjawab pertanyaan pengodean, dan bahkan dapat membantu Anda melakukan refaktor dan men-debug kode Anda. Meskipun sangat kuat secara bawaan, pembaruan terbaru telah membuka pintu untuk menggunakan model kustom, yang merupakan fitur yang akan kita manfaatkan.

Apa itu Fake Ollama?

Ini adalah rahasia yang memungkinkan integrasi kita. Fake Ollama, seperti namanya, adalah alat yang membuat server yang meniru API Ollama, platform populer untuk menjalankan dan mengelola model bahasa lokal.

Banyak aplikasi, termasuk versi terbaru VSCode Copilot, memiliki dukungan bawaan untuk API Ollama. Dengan menjalankan Fake Ollama, kita dapat mengelabui VSCode Copilot agar berpikir bahwa ia berkomunikasi dengan instans Ollama standar, padahal kenyataannya, server Fake Ollama kita meneruskan permintaan ke API Kimi K2. Ini menjadikannya jembatan serbaguna, memungkinkan kita untuk menghubungkan hampir semua API model ke alat apa pun yang mendukung Ollama.

Prasyarat

Sebelum kita mulai, pastikan Anda telah menginstal dan menyiapkan yang berikut:

Visual Studio Code: Versi terbaru direkomendasikan untuk memastikan kompatibilitas dengan fitur Copilot yang akan kita gunakan.
Ekstensi VSCode Copilot: Anda memerlukan langganan Copilot aktif dan ekstensi yang terinstal di VSCode.
Python: Versi Python terbaru (3.8 atau lebih tinggi) diperlukan untuk menjalankan server Fake Ollama.
Git: Anda memerlukan Git untuk mengklon repositori Fake Ollama dari GitHub.
Kunci API Kimi K2: Kita akan membahas cara mendapatkannya pada langkah pertama.

Integrasi: Panduan Langkah demi Langkah

Sekarang, mari kita mulai dan integrasikan Kimi K2 ke dalam VSCode Copilot.

Langkah 1: Dapatkan Kunci API Kimi K2 Anda

Anda memiliki dua opsi utama untuk mendapatkan kunci API Kimi K2:

Platform Moonshot AI: Anda dapat mendaftar langsung di platform Moonshot AI. Ini akan memberi Anda akses langsung ke API Kimi K2.
OpenRouter: Ini adalah pendekatan yang direkomendasikan karena fleksibilitasnya. OpenRouter adalah layanan yang menyediakan API terpadu untuk berbagai model AI, termasuk Kimi K2. Dengan menggunakan OpenRouter, Anda dapat dengan mudah beralih antar model yang berbeda tanpa mengubah kode atau kunci API Anda.

Untuk panduan ini, kita akan mengasumsikan Anda menggunakan OpenRouter. Setelah Anda membuat akun dan mendapatkan kunci API Anda, Anda dapat berinteraksi dengan model Kimi K2 menggunakan pustaka OpenAI Python, seperti ini:Python

from openai import OpenAI

client = OpenAI(
  base_url="https://openrouter.ai/api/v1",
  api_key="YOUR_OPENROUTER_API_KEY",
)

response = client.chat.completions.create(
  model="moonshotai/kimi-k2",
  messages=[
    {"role": "user", "content": "Write a simple Python function to calculate the factorial of a number."},
  ],
)
print(response.choices[0].message.content)

Siapkan kunci API OpenRouter Anda; Anda akan membutuhkannya untuk konfigurasi Fake Ollama.

Langkah 2: Siapkan Fake Ollama

Pertama, Anda perlu mengklon repositori Fake Ollama dari GitHub. Buka terminal Anda dan jalankan perintah berikut:Bash

git clone https://github.com/spoonnotfound/fake-ollama.git

Selanjutnya, navigasikan ke direktori yang dikloning dan instal dependensi Python yang diperlukan:Bash

cd fake-ollama
pip install -r requirements.txt

Langkah 3: Konfigurasi Fake Ollama untuk Kimi K2

Ini adalah langkah yang paling krusial. Kita perlu mengonfigurasi Fake Ollama untuk menggunakan kunci API OpenRouter kita dan menunjuk ke model Kimi K2. Konfigurasi kemungkinan akan berada dalam file .env atau langsung di skrip Python utama. Untuk panduan ini, kita akan mengasumsikan file .env untuk praktik terbaik.

OPENAI_API_BASE=https://openrouter.ai/api/v1
OPENAI_API_KEY=YOUR_OPENROUTER_API_KEY
MODEL_NAME=moonshotai/kimi-k2

Dengan mengatur variabel lingkungan ini, server Fake Ollama akan tahu untuk meneruskan permintaan ke endpoint OpenRouter, menggunakan kunci API Anda untuk otentikasi, dan menentukan moonshotai/kimi-k2 sebagai model yang diinginkan.

Langkah 4: Jalankan Server Fake Ollama

Sekarang, saatnya memulai server Fake Ollama. Di terminal Anda, dari dalam direktori fake-ollama, jalankan:Bash

python main.py

Jika semuanya dikonfigurasi dengan benar, Anda akan melihat pesan yang menunjukkan bahwa server sedang berjalan, biasanya di http://localhost:11434. Ini adalah endpoint lokal yang akan kita gunakan di VSCode.

Langkah 5: Konfigurasi VSCode Copilot

Langkah terakhir adalah memberi tahu VSCode Copilot untuk menggunakan server Fake Ollama lokal kita alih-alih model GitHub Copilot default.

Buka VSCode dan buka tampilan Copilot Chat.
Di input obrolan, ketik / dan pilih "Pilih Model".
Klik "Kelola Model...".
Dalam kotak dialog yang muncul, pilih "Ollama" sebagai penyedia AI.
Anda akan diminta untuk memasukkan URL server Ollama. Masukkan alamat server Fake Ollama lokal Anda: http://localhost:11434.
Selanjutnya, Anda akan diminta untuk memilih model. Anda seharusnya melihat model yang Anda tentukan dalam konfigurasi Fake Ollama Anda (moonshotai/kimi-k2) dalam daftar. Pilih itu.

Dan selesai! VSCode Copilot Anda sekarang ditenagai oleh model Kimi K2. Anda dapat memulai sesi obrolan baru dan merasakan kemampuan pengodean dan penalaran yang ditingkatkan dari model yang kuat ini.

Di Luar API: Menggunakan Model Lokal dengan vLLM, llama.cpp, dan ktransformers

Keindahan pengaturan Fake Ollama adalah tidak terbatas pada model berbasis API. Anda juga dapat menggunakannya sebagai front-end untuk model yang berjalan secara lokal di perangkat keras Anda sendiri menggunakan mesin inferensi yang kuat seperti:

vLLM: Pustaka sumber terbuka yang secara signifikan mempercepat inferensi dan penyajian LLM.
llama.cpp: Implementasi C++ dari model LLaMA, dioptimalkan untuk berjalan pada CPU dan berbagai perangkat keras.
ktranformers: Kerangka kerja yang fleksibel untuk bereksperimen dengan optimasi inferensi LLM mutakhir. Khususnya, ktranformers telah mengumumkan dukungan untuk Kimi K2, yang berarti Anda dapat menjalankan versi terkuantisasi dari model secara lokal.

Prosesnya serupa: Anda akan terlebih dahulu menyiapkan dan menjalankan model yang Anda inginkan menggunakan salah satu mesin inferensi ini, yang akan mengekspos endpoint API lokal. Kemudian, Anda akan mengonfigurasi Fake Ollama untuk menunjuk ke endpoint model lokal tersebut alih-alih API OpenRouter. Ini memberi Anda kendali penuh atas model dan data Anda, dengan imbalan membutuhkan perangkat keras yang lebih kuat.

Kesimpulan

Dengan memanfaatkan fleksibilitas dukungan model kustom VSCode Copilot dan kecerdikan alat Fake Ollama, Anda dapat membuka tingkat baru pengembangan yang dibantu AI. Mengintegrasikan Kimi K2 memberikan peningkatan signifikan dalam pengodean, penalaran, dan pemahaman konteks panjang, menjadikan Copilot Anda mitra yang lebih berharga.

Dunia model bahasa besar terus berkembang, dan kemampuan untuk dengan mudah menukar dan bereksperimen dengan model yang berbeda adalah pengubah permainan. Baik Anda menggunakan API canggih seperti Kimi K2 atau menjalankan model Anda sendiri secara lokal, kekuatan untuk menyesuaikan alat Anda ada di tangan Anda. Selamat mengode!

💡

tombol