Blog

Cara Mengubah LLM Apple Menjadi API Kompatibel OpenAI dengan Repo Ini

Leo Schulz

Leo Schulz

20 June 2025

Cara Mengubah LLM Apple Menjadi API Kompatibel OpenAI dengan Repo Ini

Di era di mana kecerdasan buatan semakin bergerak dari cloud ke edge, Apple telah membuat lompatan signifikan dengan pengenalan Model Dasar (Foundation Models) di perangkat, komponen inti dari Apple Intelligence yang baru saja diperkenalkan. Model yang kuat dan menjaga privasi ini berjalan langsung di perangkat pengguna, menawarkan kecepatan dan keamanan data yang belum pernah ada sebelumnya. Namun, bagi komunitas pengembang yang luas dan ekosistem aplikasi yang dibangun di sekitar OpenAI API standar industri, muncul pertanyaan krusial: Bagaimana kita bisa memanfaatkan kekuatan baru di perangkat ini tanpa sepenuhnya merekayasa ulang alat yang sudah ada?

Jawabannya datang dari komunitas pengembang dalam bentuk solusi yang elegan dan kuat: proyek "Apple On-Device OpenAI API". Alat sumber terbuka ini bertindak sebagai jembatan yang brilian antara kemampuan AI baru Apple dan dunia OpenAI API yang sudah dikenal. Ini menciptakan server lokal yang ringan di Mac Anda yang mengekspos Model Dasar Apple melalui endpoint yang kompatibel dengan OpenAI. Intinya, ini memungkinkan aplikasi apa pun yang tahu cara berkomunikasi dengan OpenAI kini, dengan perubahan minimal, dapat berkomunikasi langsung dengan AI yang berjalan di perangkat Apple Anda sendiri.

Artikel ini berfungsi sebagai panduan komprehensif untuk memahami, menginstal, dan memanfaatkan repositori inovatif ini. Kita akan membahas mengapa alat semacam ini diperlukan, menjelaskan proses pengaturan langkah demi langkah, menjelajahi penggunaan praktis dengan contoh kode, dan melihat apa yang akan terjadi di masa depan. Pada akhirnya, Anda akan dilengkapi untuk mengubah perangkat Apple Anda menjadi pusat kekuatan AI lokal, sepenuhnya kompatibel dengan alat dan alur kerja yang sudah Anda kenal dan sukai.

💡
Ingin alat Pengujian API yang hebat yang menghasilkan Dokumentasi API yang indah?

Ingin platform Terintegrasi, All-in-One untuk Tim Pengembang Anda agar bekerja sama dengan produktivitas maksimum?

Apidog memenuhi semua permintaan Anda, dan menggantikan Postman dengan harga yang jauh lebih terjangkau!
button

Alasan "Mengapa": Kekuatan di Perangkat Bertemu Standar Universal

Untuk sepenuhnya menghargai pentingnya proyek apple-on-device-openai, seseorang harus memahami dua kekuatan besar yang disatukannya: manfaat AI di perangkat dan keberadaan luas OpenAI API.

Revolusi di Perangkat: Selama bertahun-tahun, AI yang kuat identik dengan pusat data besar dan pemrosesan berbasis cloud. Meskipun efektif, model ini memiliki kompromi inheren dalam hal privasi, latensi, dan biaya. Dengan menjalankan model secara lokal, Apple Intelligence menawarkan alternatif yang menarik:

Dilema Pengembang: Meskipun Apple menyediakan API native bagi pengembang untuk berinteraksi dengan Model Dasar ini, kenyataannya adalah sebagian besar lanskap pengembangan AI telah distandardisasi di sekitar OpenAI API. Banyak aplikasi, alat pengembang, pustaka, dan kerangka kerja—mulai dari skrip sederhana hingga sistem tingkat perusahaan yang kompleks—dibangun untuk berkomunikasi menggunakan struktur permintaan dan respons spesifik OpenAI. Bagi seorang pengembang, mengadopsi API baru yang spesifik platform berarti menulis ulang sejumlah besar kode, mempelajari paradigma baru, dan memecah pekerjaan mereka di berbagai standar.

Di sinilah repositori apple-on-device-openai memberikan nilai yang sangat besar. Ini bertindak sebagai lapisan kompatibilitas, penerjemah yang berada di antara dunia yang 'berbicara' OpenAI dan AI native Apple. Ini memungkinkan pengembang untuk mengarahkan aplikasi mereka yang sudah ada ke alamat server lokal alih-alih server OpenAI. Server lokal kemudian menerima permintaan standar OpenAI, menerjemahkannya menjadi panggilan yang dapat dipahami oleh Model Dasar Apple, memprosesnya di perangkat, dan kemudian memformat respons kembali ke struktur OpenAI yang sudah dikenal. Ini adalah 'pengganti langsung' (drop-in replacement), solusi mulus yang membuka dunia kemungkinan tanpa gesekan pengembangan ulang.

Memulai: Prasyarat dan Instalasi

Sebelum Anda dapat mengubah Mac Anda menjadi server AI lokal, Anda perlu memastikan sistem Anda siap. Proyek ini bergantung pada perangkat lunak beta dari Apple, di mana model-model baru di perangkat ini diperkenalkan.

Prasyarat:

Setelah prasyarat terpenuhi, Anda memiliki dua jalur untuk instalasi: pendekatan sederhana yang direkomendasikan untuk sebagian besar pengguna, dan pendekatan membangun dari sumber untuk pengembang yang ingin memeriksa atau memodifikasi kode.

Opsi 1: Unduh Aplikasi yang Sudah Dibangun (Direkomendasikan)

Ini adalah cara tercepat dan termudah untuk memulai.

  1. Navigasi ke Halaman Rilis: Temukan repositori resmi proyek di GitHub. Di sisi kanan halaman, klik bagian "Releases".
  2. Unduh Versi Terbaru: Temukan rilis terbaru dan unduh aset file .zip.
  3. Ekstrak dan Luncurkan: Setelah diunduh, unzip file tersebut dan Anda akan menemukan aplikasinya. Pindahkan ke folder Applications Anda dan luncurkan. Sesederhana itu.

Opsi 2: Bangun dari Sumber

Jika Anda seorang pengembang yang ingin melihat bagaimana keajaiban terjadi, atau mungkin berkontribusi pada proyek, Anda dapat membangunnya sendiri.

  1. Kloning Repositori: Buka Terminal Anda dan jalankan perintah berikut untuk mengunduh kode sumber: Bash
git clone https://github.com/gety-ai/apple-on-device-openai.git
  1. Navigasi ke Direktori: Masuk ke folder proyek yang baru dibuat: Bash
cd apple-on-device-openai
  1. Buka di Xcode: Buka file proyek di Xcode dengan perintah ini: Bash
open AppleOnDeviceOpenAI.xcodeproj
  1. Bangun dan Jalankan: Di dalam Xcode, cukup klik tombol "Build and Run" (ikon play) untuk mengkompilasi dan meluncurkan aplikasi.

Catatan Penting: Mengapa Aplikasi GUI?

Anda mungkin bertanya-tanya mengapa alat ini adalah aplikasi antarmuka pengguna grafis (GUI) daripada alat baris perintah sederhana. Penulis proyek membuat pilihan desain yang sangat cerdas berdasarkan kebijakan Apple. Menurut seorang Apple DTS Engineer, aplikasi foreground dengan antarmuka pengguna tidak memiliki batasan laju (rate limit) saat menggunakan Model Dasar. Alat baris perintah, bagaimanapun, memilikinya. Dengan mengemas server ke dalam aplikasi GUI, proyek ini memastikan Anda dapat membuat permintaan sebanyak yang Anda butuhkan tanpa dibatasi (throttled), memberikan pengalaman pengembangan yang mulus dan tidak terbatas. Ini adalah contoh sempurna dari rekayasa yang cermat yang bekerja di sekitar batasan platform untuk memberikan produk yang lebih baik.

Menggunakannya: Menjalankan Server dan Melakukan Panggilan API

Dengan aplikasi terinstal, Anda sekarang siap untuk melepaskan kekuatan AI di perangkat.

1. Meluncurkan Server:

Selesai. Server sekarang berjalan diam-diam di latar belakang mesin Anda, siap menerima permintaan API yang kompatibel dengan OpenAI. Aplikasi ini juga menyediakan pemeriksaan status untuk mengonfirmasi bahwa model Apple Intelligence tersedia dan siap di sistem Anda.

2. Memahami Endpoint:

Server mengekspos beberapa endpoint untuk manajemen dan interaksi:

3. Contoh Praktis:

Mari kita lihat cara berinteraksi dengan server. Contoh-contoh berikut mengasumsikan server Anda berjalan di alamat default.

Menggunakan curl (Baris Perintah)

Untuk pengujian cepat dari terminal Anda, Anda dapat menggunakan perintah curl. Ini mengirimkan permintaan HTTP langsung ke server.Bash

curl -X POST http://127.0.0.1:11535/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "apple-on-device",
    "messages": [
      {"role": "user", "content": "Explain the importance of on-device AI in 3 points."}
    ],
    "temperature": 0.7,
    "stream": false
  }'

Mari kita uraikan ini:

Menggunakan Klien Python OpenAI (Untuk Pengembang)

Di sinilah kekuatan sejati kompatibilitas bersinar. Jika Anda memiliki kode Python yang menggunakan pustaka openai, Anda dapat mengarahkannya ke server lokal Anda hanya dengan dua baris kode.Python

from openai import OpenAI

# Point to your local server instead of the standard OpenAI API address
client = OpenAI(
    base_url="http://127.0.0.1:11535/v1",
    api_key="not-needed"  # API key is not required for the local server
)

print("Sending request to local Apple AI model...")

# Now, use the client exactly as you would with the OpenAI API
response = client.chat.completions.create(
    model="apple-on-device",
    messages=[
        {"role": "user", "content": "Write a short poem about a computer dreaming."}
    ],
    temperature=0.8,
    stream=True  # Enable streaming for real-time output
)

print("Response:")
# Iterate through the streaming response chunks
for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

print() # for a newline at the end

Dalam contoh ini, perubahan utama ada pada instansiasi klien OpenAI(). Dengan mengatur base_url ke server lokal kita dan menyediakan api_key dummy, semua panggilan berikutnya ke client.chat.completions.create diarahkan ke model di perangkat. Parameter stream=True menunjukkan kemampuan server untuk melakukan streaming token kembali saat dihasilkan, memungkinkan efek real-time seperti mesin tik dalam aplikasi Anda.

Pengujian dan Kompatibilitas API

Untuk memastikan semuanya berfungsi seperti yang diharapkan, repositori ini menyertakan skrip pengujian yang berguna. Setelah memulai server, Anda dapat membuka terminal Anda, menavigasi ke direktori proyek, dan menjalankan:Bash

python3 test_server.py

Skrip ini akan menjalankan rangkaian pengujian komprehensif, memverifikasi kesehatan server, ketersediaan model, logika percakapan multi-giliran, serta respons streaming dan non-streaming. Ini adalah cara terbaik untuk mengonfirmasi pengaturan Anda sudah benar dan melihat lebih banyak pola penggunaan contoh.

Server mendukung parameter paling penting dari OpenAI Chat Completions API:

Kesimpulan dan Pandangan Masa Depan

Proyek apple-on-device-openai lebih dari sekadar kode yang cerdas; ini adalah katalisator penting untuk inovasi. Ini mendemokratisasi akses ke AI di perangkat Apple yang kuat, pribadi, dan cepat, membuatnya tersedia bagi ekosistem pengembang dan aplikasi yang luas tanpa kurva belajar yang curam atau pengembangan ulang yang mahal. Dengan merangkul standar de facto OpenAI API, ini memastikan bahwa alat, skrip, dan layanan yang kita gunakan hari ini dapat dengan mulus memanfaatkan AI di perangkat masa depan.

Proyek ini masih terus berkembang, dengan petunjuk menarik tentang kemampuan di masa depan. README menyebutkan "Tool Using (WIP)," yang menunjukkan bahwa pemanggilan fungsi (function calling)—kemampuan model AI untuk memanggil alat dan API eksternal—sudah di depan mata. Ini akan meningkatkan kegunaan model secara eksponensial, memungkinkannya tidak hanya menghasilkan teks tetapi juga mengambil tindakan, mengambil data langsung, dan berinteraksi dengan aplikasi lain, semuanya sambil mempertahankan inti privasi di perangkatnya.

Di dunia yang mendambakan AI yang lebih kuat, personal, dan pribadi, kemampuan untuk menjalankan model canggih secara lokal adalah pengubah permainan (game-changer). Repositori apple-on-device-openai berdiri sebagai bukti kekuatan pengembangan sumber terbuka dalam menjembatani kesenjangan teknologi, menyediakan solusi sederhana namun mendalam yang memberdayakan pengembang untuk membangun aplikasi cerdas generasi berikutnya.

💡
Ingin alat Pengujian API yang hebat yang menghasilkan Dokumentasi API yang indah?

Ingin platform Terintegrasi, All-in-One untuk Tim Pengembang Anda agar bekerja sama dengan produktivitas maksimum?

Apidog memenuhi semua permintaan Anda, dan menggantikan Postman dengan harga yang jauh lebih terjangkau!
button

Mengembangkan API dengan Apidog

Apidog adalah alat pengembangan API yang membantu Anda mengembangkan API dengan lebih mudah dan efisien.

Daftar gratisUnduh