แปลง LLM บนอุปกรณ์ Apple เป็น API ที่รองรับ OpenAI ด้วย Repo นี้

ในยุคที่ปัญญาประดิษฐ์กำลังเคลื่อนย้ายจากคลาวด์ไปยังอุปกรณ์ปลายทางมากขึ้นเรื่อยๆ Apple ได้ก้าวกระโดดครั้งสำคัญด้วยการเปิดตัว Foundation Models บนอุปกรณ์ ซึ่งเป็นส่วนประกอบหลักของ Apple Intelligence ที่เพิ่งเปิดตัวไปใหม่ โมเดลที่ทรงพลังและรักษาความเป็นส่วนตัวเหล่านี้ทำงานโดยตรงบนอุปกรณ์ของผู้ใช้ มอบความเร็วและความปลอดภัยของข้อมูลที่ไม่เคยมีมาก่อน อย่างไรก็ตาม สำหรับชุมชนนักพัฒนาจำนวนมากและระบบนิเวศของแอปพลิเคชันที่สร้างขึ้นรอบๆ OpenAI API ซึ่งเป็นมาตรฐานอุตสาหกรรม คำถามสำคัญก็เกิดขึ้นว่า: เราจะใช้ประโยชน์จากพลังใหม่บนอุปกรณ์นี้ได้อย่างไรโดยไม่ต้องปรับปรุงเครื่องมือที่เรามีอยู่ทั้งหมด?

คำตอบมาจากชุมชนนักพัฒนาในรูปแบบของโซลูชันที่สง่างามและทรงพลัง นั่นคือโปรเจกต์ "Apple On-Device OpenAI API" เครื่องมือโอเพนซอร์สนี้ทำหน้าที่เป็นสะพานเชื่อมอันชาญฉลาดระหว่างความสามารถ AI ใหม่ของ Apple กับโลกที่คุ้นเคยของ OpenAI API มันสร้างเซิร์ฟเวอร์ขนาดเล็กและเบาบน Mac ของคุณที่เปิดเผย Foundation Models ของ Apple ผ่านปลายทาง (endpoints) ที่เข้ากันได้กับ OpenAI โดยพื้นฐานแล้ว มันช่วยให้แอปพลิเคชันใดๆ ที่รู้วิธีสื่อสารกับ OpenAI สามารถสื่อสารโดยตรงกับ AI ที่ทำงานบนอุปกรณ์ Apple ของคุณเองได้โดยมีการเปลี่ยนแปลงน้อยที่สุด

บทความนี้ทำหน้าที่เป็นคู่มือฉบับสมบูรณ์สำหรับการทำความเข้าใจ การติดตั้ง และการใช้งาน repository ที่ล้ำสมัยนี้ เราจะเจาะลึกว่าทำไมเครื่องมือดังกล่าวจึงจำเป็น อธิบายขั้นตอนการตั้งค่าทีละขั้นตอน สำรวจการใช้งานจริงพร้อมตัวอย่างโค้ด และมองไปถึงอนาคตที่กำลังจะมาถึง เมื่ออ่านจบ คุณจะสามารถเปลี่ยนอุปกรณ์ Apple ของคุณให้กลายเป็นขุมพลัง AI ในเครื่อง ที่เข้ากันได้อย่างสมบูรณ์กับเครื่องมือและเวิร์กโฟลว์ที่คุณรู้จักและชื่นชอบอยู่แล้ว

"ทำไม": พลังบนอุปกรณ์พบกับมาตรฐานสากล

เพื่อที่จะเข้าใจความสำคัญของโปรเจกต์ apple-on-device-openai อย่างถ่องแท้ เราต้องเข้าใจพลังสองอย่างที่มันรวมเข้าด้วยกัน นั่นคือประโยชน์ของ AI บนอุปกรณ์ และความแพร่หลายของ OpenAI API

การปฏิวัติบนอุปกรณ์: เป็นเวลาหลายปีที่ AI ทรงพลังมีความหมายเหมือนกันกับศูนย์ข้อมูลขนาดใหญ่และการประมวลผลบนคลาวด์ แม้จะมีประสิทธิภาพ แต่โมเดลนี้ก็มีข้อเสียที่สำคัญในด้านความเป็นส่วนตัว ความหน่วง และค่าใช้จ่าย ด้วยการรันโมเดลในเครื่อง Apple Intelligence นำเสนอทางเลือกที่น่าสนใจ:

• ความเป็นส่วนตัว: ข้อมูล พรอมต์ และการสนทนาของคุณจะไม่หลุดออกจากอุปกรณ์ของคุณเลย พวกเขาจะไม่ถูกส่งไปยังเซิร์ฟเวอร์ระยะไกลเพื่อประมวลผล ซึ่งมอบระดับความลับที่ไม่สามารถทำได้ง่ายๆ ด้วยบริการบนคลาวด์
• ความหน่วง (Latency): โดยไม่ต้องเดินทางไปกลับผ่านเครือข่าย การตอบสนองจะเกิดขึ้นเกือบจะทันที นี่เป็นสิ่งสำคัญสำหรับการสร้างประสบการณ์ผู้ใช้ที่ราบรื่นและตอบสนองได้ดี ตั้งแต่การสร้างข้อความแบบเรียลไทม์ไปจนถึงการสรุปอย่างรวดเร็ว
• ความคุ้มค่า: เนื่องจากการประมวลผลเกิดขึ้นบนฮาร์ดแวร์ที่คุณเป็นเจ้าของอยู่แล้ว จึงไม่มีค่าธรรมเนียม API ค่าโทเค็น หรือค่าสมัครสมาชิกที่เกี่ยวข้องกับการใช้โมเดลพื้นฐาน

ภาวะกลืนไม่เข้าคายไม่ออกของนักพัฒนา: แม้ว่า Apple จะมี API ดั้งเดิมให้นักพัฒนาโต้ตอบกับ Foundation Models เหล่านี้ แต่ความเป็นจริงคือส่วนใหญ่ของภูมิทัศน์การพัฒนา AI ได้กำหนดมาตรฐานไว้ที่ OpenAI API แอปพลิเคชัน เครื่องมือสำหรับนักพัฒนา ไลบรารี และเฟรมเวิร์กจำนวนนับไม่ถ้วน ตั้งแต่สคริปต์ง่ายๆ ไปจนถึงระบบระดับองค์กรที่ซับซ้อน ถูกสร้างขึ้นเพื่อสื่อสารโดยใช้โครงสร้างคำขอและคำตอบเฉพาะของ OpenAI สำหรับนักพัฒนา การนำ API ใหม่ที่เฉพาะเจาะจงสำหรับแพลตฟอร์มจะหมายถึงการเขียนโค้ดจำนวนมากใหม่ การเรียนรู้กระบวนทัศน์ใหม่ๆ และการแบ่งงานของพวกเขาออกเป็นมาตรฐานที่แตกต่างกัน

นี่คือจุดที่ repository apple-on-device-openai มอบคุณค่ามหาศาล มันทำหน้าที่เป็นเลเยอร์ความเข้ากันได้ เป็นตัวแปลที่อยู่ระหว่างโลกที่พูดภาษา OpenAI และ AI ดั้งเดิมของ Apple มันช่วยให้นักพัฒนาสามารถชี้แอปพลิเคชันที่มีอยู่ไปยังที่อยู่เซิร์ฟเวอร์ในเครื่องแทนเซิร์ฟเวอร์ของ OpenAI จากนั้นเซิร์ฟเวอร์ในเครื่องจะรับคำขอมาตรฐานของ OpenAI แปลงเป็นคำสั่งที่ Foundation Models ของ Apple เข้าใจ ประมวลผลบนอุปกรณ์ และจัดรูปแบบการตอบกลับให้อยู่ในโครงสร้าง OpenAI ที่คุ้นเคยอีกครั้ง มันคือ "ตัวแทนที่สามารถเสียบแทนได้ทันที" (drop-in replacement) ซึ่งเป็นโซลูชันที่ราบรื่นที่ปลดล็อกโลกแห่งความเป็นไปได้โดยไม่มีอุปสรรคในการพัฒนาใหม่

เริ่มต้นใช้งาน: ข้อกำหนดเบื้องต้นและการติดตั้ง

ก่อนที่คุณจะเปลี่ยน Mac ของคุณให้เป็นเซิร์ฟเวอร์ AI ในเครื่องได้ คุณต้องตรวจสอบให้แน่ใจว่าระบบของคุณพร้อม โปรเจกต์นี้ต้องใช้ซอฟต์แวร์เบต้าจาก Apple ซึ่งเป็นที่ที่โมเดลใหม่บนอุปกรณ์เหล่านี้ได้รับการแนะนำ

ข้อกำหนดเบื้องต้น:

• macOS 26 beta (หรือใหม่กว่า): นี่คือเวอร์ชันของระบบปฏิบัติการที่รวมเฟรมเวิร์กที่จำเป็นและการเข้าถึง Apple Intelligence
• เปิดใช้งาน Apple Intelligence: คุณต้องเปิดใช้งาน Apple Intelligence ในการตั้งค่าระบบของคุณ ซึ่งโดยทั่วไปจะพบได้ภายใต้ การตั้งค่า > Apple Intelligence & Siri
• Xcode 26 beta (หรือใหม่กว่า): จำเป็นหากคุณวางแผนที่จะสร้างโปรเจกต์จากซอร์สโค้ด

เมื่อตรงตามข้อกำหนดเบื้องต้นแล้ว คุณมีสองวิธีในการติดตั้ง: วิธีที่ง่ายและแนะนำสำหรับผู้ใช้ส่วนใหญ่ และวิธีสร้างจากซอร์สโค้ดสำหรับนักพัฒนาที่ต้องการตรวจสอบหรือแก้ไขโค้ด

ตัวเลือกที่ 1: ดาวน์โหลดแอปที่สร้างไว้ล่วงหน้า (แนะนำ)

นี่เป็นวิธีที่รวดเร็วและง่ายที่สุดในการเริ่มต้นใช้งาน

1. ไปยังหน้า Releases: ค้นหา repository อย่างเป็นทางการของโปรเจกต์บน GitHub ที่ด้านขวามือของหน้า ให้คลิกที่ส่วน "Releases"
2. ดาวน์โหลดเวอร์ชันล่าสุด: ค้นหารุ่นล่าสุดและดาวน์โหลดไฟล์ .zip
3. แตกไฟล์และเปิดใช้งาน: เมื่อดาวน์โหลดแล้ว ให้แตกไฟล์ คุณจะพบแอปพลิเคชัน ย้ายไปยังโฟลเดอร์ Applications ของคุณแล้วเปิดใช้งาน ง่ายแค่นั้นเอง

ตัวเลือกที่ 2: สร้างจากซอร์สโค้ด

หากคุณเป็นนักพัฒนาที่ต้องการดูว่าความมหัศจรรย์เกิดขึ้นได้อย่างไร หรืออาจต้องการมีส่วนร่วมในโปรเจกต์ คุณสามารถสร้างมันขึ้นมาเองได้

1. โคลน Repository: เปิด Terminal ของคุณและรันคำสั่งต่อไปนี้เพื่อดาวน์โหลดซอร์สโค้ด: Bash

git clone https://github.com/gety-ai/apple-on-device-openai.git

1. เข้าไปใน Directory: เปลี่ยนไปยังโฟลเดอร์โปรเจกต์ที่สร้างขึ้นใหม่: Bash

cd apple-on-device-openai

1. เปิดใน Xcode: เปิดไฟล์โปรเจกต์ใน Xcode ด้วยคำสั่งนี้: Bash

open AppleOnDeviceOpenAI.xcodeproj

1. สร้างและรัน: ภายใน Xcode เพียงคลิกปุ่ม "Build and Run" (ไอคอนรูปสามเหลี่ยม) เพื่อคอมไพล์และเปิดใช้งานแอปพลิเคชัน

หมายเหตุสำคัญ: ทำไมต้องเป็นแอป GUI?

คุณอาจสงสัยว่าทำไมเครื่องมือนี้ถึงเป็นแอปพลิเคชันที่มีส่วนต่อประสานกราฟิกกับผู้ใช้ (GUI) แทนที่จะเป็นเครื่องมือบรรทัดคำสั่งง่ายๆ ผู้เขียนโปรเจกต์ได้ตัดสินใจออกแบบอย่างชาญฉลาดโดยอิงตามนโยบายของ Apple ตามข้อมูลจากวิศวกร Apple DTS แอปที่ทำงานอยู่เบื้องหน้าและมีส่วนต่อประสานผู้ใช้จะไม่มีการจำกัดอัตรา (rate limit) เมื่อใช้ Foundation Models แต่เครื่องมือบรรทัดคำสั่งมีการจำกัด ด้วยการบรรจุเซิร์ฟเวอร์ไว้ในแอป GUI โปรเจกต์นี้จึงมั่นใจได้ว่าคุณสามารถส่งคำขอได้มากเท่าที่ต้องการโดยไม่ถูกจำกัด ซึ่งมอบประสบการณ์การพัฒนาที่ราบรื่นและไม่ถูกจำกัด นี่เป็นตัวอย่างที่สมบูรณ์แบบของวิศวกรรมที่คำนึงถึงผู้ใช้ ซึ่งหลีกเลี่ยงข้อจำกัดของแพลตฟอร์มเพื่อส่งมอบผลิตภัณฑ์ที่ดีขึ้น

การนำไปใช้: การรันเซิร์ฟเวอร์และการเรียก API

เมื่อติดตั้งแอปพลิเคชันแล้ว คุณก็พร้อมที่จะปลดปล่อยพลังของ AI บนอุปกรณ์แล้ว

1. การเปิดใช้งานเซิร์ฟเวอร์:

• เปิดแอปพลิเคชัน AppleOnDeviceOpenAI
• คุณจะเห็นอินเทอร์เฟซที่เรียบง่ายพร้อมการตั้งค่าเซิร์ฟเวอร์ ที่อยู่เริ่มต้น 127.0.0.1:11535 เหมาะสำหรับการทดสอบในเครื่อง
• คลิกปุ่ม "Start Server"

เพียงเท่านี้ เซิร์ฟเวอร์ก็กำลังทำงานอย่างเงียบๆ อยู่เบื้องหลังบนเครื่องของคุณ พร้อมที่จะรับคำขอ API ที่เข้ากันได้กับ OpenAI แอปยังมีฟังก์ชันตรวจสอบสถานะเพื่อยืนยันว่าโมเดล Apple Intelligence พร้อมใช้งานและทำงานอยู่บนระบบของคุณ

2. การทำความเข้าใจ Endpoints:

เซิร์ฟเวอร์เปิดเผย endpoints หลายรายการสำหรับการจัดการและการโต้ตอบ:

• GET /health: การตรวจสอบสถานะสุขภาพง่ายๆ เพื่อดูว่าเซิร์ฟเวอร์กำลังทำงานอยู่หรือไม่
• GET /status: ให้ข้อมูลความพร้อมใช้งานและสถานะของโมเดลบนอุปกรณ์
• GET /v1/models: แสดงรายการโมเดลที่มีอยู่ ในกรณีนี้ จะส่งคืนตัวระบุโมเดลหลักคือ "apple-on-device"
• POST /v1/chat/completions: นี่คือส่วนสำคัญ เป็น endpoint ที่จำลอง API การเติมข้อความแชทของ OpenAI สำหรับการสร้างข้อความ

3. ตัวอย่างการใช้งานจริง:

มาดูกันว่าจะโต้ตอบกับเซิร์ฟเวอร์ได้อย่างไร ตัวอย่างต่อไปนี้สมมติว่าเซิร์ฟเวอร์ของคุณกำลังทำงานอยู่ที่ที่อยู่เริ่มต้น

การใช้ curl (บรรทัดคำสั่ง)

สำหรับการทดสอบอย่างรวดเร็วจาก Terminal ของคุณ คุณสามารถใช้คำสั่ง curl ได้ ซึ่งจะส่งคำขอ HTTP โดยตรงไปยังเซิร์ฟเวอร์ Bash

curl -X POST http://127.0.0.1:11535/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "apple-on-device",
    "messages": [
      {"role": "user", "content": "Explain the importance of on-device AI in 3 points."}
    ],
    "temperature": 0.7,
    "stream": false
  }'

มาแยกส่วนกัน:

• URL ชี้ไปยัง endpoint การเติมข้อความแชทในเครื่อง
• แฟล็ก -H ตั้งค่า header เพื่อบอกเซิร์ฟเวอร์ว่าเรากำลังส่งข้อมูล JSON
• แฟล็ก -d มี payload JSON พร้อมรายละเอียดคำขอ:
• "model": "apple-on-device": นี่เป็นสิ่งสำคัญ คุณต้องใช้ตัวระบุโมเดลนี้
• "messages": ประวัติการสนทนา
• "temperature": ควบคุมความคิดสร้างสรรค์ของการตอบสนอง
• "stream": false: บอกเซิร์ฟเวอร์ให้ส่งการตอบสนองทั้งหมดกลับมาในครั้งเดียว

การใช้ OpenAI Python Client (สำหรับนักพัฒนา)

นี่คือจุดที่พลังที่แท้จริงของความเข้ากันได้เปล่งประกาย หากคุณมีโค้ด Python ใดๆ ที่ใช้ไลบรารี openai คุณสามารถเปลี่ยนเส้นทางไปยังเซิร์ฟเวอร์ในเครื่องของคุณได้ด้วยโค้ดเพียงสองบรรทัด Python

from openai import OpenAI

# Point to your local server instead of the standard OpenAI API address
client = OpenAI(
    base_url="http://127.0.0.1:11535/v1",
    api_key="not-needed"  # API key is not required for the local server
)

print("Sending request to local Apple AI model...")

# Now, use the client exactly as you would with the OpenAI API
response = client.chat.completions.create(
    model="apple-on-device",
    messages=[
        {"role": "user", "content": "Write a short poem about a computer dreaming."}
    ],
    temperature=0.8,
    stream=True  # Enable streaming for real-time output
)

print("Response:")
# Iterate through the streaming response chunks
for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

print() # for a newline at the end

ในตัวอย่างนี้ การเปลี่ยนแปลงที่สำคัญคือการสร้างอินสแตนซ์ไคลเอ็นต์ OpenAI() โดยการตั้งค่า base_url ไปยังเซิร์ฟเวอร์ในเครื่องของเราและให้ api_key แบบหลอก การเรียก client.chat.completions.create ทั้งหมดหลังจากนั้นจะถูกส่งไปยังโมเดลบนอุปกรณ์ พารามิเตอร์ stream=True แสดงให้เห็นถึงความสามารถของเซิร์ฟเวอร์ในการสตรีมโทเค็นกลับมาเมื่อถูกสร้างขึ้น ทำให้เกิดเอฟเฟกต์แบบเรียลไทม์เหมือนเครื่องพิมพ์ดีดในแอปพลิเคชันของคุณ

การทดสอบและความเข้ากันได้ของ API

เพื่อให้แน่ใจว่าทุกอย่างทำงานตามที่คาดไว้ repository มีสคริปต์ทดสอบที่เป็นประโยชน์รวมอยู่ด้วย หลังจากเริ่มเซิร์ฟเวอร์แล้ว คุณสามารถเปิด Terminal นำทางไปยัง directory โปรเจกต์ และรัน: Bash

python3 test_server.py

สคริปต์นี้จะรันชุดการทดสอบที่ครอบคลุม ตรวจสอบสุขภาพของเซิร์ฟเวอร์ ความพร้อมใช้งานของโมเดล ตรรกะการสนทนาแบบหลายรอบ และการตอบสนองทั้งแบบสตรีมมิ่งและไม่สตรีมมิ่ง เป็นวิธีที่ยอดเยี่ยมในการยืนยันว่าการตั้งค่าของคุณถูกต้องและดูรูปแบบการใช้งานเพิ่มเติม

เซิร์ฟเวอร์รองรับพารามิเตอร์ที่สำคัญที่สุดของ OpenAI Chat Completions API:

• model: ต้องเป็น "apple-on-device"
• messages: อาร์เรย์ของข้อความสนทนา
• temperature: ควบคุมความสุ่ม (0.0 ถึง 2.0)
• max_tokens: จำนวนโทเค็นสูงสุดที่จะสร้าง
• stream: ค่า boolean เพื่อเปิดหรือปิดการสตรีมมิ่ง

บทสรุปและแนวโน้มในอนาคต

โปรเจกต์ apple-on-device-openai เป็นมากกว่าแค่โค้ดที่ชาญฉลาด แต่เป็นตัวเร่งปฏิกิริยาที่สำคัญสำหรับการสร้างสรรค์นวัตกรรม มันทำให้การเข้าถึง AI บนอุปกรณ์ที่ทรงพลัง เป็นส่วนตัว และรวดเร็วของ Apple เป็นไปได้อย่างทั่วถึง ทำให้พร้อมใช้งานสำหรับระบบนิเวศขนาดใหญ่ของนักพัฒนาและแอปพลิเคชันโดยไม่ต้องใช้เวลาเรียนรู้มากหรือเสียค่าใช้จ่ายในการพัฒนาใหม่ ด้วยการนำมาตรฐานโดยพฤตินัยของ OpenAI API มาใช้ ทำให้มั่นใจได้ว่าเครื่องมือ สคริปต์ และบริการที่เราใช้ในปัจจุบันจะได้รับประโยชน์จาก AI บนอุปกรณ์ในอนาคตได้อย่างราบรื่น

โปรเจกต์ยังคงมีการพัฒนาอย่างต่อเนื่อง พร้อมกับคำใบ้ที่น่าสนใจเกี่ยวกับความสามารถในอนาคต ไฟล์ README กล่าวถึง "Tool Using (WIP)" ซึ่งบ่งชี้ว่าฟังก์ชันการเรียก (function calling) ซึ่งเป็นความสามารถของโมเดล AI ในการเรียกใช้เครื่องมือและ API ภายนอก กำลังจะมาถึง สิ่งนี้จะเพิ่มประโยชน์ของโมเดลขึ้นอย่างทวีคูณ ทำให้ไม่เพียงแค่สร้างข้อความเท่านั้น แต่ยังสามารถดำเนินการ ดึงข้อมูลสด และโต้ตอบกับแอปพลิเคชันอื่นๆ ได้ ทั้งหมดนี้ในขณะที่ยังคงรักษาความเป็นส่วนตัวบนอุปกรณ์เป็นหลัก

ในโลกที่เรียกร้อง AI ที่ทรงพลัง เป็นส่วนตัว และมีความเป็นส่วนตัวมากขึ้น ความสามารถในการรันโมเดลที่ซับซ้อนในเครื่องถือเป็นการเปลี่ยนแปลงครั้งใหญ่ repository apple-on-device-openai เป็นข้อพิสูจน์ถึงพลังของการพัฒนาโอเพนซอร์สในการเชื่อมช่องว่างทางเทคโนโลยี โดยนำเสนอโซลูชันที่เรียบง่ายแต่ลึกซึ้ง ซึ่งช่วยให้นักพัฒนาสามารถสร้างแอปพลิเคชันอัจฉริยะยุคต่อไปได้