วิธีเรียกใช้ Mistral Small 3.1 ในเครื่องของคุณเองโดยใช้ Ollama: คู่มือทีละขั้นตอน

```html

การรันโมเดล AI ขั้นสูงในเครื่องของคุณเองมอบการควบคุม ความเป็นส่วนตัว และตัวเลือกการปรับแต่งที่ไม่มีใครเทียบได้ให้กับนักพัฒนาและผู้ที่สนใจด้านเทคโนโลยี หากคุณกระตือรือร้นที่จะใช้พลังของปัญญาประดิษฐ์ที่ล้ำสมัยบนเครื่องของคุณเอง Mistral Small 3.1 ร่วมกับ Ollama มอบโซลูชันที่ยอดเยี่ยม Mistral Small 3.1 เป็นโมเดลภาษาที่ทันสมัยที่สุดที่พัฒนาโดย Mistral AI ซึ่งมีพารามิเตอร์ 24 พันล้านตัวและประสิทธิภาพระดับสูงสุดในระดับน้ำหนัก ในขณะเดียวกัน Ollama ทำให้กระบวนการปรับใช้โมเดลภาษาขนาดใหญ่ (LLMs) ในเครื่องง่ายขึ้น ทำให้เข้าถึงได้แม้กระทั่งผู้ที่มีการตั้งค่าทางเทคนิคที่ไม่ซับซ้อน ในคู่มือฉบับสมบูรณ์นี้ เราจะแนะนำคุณตลอดทุกขั้นตอนในการทำให้ Mistral Small 3.1 ทำงานบนระบบของคุณโดยใช้ Ollama นอกจากนี้ เราจะแสดงวิธีปรับปรุงประสบการณ์ของคุณโดยการรวม Apidog ซึ่งเป็นเครื่องมืออันทรงพลังสำหรับการพัฒนาและทดสอบ API

ทำไมต้องใช้ในเครื่อง? ด้วยการรัน Mistral Small 3.1 บนเครื่องของคุณ คุณจะเก็บข้อมูลของคุณไว้เป็นส่วนตัว หลีกเลี่ยงค่าใช้จ่ายบนคลาวด์ และมีความยืดหยุ่นในการปรับแต่งโมเดลตามความต้องการของคุณ ไม่ว่าจะเป็นการสร้างแชทบอท การสร้างโค้ด หรือการประมวลผลข้อความหลายภาษา

💡

เพื่อให้การโต้ตอบกับโมเดลในเครื่องของคุณราบรื่นยิ่งขึ้น เราขอแนะนำให้ใช้ Apidog เครื่องมือ API ฟรีนี้ช่วยให้คุณทดสอบและแก้ไขจุดสิ้นสุดของโมเดลของคุณได้อย่างง่ายดาย ดาวน์โหลด Apidog ได้ฟรีวันนี้และปรับปรุงเวิร์กโฟลว์ของคุณในขณะที่คุณสำรวจความสามารถของ Mistral Small 3.1!

button

ทำไมต้องเลือก Mistral Small 3.1 และ Ollama?

ก่อนที่จะเข้าสู่การตั้งค่า มาสำรวจว่าทำไม Mistral Small 3.1 และ Ollama จึงเป็นคู่ที่น่าสนใจ Mistral Small 3.1 ซึ่งเปิดตัวภายใต้ใบอนุญาต Apache 2.0 แบบโอเพนซอร์ส มอบประสิทธิภาพที่ยอดเยี่ยมสำหรับขนาดของมัน ด้วยหน้าต่างบริบท 128k-token จึงจัดการกับการสนทนาหรือเอกสารขนาดยาวได้อย่างง่ายดาย นอกจากนี้ยังรองรับหลายภาษาและอินพุตแบบหลายรูปแบบ ทำให้มีความหลากหลายสำหรับงานต่างๆ เช่น การสร้างข้อความ การแปล หรือแม้แต่การวิเคราะห์คำบรรยายภาพ นักพัฒนาชื่นชอบประสิทธิภาพของมัน เนื่องจากสามารถแข่งขันกับโมเดลที่ใหญ่กว่าได้ในขณะที่ทำงานบนฮาร์ดแวร์ที่ไม่ซับซ้อนมากนัก

Ollama ในทางกลับกัน เป็นเครื่องมือน้ำหนักเบาที่ออกแบบมาเพื่อรัน LLMs ในเครื่อง มันจะแยกความซับซ้อนออกไปมากมาย เช่น การจัดการการพึ่งพาหรือการกำหนดค่า GPU เพื่อให้คุณสามารถมุ่งเน้นไปที่การใช้โมเดลแทนที่จะต้องดิ้นรนกับอุปสรรคในการตั้งค่า ด้วยกัน Mistral Small 3.1 และ Ollama ช่วยให้คุณสามารถปรับใช้โมเดล AI ที่มีประสิทธิภาพสูงได้โดยไม่ต้องพึ่งพาบริการคลาวด์

การติดตั้ง Ollama บนเครื่องของคุณ

Ollama ทำให้การรัน LLMs ในเครื่องง่ายขึ้น และการติดตั้งก็ตรงไปตรงมา ทำตามขั้นตอนเหล่านี้เพื่อให้มันทำงาน:

ติดตั้ง Ollama: ดาวน์โหลดได้จาก เว็บไซต์อย่างเป็นทางการของ Ollama และทำตามคำแนะนำ

ตรวจสอบการติดตั้ง: ยืนยันว่า Ollama ติดตั้งอย่างถูกต้องโดยตรวจสอบเวอร์ชัน:

ollama --version

คุณควรเห็นหมายเลขเวอร์ชัน (เช่น 0.1.x) หากไม่เป็นเช่นนั้น ให้แก้ไขปัญหาโดยตรวจสอบให้แน่ใจว่า PATH ของคุณมีไบนารีของ Ollama

หลังจากติดตั้ง Ollama แล้ว คุณเข้าใกล้การรัน Mistral Small 3.1 ไปอีกขั้น ถัดไป คุณต้องดึงข้อมูลโมเดลเอง

การดาวน์โหลดน้ำหนักโมเดล Mistral Small 3.1

เปิดเทอร์มินัลของคุณแล้วพิมพ์:

ollama pull cnjack/mistral-samll-3.1

สิ่งนี้จะดาวน์โหลดน้ำหนักโมเดลไปยังที่เก็บข้อมูลในเครื่องของคุณ (เวอร์ชันชุมชนของ mistral small 3.1) ลิงก์: https://ollama.com/cnjack/mistral-samll-3.1

ขึ้นอยู่กับความเร็วอินเทอร์เน็ตของคุณ อาจใช้เวลา 15-30 นาทีเนื่องจากขนาดไฟล์ 50GB+

ตรวจสอบการดาวน์โหลด: รัน ollama list อีกครั้ง คุณควรเห็น mistral-small-3.1 แสดงอยู่ ซึ่งบ่งชี้ว่าพร้อมใช้งาน

ตอนนี้คุณมีโมเดลแล้ว มาโหลดลงใน Ollama และเริ่มสำรวจความสามารถของมันกัน

การโหลด Mistral Small 3.1 ลงใน Ollama

การโหลดโมเดลจะเตรียมพร้อมสำหรับการอนุมาน Ollama จัดการงานหนัก ดังนั้นขั้นตอนนี้นี้จึงรวดเร็ว:

โหลดโมเดล: ดำเนินการคำสั่งนี้เพื่อโหลด Mistral Small 3.1 ลงในหน่วยความจำ:

ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_S

ครั้งแรกที่คุณรันสิ่งนี้ Ollama จะเริ่มต้นโมเดล ซึ่งอาจใช้เวลาสองสามนาทีขึ้นอยู่กับฮาร์ดแวร์ของคุณ การรันครั้งต่อๆ ไปจะเร็วขึ้น

ทดสอบ: เมื่อโหลดแล้ว Ollama จะนำคุณเข้าสู่พรอมต์แบบโต้ตอบ พิมพ์แบบสอบถามง่ายๆ:

สวัสดี Mistral Small 3.1 ทำงานอย่างไร?

โมเดลตอบสนองโดยตรงในเทอร์มินัล แสดงให้เห็นถึงความสามารถในการสร้างข้อความ

ณ จุดนี้ Mistral Small 3.1 พร้อมใช้งาน อย่างไรก็ตาม เพื่อปลดล็อกศักยภาพสูงสุด โดยเฉพาะอย่างยิ่งสำหรับการเข้าถึงแบบเป็นโปรแกรม มาสำรวจวิธีโต้ตอบกับมันเพิ่มเติม

การโต้ตอบกับ Mistral Small 3.1 ในเครื่อง

คุณสามารถมีส่วนร่วมกับ Mistral Small 3.1 ได้สองวิธีหลัก: การอนุมานบรรทัดคำสั่งโดยตรง หรือผ่านเซิร์ฟเวอร์ API ทั้งสองวิธีใช้ประโยชน์จากความยืดหยุ่นของ Ollama และเราจะเชื่อมโยง Apidog สำหรับแนวทาง API

วิธีที่ 1: การอนุมานโดยตรงผ่านบรรทัดคำสั่ง

สำหรับการทดสอบอย่างรวดเร็วหรือการสร้างแบบครั้งเดียว ให้ใช้คำสั่ง run ของ Ollama พร้อมพรอมต์:

ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_S "เขียนบทกวีสั้นๆ เกี่ยวกับ AI"

โมเดลประมวลผลอินพุตและส่งออกการตอบสนอง เช่น:

จิตใจประดิษฐ์ในวงจรลึก
เรียนรู้รูปแบบขณะที่เราหลับ
เสียงของโค้ด พวกเขาพูดเบาๆ
อนาคตสดใส ความคิดของเราเก็บไว้

วิธีนี้เหมาะสำหรับการทดลอง แต่ขาดความสามารถในการปรับขนาด สำหรับแอปพลิเคชันที่แข็งแกร่งกว่า ให้ตั้งค่าเซิร์ฟเวอร์ API

วิธีที่ 2: การรัน Mistral Small 3.1 เป็นเซิร์ฟเวอร์ API

ในการรวม Mistral Small 3.1 เข้ากับโปรเจ็กต์หรือทดสอบอย่างเป็นระบบ ให้รันเป็นเซิร์ฟเวอร์ API ในเครื่อง:

เริ่มเซิร์ฟเวอร์: เปิด Ollama ในโหมดเซิร์ฟเวอร์:

ollama serve

สิ่งนี้จะเริ่ม REST API บน http://localhost:11434 (พอร์ตเริ่มต้นของ Ollama) รันสิ่งนี้ในเทอร์มินัลหนึ่งเครื่อง

ทดสอบ API: ในเทอร์มินัลใหม่ ใช้ curl เพื่อส่งคำขอ:

curl http://localhost:11434/api/generate -d '{"model": "mistral-small-3.1", "prompt": "อธิบาย AI ในหนึ่งประโยค"}'

การตอบสนองอาจมีลักษณะดังนี้:

{
  "response": "AI คือการจำลองสติปัญญาของมนุษย์โดยเครื่องจักร ทำให้พวกเขาสามารถเรียนรู้ เหตุผล และทำงานได้อย่างอิสระ"
}

การตั้งค่า API นี้เปิดประตูสู่การโต้ตอบขั้นสูง ซึ่งเป็นที่ที่ Apidog เปล่งประกาย

การใช้ Apidog เพื่อโต้ตอบกับ API ของ Mistral Small 3.1

Apidog ทำให้การทดสอบและพัฒนา API ง่ายขึ้น ทำให้เหมาะสำหรับการสอบถามเซิร์ฟเวอร์ Mistral Small 3.1 ในเครื่องของคุณ นี่คือวิธีการตั้งค่า:

ติดตั้ง Apidog:

ไปที่ เว็บไซต์ของ Apidog และดาวน์โหลดแอปเดสก์ท็อปฟรีสำหรับระบบปฏิบัติการของคุณ
ติดตั้งโดยทำตามคำแนะนำบนหน้าจอ

button

สร้างโปรเจ็กต์ใหม่:

เปิด Apidog แล้วคลิก "โปรเจ็กต์ใหม่"
ตั้งชื่อว่า "Mistral Small 3.1 Local API"

เพิ่มคำขอ API:

คลิก "คำขอใหม่" และตั้งค่าเมธอดเป็น POST
ป้อนจุดสิ้นสุด: http://localhost:11434/api/generate

กำหนดค่าเนื้อหาคำขอ:

สลับไปที่แท็บ "เนื้อหา" เลือก "JSON" และป้อน:

{
  "model": "mistral-small-3.1",
  "prompt": "สร้างสคริปต์ Python เพื่อพิมพ์ 'Hello, AI!'",
  "stream": false
}

ส่งและตรวจสอบ:

กด "ส่ง" Apidog จะแสดงการตอบสนอง เช่น:

{
  "response": "print('Hello, AI!')"
}

ใช้เครื่องมือของ Apidog เพื่อปรับแต่งพารามิเตอร์ บันทึกคำขอ หรือแก้ไขข้อผิดพลาด

อินเทอร์เฟซที่ใช้งานง่ายของ Apidog ช่วยให้คุณทดลองใช้พรอมต์ ตรวจสอบเวลาตอบสนอง และแม้แต่ทำให้การทดสอบเป็นไปโดยอัตโนมัติ ซึ่งเหมาะสำหรับนักพัฒนาที่สร้างบน Mistral Small 3.1

การแก้ไขปัญหาทั่วไป

การรันโมเดลพารามิเตอร์ 24B ในเครื่องอาจประสบปัญหา นี่คือวิธีแก้ไขปัญหาที่พบบ่อย:

ข้อผิดพลาดหน่วยความจำไม่เพียงพอ:
แก้ไข: ตรวจสอบให้แน่ใจว่าคุณมี RAM 32GB+ และ GPU ที่มี VRAM เพียงพอ (เช่น 24GB บน RTX 4090) ลดขนาดแบทช์หรือความยาวบริบทหากจำเป็น
ไม่พบโมเดล:
แก้ไข: ตรวจสอบว่าการดาวน์โหลดเสร็จสมบูรณ์ (ollama list) และชื่อโมเดลตรงกันทุกประการ
เซิร์ฟเวอร์ API เริ่มต้นไม่สำเร็จ:
แก้ไข: ตรวจสอบว่าพอร์ต 11434 กำลังใช้งานอยู่ (netstat -tuln | grep 11434) และทำให้ว่าง หรือเปลี่ยนพอร์ตของ Ollama ผ่านการกำหนดค่า
ประสิทธิภาพช้า:
แก้ไข: อัปเกรด GPU ของคุณ หรือมอบหมายงานที่ไม่สำคัญน้อยกว่าให้กับ CPU

ด้วยเคล็ดลับเหล่านี้ คุณสามารถแก้ไขปัญหาส่วนใหญ่และทำให้ Mistral Small 3.1 ทำงานได้อย่างราบรื่น

การปรับปรุงและขยายการตั้งค่าของคุณ

ตอนนี้ Mistral Small 3.1 ทำงานในเครื่องแล้ว ลองพิจารณาการปรับปรุง:

การปรับแต่ง: ใช้ชุดข้อมูลเฉพาะสำหรับโดเมนของคุณ (เช่น ข้อความทางกฎหมาย โค้ด) เพื่อปรับแต่งเอาต์พุตของโมเดล
การปรับขนาด: รันอินสแตนซ์ Ollama หลายรายการสำหรับโมเดลหรืองานต่างๆ
การรวม: เชื่อมต่อ API เข้ากับเว็บแอป บอท หรือเวิร์กโฟลว์โดยใช้ Apidog เพื่อสร้างต้นแบบจุดสิ้นสุด

ขั้นตอนเหล่านี้จะปลดล็อกศักยภาพสูงสุดของ Mistral Small 3.1 ปรับให้เข้ากับโปรเจ็กต์เฉพาะของคุณ

บทสรุป

การรัน Mistral Small 3.1 ในเครื่องโดยใช้ Ollama เป็นตัวเปลี่ยนเกมสำหรับนักพัฒนาและผู้ที่สนใจด้าน AI คู่มือนี้ได้แนะนำคุณตลอดกระบวนการตั้งแต่การรวบรวมข้อกำหนดเบื้องต้นไปจนถึงการติดตั้ง Ollama การดาวน์โหลดโมเดล และการโต้ตอบกับมันผ่านบรรทัดคำสั่งหรือ API ด้วยการเพิ่ม Apidog ลงในส่วนผสม คุณจะปรับปรุงการทดสอบ API และเปิดโอกาสใหม่ๆ สำหรับการรวม ด้วยพารามิเตอร์ 24 พันล้านตัว บริบท 128k-token และความยืดหยุ่นแบบโอเพนซอร์ส Mistral Small 3.1 มอบพลังมหาศาลเพียงปลายนิ้วสัมผัส เริ่มทดลองวันนี้ และดูว่าทั้งคู่สามารถเปลี่ยนโปรเจ็กต์ของคุณได้อย่างไร

button

```