Ollama ile DeepCoder'ı Yerel Olarak Nasıl Çalıştırılır

Gelişmiş kodlama modellerini yerel olarak çalıştırmak, geliştiricilerin bulut hizmetlerine güvenmeden son teknoloji yapay zekadan yararlanmasını sağlar. Tamamen açık kaynaklı bir 14B parametreli kodlama modeli olan DeepCoder, O3-mini ile karşılaştırılabilir olağanüstü bir performans sunar. Büyük dil modellerini (LLM'ler) çalıştırmak için hafif bir çerçeve olan Ollama ile eşleştirildiğinde, DeepCoder'ı makinenizde verimli bir şekilde dağıtabilirsiniz. Bu teknik rehber, kurulumdan yürütmeye kadar olan süreci, Apidog gibi araçları API testi için entegre ederken size yol gösterir.

💡

İşe başlamadan önce, Apidog'u ücretsiz indirerek iş akışınızı geliştirin. Bu güçlü API test aracı, model tarafından oluşturulan API ile ilgili kodu doğrulamanıza ve hata ayıklamanıza olanak tanıyarak DeepCoder'ı tamamlar. Şimdi Apidog'u indirin ve bu eğitimle birlikte geliştirme sürecinizi kolaylaştırın.

button

DeepCoder Nedir?

DeepCoder, Agentica ve Together AI arasındaki bir işbirliğiyle geliştirilen 14B parametreli açık kaynaklı bir kodlama modelidir. Deepseek-R1-Distilled-Qwen-14B'nin dağıtılmış takviyeli öğrenme (RL) ile ince ayarlanmasıyla oluşturulmuş olup, kod akıl yürütme ve oluşturma görevlerinde mükemmeldir. Ek olarak, kaynak kısıtlı ortamlar için daha küçük bir 1.5B sürümü mevcuttur. Tescilli modellerin aksine, DeepCoder'ın açık kaynaklı doğası tam şeffaflık ve özelleştirme sağlar ve bu da onu geliştiriciler arasında favori yapar.

Ollama ise DeepCoder gibi LLM'lerin dağıtımını basitleştirir. Geliştirme iş akışlarına sorunsuz entegrasyon için hafif bir çalışma zamanı ve bir API sağlar. Bu araçları birleştirerek, güçlü, yerel bir kodlama asistanının kilidini açarsınız.

DeepCoder'ı Yerel Olarak Çalıştırmanın Ön Koşulları

Devam etmeden önce, sisteminizin gereksinimleri karşıladığından emin olun. İhtiyacınız olanlar şunlardır:

Donanım:

En az 32GB RAM'e sahip bir makine (14B modeli için 64GB önerilir).
Optimal performans için 24GB+ VRAM'e sahip modern bir GPU (örneğin, NVIDIA RTX 3090 veya daha iyisi).
Alternatif olarak, 1.5B modeli için yeterli çekirdeğe sahip bir CPU (örneğin, Intel i9 veya AMD Ryzen 9) çalışır.

Yazılım:

İşletim Sistemi: Linux (Ubuntu 20.04+), macOS veya Windows (WSL2 aracılığıyla).
Git: Depoları klonlamak için.
Docker (isteğe bağlı): Kapsayıcılı dağıtım için.
Python 3.9+: Betik oluşturma ve API etkileşimleri için.

Bağımlılıklar:

Ollama: Yüklü ve yapılandırılmış.
DeepCoder model dosyaları: Resmi Ollama kütüphanesinden indirildi.

Bunlar yerinde olduğunda, ortamı kurmaya ve yapılandırmaya hazırsınız.

Adım 1: Ollama'yı Makinenize Kurun

Ollama, DeepCoder'ı yerel olarak çalıştırmak için temel görevi görür. Kurmak için şu adımları izleyin:

Ollama'yı İndirin:
Resmi Ollama web sitesini ziyaret edin veya bir paket yöneticisi kullanın. Linux için şunu çalıştırın:

curl -fsSL https://ollama.com/install.sh | sh

macOS'ta Homebrew'u kullanın:

brew install ollama

Kurulumu Doğrulayın:
Ollama'nın doğru kurulduğunu doğrulamak için sürümü kontrol edin:

ollama --version

Ollama Hizmetini Başlatın:
Ollama'yı arka planda başlatın:

ollama serve &

Bu, sunucuyu localhost:11434 üzerinde çalıştırır ve model etkileşimleri için bir API sunar.

Ollama artık çalışır durumda. Ardından, DeepCoder modelini alacaksınız.

Adım 2: DeepCoder'ı Ollama Kütüphanesinden İndirin

DeepCoder, Ollama model kütüphanesinde mevcuttur. İşte nasıl çekileceği:

DeepCoder'ı Çek:
14B modelini (veya daha hafif kurulumlar için 1.5B) indirin:

ollama pull deepcoder

Bu komut, en son etiketlenmiş sürümü getirir. Belirli bir etiket için şunu kullanın:

ollama pull deepcoder:14b-preview

İndirme İlerlemesini İzleyin:
İşlem, dosya özetlerini ve tamamlama durumunu gösteren güncellemeleri yayınlar. 14B modeli için çok gigabaytlık bir indirme bekleyin, bu nedenle istikrarlı bir internet bağlantısı sağlayın.

Kurulumu Doğrulayın:
DeepCoder'ın mevcut olup olmadığını kontrol edin:

ollama list

Yüklü modeller arasında deepcoder'ı göreceksiniz.

DeepCoder indirildikten sonra, çalıştırmaya hazırsınız.

Adım 3: DeepCoder'ı Ollama ile Yerel Olarak Çalıştırın

Şimdi, DeepCoder'ı çalıştırın ve yeteneklerini test edin:

DeepCoder'ı Başlatın:
Modeli etkileşimli bir oturumda başlatın:

ollama run deepcoder

Bu, kodlama sorguları girebileceğiniz bir istem açar.

Parametreleri Ayarlayın (İsteğe Bağlı):
Gelişmiş kullanım için, bir yapılandırma dosyası veya API çağrısı aracılığıyla sıcaklık gibi ayarları ayarlayın (daha sonra ele alınacaktır).

DeepCoder artık yerel olarak çalışıyor. Ancak, iş akışlarına entegre etmek için API'sini kullanacaksınız.

Adım 4: Ollama API'si Aracılığıyla DeepCoder ile Etkileşim Kurun

Ollama, programlı erişim için RESTful bir API sunar. İşte bundan nasıl yararlanılacağı:

API Kullanılabilirliğini Kontrol Edin:
Ollama sunucusunun çalıştığından emin olun:

curl http://localhost:11434

Bir yanıt, sunucunun aktif olduğunu doğrular.

Bir İstek Gönderin:
DeepCoder'ı sorgulamak için curl kullanın:

curl http://localhost:11434/api/generate -d '{
  "model": "deepcoder",
  "prompt": "Generate a REST API endpoint in Flask",
  "stream": false
}'

Yanıt, oluşturulan kodu içerir, örneğin:

from flask import Flask, jsonify

app = Flask(__name__)

@app.route('/api/data', methods=['GET'])
def get_data():
    return jsonify({"message": "Hello, World!"})

if __name__ == "__main__":
    app.run(debug=True)

Python ile Entegre Edin:
Daha temiz bir etkileşim için Python'un requests kütüphanesini kullanın:

import requests

url = "http://localhost:11434/api/generate"
payload = {
    "model": "deepcoder",
    "prompt": "Write a Node.js Express API",
    "stream": False
}
response = requests.post(url, json=payload)
print(response.json()["response"])

API, DeepCoder'ın otomasyon ve entegrasyon potansiyelinin kilidini açar.

Adım 5: Apidog ile API Testini Geliştirin

DeepCoder, API kodu oluşturmada mükemmeldir, ancak bu API'leri test etmek çok önemlidir. Apidog bu süreci basitleştirir:

Apidog'u Kurun:
Apidog'u resmi sitesinden indirin ve kurun.

button

Oluşturulan API'yi Test Edin:
Daha önceki Flask uç noktasını alın. Apidog'da:

Yeni bir istek oluşturun.

URL'yi http://localhost:5000/api/data olarak ayarlayın ve bir GET isteği gönderin.

Yanıtı doğrulayın: {"message": "Hello, World!"}.

Testi Otomatikleştirin:
DeepCoder'ın çıktısının beklentileri karşıladığından emin olmak için, doğrulamayı otomatikleştirmek için Apidog'un betiklerini kullanın.

Apidog, kod oluşturma ve dağıtım arasındaki boşluğu doldurarak üretkenliği artırır.

Adım 6: DeepCoder'ın Performansını Optimize Edin

Verimliliği en üst düzeye çıkarmak için, DeepCoder'ın kurulumunu ince ayar yapın:

GPU Hızlandırması:
Ollama'nın hesaplamayı GPU'nuza yüklediğinden emin olun. Şunlarla kontrol edin:

nvidia-smi

GPU kullanımı, başarılı hızlandırmayı gösterir.

Bellek Yönetimi:
14B modeli için yeterli VRAM ayırın. Gerekirse Linux'ta takas alanını ayarlayın:

sudo fallocate -l 32G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

Model Nicelleştirme:
1.5B modeli için daha küçük bir nicelleştirme (örneğin, 4 bit) kullanın:

ollama pull deepcoder:1.5b-q4

Bu ayarlamalar, DeepCoder'ın donanımınızda sorunsuz çalışmasını sağlar.

Neden Ollama ile DeepCoder'ı Seçmelisiniz?

DeepCoder'ı yerel olarak çalıştırmak, belirgin avantajlar sunar:

Gizlilik: Hassas kodu bulut sunucularından uzak tutun.
Maliyet: Abonelik ücretlerinden kaçının.
Özelleştirme: Modeli ihtiyaçlarınıza göre uyarlayın.

Bunu Ollama'nın hafif çerçevesi ve Apidog'un test yetenekleriyle eşleştirmek, güçlü, kendi kendine yeten bir geliştirme ekosistemi yaratır.

Sonuç

DeepCoder'ı Ollama ile yerel olarak kurmak basit ama dönüştürücüdür. Ollama'yı kurar, DeepCoder'ı çeker, çalıştırır ve API aracılığıyla entegre edersiniz; hepsi birkaç adımda. Apidog gibi araçlar, oluşturulan API'lerin kusursuz çalışmasını sağlayarak deneyimi daha da geliştirir. İster yalnız bir geliştirici olun, ister bir ekibin parçası olun, bu kurulum sağlam, açık kaynaklı bir kodlama asistanı sunar.

button