Google Gemini API Toplu İşlem Modu Geldi ve %50 Daha Ucuz

Google'ın Gemini API'si artık Toplu Mod (Batch Mode) özelliğini sunuyor. Bu, büyük ölçekli, eşzamansız görevler için tasarlanmış dönüştürücü bir güncellemedir ve %50 maliyet azaltımıyla birlikte gelir. 🚀

• Bu güçlü uç nokta, standart API fiyatının yarısı karşılığında, 24 saat içinde sonuçları teslim edilen devasa işleri işlemenizi sağlar.
• Sistem, yüksek verimli iş yükleri için tasarlanmıştır, 2 GB'a kadar JSONL dosyalarını barındırır ve daha fazla verimlilik için Bağlam Önbellekleme (Context Caching) gibi optimizasyonlardan yararlanır.
• Ayrıca, Google Arama gibi yerleşik araçları destekler ve işleri oluşturmak, silmek ve almak için basit bir API aracılığıyla yönetilir, bu da büyük ölçekli yapay zeka işlemeyi daha uygun fiyatlı ve anlaşılır hale getirir.

Öyleyse, yeni Google Gemini API Toplu Moduna yakından bakalım!

Gemini API Toplu Modunun Fiyatlandırması

Gemini API Toplu Modunun temel faydalarından biri, maliyette önemli bir azalmadır. Bu uç nokta aracılığıyla gönderilen tüm işler, eşzamanlı (gerçek zamanlı) bir çağrıda kullanılan eşdeğer model için standart orandan %50 daha az fiyatlandırılır.

Bu %50 indirim doğrudan jeton başına fiyatlandırma yapısına uygulanır. İster gemini-2.5-pro, gemini-2.5-flash veya başka bir desteklenen model kullanıyor olun, hem giriş hem de çıkış jetonlarının maliyeti, toplu bir iş aracılığıyla işlendiğinde yarıya iner. Bu fiyatlandırma modeli, terabaytlarca metin verisini analiz etmek veya tüm bir ürün kataloğu için içerik oluşturmak gibi, standart API kullanılarak maliyetli olabilecek büyük ölçekli görevleri finansal olarak uygulanabilir hale getirir. Maliyet hala girişinizdeki ve oluşturulan çıktıdaki jeton sayısına göre hesaplanır, ancak jeton başına oran indirimli olandır.

Gemini API Toplu Modu Nasıl Kullanılır: Adım Adım Bir Kılavuz

Gemini API Toplu Modunun iş akışı, dosya hazırlığı, iş oluşturma ve sonuç alma işlemlerini içeren basit olacak şekilde tasarlanmıştır. Aşağıdaki bölümler, Google GenAI Python SDK'sını kullanarak pratik bir kılavuz sunar.

Adım 1: Gemini API Toplu Modu İçin Giriş Dosyanızı Hazırlama

Gemini API Toplu Modu, istekleri bir JSON Lines (JSONL) dosyasından işler. Dosyadaki her satır, tek, kendi içinde bağımsız bir isteği temsil eden geçerli bir JSON nesnesi olmalıdır. Dosya 2 GB'a kadar olabilir.

Dosyadaki her JSON nesnesi iki alan içermelidir:

• key: Her istek için benzersiz bir dize tanımlayıcı (sizin seçiminiz), istekleri sonuçlarıyla ilişkilendirmek için kullanılır.
• request: İstek yükü, eşzamanlı Gemini API'ye gönderilen bir istekle aynı yapıdadır. Model istemini içeren bir contents alanı içerir.

Örnek batch_requests.jsonl:

{"key": "request_1", "request": {"contents": [{"parts": [{"text": "Yapay zekanın birkaç kelimeyle nasıl çalıştığını açıklayın"}]}]}}
{"key": "request_2", "request": {"contents": [{"parts": [{"text": "LLM'lerde bağlam önbelleklemenin temel faydalarını özetleyin."}]}]}}
{"key": "request_3", "request": {"contents": [{"parts": [{"text": "Bir dizeyi tersine çevirmek için bir python fonksiyonu yazın."}]}]}}

Adım 2: Gemini API Toplu Modu İçin Programlama İş Akışı

Python SDK'sı, toplu işleme uç noktasıyla etkileşimi birkaç temel fonksiyon çağrısına basitleştirir.

Giriş Dosyasını Yükle: İlk olarak, JSONL dosyanızı Google'ın dosya hizmetine yüklemeniz gerekir. Bu, işi oluştururken referans alacağınız bir dosya nesnesi döndürür.

import google.generativeai as genai

# API anahtarınızı bir ortam değişkeni olarak yapılandırmanız önerilir
# genai.configure(api_key="API_ANAHTARINIZ")

uploaded_batch_requests = genai.upload_file(path="batch_requests.jsonl")

Toplu İşi Oluştur: Dosya yüklendikten sonra, toplu işi oluşturabilirsiniz. Bu çağrı, kullanmak istediğiniz modeli belirtmeyi ve yüklenen dosyayı isteklerin kaynağı olarak sağlamayı gerektirir.

batch_job = genai.create_batch_job(
    model="gemini-2.5-flash",  # Veya "gemini-2.5-pro", vb.
    requests=uploaded_batch_requests,
    config={
        'display_name': "İlkTopluİşim-1",
    },
)
print(f"Oluşturulan toplu iş: {batch_job.name}")
print(f"Başlangıç durumu: {batch_job.state.name}")

Bu fonksiyon hemen döner ve işin adını ve genellikle JOB_STATE_PENDING olan başlangıç durumunu sağlar.

Adım 3: Gemini API Toplu Modunda İşleri Yönetme ve İzleme

Toplu işler eşzamansız olduğundan, durumlarını izlemeniz gerekir. Bir işin mevcut durumunu istediğiniz zaman adını kullanarak alabilirsiniz. İşlerin 24 saat içinde tamamlanması garanti edilir.

Olası iş durumları şunlardır:

• JOB_STATE_UNSPECIFIED: Varsayılan durum.
• JOB_STATE_PENDING: İş oluşturuldu ve işlenmeyi bekliyor.
• JOB_STATE_RUNNING: İş aktif olarak işleniyor.
• JOB_STATE_SUCCEEDED: İş başarıyla tamamlandı.
• JOB_STATE_FAILED: İş başarısız oldu. İş nesnesindeki error alanı tanısal bilgileri içerecektir.
• JOB_STATE_CANCELLING: Bir iptal isteği alındı.
• JOB_STATE_CANCELLED: İş iptal edildi.

İş durumunu kontrol etme örneği:

# Bir süre geçtikten sonra durumu kontrol edin
retrieved_job = genai.get_batch_job(name=batch_job.name)
print(f"Mevcut iş durumu: {retrieved_job.state.name}")

Adım 4: Gemini API Toplu Modundan Sonuçları İşleme

İş durumu JOB_STATE_SUCCEEDED olduğunda, sonuçlar bir JSONL dosyası olarak indirilebilir. Çıktı dosyasındaki her satır, giriş dosyasındaki bir isteğe karşılık gelir.

Çıktı JSON nesnesi, orijinal isteğin key değerini ve modelin çıktısını içeren bir response nesnesini içerir.

1. Sonuçlar Dosyasını İndir:

if retrieved_job.state.name == 'JOB_STATE_SUCCEEDED':
    result_file_metadata = retrieved_job.result_file
    result_file_content_bytes = genai.download_file(name=result_file_metadata.name).read()
    
    # Sonuçları çöz ve işle
    file_content = result_file_content_bytes.decode('utf-8')
    for line in file_content.splitlines():
        print(line)
elif retrieved_job.state.name == 'JOB_STATE_FAILED':
    print(f"İş şu hatayla başarısız oldu: {retrieved_job.error}")

Örnek Çıktı Dosyası Satırı:

{"key": "request_1", "response": {"candidates": [{"content": {"parts": [{"text": "Yapay zeka, makinelerin öğrenmesini ve akıl yürütmesini sağlar."}]}}]}}

Bu dosyayı, her yanıtı orijinal istemiyle eşleştirmek için key kullanarak ayrıştırabilirsiniz.

Gemini API Toplu Modunda Gelişmiş İşlevsellik

Gemini API Toplu Modu, büyük ölçekli iş akışlarını optimize etmek için daha gelişmiş özellikler de destekler.

Gemini API Toplu Modu ile Bağlam Önbellekleme

Büyük, paylaşılan bir bağlam parçası içeren görevler için (örneğin, hakkında birden fazla soru sormak istediğiniz uzun bir belge), Bağlam Önbellekleme'yi kullanabilirsiniz. Bu özellik, paylaşılan bağlamı önbelleğe almanıza olanak tanır, böylece toplu işteki her bir istekte yeniden işlenmez. Bu, işlenen toplam jeton sayısını azaltarak daha önemli maliyet tasarruflarına ve daha hızlı işlem sürelerine yol açabilir.

Gemini API Toplu Modu ile Yerleşik Araçları Kullanma

Toplu işler, yerleşik Google Arama işlevselliği de dahil olmak üzere araç kullanımını destekler. Bu, modelin web'den gerçek zamanlı bilgilere erişmesini ve işlemesini gerektiren büyük ölçekli görevleri gerçekleştirmenize olanak tanır. Örneğin, binlerce URL'yi analiz etmek ve içeriklerini özetlemek için bir toplu iş yapılandırılabilir.

Google, bu işlevselliği halihazırda kullanan birkaç kuruluşu vurgulamıştır:

• Reforged Labs, büyük hacimli video reklamlarını analiz etmek ve etiketlemek için Gemini API Toplu Modunu kullanır, maliyetleri düşürür ve iş akışlarını hızlandırır.
• Vals AI, eşzamanlı API'lerin hız sınırlarını aşarak, çok sayıda değerlendirme sorgusuyla temel modelleri karşılaştırmak için Toplu Modun yüksek veriminden yararlanır.

Sonuç: Gemini API Toplu Modunun Teknik Değeri

Gemini API Toplu Modu, büyük ölçekli, eşzamansız yapay zeka işleme için teknik olarak sağlam ve finansal olarak avantajlı bir çözüm sunar. %50 maliyet azaltımı, basitleştirilmiş dosya tabanlı bir iş akışı ve bağlam önbellekleme ve araç kullanımı gibi gelişmiş özelliklere destek sağlayarak, yüksek verimli yapay zeka görevleriyle ilişkili mühendislik ve finansal engelleri ortadan kaldırır. Gemini modellerinin tüm gücünü büyük veri kümelerinde kullanmak isteyen geliştiriciler ve kuruluşlar için vazgeçilmez bir araçtır.