Google Gemini API Mode Batch Hadir: Lebih Murah 50 Persen

API Gemini Google kini dilengkapi Mode Batch, sebuah pembaruan transformatif yang dirancang untuk tugas-tugas berskala besar, asinkron, dan hadir dengan pengurangan biaya sebesar 50%. 🚀

• Endpoint canggih ini memungkinkan Anda memproses pekerjaan besar dengan hasil yang dikirimkan dalam waktu 24 jam, semuanya dengan separuh harga API standar.
• Sistem ini dirancang untuk beban kerja throughput tinggi, mengakomodasi file JSONL hingga 2GB dan memanfaatkan optimasi seperti Context Caching untuk efisiensi yang lebih besar.
• Ini juga mendukung alat bawaan seperti Google Search dan dikelola melalui API sederhana untuk membuat, menghapus, dan mengambil pekerjaan, membuat pemrosesan AI besar-besaran lebih terjangkau dan mudah.

Jadi, mari kita lihat lebih dekat Mode Batch API Gemini Google yang baru!

Harga Mode Batch API Gemini

Manfaat utama Mode Batch API Gemini adalah pengurangan biaya yang signifikan. Semua pekerjaan yang dikirimkan melalui endpoint ini dihargai 50% lebih murah dari tarif standar untuk model setara yang digunakan dalam panggilan sinkron (waktu nyata).

Diskon 50% ini berlaku langsung untuk struktur harga per-token. Baik Anda menggunakan gemini-2.5-pro, gemini-2.5-flash, atau model lain yang didukung, biaya untuk token input dan output dipotong setengah saat diproses melalui pekerjaan batch. Model harga ini membuatnya layak secara finansial untuk melakukan tugas-tugas berskala besar, seperti menganalisis terabyte data teks atau menghasilkan konten untuk seluruh katalog produk, yang mungkin terlalu mahal jika menggunakan API standar. Biaya masih dihitung berdasarkan jumlah token dalam input Anda dan output yang dihasilkan, tetapi tarif per token adalah yang didiskon.

Cara Menggunakan Mode Batch API Gemini: Panduan Langkah demi Langkah

Alur kerja untuk Mode Batch API Gemini dirancang agar mudah, melibatkan persiapan file, pembuatan pekerjaan, dan pengambilan hasil. Bagian berikut menyediakan panduan praktis menggunakan Google GenAI Python SDK.

Langkah 1: Mempersiapkan File Input Anda untuk Mode Batch API Gemini

Mode Batch API Gemini memproses permintaan dari file JSON Lines (JSONL). Setiap baris dalam file harus berupa objek JSON yang valid yang mewakili satu permintaan yang mandiri. File dapat berukuran hingga 2GB.

Setiap objek JSON dalam file harus berisi dua bidang:

• key: Pengidentifikasi string unik (pilihan Anda) untuk setiap permintaan, yang digunakan untuk mengorelasikan permintaan dengan hasilnya.
• request: Payload permintaan, yang strukturnya identik dengan permintaan yang dikirim ke API Gemini sinkron. Ini berisi bidang contents dengan prompt model.

Contoh batch_requests.jsonl:

{"key": "request_1", "request": {"contents": [{"parts": [{"text": "Explain how AI works in a few words"}]}]}}
{"key": "request_2", "request": {"contents": [{"parts": [{"text": "Summarize the key benefits of context caching in LLMs."}]}]}}
{"key": "request_3", "request": {"contents": [{"parts": [{"text": "Write a python function to reverse a string."}]}]}}

Langkah 2: Alur Kerja Pemrograman untuk Mode Batch API Gemini

SDK Python menyederhanakan proses interaksi dengan endpoint batching menjadi beberapa panggilan fungsi utama.

Unggah File Input: Pertama, Anda harus mengunggah file JSONL Anda ke layanan file Google. Ini akan mengembalikan objek file yang akan Anda referensikan saat membuat pekerjaan.

import google.generativeai as genai

# It is recommended to configure your API key as an environment variable
# genai.configure(api_key="YOUR_API_KEY")

uploaded_batch_requests = genai.upload_file(path="batch_requests.jsonl")

Buat Pekerjaan Batch: Setelah file diunggah, Anda sekarang dapat membuat pekerjaan batch. Panggilan ini memerlukan penentuan model yang ingin Anda gunakan dan penyediaan file yang diunggah sebagai sumber permintaan.

batch_job = genai.create_batch_job(
    model="gemini-2.5-flash",  # Or "gemini-2.5-pro", etc.
    requests=uploaded_batch_requests,
    config={
        'display_name': "MyFirstBatchJob-1",
    },
)
print(f"Created batch job: {batch_job.name}")
print(f"Initial state: {batch_job.state.name}")

Fungsi ini segera mengembalikan, memberikan nama pekerjaan dan status awalnya, yang biasanya JOB_STATE_PENDING.

Langkah 3: Mengelola dan Memantau Pekerjaan dalam Mode Batch API Gemini

Karena pekerjaan batch bersifat asinkron, Anda perlu memantau statusnya. Anda dapat mengambil status pekerjaan saat ini kapan saja menggunakan namanya. Pekerjaan dijamin selesai dalam jendela 24 jam.

Status pekerjaan yang mungkin adalah:

• JOB_STATE_UNSPECIFIED: Status default.
• JOB_STATE_PENDING: Pekerjaan telah dibuat dan menunggu pemrosesan.
• JOB_STATE_RUNNING: Pekerjaan sedang aktif diproses.
• JOB_STATE_SUCCEEDED: Pekerjaan telah berhasil diselesaikan.
• JOB_STATE_FAILED: Pekerjaan gagal. Bidang error pada objek pekerjaan akan berisi informasi diagnostik.
• JOB_STATE_CANCELLING: Permintaan pembatalan telah diterima.
• JOB_STATE_CANCELLED: Pekerjaan telah dibatalkan.

Contoh pemeriksaan status pekerjaan:

# Check the status after some time has passed
retrieved_job = genai.get_batch_job(name=batch_job.name)
print(f"Current job state: {retrieved_job.state.name}")

Langkah 4: Memproses Hasil dari Mode Batch API Gemini

Setelah status pekerjaan adalah JOB_STATE_SUCCEEDED, hasilnya tersedia untuk diunduh sebagai file JSONL. Setiap baris dalam file output sesuai dengan permintaan dari file input.

Objek JSON output berisi key dari permintaan asli dan objek response yang berisi output model.

1. Unduh File Hasil:

if retrieved_job.state.name == 'JOB_STATE_SUCCEEDED':
    result_file_metadata = retrieved_job.result_file
    result_file_content_bytes = genai.download_file(name=result_file_metadata.name).read()
    
    # Decode and process the results
    file_content = result_file_content_bytes.decode('utf-8')
    for line in file_content.splitlines():
        print(line)
elif retrieved_job.state.name == 'JOB_STATE_FAILED':
    print(f"Job failed with error: {retrieved_job.error}")

Contoh Baris File Output:

{"key": "request_1", "response": {"candidates": [{"content": {"parts": [{"text": "Artificial intelligence enables machines to learn and reason."}]}}]}}

Anda dapat mengurai file ini, menggunakan key untuk mencocokkan setiap respons dengan prompt aslinya.

Fungsionalitas Lanjutan dalam Mode Batch API Gemini

Mode Batch API Gemini juga mendukung fitur yang lebih canggih untuk mengoptimalkan alur kerja berskala besar.

Context Caching dengan Mode Batch API Gemini

Untuk tugas yang melibatkan bagian konteks besar yang dibagikan (misalnya, dokumen panjang yang ingin Anda ajukan beberapa pertanyaan), Anda dapat menggunakan Context Caching. Fitur ini memungkinkan Anda untuk menyimpan konteks yang dibagikan, sehingga tidak diproses ulang dengan setiap permintaan dalam batch. Ini dapat menghasilkan penghematan biaya yang signifikan lebih lanjut dan waktu pemrosesan yang lebih cepat dengan mengurangi jumlah total token yang diproses.

Menggunakan Alat Bawaan dengan Mode Batch API Gemini

Pekerjaan batch mendukung penggunaan alat, termasuk fungsionalitas Google Search bawaan. Ini memungkinkan Anda untuk melakukan tugas-tugas berskala besar yang mengharuskan model untuk mengakses dan memproses informasi real-time dari web. Misalnya, pekerjaan batch dapat dikonfigurasi untuk menganalisis ribuan URL dan meringkas kontennya.

Google telah menyoroti beberapa organisasi yang sudah menggunakan fungsionalitas ini:

• Reforged Labs menggunakan Mode Batch API Gemini untuk menganalisis dan melabeli volume besar iklan video, memangkas biaya, dan mempercepat alur kerja mereka.
• Vals AI menggunakan throughput tinggi Mode Batch untuk membandingkan model dasar dengan sejumlah besar kueri evaluasi, melewati batas kecepatan API sinkron.

Kesimpulan: Nilai Teknis Mode Batch API Gemini

Mode Batch API Gemini menyediakan solusi yang kuat secara teknis dan menguntungkan secara finansial untuk pemrosesan AI asinkron berskala besar. Dengan menawarkan pengurangan biaya 50%, alur kerja berbasis file yang disederhanakan, dan dukungan untuk fitur-fitur canggih seperti context caching dan penggunaan alat, ini menghilangkan hambatan rekayasa dan finansial yang terkait dengan tugas-tugas AI throughput tinggi. Ini adalah alat penting bagi pengembang dan organisasi yang ingin memanfaatkan kekuatan penuh model Gemini pada kumpulan data besar.