DolphinGemma: LLM, Tapi untuk Lumba-lumba

Perkembangan pesat Large Language Models (LLMs) telah merevolusi pemrosesan bahasa alami, namun kecenderungan mereka untuk menghasilkan konten yang tidak faktual atau "berhalusinasi" tetap menjadi penghalang kritis bagi penerapan yang dapat dipercaya. LLM standar sering kali menggabungkan pengetahuan parametrik mereka yang luas, tetapi buram, dengan konteks yang diberikan pengguna, yang mengarah pada keluaran yang sulit diverifikasi. Untuk mengatasi hal ini, Google memperkenalkan DolphinGemma, sebuah iterasi khusus dalam keluarga Gemma dari model terbuka, yang direkayasa dengan cermat untuk generasi berdasarkan fakta dengan sitasi eksplisit. Artikel ini memberikan eksplorasi teknis tentang kemungkinan arsitektur DolphinGemma, metodologi pelatihan, metrik evaluasi, dan posisinya dalam lanskap AI yang andal.

Arsitektur Fondasi: Warisan Gemma

DolphinGemma dibangun di atas arsitektur model Gemma Google yang sudah mapan. Gemma sendiri memanfaatkan arsitektur Transformer khusus dekoder, yang dipopulerkan oleh model seperti GPT.

Karakteristik utama yang diwarisi oleh DolphinGemma kemungkinan meliputi:

1. Blok Transformer: Terdiri dari lapisan perhatian mandiri multi-kepala dan jaringan feed-forward, memungkinkan model untuk menimbang pentingnya token yang berbeda dalam urutan input. Gemma menggunakan perhatian multi-kueri untuk inferensi yang lebih cepat dan jejak memori yang lebih kecil, terutama bermanfaat untuk model yang lebih besar.
2. Ukuran Parameter: Varian DolphinGemma diharapkan selaras dengan ukuran Gemma yang dirilis, terutama 2B (khususnya ~2,5 miliar parameter) dan 7B/8B (khususnya ~8,5 miliar parameter) parameter efektif. Ukuran ini mewakili trade-off yang disengaja, menawarkan kemampuan yang signifikan sambil tetap dapat diterapkan pada GPU kelas konsumen (seperti seri NVIDIA RTX) dan CPU, atau dihosting secara efisien di lingkungan cloud (misalnya, Google Cloud Vertex AI, Kaggle).
3. Kosakata dan Tokenisasi: Menggunakan tokenizer SentencePiece yang dilatih pada korpus besar, kemungkinan ukuran kosakata 256k yang sama yang digunakan untuk Gemma. Ini memungkinkan pengkodean teks dan kode yang beragam secara efisien.
4. Fungsi Aktivasi: Menggunakan fungsi aktivasi modern seperti GeGLU (Gated Linear Units dengan aktivasi GELU) untuk peningkatan dinamika dan kinerja pelatihan.
5. Normalisasi: Menggunakan RMSNorm (Root Mean Square Layer Normalization) alih-alih Layer Normalization standar untuk efisiensi komputasi tanpa mengorbankan kinerja.
6. Rotary Positional Embeddings (RoPE): Menerapkan informasi posisi langsung dalam mekanisme perhatian, menawarkan penanganan panjang urutan yang lebih baik dan potensi kemampuan ekstrapolasi yang ditingkatkan dibandingkan dengan embedding posisi absolut atau yang dipelajari.

Fondasi ini menyediakan model dasar yang mampu dan relatif efisien di mana kemampuan grounding khusus DolphinGemma dibangun.

Meet DolphinGemma, an AI helping us dive deeper into the world of dolphin communication. 🐬 pic.twitter.com/2wYiSSXMnn

— Google DeepMind (@GoogleDeepMind) April 14, 2025

Tantangan Teknis: Mengatasi Dominasi Parametrik

LLM standar, bahkan ketika diberikan konteks melalui Retrieval-Augmented Generation (RAG), sering kali menunjukkan "kebocoran pengetahuan." Parameter internal mereka menyandikan sejumlah besar pengetahuan dunia yang dipelajari selama pra-pelatihan. Selama generasi, prediksi model untuk token berikutnya dipengaruhi oleh baik konteks yang diberikan (dokumen yang diambil) dan pengetahuan parametrik internal ini. Hal ini dapat menyebabkan:

• Halusinasi Mengabaikan Konteks: Menghasilkan fakta yang dipelajari selama pra-pelatihan bahkan jika bertentangan dengan dokumen sumber yang diberikan.
• Halusinasi Pencampuran Konteks: Menjalin informasi dari konteks yang diberikan dan pengetahuan internal, menciptakan pernyataan yang masuk akal tetapi tidak terverifikasi.
• Kurangnya Atribusi: Kesulitan dalam memetakan pernyataan yang dihasilkan secara tepat kembali ke bagian tertentu dalam dokumen sumber.

Tujuan teknis inti dari DolphinGemma adalah untuk sangat memihak proses generasi terhadap konteks yang diberikan dan secara eksplisit menghasilkan atribusi sumber (sitasi).

Solusi DolphinGemma: Fine-Tuning Khusus

DolphinGemma mencapai perilaku dasarnya bukan melalui perombakan arsitektur (kemungkinan perubahan minimal, jika ada, pada blok Transformer inti) tetapi melalui fine-tuning terawasi (SFT) yang ditargetkan dan berpotensi fase pembelajaran penguatan yang berfokus secara khusus pada dasar dan sitasi.

1. Tujuan Fine-tuning: Tujuan pelatihan utama bergeser dari mengikuti instruksi umum atau kemampuan obrolan (seperti varian Gemma-IT) menjadi: Mengingat kueri Q dan serangkaian dokumen sumber {D1, D2, ..., Dn}, hasilkan jawaban A yang secara faktual konsisten hanya dengan informasi yang ada di {Di} dan menyertakan sitasi yang menghubungkan rentang di A kembali ke Di tertentu.
2. Korpus Data Fine-tuning: Ini membutuhkan dataset khusus yang berbeda dari dataset penyetelan instruksi tipikal. Korpus ini kemungkinan berisi contoh dalam bentuk:

• Input: Kueri Pengguna + [SEP] + Teks Dokumen 1 + [SEP] + Teks Dokumen 2 + ...
• Output: Jawaban Sintesis yang hanya berisi informasi yang dapat diturunkan dari dokumen, dijalin dengan penanda sitasi (misalnya, [1], [2]) yang terhubung kembali ke Dokumen 1, Dokumen 2, dll.
• Sumber Data: Membuat data ini dalam skala besar adalah tantangan. Sumber potensial meliputi:
• Anotasi Manusia: Berkualitas tinggi tetapi mahal. Para ahli menulis jawaban berdasarkan fakta berdasarkan sumber yang diberikan.
• Pembuatan Data Sintetis: Menggunakan model yang lebih besar dan lebih mampu (berpotensi model Google internal seperti Gemini Pro/Ultra) yang diminta secara khusus untuk menghasilkan jawaban yang berdasarkan fakta dan dikutip dari dokumen yang diberikan. Ini membutuhkan kontrol kualitas dan penyaringan yang cermat. Heuristik dapat digunakan, seperti mengekstrak kalimat dari dokumen sumber dan mensintesisnya dengan sitasi.
• Transformasi Data Web: Memproses dataset yang ada seperti Natural Questions (yang memasangkan pertanyaan dengan cuplikan web yang relevan) atau ELI5 (Explain Like I'm Five) dan mengubahnya menjadi format yang diperlukan (Kueri + Dokumen Konteks -> Jawaban yang Dikutip). Ini mungkin melibatkan identifikasi kalimat pendukung secara otomatis dan menambahkan penanda sitasi.
• Skala Data: Fine-tuning kemungkinan melibatkan jutaan, jika bukan miliaran, token dari data khusus ini untuk secara efektif mengarahkan perilaku model menjauh dari kecenderungan parametrik yang telah dilatih sebelumnya.

1. Metodologi Pelatihan:

• Fine-Tuning Terawasi (SFT): Model Gemma dasar dilatih pada korpus khusus menggunakan kerugian urutan-ke-urutan standar (misalnya, cross-entropy) untuk memprediksi jawaban yang berdasarkan fakta dan dikutip target.
• Penanganan Sitasi: Sitasi dapat diperlakukan sebagai token khusus dalam kosakata atau dihasilkan sebagai bagian dari urutan teks. Model belajar menempatkan penanda ini dengan tepat berdasarkan data pelatihan. Mekanisme yang lebih kompleks dapat melibatkan prediksi rentang sitasi secara terpisah.
• Pelatihan Negatif (Potensial): Data pelatihan mungkin secara eksplisit menyertakan contoh di mana keluaran yang diinginkan adalah indikasi bahwa jawaban tidak dapat ditemukan dalam sumber yang diberikan, atau contoh kontras yang menghukum keluaran yang menggunakan pengetahuan eksternal.
• Pembelajaran Penguatan dari Umpan Balik (RLHF/RLAIF - Opsional tetapi kemungkinan): Untuk lebih menyempurnakan dasar dan kualitas sitasi di luar SFT, pembelajaran penguatan dapat digunakan. Model hadiah dapat dilatih untuk mengevaluasi:
• Kesetiaan: Apakah jawaban yang dihasilkan secara akurat mencerminkan dokumen sumber? (Hadiah tinggi untuk kesetiaan, penalti untuk kontradiksi atau klaim yang tidak didukung).
• Kebenaran Sitasi: Apakah sitasi ditempatkan dengan benar dan apakah mengarah ke bagian sumber yang relevan yang mendukung klaim tersebut?
• Cakupan Sitasi: Apakah semua bagian jawaban yang membutuhkan sitasi benar-benar memilikinya?
• Kefasihan dan Koherensi: Apakah jawabannya ditulis dengan baik dan mudah dipahami?

Metrik dan Kinerja Evaluasi

Mengevaluasi DolphinGemma membutuhkan metrik di luar skor pembuatan bahasa standar (seperti BLEU atau ROUGE) yang terutama mengukur kefasihan dan tumpang tindih n-gram. Dimensi evaluasi utama meliputi:

1. Dasar/Kesetiaan:

• Metrik Otomatis: Menggunakan model Natural Language Inference (NLI) untuk memeriksa entailment/kontradiksi antara pernyataan yang dihasilkan dan dokumen sumber. Tolok ukur pemeriksaan fakta diadaptasi untuk tugas ini.
• Evaluasi Manusia: Penilai menilai apakah setiap bagian informasi dalam jawaban yang dihasilkan didukung oleh konteks yang diberikan. Ini seringkali merupakan standar emas.
• Kinerja Hipotetis: Google mungkin melaporkan metrik yang menunjukkan bahwa DolphinGemma mencapai skor kesetiaan yang jauh lebih tinggi (misalnya, presisi faktual >90-95% berdasarkan evaluasi manusia) dibandingkan dengan Gemma dasar + perintah RAG standar (yang mungkin melayang di kisaran 70-85% tergantung pada tugas dan perintah). Pengurangan tingkat halusinasi (misalnya, diukur sebagai % pernyataan yang tidak didukung) mungkin sebesar 50-75% dibandingkan RAG standar dapat diklaim.

1. Kualitas Sitasi:

• Presisi Sitasi: Dari sitasi yang dihasilkan, berapa persentase yang mengarah ke dokumen/bagian sumber yang benar yang mendukung klaim tersebut?
• Recall Sitasi: Berapa persentase klaim dalam jawaban yang membutuhkan sitasi benar-benar memilikinya?
• Kinerja Hipotetis: DolphinGemma diharapkan menunjukkan presisi dan recall yang tinggi (misalnya, >90%) pada tugas sitasi, jauh melebihi kemampuan sitasi ad-hoc dari model umum yang diminta untuk RAG.

1. Kefasihan dan Relevansi: Metrik standar seperti ROUGE masih dapat digunakan untuk memastikan output dapat dibaca dan relevan dengan kueri, meskipun sekunder untuk dasar.
2. Tolok Ukur: Evaluasi kemungkinan akan terjadi pada versi modifikasi dari dataset Tanya Jawab (Natural Questions, WebQuestions, TriviaQA) di mana jawaban harus diturunkan hanya dari cuplikan yang diberikan, dan berpotensi pada tolok ukur yang dibuat khusus yang dirancang khusus untuk menguji dasar dan sitasi dalam kondisi permusuhan (misalnya, informasi yang bertentangan dalam sumber).

Pertimbangan dan Trade-off Teknis

• Panjang Input: Ukuran jendela konteks model Gemma dasar (misalnya, 8192 token) membatasi jumlah materi sumber yang dapat diproses secara bersamaan. Strategi chunking dan pengambilan yang efektif masih diperlukan untuk set dokumen yang besar.
• Latensi: Proses generasi mungkin sedikit lebih lambat daripada model Gemma standar karena proses decoding yang lebih terbatas atau berpotensi kepala output yang lebih kompleks jika sitasi ditangani secara khusus. Namun, pendorong latensi utama tetap merupakan langkah pengambilan awal yang melekat dalam sistem RAG apa pun.
• Ketergantungan Pengambil: Kualitas output DolphinGemma pada dasarnya dibatasi oleh kualitas dan relevansi dokumen yang disediakan oleh sistem pengambilan (misalnya, mesin pencari, basis data vektor). Sampah masuk, sampah berdasarkan fakta tetap menjadi risiko.
• Menangani Ambiguitas dan Konflik: Melatih model untuk menangani informasi yang bertentangan dengan tepat di seluruh sumber (misalnya, menyatakan konflik, lebih memilih satu sumber berdasarkan metadata jika tersedia, atau menolak untuk menjawab) adalah tantangan kompleks yang membutuhkan data pelatihan yang canggih dan berpotensi strategi perintah khusus.
• Biaya Komputasi: Meskipun model Gemma efisien, proses fine-tuning membutuhkan sumber daya komputasi yang signifikan. Inferensi membutuhkan pemuatan bobot model (misalnya, ~5GB untuk 2B FP16, ~17GB untuk 8B FP16) ditambah aktivasi.

Keterbukaan dan Ketersediaan

Aspek kunci dari keluarga Gemma adalah sifatnya yang terbuka. Google biasanya merilis:

• Bobot Model: Bobot yang telah dilatih sebelumnya dan di-fine-tuning (seperti varian DolphinGemma) di bawah lisensi permisif.
• Kode Inferensi: Contoh dan berpotensi kode yang dioptimalkan untuk menjalankan model.
• Artefak AI yang Bertanggung Jawab: Kartu model yang merinci batasan, bias, dan penggunaan yang dimaksudkan.

Ini memungkinkan peneliti dan pengembang untuk menerapkan, memodifikasi, dan membangun DolphinGemma secara langsung. Ketersediaan mungkin melalui platform seperti Kaggle, Hugging Face, dan Vertex AI Model Garden.

Kesimpulan: Rekayasa Kepercayaan pada Model Bahasa

DolphinGemma mewakili upaya rekayasa yang signifikan untuk menanamkan LLM dengan kemampuan dasar dan sitasi yang dapat diverifikasi. Dengan memanfaatkan arsitektur Gemma yang efisien dan menerapkan fine-tuning khusus skala besar yang berfokus pada kepatuhan konteks dan atribusi sumber, ia bergerak melampaui perintah RAG generik. Meskipun bergantung pada kualitas pengambilan dan menghadapi tantangan dalam menangani konflik sumber, DolphinGemma menawarkan pendekatan yang secara teknis kuat untuk mengurangi halusinasi dan membangun sistem AI yang lebih dapat dipercaya. Ketersediaannya sebagai model terbuka menjanjikan untuk mempercepat penelitian dan pengembangan dalam aplikasi AI yang andal dan berbasis fakta, menyediakan komponen penting untuk sistem di mana akurasi dan kemampuan verifikasi tidak dapat dinegosiasikan.