DolphinGemma: Yunuslar İçin LLM

Büyük Dil Modellerinin (BDM'ler) çoğalması doğal dil işlemede devrim yarattı, ancak gerçek dışı veya "halüsinasyonlu" içerik üretme eğilimleri güvenilir dağıtım için kritik bir engel olmaya devam ediyor. Standart BDM'ler genellikle engin, ancak şeffaf olmayan, parametrik bilgilerini kullanıcı tarafından sağlanan bağlamla harmanlayarak doğrulanması zor çıktılara yol açar. Bunu ele alan Google, DolphinGemma'yı, açık modellerin Gemma ailesi içinde, açık alıntı ile temellendirilmiş nesil için titizlikle tasarlanmış özel bir yineleme olarak tanıttı. Bu makale, DolphinGemma'nın olası mimarisi, eğitim yöntemleri, değerlendirme ölçütleri ve güvenilir yapay zeka ortamındaki konumunun teknik bir incelemesini sunmaktadır.

Temel Mimari: Gemma Mirası

DolphinGemma, Google'ın Gemma modellerinin yerleşik mimarisi üzerine kurulmuştur. Gemma'nın kendisi, GPT gibi modeller tarafından popüler hale getirilen yalnızca kod çözücü Transformer mimarisinden yararlanır.

DolphinGemma tarafından miras alınan temel özellikler şunları içerebilir:

1. Transformer Blokları: Giriş dizisindeki farklı belirteçlerin önemini tartmayı sağlayan çok başlı öz-dikkat katmanları ve ileri beslemeli ağlardan oluşur. Gemma, daha hızlı çıkarım ve daha az bellek ayak izi için çok sorgulu dikkat kullanır, özellikle daha büyük modeller için faydalıdır.
2. Parametre Boyutları: DolphinGemma varyantlarının, öncelikle 2B (özellikle ~2,5 milyar parametre) ve 7B/8B (özellikle ~8,5 milyar parametre) etkili parametreler olmak üzere, yayınlanan Gemma boyutlarıyla uyumlu olması bekleniyor. Bu boyutlar, tüketici sınıfı GPU'larda (NVIDIA RTX serisi gibi) ve CPU'larda dağıtılabilir veya bulut ortamlarında (örneğin, Google Cloud Vertex AI, Kaggle) verimli bir şekilde barındırılabilirken önemli yetenekler sunan kasıtlı bir değiş tokuşu temsil eder.
3. Kelime Dağarcığı ve Belirteçleştirme: Gemma için kullanılan aynı 256k kelime dağarcığı boyutunu kullanan, büyük bir korpus üzerinde eğitilmiş bir SentencePiece belirteçleştirici kullanır. Bu, çeşitli metin ve kodların verimli bir şekilde kodlanmasını sağlar.
4. Etkinleştirme İşlevleri: Geliştirilmiş eğitim dinamikleri ve performansı için GeGLU (GELU aktivasyonlu Kapılı Doğrusal Birimler) gibi modern aktivasyon işlevleri kullanır.
5. Normalleştirme: Performanstan ödün vermeden hesaplama verimliliği için standart Katman Normalleştirme yerine RMSNorm (Kök Ortalama Kare Katman Normalleştirme) kullanır.
6. Döner Konumsal Gömme (RoPE): Konumsal bilgileri doğrudan dikkat mekanizması içinde uygular, mutlak veya öğrenilmiş konumsal gömmelere kıyasla dizi uzunluğunun daha iyi işlenmesini ve potansiyel olarak geliştirilmiş ekstrapolasyon yetenekleri sunar.

Bu temel, DolphinGemma'nın özel temellendirme yeteneklerinin üzerine inşa edildiği yetenekli ve nispeten verimli bir temel model sağlar.

Meet DolphinGemma, an AI helping us dive deeper into the world of dolphin communication. 🐬 pic.twitter.com/2wYiSSXMnn

— Google DeepMind (@GoogleDeepMind) April 14, 2025

Teknik Zorluk: Parametrik Hakimiyetin Üstesinden Gelmek

Standart BDM'ler, Alım-Destekli Üretim (RAG) aracılığıyla bağlam sağlansa bile, genellikle "bilgi sızıntısı" sergiler. Dahili parametreleri, ön eğitim sırasında öğrenilen çok miktarda dünya bilgisini kodlar. Üretim sırasında, modelin bir sonraki belirteç için tahmini, hem sağlanan bağlamdan (alınan belgeler) hem de bu dahili parametrik bilgiden etkilenir. Bu şunlara yol açabilir:

• Bağlamı Göz Ardı Eden Halüsinasyonlar: Ön eğitim sırasında öğrenilen, sağlanan kaynak belgelerle çelişse bile gerçekleri üretmek.
• Bağlam Karışımı Halüsinasyonları: Sağlanan bağlamdan ve dahili bilgiden bilgileri bir araya getirerek, olası ancak doğrulanmamış ifadeler oluşturmak.
• Atıf Eksikliği: Üretilen ifadeleri kaynak belgelerdeki belirli pasajlara tam olarak eşleştirmede zorluk.

DolphinGemma'nın temel teknik hedefi, üretim sürecini sağlanan bağlama güçlü bir şekilde yönlendirmek ve kaynak atıflarını (alıntılar) açıkça üretmektir.

DolphinGemma'nın Çözümü: Özel İnce Ayar

DolphinGemma, temellendirilmiş davranışını mimari revizyonla (çekirdek Transformer bloklarında varsa, muhtemelen minimum değişiklikler) değil, hedefli denetimli ince ayar (SFT) ve potansiyel olarak temellendirme ve alıntıya özel olarak odaklanmış takviyeli öğrenme aşamalarıyla elde eder.

1. İnce Ayar Hedefi: Birincil eğitim hedefi, genel talimat takibinden veya sohbet yeteneklerinden (Gemma-IT varyantları gibi) şuna kayar: Bir sorgu Q ve bir dizi kaynak belge {D1, D2, ..., Dn} verildiğinde, yalnızca {Di} içinde bulunan bilgilerle tutarlı ve A'daki açıklıkları belirli Di'ye bağlayan alıntılar içeren bir cevap A oluşturun.
2. İnce Ayar Veri Korpusu: Bu, tipik talimat ayarlama veri kümelerinden farklı, özel bir veri kümesi gerektirir. Bu korpus muhtemelen şu biçimde örnekler içerir:

• Giriş: Kullanıcı Sorgusu + [SEP] + Belge 1 Metni + [SEP] + Belge 2 Metni + ...
• Çıktı: Yalnızca belgelerden türetilebilen, alıntı işaretleri (örneğin, [1], [2]) ile iç içe geçmiş, Belge 1, Belge 2 vb.'ye bağlanan Sentezlenmiş Cevap.
• Veri Kaynakları: Bu verileri ölçekte oluşturmak zorludur. Potansiyel kaynaklar şunları içerir:
• İnsan Açıklaması: Yüksek kaliteli ancak pahalı. Uzmanlar, sağlanan kaynaklara dayalı olarak temellendirilmiş cevaplar yazarlar.
• Sentetik Veri Üretimi: Verilen belgelerden temellendirilmiş, alıntılı cevaplar üretmek için özel olarak yönlendirilen daha büyük, daha yetenekli modellerin (potansiyel olarak Gemini Pro/Ultra gibi dahili Google modelleri) kullanılması. Bu, dikkatli kalite kontrolü ve filtreleme gerektirir. Kaynak belgelerden cümleler çıkarma ve bunları alıntılarla sentezleme gibi sezgisel yöntemler kullanılabilir.
• Web Veri Dönüşümü: Doğal Sorular (soruları ilgili web parçacıklarıyla eşleştiren) veya ELI5 (Beş Yaşında Gibi Açıklayın) gibi mevcut veri kümelerinin işlenmesi ve bunları gerekli (Sorgu + Bağlam Belgeleri -> Alıntılı Cevap) biçimine dönüştürmek. Bu, destekleyici cümlelerin otomatik olarak tanımlanmasını ve alıntı işaretlerinin eklenmesini içerebilir.
• Veri Ölçeği: İnce ayar, modelin davranışını önceden eğitilmiş parametrik eğilimlerinden etkili bir şekilde uzaklaştırmak için muhtemelen milyonlarca, hatta milyarlarca belirteçten oluşan bu özel verileri içerir.

1. Eğitim Yöntemleri:

• Denetimli İnce Ayar (SFT): Temel Gemma modeli, hedef temellendirilmiş ve alıntılı cevabı tahmin etmek için standart dizi-dizi kaybı (örneğin, çapraz entropi) kullanılarak özel korpus üzerinde eğitilir.
• Alıntı İşleme: Alıntılar, kelime dağarcığı içindeki özel belirteçler olarak ele alınabilir veya metin dizisinin bir parçası olarak oluşturulabilir. Model, bu işaretleri eğitim verilerine göre uygun şekilde yerleştirmeyi öğrenir. Daha karmaşık mekanizmalar, alıntı açıklıklarını ayrı olarak tahmin etmeyi içerebilir.
• Negatif Eğitim (Potansiyel Olarak): Eğitim verileri, istenen çıktının cevabın sağlanan kaynaklarda bulunamayacağını gösterdiği veya harici bilgi kullanan çıktıları cezalandıran karşıt örnekler içerdiği örnekleri açıkça içerebilir.
• Geri Bildirimden Takviyeli Öğrenme (RLHF/RLAIF - İsteğe Bağlı ancak olası): SFT'nin ötesinde temellendirme ve alıntı kalitesini daha da iyileştirmek için takviyeli öğrenme kullanılabilir. Ödül modelleri şunları değerlendirmek için eğitilebilir:
• Doğruluk: Oluşturulan cevap, kaynak belgeleri doğru bir şekilde yansıtıyor mu? (Doğruluk için yüksek ödül, çelişki veya desteklenmeyen iddialar için ceza).
• Alıntı Doğruluğu: Oluşturulan alıntılar doğru bir şekilde yerleştirilmiş mi ve ilgili kaynak pasajlarına işaret ediyor mu?
• Alıntı Kapsamı: Cevabın gerekli tüm kısımlarına alıntı yapılmış mı?
• Akıcılık ve Tutarlılık: Cevap iyi yazılmış ve anlaşılması kolay mı?

Değerlendirme Ölçütleri ve Performans

DolphinGemma'yı değerlendirmek, öncelikle akıcılığı ve n-gram örtüşmesini ölçen standart dil üretimi puanlarının (BLEU veya ROUGE gibi) ötesinde ölçütler gerektirir. Temel değerlendirme boyutları şunları içerir:

1. Temellendirme/Doğruluk:

• Otomatik Ölçütler: Oluşturulan ifadeler ile kaynak belgeler arasındaki çıkarım/çelişkiyi kontrol etmek için Doğal Dil Çıkarımı (NLI) modellerinin kullanılması. Bu görev için uyarlanmış gerçek kontrol kıyaslamaları.
• İnsan Değerlendirmesi: Değerlendiriciler, oluşturulan cevaptaki her bir bilgi parçasının sağlanan bağlam tarafından desteklenip desteklenmediğini değerlendirir. Bu genellikle altın standarttır.
• Varsayımsal Performans: Google, DolphinGemma'nın temel Gemma + standart RAG istemlerine (göreve ve isteme bağlı olarak %70-85 aralığında olabilir) kıyasla önemli ölçüde daha yüksek doğruluk puanları (örneğin, insan değerlendirmesine göre >%90-95 olgusal kesinlik) elde ettiğini gösteren ölçütler bildirebilir. Halüsinasyon oranında (örneğin, desteklenmeyen ifadelerin %'si olarak ölçülür) standart RAG'ye göre belki %50-75'lik bir azalma iddia edilebilir.

1. Alıntı Kalitesi:

• Alıntı Hassasiyeti: Oluşturulan alıntıların yüzdesi, iddiayı destekleyen doğru kaynak belgeye/pasaja işaret ediyor mu?
• Alıntı Hatırlama: Cevaptaki, bir alıntı gerektiren iddiaların yüzdesi, aslında bir alıntıya sahip mi?
• Varsayımsal Performans: DolphinGemma'nın, RAG için yönlendirilen genel modellerin geçici alıntı yeteneklerini büyük ölçüde aşan, alıntı görevlerinde yüksek hassasiyet ve hatırlama (örneğin, >%90) göstermesi beklenir.

1. Akıcılık ve Alaka Düzeyi: Çıktının okunabilir ve sorguyla alakalı olduğundan emin olmak için ROUGE gibi standart ölçütler hala kullanılabilir, ancak temellendirmeye ikincildir.
2. Kıyaslamalar: Değerlendirme, cevapların yalnızca sağlanan parçacıklardan türetilmesi gereken ve potansiyel olarak temellendirme ve alıntıyı düşmanca koşullar altında (örneğin, kaynaklarda çelişkili bilgiler) test etmek için özel olarak tasarlanmış özel olarak oluşturulmuş kıyaslamalar ve Soru Cevap veri kümelerinin (Doğal Sorular, Web Soruları, TriviaQA) değiştirilmiş versiyonları üzerinde gerçekleşecektir.

Teknik Hususlar ve Değişimler

• Giriş Uzunluğu: Temel Gemma modelinin bağlam pencere boyutu (örneğin, 8192 belirteç), aynı anda işlenebilecek kaynak materyal miktarını sınırlar. Büyük belge kümeleri için hala etkili parçalama ve alma stratejileri gereklidir.
• Gecikme Süresi: Üretim süreci, daha kısıtlı kod çözme süreci veya potansiyel olarak alıntılar özel olarak işleniyorsa daha karmaşık bir çıktı başlığı nedeniyle standart bir Gemma modelinden biraz daha yavaş olabilir. Ancak, birincil gecikme süresi sürücüsü, herhangi bir RAG sisteminde bulunan ilk alma adımında kalır.
• Alıcı Bağımlılığı: DolphinGemma'nın çıktısının kalitesi, temel olarak alma sistemi (örneğin, arama motoru, vektör veritabanı) tarafından sağlanan belgelerin kalitesi ve alaka düzeyi ile sınırlıdır. Çöp girişi, temellendirilmiş-çöp-çıkışı bir risk olmaya devam ediyor.
• Belirsizliği ve Çatışmayı İşleme: Modeli, kaynaklar arasındaki çelişkili bilgileri uygun şekilde işlemek (örneğin, çatışmayı belirtmek, mevcutsa meta verilere göre bir kaynağı tercih etmek veya cevap vermeyi reddetmek), sofistike eğitim verileri ve potansiyel olarak belirli istem stratejileri gerektiren karmaşık bir zorluktur.
• Hesaplama Maliyeti: Gemma modelleri verimli olsa da, ince ayar süreci önemli hesaplama kaynakları gerektirir. Çıkarım, model ağırlıklarının (örneğin, 2B FP16 için ~5GB, 8B FP16 için ~17GB) ve aktivasyonların yüklenmesini gerektirir.

Açıklık ve Kullanılabilirlik

Gemma ailesinin temel bir yönü, açık doğasıdır. Google genellikle şunları yayınlar:

• Model Ağırlıkları: İzin verici lisanslar altında önceden eğitilmiş ve ince ayarlanmış ağırlıklar (DolphinGemma varyantları gibi).
• Çıkarım Kodu: Modelleri çalıştırmak için örnekler ve potansiyel olarak optimize edilmiş kod.
• Sorumlu Yapay Zeka Yapıtları: Sınırlamaları, önyargıları ve amaçlanan kullanımları ayrıntılı olarak açıklayan model kartları.

Bu, araştırmacıların ve geliştiricilerin DolphinGemma'yı doğrudan dağıtmasına, değiştirmesine ve üzerine inşa etmesine olanak tanır. Kullanılabilirlik, Kaggle, Hugging Face ve Vertex AI Model Garden gibi platformlar aracılığıyla olabilir.

Sonuç: Dil Modellerinde Güven Mühendisliği

DolphinGemma, BDM'lere doğrulanabilir temellendirme ve alıntı yetenekleri kazandırmak için önemli bir mühendislik çabasını temsil eder. Verimli Gemma mimarisinden yararlanarak ve bağlama bağlılık ve kaynak atıfına odaklanan özel, büyük ölçekli ince ayar uygulayarak, genel RAG istemlerinin ötesine geçer. Alma kalitesine bağımlı olmak ve kaynak çatışmalarını ele almada zorluklarla karşılaşmakla birlikte, DolphinGemma, halüsinasyonları azaltmak ve daha güvenilir yapay zeka sistemleri oluşturmak için teknik olarak sağlam bir yaklaşım sunar. Açık bir model olarak kullanılabilirliği, doğruluk ve doğrulanabilirliğin pazarlık konusu olmadığı sistemler için çok önemli bir bileşen sağlayarak, güvenilir, gerçeğe dayalı yapay zeka uygulamalarında araştırma ve geliştirmeyi hızlandırma vaat ediyor.