DolphinGemma:イルカのためのLLM

大規模言語モデル（LLMs）の普及は自然言語処理に革命をもたらしましたが、事実に基づかない、「幻覚的」なコンテンツを生成する傾向は、信頼できる展開への重要な障害のままです。標準的なLLMは、広範であっても不透明なパラメトリック知識をユーザーが提供したコンテキストと混合することがよくあり、その結果、検証が難しい出力が生じます。これに対応して、GoogleはDolphinGemmaを導入しました。このモデルは、オープンモデルのGemmaファミリー内の特化型イテレーションであり、明示的な引用による基づいた生成のために精密に設計されています。

本記事では、DolphinGemmaの可能性のあるアーキテクチャ、学習方法、評価メトリクス、および信頼できるAIの領域におけるその位置付けの技術的探究を提供します。

💡

美しいAPIドキュメントを生成する素晴らしいAPIテストツールが欲しいですか？

開発チームが最大の生産性で一緒に作業できる統合型のオールインワンプラットフォームが必要ですか？

Apidogはあなたのすべての要求を提供し、Postmanをより手頃な価格で置き換えます！

button

基盤アーキテクチャ：Gemmaの遺産

DolphinGemmaは、GoogleのGemmaモデルの確立されたアーキテクチャを基に構築されています。Gemma自体は、GPTのようなモデルによって普及したデコーダのみのTransformerアーキテクチャを利用しています。

DolphinGemmaが受け継ぐ主要な特徴には、以下が含まれる可能性があります：

トランスフォーマーブロック：マルチヘッド自己注意層とフィードフォワードネットワークで構成され、モデルが入力シーケンス内の異なるトークンの重要性を評価できるようにします。Gemmaは、より高速な推論とメモリフットプリントの削減のためにマルチクエリ注意を使用しており、特に大きなモデルにとっては有益です。
パラメータサイズ：DolphinGemmaのバリアントは、公開されたGemmaサイズに一致することが期待されており、主に2B（具体的には約25億パラメータ）および7B/8B（具体的には約85億パラメータ）の実効パラメータです。これらのサイズは意図的なトレードオフを表しており、消費者グレードのGPU（例えばNVIDIA RTXシリーズ）やCPUに展開可能であり、クラウド環境（例：Google Cloud Vertex AI、Kaggle）に効率的にホストできます。
語彙とトークナイゼーション：大規模コーパスに基づいて訓練されたSentencePieceトークナイザーを利用しており、おそらくGemmaで使用されるのと同じ256kの語彙サイズを使用しています。これにより、様々なテキストとコードの効率的なエンコードが可能になります。
活性化関数：トレーニングダイナミクスと性能を改善するために、GeGLU（Gated Linear Units with GELU活性化）などの現代的な活性化関数を使用しています。
正規化：標準のLayer Normalizationの代わりに計算効率を重視してRMSNorm（Root Mean Square Layer Normalization）を使用していますが、パフォーマンスに妥協はありません。
回転位置埋め込み（RoPE）：注意メカニズム内で直接位置情報を適用し、シーケンスの長さをより良く処理でき、絶対位置埋め込みや学習された位置埋め込みと比較して外挿能力の向上が期待できます。

この基盤は、DolphinGemmaの特化した基づいた能力が構築される、能力的かつ比較的効率的なベースモデルを提供します。

DolphinGemmaに会いましょう、私たちをイルカのコミュニケーションの世界に深く潜らせるAIです。🐬 pic.twitter.com/2wYiSSXMnn
— Google DeepMind (@GoogleDeepMind) 2025年4月14日

技術的課題：パラメトリックドミナンスを克服する

標準的なLLMは、Retrieval-Augmented Generation（RAG）を介してコンテキストが提供された場合でも、「知識漏洩」をしばしば示します。内部パラメータは、事前学習中に学習された膨大な量の世界知識をエンコードします。生成中、モデルの次のトークンに対する予測は提供されたコンテキスト（取得されたドキュメント）とこの内部パラメトリック知識の両方の影響を受けます。これにより以下が引き起こされる可能性があります：

コンテキスト無視の幻覚：提供されたソースドキュメントに矛盾する場合でも、事前学習中に学習された事実を生成します。
コンテキスト混合の幻覚：提供されたコンテキストと内部知識の情報を織り交ぜ、もっともらしいが未検証の声明を作成します。
帰属の欠如：生成された声明をソースドキュメントの特定の部分に正確にマッピングすることが困難です。

DolphinGemmaの主要な技術的目標は、提供されたコンテキストに対して生成プロセスを強くバイアスすることとソースの帰属（引用）を明示的に生成することです。

DolphinGemmaの解決策：特化したファインチューニング

DolphinGemmaは、その基づいた挙動をアーキテクチャの大規模な見直し（コアのトランスフォーマーブロックにはほとんど変更がない可能性が高い）ではなく、ターゲットを絞った教師ありファインチューニング（SFT）と、基づいた性質と引用に特化した強化学習のフェーズを通じて達成します。

ファインチューニング目標：主な訓練目標は、一般的な指示の遵守やチャット能力（Gemma-ITバリアントのような）から、クエリQとソースドキュメントのセット{D1、D2、...、Dn}が与えられた場合、{Di}に存在する情報にのみ事実的に一貫した回答Aを生成し、Aのスパンを特定のDiにリンクする引用を含むへとシフトします。
ファインチューニングデータコーパス：これには、典型的な指示チューニングデータセットとは異なる特化したデータセットが必要です。このコーパスは、以下の形式の例が含まれている可能性があります：

Input: ユーザークエリ + [SEP] + ドキュメント1テキスト + [SEP] + ドキュメント2テキスト + ...
Output: ドキュメントから導出可能な情報のみを含む合成回答、引用マーカー（例：[1], [2]）を織り交ぜてドキュメント1、ドキュメント2などにリンクします。
データソース：このデータを大規模に作成することは困難です。潜在的なソースには以下が含まれます：
人手による注釈：高品質だが高額。専門家が提供されたソースに基づいて基づいた回答を書く。
合成データ生成：大型でより能力のあるモデル（内部のGoogleモデル、例えばGemini Pro/Ultra）を使用し、与えられたドキュメントから基づいた、引用付きの回答を生成するよう促す。これには注意深い品質管理とフィルタリングが必要です。ソースドキュメントから文を抽出し、引用とともに合成するようなヒューリスティックが使用されることがあります。
ウェブデータ変換：Natural Questions（質問と関連するウェブスニペットをペアにしたもの）やELI5（わからない方のために説明）などの既存データセットを処理し、必要な（クエリ + コンテキストドキュメント -> 引用された回答）形式に変換します。これには、サポートする文を自動的に特定し、引用マーカーを追加することが含まれるかもしれません。
データスケール：ファインチューニングには、おそらく数百万から数十億トークンのこの特化したデータが含まれ、モデルの挙動を事前学習されたパラメトリック傾向から効果的に逸脱させます。

訓練方法論：

教師ありファインチューニング（SFT）：基のGemmaモデルは、特化したコーパスに対して標準のシーケンス・ツー・シーケンス損失（例えば交差エントロピー）を使用して、ターゲットとなる基づいた引用付きの回答を予測するように訓練されます。
引用処理：引用は語彙内の特別なトークンとして扱われるか、テキストシーケンスの一部として生成されるかもしれません。モデルは、訓練データに基づいてこれらのマーカーを適切に配置することを学習します。より複雑なメカニズムでは、引用スパンを別々に予測することが含まれるかもしれません。
ネガティブトレーニング（潜在的）：訓練データには、望ましい出力が提供されたソースでは見つからないことを示す例が明示的に含まれるか、外部知識を使用する出力にペナルティを与える対照的な例が含まれるかもしれません。
フィードバックからの強化学習（RLHF/RLAIF - オプショナルだが可能性が高い）：SFTを超えて基づいた性質と引用の質をさらに洗練させるために、強化学習が用いられるかもしれません。報酬モデルは以下を評価するために訓練される可能性があります：
忠実性：生成された回答は、ソースドキュメントを正確に反映していますか？（忠実性に高報酬、矛盾や裏付けのない主張にはペナルティ）。
引用の正確性：引用は適切に配置されていますか？それらは関連するソース部分を指していますか？
引用のカバレッジ：回答の必要な部分はすべて引用されていますか？
流暢さと首尾一貫さ：回答はよく書かれていて、理解しやすいですか？

評価メトリクスと性能

DolphinGemmaを評価するには、流暢さやn-gramのオーバーラップを主に測定する標準的な言語生成スコア（例えばBLEUやROUGE）を超えたメトリクスが必要です。主要な評価次元には以下が含まれます：

基づき／忠実性：

自動メトリクス：生成された声明とソースドキュメント間の含意／矛盾をチェックするために自然言語推論（NLI）モデルを使用します。このタスクに適応された事実確認ベンチマーク。
人間評価：評価者が生成された回答内の各情報が提供されたコンテキストによって支持されているかどうかを評価します。これはしばしばゴールドスタンダードです。
仮説的な性能：Googleは、DolphinGemmaが基のGemma + 標準RAGプロンプトと比較して、著しく高い忠実性スコア（例えば、人間評価に基づく事実的正確性90-95％以上）を達成していると報告する可能性があります。また、標準RAGの幻覚率（例えば、裏付けのない声明の％として測定）が、通常のRAGに比べておそらく50-75％低下していると主張されるかもしれません。

引用の質：

引用の精度：生成された引用のうち、何パーセントが主張を支持する正しいソースドキュメント／パッセージを指していますか？
引用の再現率：回答内の必要な引用を要求する主張の何パーセントが実際に一つ以上の引用を持っていますか？
仮説的な性能：DolphinGemmaは、引用タスクで高い精度と再現率（例えば90％以上）を示すことが期待され、RAGのために促された一般的なモデルのアドホック引用能力を大きく上回るでしょう。

流暢さと関連性：標準的なメトリクスであるROUGEは、出力が読みやすく、クエリに関連しているかを確認するために使用できますが、基づいていることに対して二次的です。
ベンチマーク：評価は、回答が提供されたスニペットのみに基づいて導出されなければならない（Natural Questions、WebQuestions、TriviaQAなど）の質問応答データセットの修正されたバージョンで行われる可能性が高く、対立情報のあるソースの下で基づきと引用をテストするために特別に設計されたカスタム構築ベンチマーク上で行われるかもしれません。

技術的考慮事項とトレードオフ

入力の長さ：基のGemmaモデルのコンテキストウィンドウサイズ（例えば、8192トークン）は、同時に処理できるソース資料の量を制限します。大規模なドキュメントセットには、効果的なチャンク分けと取得戦略が依然として必要です。
レイテンシ：生成プロセスは、引用が特別に処理されている場合や、より制約されたデコーディングプロセスのために標準のGemmaモデルよりもわずかに遅くなるかもしれません。しかし、主要なレイテンシの要因は、どのRAGシステムにも内在する初期取得ステップのままです。
リトリーバー依存性：DolphinGemmaの出力の質は、リトリーバルシステム（例：検索エンジン、ベクトルデータベース）によって提供されるドキュメントの質と関連性によって根本的に制限されています。ゴミを入れれば、基づいたゴミが出るというリスクがあります。
あいまいさと矛盾の処理：リソース間で矛盾する情報を適切に処理するためにモデルを訓練（例：矛盾を述べる、利用可能な場合はメタデータに基づいて1つのソースを優先する、または回答を拒否する）することは、複雑な課題であり、洗練された訓練データと特定のプロンプティング戦略が必要です。
計算コスト：Gemmaモデルは効率的ですが、ファインチューニングプロセスには相当な計算リソースが必要です。推論にはモデルの重みのロードが含まれ（例：2B FP16で約5GB、8B FP16で約17GB）、さらにアクティベーションも加わります。

オープン性と入手可能性

Gemmaファミリーの重要な側面は、そのオープンな性質です。Googleは通常：

モデルの重み：許可されたライセンスの下で、事前訓練されたおよびファインチューニングされた重み（DolphinGemmaのバリアントなど）を公開します。
推論コード：モデルを実行するための例や最適化されたコードを公開します。
責任あるAIアーティファクト：制限、バイアス、意図された使用を詳細に説明するモデルカードを公開します。

これにより、研究者や開発者はDolphinGemmaを直接展開、変更、および構築できます。入手可能性は、Kaggle、Hugging Face、Vertex AI Model Gardenなどのプラットフォームを通じて行われるかもしれません。

結論：言語モデルに対する信頼性の工学

DolphinGemmaは、LLMsに検証可能な基づきと引用能力を持たせるための重要な工学的努力を表しています。効率的なGemmaアーキテクチャを活用し、コンテキストの遵守とソースの帰属に特化した大規模ファインチューニングを適用することで、一般的なRAGプロンプティングを超えたものとなります。リトリーバルの質に依存し、ソース内の矛盾を処理する際の課題に直面しながら、DolphinGemmaは幻覚を軽減し、より信頼できるAIシステムを構築するための技術的に堅牢なアプローチを提供します。そのオープンモデルとしての入手可能性は、正確性と検証可能性が妥協できないシステムにとって重要な要素を提供し、信頼できる事実に基づくAIアプリケーションの研究と開発を acelerate させることを約束します。