DolphinGemma: 돌고래를 위한 LLM

대형 언어 모델(LLM)의 확산은 자연어 처리에 혁신을 가져왔지만, 사실 기반이 아닌 "환상" 콘텐츠 생성 경향은 신뢰할 수 있는 배포의 중요한 장벽으로 남아 있습니다. 표준 LLM은 종종 사용자 제공 맥락과 함께 그들의 방대하지만 불투명한 매개변수 지식을 혼합하여 검증하기 어려운 출력을 생성합니다. 이에 대응하여 구글은 명시적 인용이 있는 기초 생성을 위해 정밀하게 설계된 Gemma 오픈 모델 패밀리 내의 전문화된 변형인 DolphinGemma를 소개했습니다. 이 문서는 DolphinGemma의 예상 아키텍처, 훈련 방법, 평가 지표 및 신뢰할 수 있는 AI 환경 내에서의 위치에 대한 기술적인 탐구를 제공합니다.

기초 아키텍처: Gemma 유산

DolphinGemma는 구글의 Gemma 모델의 확립된 아키텍처를 기반으로 합니다. Gemma 자체는 GPT와 같은 모델에 의해 인기 있는 디코더 전용 Transformer 아키텍처를 활용합니다.

DolphinGemma가 상속받을 가능성이 있는 주요 특성은 다음과 같습니다:

1. Transformer 블록: 다중 헤드 자기 주의 레이어와 피드 포워드 네트워크로 구성되어 모델이 입력 시퀀스의 다양한 토큰의 중요성을 평가할 수 있도록 합니다. Gemma는 더 빠른 추론과 메모리 사용량 감소를 위해 다중 쿼리 주의 메커니즘을 사용하며, 이는 특히 대형 모델에 유리합니다.
2. 매개변수 크기: DolphinGemma 변형은 출시된 Gemma 크기와 일치할 것으로 예상되며, 주로 2B(정확히는 약 25억 개의 매개변수)와 7B/8B(정확히는 약 85억 개의 유효 매개변수)를 포함합니다. 이러한 크기는 상당한 능력을 제공하면서 소비자 등급 GPU(예: NVIDIA RTX 시리즈) 및 CPU에서 배포 가능하고 클라우드 환경(예: Google Cloud Vertex AI, Kaggle)에서 효율적으로 호스팅될 수 있는 명확한 절충을 나타냅니다.
3. 어휘 및 토큰화: 대규모 말뭉치에서 훈련된 SentencePiece 토크나이저를 활용하여 Gemma에 사용된 것과 같은 256k 어휘 크기를 적용합니다. 이는 다양한 텍스트와 코드의 효율적인 인코딩을 가능하게 합니다.
4. 활성화 함수: 향상된 훈련 역학 및 성능을 위해 GeGLU(게이티드 선형 유닛)와 같은 최신 활성화 함수를 사용합니다.
5. 정규화: 표준 레이어 정규화 대신 계산 효율성을 위해 RMSNorm(균등 제곱 평균 레이어 정규화)을 사용하여 성능을 희생하지 않습니다.
6. 회전 위치 임베딩(RoPE): 주의 메커니즘 내에서 위치 정보를 직접 적용하여 시퀀스 길이를 더 잘 처리하고 절대 또는 학습된 위치 임베딩에 비해 향상된 외삽 능력을 제공합니다.

이 기초는 DolphinGemma의 전문화된 기초 생성 기능이 구축된 유능하고 상대적으로 효율적인 기반 모델을 제공합니다.

Meet DolphinGemma, an AI helping us dive deeper into the world of dolphin communication. 🐬 pic.twitter.com/2wYiSSXMnn

— Google DeepMind (@GoogleDeepMind) April 14, 2025

기술적 도전: 매개변수 지배 극복하기

표준 LLM은 Retrieval-Augmented Generation(RAG)을 통해 맥락을 제공하더라도 종종 "지식 누수"를 나타냅니다. 내부 매개변수는 사전 훈련 동안 학습된 방대한 양의 세계 지식을 인코딩합니다. 생성 중 모델의 다음 토큰 예측은 제공된 맥락(검색된 문서)과 이 내부 매개변수 지식 모두에 영향을 받습니다. 이는 다음을 초래할 수 있습니다:

• 맥락 무시 환상: 제공된 소스 문서와 모순되더라도 사전 훈련 중에 학습한 사실을 생성합니다.
• 맥락 혼합 환상: 제공된 맥락과 내부 지식을 결합하여 그럴듯하지만 검증되지 않은 진술을 생성합니다.
• 출처 없음: 생성된 진술을 특정 소스 문서의 특정 구절에 정확히 매핑하는 데 어려움이 있습니다.

DolphinGemma의 주요 기술 목표는 생성 프로세스를 제공된 맥락으로 강하게 편향시키고 출처 인용(인용)을 명시적으로 생성하는 것입니다.

DolphinGemma의 해결책: 전문화된 미세 조정

DolphinGemma는 아키텍처를 대대적으로 혁신하는 것이 아니라(핵심 Transformer 블록에 최소한의 변경이 있을 것으로 예상됨) 목표 지향 감독 미세 조정(SFT) 및 기초적이며 인용에 중점을 둔 보강 학습 단계 통해 그 기초 행동을 달성합니다.

1. 미세 조정 목표: 기본 교육 목표가 일반적인 지시 따르기 또는 대화 능력(예: Gemma-IT 변형)에서 다음으로 전환됩니다: 질문 Q와 소스 문서 집합 {D1, D2, ..., Dn}이 주어졌을 때, {Di}에 있는 정보와 사실적으로 일관된 답변 A를 생성하며, A에서 특정 Di까지 연결하는 인용이 포함됩니다.
2. 미세 조정 데이터 코퍼스: 이에는 일반적인 지시 조정 데이터 세트와는 별개의 전문 데이터 세트가 필요합니다. 이 코퍼스는 다음과 같은 형태의 예제를 포함할 가능성이 높습니다:

• 입력: 사용자 질문 + [SEP] + 문서 1 텍스트 + [SEP] + 문서 2 텍스트 + ...
• 출력: 문서에서 유도할 수 있는 정보만 포함된 합성 답변, 인용 마커(예: [1], [2])와 함께 문서 1, 문서 2 등으로 연결되어 있습니다.
• 데이터 소스: 이 데이터를 규모에 맞게 생성하는 것은 도전적입니다. 가능한 출처로는:
• 인간 주석: 고품질이지만 비용이 많이 듭니다. 전문가들이 제공된 소스를 기반으로 기초가 있는 답변을 작성합니다.
• 합성 데이터 생성: 주어진 문서에서 기초가 있는 인용된 답변을 생성하도록 특별히 요청된 더 크고 유능한 모델(내부 Google 모델인 Gemini Pro/Ultra와 같은)을 사용합니다. 이는 신중한 품질 관리 및 필터링이 필요합니다. 예를 들어, 소스 문서에서 문장을 추출하고 인용과 함께 합성하는 방법이 사용될 수 있습니다.
• 웹 데이터 변환: 질문과 관련된 웹 스니펫의 쌍을 제공하는 자연 질의(Natural Questions)와 같은 기존 데이터 세트를 처리하거나 ELI5(이해하기 쉽게 설명하기)에서 요구하는 형식으로 변환합니다. 이는 지원 문장을 자동으로 식별하고 인용 마커를 추가하는 작업을 포함할 수 있습니다.
• 데이터 규모: 효과적으로 모델의 행동을 사전 훈련된 매개변수 경향에서 제외하기 위해 미세 조정은 수백만, 심지어 수십억 개의 특정 데이터 토큰을 포함할 것으로 예상됩니다.

1. 훈련 방법론:

• 지도 미세 조정(SFT): 기본 Gemma 모델은 목표 기초 및 인용 답변을 예측하기 위해 표준 순차-순차 손실(예: 교차 엔트로피)을 사용하여 전문 코퍼스에서 훈련됩니다.
• 인용 처리: 인용은 어휘 내에서 특수 토큰으로 처리되거나 텍스트 시퀀스의 일부로 생성될 수 있습니다. 모델은 훈련 데이터를 기반으로 이러한 마커를 적절하게 배치하는 방법을 학습합니다. 보다 복잡한 메커니즘은 인용 범위를 별도로 예측하는 것을 포함할 수 있습니다.
• 부정적 훈련(가능성): 훈련 데이터에는 원하는 출력이 제공된 소스에서 찾을 수 없습니다를 나타내는 예가 명시적으로 포함될 수 있으며, 외부 지식을 사용하는 출력에 대해 벌점을 부과하는 대조 예를 사용할 수 있습니다.
• 피드백을 통한 강화 학습(RLHF/RLAIF - 선택적이지만 가능성 있음): SFT를 넘어 기초 및 인용 품질을 더욱 개선하기 위해 보강 학습을 사용할 수 있습니다. 보상 모델은 다음을 평가하도록 훈련될 수 있습니다:
• 신뢰성: 생성된 답변이 소스 문서를 정확히 반영합니까? (신뢰성에 대해 높은 보상, 모순 또는 지원되지 않는 주장은 벌점).
• 인용 정확성: 인용이 올바르게 배치되었으며 관련 소스 구절을 가리키고 있습니까?
• 인용 범위: 답변의 모든 필수 부분이 인용되었습니까?
• 유창성 및 일관성: 답변이 잘 작성되어 이해하기 쉬운가요?

평가 지표 및 성능

DolphinGemma를 평가하기 위해서는 주로 유창성과 n-그램 중첩을 측정하는 표준 언어 생성 점수(BLEU 또는 ROUGE 등) 이상의 지표가 필요합니다. 주요 평가 차원은 다음과 같습니다:

1. 기초/신뢰성:

• 자동화된 메트릭: 생성된 진술과 소스 문서 간의 포함 또는 모순을 확인하기 위해 자연어 추론(NLI) 모델을 사용합니다. 이 작업에 맞게 조정된 사실 확인 벤치마크입니다.
• 인간 평가: 평가자가 생성된 답변의 각 정보 조각이 제공된 맥락에 의해 지원되는지 평가합니다. 이는 종종 금본위 기준이 됩니다.
• 가상의 성능: 구글은 DolphinGemma가 기준 Gemma + 표준 RAG 프롬프트에 비해 신뢰성 점수가 상당히 높다는 지표를 보고할 수 있습니다(예: 인간 평가를 기반으로 >90-95% 사실적 정확도). 비확인 진술 비율이 표준 RAG에 비해 50-75% 감소했다고 주장할 수 있습니다.

1. 인용 품질:

• 인용 정확성: 생성된 인용 중 몇 %가 주장을 지원하는 올바른 소스를 가리키는가?
• 인용 재현율: 인용이 필요한 답변의 주장은 실제로 인용이 몇 %나 있는가?
• 가상의 성능: DolphinGemma는 인용 작업에서 높은 정확도 및 재현율(예: >90%)을 보여줄 것으로 예상되며, RAG를 위한 일반 모델의 즉흥적인 인용 능력을 훨씬 초과합니다.

1. 유창성 및 관련성: ROUGE와 같은 표준 메트릭은 여전히 출력을 읽을 수 있고 질문과 관련이 있는지 확인하는 데 사용될 수 있지만, 기초에 비해 부차적인 것입니다.
2. 벤치마크: 평가가 질문 응답 데이터 세트(자연 질문, 웹 질문, TriviaQA)의 수정된 버전에서 이루어질 가능성이 높으며, 답변은 제공된 스니펫에서 오직 유도되어야 하며, 잠재적으로 대립 조건에서 기초 및 인용을 테스트하도록 특별히 설계된 맞춤 벤치마크에서 이루어질 것입니다(예: 소스의 충돌 정보).

기술적 고려사항 및 절충안

• 입력 길이: 기본 Gemma 모델의 맥락 창 크기(예: 8192 토큰)는 동시에 처리할 수 있는 소스 자료의 양을 제한합니다. 대규모 문서 세트에 대해서는 효율적인 청크화 및 검색 전략이 여전히 필요합니다.
• 지연 시간: 생성을 처리하는 과정은 인용을 특별히 처리하는 경우 더 제한된 디코딩 과정 또는 잠재적으로 복잡한 출력 헤드로 인해 표준 Gemma 모델보다 약간 느릴 수 있습니다. 그러나 주요 지연 시간 원인은 모든 RAG 시스템에 고유한 초기 검색 단계입니다.
• 검색기 의존성: DolphinGemma의 출력 품질은 본질적으로 검색 시스템(예: 검색 엔진, 벡터 데이터베이스)에 의해 제공된 문서의 품질과 관련성으로 제한됩니다. 쓰레기 입력, 쓰레기 출력의 위험이 여전히 존재합니다.
• 모호성 및 충돌 처리: 소스 간 충돌 정보를 적절히 처리하도록 모델을 훈련하는 것은 복잡한 도전 과제로, 이는 정교한 훈련 데이터와 특정 프롬프트 전략을 요구합니다.
• 계산 비용: Gemma 모델은 효율적이지만, 미세 조정 과정은 상당한 계산 자원을 요구합니다. 추론은 모델 가중치(예: 2B FP16의 경우 약 5GB, 8B FP16의 경우 약 17GB)와 활성화를 로드하는 것을 요구합니다.

개방성과 가용성

Gemma 패밀리의 주요 측면은 그 개방성입니다. 구글은 일반적으로 다음을 출시합니다:

• 모델 가중치: 허용적인 라이센스 하에 사전 훈련된 및 미세 조정된 가중치(예: DolphinGemma 변형).
• 추론 코드: 모델을 실행하기 위한 예제와 잠재적으로 최적화된 코드.
• 책임 있는 AI 아티팩트: 제한 사항, 편향 및 의도된 용도를 자세히 설명하는 모델 카드.

이로 인해 연구자와 개발자는 DolphinGemma를 직접 배포, 수정 및 구축할 수 있습니다. 가용성은 Kaggle, Hugging Face, Vertex AI 모델 정원과 같은 플랫폼을 통해 이루어질 수 있습니다.

결론: 언어 모델에서 신뢰 공학하기

DolphinGemma는 LLM에 검증 가능한 기초 및 인용 기능을 주입하기 위한 중요한 공학적 노력을 나타냅니다. 효율적인 Gemma 아키텍처를 활용하고 맥락 준수 및 출처 부여에 중점을 둔 전문화된 대규모 미세 조정을 적용함으로써 일반적인 RAG 프롬프트를 넘어섭니다. 검색 품질에 의존하고 소스 충돌 처리에서 도전에 직면해 있지만, DolphinGemma는 환상을 완화하고 더 신뢰할 수 있는 AI 시스템을 구축하는 기술적으로 견고한 접근 방식을 제공합니다. 오픈 모델로서의 가용성은 정확성과 검증 가능성이 필수적인 시스템에서 신뢰할 수 있으며 사실 기반 AI 애플리케이션의 연구 및 개발을 가속화할 것을 약속합니다.