DolphinGemma: Mô Hình Ngôn Ngữ, Nhưng Dành Cho Cá Heo

Sự phát triển của các Mô hình Ngôn ngữ Lớn (LLMs) đã cách mạng hóa quá trình xử lý ngôn ngữ tự nhiên, tuy nhiên, xu hướng tạo ra nội dung không có thật hoặc "ảo giác" vẫn là một rào cản quan trọng đối với việc triển khai đáng tin cậy. Các LLM tiêu chuẩn thường pha trộn kiến thức tham số rộng lớn nhưng mờ mịt của chúng với bối cảnh do người dùng cung cấp, dẫn đến các đầu ra khó xác minh. Để giải quyết vấn đề này, Google đã giới thiệu DolphinGemma, một phiên bản chuyên biệt trong gia đình các mô hình mở Gemma, được thiết kế tỉ mỉ cho việc tạo ra nội dung có căn cứ với sự trích dẫn rõ ràng. Bài viết này cung cấp một cái nhìn kỹ thuật về kiến trúc có thể của DolphinGemma, phương pháp đào tạo, các tiêu chí đánh giá, và vị trí của nó trong bối cảnh AI đáng tin cậy.

Kiến trúc Nền tảng: Di sản Gemma

DolphinGemma xây dựng dựa trên kiến trúc đã được thiết lập của các mô hình Gemma của Google. Gemma tự nó sử dụng kiến trúc Transformer chỉ có bộ giải mã, được phổ biến bởi các mô hình như GPT.

Các đặc điểm chính mà DolphinGemma có thể kế thừa bao gồm:

1. Các Khối Transformer: Bao gồm các lớp tự chú ý đa đầu và mạng nơ-ron hồi tiếp, cho phép mô hình đánh giá tầm quan trọng của các token khác nhau trong chuỗi đầu vào. Gemma sử dụng chú ý đa truy vấn để tăng tốc độ suy diễn và giảm thiểu dung lượng bộ nhớ, đặc biệt có lợi cho các mô hình lớn hơn.
2. Kích thước Tham số: Các biến thể DolphinGemma dự kiến sẽ phù hợp với các kích thước Gemma đã phát hành, chủ yếu là 2B (cụ thể là ~2,5 tỷ tham số) và 7B/8B (cụ thể là ~8,5 tỷ tham số hiệu quả). Những kích thước này đại diện cho một sự đánh đổi có chủ ý, cung cấp khả năng đáng kể trong khi vẫn có thể triển khai trên các GPU cấp tiêu dùng (như dòng NVIDIA RTX) và CPU, hoặc được lưu trữ một cách hiệu quả trong môi trường đám mây (ví dụ, Google Cloud Vertex AI, Kaggle).
3. Từ vựng và Tách Token: Sử dụng bộ tách SentencePiece được đào tạo trên một tập hợp lớn, có thể là cùng kích thước từ vựng 256k được sử dụng cho Gemma. Điều này cho phép mã hóa hiệu quả các văn bản và mã khác nhau.
4. Hàm Kích Hoạt: Sử dụng các hàm kích hoạt hiện đại như GeGLU (Gated Linear Units với hàm kích hoạt GELU) để cải thiện động lực học và hiệu suất đào tạo.
5. Chuẩn hóa: Sử dụng RMSNorm (Chuẩn hóa Lớp Bình phương Căn) thay vì Chuẩn hóa Lớp tiêu chuẩn để tối ưu hóa hiệu suất tính toán mà không làm giảm hiệu suất.
6. Nhúng Vị trí Xoay (RoPE): Áp dụng thông tin vị trí ngay trong cơ chế chú ý, cung cấp khả năng xử lý chiều dài chuỗi tốt hơn và khả năng suy diễn có thể tốt hơn so với nhúng vị trí tuyệt đối hoặc học được.

Nền tảng này cung cấp một mô hình cơ bản có khả năng và tương đối hiệu quả mà trên đó các khả năng tạo ra có căn cứ của DolphinGemma được xây dựng.

Gặp gỡ DolphinGemma, một AI giúp chúng ta khám phá sâu hơn thế giới giao tiếp của cá heo. 🐬 pic.twitter.com/2wYiSSXMnn

— Google DeepMind (@GoogleDeepMind) 14 tháng 4, 2025

Thách thức Kỹ thuật: Vượt qua Sự Thống trị Tham số

Các LLM tiêu chuẩn, ngay cả khi được cung cấp bối cảnh thông qua Tạo ra Tăng cường Tìm kiếm (RAG), thường có hiện tượng "rò rỉ kiến thức". Các tham số nội bộ của chúng mã hóa lượng kiến thức thế giới khổng lồ được học trong quá trình đào tạo trước. Trong quá trình tạo ra, dự đoán của mô hình cho token tiếp theo bị ảnh hưởng bởi cả hai bối cảnh được cung cấp (các tài liệu đã tìm thấy) và kiến thức tham số nội bộ này. Điều này có thể dẫn đến:

• Ảo giác Bỏ Qua Bối Cảnh: Tạo ra các sự kiện đã học trong quá trình đào tạo trước ngay cả khi chúng mâu thuẫn với các tài liệu nguồn được cung cấp.
• Ảo giác Pha Trộn Bối Cảnh: Kết hợp thông tin từ bối cảnh được cung cấp và kiến thức nội bộ, tạo ra những tuyên bố có vẻ hợp lý nhưng không được xác minh.
• Thiếu Trích dẫn: Khó khăn trong việc xác định chính xác các tuyên bố được tạo ra liên quan đến các đoạn cụ thể trong các tài liệu nguồn.

Mục tiêu kỹ thuật cốt lõi của DolphinGemma là có thiên hướng mạnh mẽ vào quá trình tạo ra nội dung dựa trên bối cảnh được cung cấp và rõ ràng tạo ra các trích dẫn nguồn.

Giải pháp của DolphinGemma: Tinh chỉnh Chuyên biệt

DolphinGemma đạt được hành vi có căn cứ của mình không thông qua việc cải cách kiến trúc (có thể chỉ có những thay đổi tối thiểu, nếu có, đối với các khối Transformer cơ bản) mà thông qua tinh chỉnh có giám sát có mục tiêu (SFT) và có thể là các giai đoạn học củng cố tập trung cụ thể vào tính có căn cứ và trích dẫn.

1. Mục tiêu Tinh chỉnh: Mục tiêu đào tạo chính chuyển từ việc tuân theo hướng dẫn chung hoặc khả năng trò chuyện (như các biến thể Gemma-IT) sang: Được cho một truy vấn Q và một tập hợp tài liệu nguồn {D1, D2, ..., Dn}, tạo ra một câu trả lời A chỉ nhất quán về mặt thực tế với thông tin có trong {Di} và bao gồm các trích dẫn liên kết các đoạn trong A trở lại các Di cụ thể.
2. Tập Dữ Liệu Tinh Chỉnh: Điều này yêu cầu một tập dữ liệu chuyên biệt khác với các tập dữ liệu tinh chỉnh theo hướng dẫn thông thường. Tập dữ liệu này có thể chứa các ví dụ theo dạng:

• Input: Truy Vấn của Người Dùng + [SEP] + Văn Bản Tài liệu 1 + [SEP] + Văn Bản Tài liệu 2 + ...
• Output: Câu Trả Lời Tổng Hợp chứa chỉ thông tin có thể rút ra từ các tài liệu, được liên kết với các ký hiệu trích dẫn (ví dụ, [1], [2]) liên kết trở lại Tài liệu 1, Tài liệu 2, v.v.
• Các Nguồn Dữ Liệu: Việc tạo dữ liệu này quy mô lớn là một thách thức. Các nguồn tiềm năng bao gồm:
• Ghi Chú của Con Người: Chất lượng cao nhưng đắt đỏ. Các chuyên gia viết các câu trả lời có căn cứ dựa trên các nguồn đã cung cấp.
• Tạo Dữ Liệu Tổng Hợp: Sử dụng các mô hình lớn hơn, mạnh mẽ hơn (có thể là các mô hình nội bộ của Google như Gemini Pro/Ultra) được yêu cầu cụ thể để tạo ra các câu trả lời có căn cứ và có trích dẫn từ các tài liệu được cung cấp. Điều này yêu cầu kiểm soát chất lượng và lọc kỹ lưỡng. Các phương pháp có thể được sử dụng, như trích xuất câu từ các tài liệu nguồn và tổng hợp chúng với các trích dẫn.
• Biến Đổi Dữ Liệu Web: Xử lý các tập dữ liệu hiện có như Câu Hỏi Tự Nhiên (có cặp câu hỏi với các đoạn web liên quan) hoặc ELI5 (Giải thích Như Tôi Năm Tuổi) và biến đổi chúng thành định dạng yêu cầu (Truy Vấn + Tài Liệu Bối Cảnh -> Câu Trả Lời Có Trích Dẫn). Điều này có thể liên quan đến việc tự động xác định các câu hỗ trợ và thêm ký hiệu trích dẫn.
• Quy Mô Dữ Liệu: Tinh chỉnh có thể liên quan đến hàng triệu, nếu không muốn nói là hàng tỷ token của dữ liệu chuyên biệt này để chỉ đạo hiệu quả hành vi của mô hình ra khỏi các xu hướng tham số đã được đào tạo trước của nó.

1. Phương Pháp Đào Tạo:

• Tinh Chỉnh Có Giám Sát (SFT): Mô hình Gemma cơ bản được đào tạo trên tập dữ liệu chuyên biệt sử dụng mất mát chuỗi đến chuỗi tiêu chuẩn (ví dụ, entropy chéo) để dự đoán đáp án có căn cứ và có trích dẫn mục tiêu.
• Xử Lý Trích Dẫn: Các trích dẫn có thể được coi như các token đặc biệt trong từ vựng hoặc được tạo ra như một phần của chuỗi văn bản. Mô hình học cách đặt các ký hiệu này phù hợp dựa trên dữ liệu đào tạo. Các cơ chế phức tạp hơn có thể liên quan đến việc dự đoán các đoạn trích dẫn riêng biệt.
• Đào Tạo Tiêu Cực (Có Thể): Dữ liệu đào tạo có thể bao gồm rõ ràng các ví dụ trong đó đầu ra mong muốn là một dấu hiệu cho biết câu trả lời không thể được tìm thấy trong các nguồn đã cung cấp, hoặc các ví dụ tương phản trừng phạt các đầu ra sử dụng kiến thức bên ngoài.
• Học Tăng Cường từ Phản Hồi (RLHF/RLAIF - Tùy chọn nhưng có thể): Để tinh chỉnh hơn nữa chất lượng có căn cứ và trích dẫn vượt ra ngoài SFT, học tăng cường có thể được sử dụng. Các mô hình thưởng có thể được đào tạo để đánh giá:
• Sự Trung Thực: Câu trả lời được tạo ra có phản ánh chính xác các tài liệu nguồn không? (Phần thưởng cao cho sự trung thực, phạt cho sự mâu thuẫn hoặc các tuyên bố không được hỗ trợ).
• Độ Chính Xác của Trích Dẫn: Các trích dẫn có được đặt chính xác và có chỉ vào các đoạn nguồn có liên quan không?
• Phạm Vi Trích Dẫn: Tất cả các phần cần thiết của câu trả lời có được trích dẫn không?
• Trôi Chảy và Sự Liên Kết: Câu trả lời có được viết tốt và dễ hiểu không?

Các Tiêu Chí Đánh Giá và Hiệu Suất

Đánh giá DolphinGemma yêu cầu các tiêu chí vượt xa các điểm số tạo ngôn ngữ tiêu chuẩn (như BLEU hoặc ROUGE) chủ yếu đo lường độ trôi chảy và sự chồng chéo n-gram. Các khía cạnh đánh giá chính bao gồm:

1. Tính Có Căn Cứ/Sự Trung Thực:

• Tiêu Chuẩn Tự Động: Sử dụng các mô hình Tư Tưởng Ngôn Ngữ Tự Nhiên (NLI) để kiểm tra sự suy diễn/mâu thuẫn giữa các tuyên bố được tạo ra và các tài liệu nguồn. Các tiêu chuẩn kiểm tra thực tế được điều chỉnh cho nhiệm vụ này.
• Đánh Giá Con Người: Người đánh giá xem xét liệu mỗi thông tin trong câu trả lời được tạo ra có được hỗ trợ bởi bối cảnh đã cung cấp không. Đây thường là tiêu chuẩn vàng.
• Hiệu Suất Giả Thuyết: Google có thể báo cáo các chỉ số cho thấy DolphinGemma đạt được điểm số cao hơn đáng kể về tính trung thực (ví dụ, >90-95% độ chính xác thực tế dựa trên đánh giá của con người) so với Gemma cơ bản + các thông số RAG tiêu chuẩn (có thể rơi vào khoảng 70-85% tùy thuộc vào nhiệm vụ và yêu cầu). Một sự giảm tỷ lệ ảo giác (ví dụ, đo bằng tỷ lệ phần trăm các tuyên bố không được hỗ trợ) khoảng 50-75% so với RAG tiêu chuẩn có thể được tuyên bố.

1. Chất Lượng Trích Dẫn:

• Độ Chính Xác Trích Dẫn: Trong số các trích dẫn được tạo ra, tỷ lệ phần trăm nào chỉ vào tài liệu/đoạn nguồn chính xác hỗ trợ cho tuyên bố?
• Độ Nhớ Trích Dẫn: Tỷ lệ phần trăm các tuyên bố trong câu trả lời yêu cầu một trích dẫn thực sự có một cái?
• Hiệu Suất Giả Thuyết: DolphinGemma được kỳ vọng sẽ thể hiện độ chính xác và độ nhớ cao (ví dụ, >90%) trong các nhiệm vụ trích dẫn, vượt xa khả năng trích dẫn tạm thời của các mô hình chung được yêu cầu cho RAG.

1. Trôi Chảy và Liên Quan: Các tiêu chí tiêu chuẩn như ROUGE vẫn có thể được sử dụng để đảm bảo đầu ra có thể đọc được và liên quan đến truy vấn, mặc dù thứ yếu so với tính có căn cứ.
2. Thang Đo: Việc đánh giá có thể diễn ra trên các phiên bản đã sửa đổi của các tập dữ liệu Đặt Câu Hỏi (Câu Hỏi Tự Nhiên, WebQuestions, TriviaQA) nơi các câu trả lời phải được rút ra chỉ từ các đoạn đã cung cấp, và có thể trên các thang đo được xây dựng tùy chỉnh cụ thể nhằm kiểm tra tính có căn cứ và trích dẫn trong các điều kiện đối kháng (ví dụ, thông tin mâu thuẫn trong các nguồn).

Các Cân Nhắc Kỹ Thuật và Đánh Đổi

• Chiều Dài Đầu Vào: Kích thước cửa sổ bối cảnh của mô hình Gemma cơ bản (ví dụ, 8192 token) giới hạn lượng tài liệu nguồn có thể được xử lý đồng thời. Các chiến lược phân đoạn và tìm kiếm hiệu quả vẫn cần thiết cho các tập tài liệu lớn.
• Độ Trễ: Quá trình tạo ra có thể chậm hơn một chút so với mô hình Gemma tiêu chuẩn do quá trình giải mã bị hạn chế hơn hoặc có thể đầu ra phức tạp hơn nếu các trích dẫn được xử lý đặc biệt. Tuy nhiên, yếu tố gây độ trễ chính vẫn là bước tìm kiếm ban đầu vốn có trong bất kỳ hệ thống RAG nào.
• Phụ Thuộc vào Trình Tìm Kiếm: Chất lượng đầu ra của DolphinGemma về cơ bản bị giới hạn bởi chất lượng và tính liên quan của các tài liệu do hệ thống tìm kiếm cung cấp (ví dụ, công cụ tìm kiếm, cơ sở dữ liệu vector). Đầu vào kém dẫn đến đầu ra không có căn cứ vẫn là một rủi ro.
• Xử Lý Sự Mơ Hồ và Mâu Thuẫn: Đào tạo mô hình để xử lý thích hợp thông tin mâu thuẫn giữa các nguồn (ví dụ, tuyên bố mâu thuẫn, ưu tiên một nguồn dựa trên siêu dữ liệu nếu có, hoặc từ chối trả lời) là một thách thức phức tạp yêu cầu dữ liệu đào tạo tinh vi và có thể là các chiến lược yêu cầu cụ thể.
• Chi Phí Tính Toán: Mặc dù các mô hình Gemma rất hiệu quả, quy trình tinh chỉnh yêu cầu sử dụng tài nguyên tính toán đáng kể. Suy diễn yêu cầu tải trọng mô hình (ví dụ, ~5GB cho 2B FP16, ~17GB cho 8B FP16) cộng với hoạt động.

Sự Cởi Mở và Sự Có Sẵn

Một khía cạnh quan trọng trong gia đình Gemma là tính cởi mở của nó. Google thường phát hành:

• Các Trọng Số Mô Hình: Các trọng số đã được huấn luyện trước và tinh chỉnh (như các biến thể DolphinGemma) theo giấy phép cho phép.
• Mã Suy Diễn: Các ví dụ và có thể là mã tối ưu hóa để chạy các mô hình.
• Các Tài Liệu AI Có Trách Nhiệm: Các thẻ mô hình chi tiết về giới hạn, thành kiến và mục đích sử dụng.

Điều này cho phép các nhà nghiên cứu và nhà phát triển triển khai, sửa đổi và xây dựng dựa trên DolphinGemma một cách trực tiếp. Sự có sẵn có thể thông qua các nền tảng như Kaggle, Hugging Face, và Vertex AI Model Garden.

Kết Luận: Kỹ Thuật Xây Dựng Niềm Tin vào Các Mô Hình Ngôn Ngữ

DolphinGemma đại diện cho một nỗ lực kỹ thuật đáng kể để truyền đạt cho các LLM khả năng tạo ra nội dung có thể xác thực và trích dẫn. Bằng cách tận dụng kiến trúc Gemma hiệu quả và áp dụng việc tinh chỉnh quy mô lớn chuyên biệt tập trung vào việc tuân thủ bối cảnh và ghi rõ nguồn trích dẫn, nó vượt qua các yêu cầu RAG chung. Dù phụ thuộc vào chất lượng tìm kiếm và đối mặt với các thách thức trong việc xử lý xung đột nguồn, DolphinGemma cung cấp một cách tiếp cận kỹ thuật mạnh mẽ để giảm thiểu hiện tượng ảo giác và xây dựng các hệ thống AI đáng tin cậy hơn. Sự có sẵn của nó dưới dạng một mô hình mở hứa hẹn sẽ thúc đẩy nhanh chóng nghiên cứu và phát triển trong các ứng dụng AI dựa trên sự thật, cung cấp một thành phần quan trọng cho các hệ thống mà độ chính xác và khả năng xác minh là không thể thương lượng.