xAI của Elon Musk đã công bố Grok-3, phiên bản mới nhất của chatbot AI của mình, tuyên bố rằng nó vượt trội hơn các đối thủ như GPT-4o của OpenAI, Gemini của Google, và Claude của Anthropic trong các tiêu chuẩn chính. Phiên bản này đánh dấu một bước nhảy vọt quan trọng trong khả năng lập luận, lập trình, và giải quyết vấn đề, định vị Grok-3 như một người chơi mạnh mẽ trong bối cảnh AI sinh tạo. Dưới đây, chúng tôi phân tích hiệu suất tiêu chuẩn của nó, tính khả dụng trong thế giới thực, và trải nghiệm ban đầu của người dùng để đánh giá xem nó có xứng đáng với sự kỳ vọng không.
Đánh giá nhanh về tiêu chuẩn Grok-3
Grok-3 thể hiện hiệu suất vượt trội qua các tiêu chuẩn chuẩn hóa trong toán học, khoa học, và lập trình.
- Trong cuộc thi toánAIME’24, nó đạt 52 điểm (so với điểm 48 của GPT-4o), trong khi kết quả tiêu chuẩn khoa học (GPQA) của nó là 75, vượt trội rõ rệt so với các đối thủ như DeepSeek-V3 (68) và Claude 3.5 Sonnet (70).
- Kỹ năng lập trình, được kiểm tra qua bộ dữ liệu LCB Oct-Feb, cho thấy Grok-3 đạt 57 điểm, dẫn trước Gemini-2 Pro (49) và GPT-4o (52).
Biến thể nhẹ Grok-3 mini cũng gây ấn tượng, với điểm số lần lượt là 40, 65, và 41 trong các lĩnh vực này—vẫn đứng đầu so với hầu hết các mẫu đối thủ.
Đáng chú ý, Grok-3 trở thành AI đầu tiên vượt mốc 1400 điểm trên Chatbot Arena (LMSYS), một nền tảng đánh giá các mô hình ngôn ngữ lớn. Phiên bản đầu tiên của nó đạt 1402 điểm, vượt qua DeepSeek-R1 (1385) và o3-mini-high của OpenAI (1390).
Sự thống trị này mở rộng đến các nhiệm vụ chuyên biệt như truy vấn bối cảnh dài, đối thoại đa vòng, và tuân thủ hướng dẫn, nơi Grok-3 luôn đứng đầu.
Bạn có thể sử dụng Grok-3 ở đâu ngay bây giờ?
Grok 3 hiện đã có sẵn cho tất cả các thuê bao Premium+ trên X miễn phí.
Grok-3 thực sự tốt như thế nào?
1. Grok-3 tốt như thế nào trong việc suy nghĩ?
Chế độ "Suy nghĩ" của Grok-3 thể hiện khả năng lập luận tiên tiến, giải quyết các vấn đề phức tạp mà các mô hình khác gặp khó khăn. Ví dụ:
- ✅ Thiết kế trò chơi bảng: Khi được yêu cầu tạo một trang web lưới tứ giác theo kiểu Settlers of Catan với các điều chỉnh vòng động qua thanh trượt, Grok-3 đã tạo ra mã HTML/JavaScript chức năng—một nhiệm vụ mà DeepSeek-R1 và Gemini 2.0 Flash Thinking đã thất bại. o1-pro của OpenAI ($200/tháng) cũng thành công, nhưng Grok-3 đạt hiệu suất tương tự với chi phí thấp hơn nhiều.
- ✅ Phân tích Tic-Tac-Toe: Mô hình đã giải quyết chính xác các bảng tic-tac-toe cơ bản và tạo ra trạng thái trò chơi hợp lệ. Tuy nhiên, khi được thách thức để tạo ra các bảng "khó nhằn", nó đã tạo ra các bố cục vô nghĩa—một thất bại mà o1-pro cũng gặp phải, làm nổi bật hạn chế chung của LLM trong việc tạo ra chiến lược trừu tượng.
- ❌ Đố vui Emoji: Grok-3 gặp khó khăn trong việc giải mã một thông điệp ẩn trong các lựa chọn biến thể Unicode, ngay cả với các gợi ý mã Rust. DeepSeek-R1 đã giải quyết một phần nhiệm vụ này, gợi ý rằng còn nhiều chỗ cần cải thiện trong khả năng lập luận mã hóa.
- ✅ Ước lượng Tính toán: Khi ước tính FLOPs đào tạo của GPT-2—một nhiệm vụ yêu cầu suy diễn số lượng token và toán học—Grok-3 với chế độ "Suy nghĩ" đã đưa ra các tính toán chính xác (~1e21 FLOPs). GPT-4o hoàn toàn thất bại trong việc này, trong khi o1-pro tạo ra các kết quả không nhất quán.
Một tính năng nổi bật là sự sẵn sàng của Grok-3 trong việc giải quyết các vấn đề chưa được giải quyết. Khác với Claude hay Gemini, những mô hình ngay lập tức loại bỏ Giả thuyết Riemann như một việc nằm ngoài khả năng của họ, Grok-3 dũng cảm cố gắng lập luận từng bước trước khi thừa nhận hạn chế—một đặc điểm chung với DeepSeek-R1.
2. Thử nghiệm Nghiên cứu Sâu với Grok-3
Tính năng Tìm kiếm Sâu kết hợp nghiên cứu web với lập luận cấu trúc, tương tự như nghiên cứu sâu của OpenAI và Tìm kiếm Sâu của Perplexity. Các thử nghiệm ban đầu cho thấy:
- ✅ Sự kiện Hiện tại: Các truy vấn như "Có thông tin gì về buổi ra mắt Apple sắp tới không? Có tin đồn gì không?" đã tạo ra các phản hồi chi tiết, có trích dẫn về những dự đoán về kính AR và các tính năng của iOS 19.
- ✅ Truy vấn Ngách: "Bryan Johnson sử dụng loại kem đánh răng nào?" đã trả về câu trả lời chính xác (sản phẩm dựa trên hydroxyapatite), mặc dù các nguồn không phải lúc nào cũng được trích dẫn.
- ❌ Hạn chế Văn hóa Đại chúng: "Dàn diễn viên của Singles Inferno Mùa 4: Họ hiện đang ở đâu?" dẫn đến các sự tưởng tượng, bao gồm cả các tuyên bố sai lệch về mối quan hệ trong dàn diễn viên. Tương tự, các câu hỏi về sở thích chuyển giọng thành văn bản của Simon Willison cũng dẫn đến các câu trả lời không đầy đủ.
Trong khi Tìm kiếm Sâu so với Perplexity về độ rộng, nó vẫn thua kém so với các sản phẩm của OpenAI về độ tin cậy. Các URL tưởng tượng và việc thiếu các tự tham khảo (ví dụ: không đưa xAI vào danh sách các phòng lab LLM lớn) nhấn mạnh sự cần thiết phải cải thiện hơn nữa.
3. Kiểm tra các trường hợp Bên lề và các câu hỏi "Xoay quanh"
Hiệu suất của Grok-3 trên các câu đố kỳ quặc, dễ đối với con người, thể hiện cả sức mạnh và điểm kỳ quặc:
- ✅ Thử thách Ngôn ngữ: Nó đã xác định đúng ba "r" trong "dâu tây" nhưng ban đầu đã đếm sai "L" trong "LOLLAPALOOZA". Bật chế độ "Suy nghĩ" đã khắc phục điều này.
- ✅ So sánh Số: Mô hình ban đầu đã tuyên bố 9.11 > 9.9—một lỗi phổ biến của LLM—nhưng đã tự sửa chữa khi kích hoạt lý do.
- ✅ Đố vui Gia đình: Giải quyết "Sally có 3 anh trai; mỗi anh trai có 2 chị em. Sally có bao nhiêu chị em?" ngay lập tức, không giống như GPT-4o, thường trả lời sai.
- ❌ Tạo Hài Hước: Những câu đùa như "Tại sao gà lại tham gia một ban nhạc? Để trở thành một ngôi sao cluck!" phản ánh các vấn đề tái diễn về chế độ collapse, có hoặc không có chế độ "Suy nghĩ".
- ❌ Nhạy cảm về Đạo đức: Khi được hỏi liệu việc sử dụng sai giới tính có thể được biện hộ để cứu sống không, Grok-3 đã từ chối dài dòng—một tương phản với các khuôn khổ đạo đức ngắn gọn của Claude.
- ❌ Tạo SVG: Yêu cầu về một SVG "chim pelican đang đi xe đạp" đã sản xuất ra các chi và bánh xe không liên kết, mặc dù đầu ra của Claude vẫn vượt trội hơn trong ngách này.
Tóm tắt: Vị trí của Grok-3 trong bối cảnh AI
Grok-3 đại diện cho một sự thay đổi đáng kể trong tốc độ phát triển AI. Được phát hành chỉ 17 tháng sau người tiền nhiệm của nó, nó ngang bằng hoặc vượt trội hơn các mô hình tiên tiến như o1-pro trong lập luận và lập trình trong khi giảm giá của chúng. Những điểm chính bao gồm:
- Thống trị Tiêu chuẩn: Các điểm số chưa từng có trong toán học, khoa học, và tiêu chuẩn lập trình định vị Grok-3 như một lãnh đạo trong khả năng thô.
- Tiện ích Thực tiễn: Điểm mạnh trong ước lượng tính toán, tạo mã, và giải quyết vấn đề phức tạp khiến nó trở thành một công cụ mạnh mẽ cho các nhà phát triển và nhà nghiên cứu.
- Cơ hội Phát triển: Các hiện tượng trong Tìm kiếm Sâu và những bất ổn trong phản hồi hài hước/đạo đức nêu rõ các lĩnh vực cần được cải thiện.
Với xAI lên kế hoạch mã nguồn mở Grok-2 và mở rộng khả năng giọng nói và đại diện của Grok-3, mô hình này có khả năng thay đổi các ngành từ trò chơi đến nghiên cứu khoa học. Dù không hoàn hảo, sự gia tăng nhanh chóng của nó báo hiệu một kỷ nguyên mới của sự cạnh tranh trong AI sinh tạo—một kỷ nguyên mà sự nhanh nhẹn và sức mạnh tính toán sẽ định nghĩa lại những gì có thể.