Cách sử dụng Groq API miễn phí

Groq cấp cho mọi tài khoản một key thuộc Free Plan để truy cập endpoint tương thích OpenAI của nó, và key đó hoạt động ngay khi bạn đăng ký. Điều khiến mọi người vấp phải không phải là việc được cấp quyền truy cập, mà là giữ trong giới hạn khi ứng dụng của bạn thực sự gọi model. Groq công bố các con số Free Plan theo từng model trên tài liệu của mình, nhưng những con số đó thay đổi và tài khoản của bạn có thể khác. Thói quen đáng tin cậy là kiểm tra phần cài đặt tài khoản của bạn, rồi đọc các response header trong mỗi lần gọi, vì giới hạn có thể thay đổi ngay giữa phiên.

Hướng dẫn này bao gồm việc lấy key, trỏ một OpenAI client chuẩn vào endpoint của Groq, và phần mà hầu hết các bài viết về "free tier" bỏ qua: theo dõi giới hạn của bạn trong thời gian thực thay vì phát hiện ra chúng từ một lỗi 429 trong môi trường production. Sau đó, coding agent của bạn biến việc kiểm tra đó thành một bài test trên Apidog CLI, để nó có thể lặp lại, chứ không phải một lệnh curl dùng một lần rồi bạn quên đi.

TL;DR

Groq vận hành hai hạng: Free Plan và Developer Plan. Rate limit được áp dụng ở cấp tổ chức (không phải theo từng người dùng), bạn sẽ chạm giới hạn nào đến trước trong số requests, tokens, hoặc tổng theo ngày, và cached token không bị tính vào bạn. Groq công bố các con số Free Plan theo từng model, nhưng những con số áp dụng cho tài khoản của bạn nằm trên trang limits trong console của bạn, nên cách làm đáng tin cậy là đọc chúng từ các response header x-ratelimit-* trong mỗi lần gọi thay vì tin vào một bảng có thể thay đổi mà không báo trước.

Lấy key và gọi endpoint

Tạo một tài khoản tại console.groq.com và tạo key từ trang keys. Groq cung cấp key đó thông qua một API tương thích OpenAI, nên nếu bạn đã từng gọi SDK của OpenAI, bạn đã biết hình dạng của nó. Trỏ base URL vào Groq thay vì OpenAI và giữ mọi thứ khác nguyên như cũ:

curl https://api.groq.com/openai/v1/chat/completions \
  -H "Authorization: Bearer $GROQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b-instant",
    "messages": [{"role": "user", "content": "Summarize this ticket in one sentence."}]
  }'

Hoặc với Python OpenAI client chính thức:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["GROQ_API_KEY"],
    base_url="https://api.groq.com/openai/v1",
)

response = client.chat.completions.create(
    model="llama-3.3-70b-versatile",
    messages=[{"role": "user", "content": "List three causes of API timeout errors."}],
)

print(response.choices[0].message.content)

Tài liệu về khả năng tương thích OpenAI của Groq có nêu một vài khoảng trống đáng biết trước khi bạn chuyển code hiện có sang: logprobs, logit_bias, top_logprobs, và messages[].name đều trả về lỗi 400, n phải bằng 1 nếu bạn đặt nó, và temperature bằng 0 sẽ bị chuyển thành một số float dương rất nhỏ thay vì giải mã greedy thực sự.

Free Plan so với Developer Plan

Cách diễn đạt của chính Groq rất trực tiếp: "Upgrade to Developer plan to access higher limits, Batch and Flex processing, and more." Free Plan là hạng mà mọi key mới đều bắt đầu, và nó thực sự dùng được cho việc thử nghiệm và các dự án phụ nhỏ.

Đây là những gì Free Plan cho phép đối với một vài model, theo tài liệu rate limits của Groq tính đến ngày 2026-09-15:

Cũng trang đó có một tab Developer Plan với các mức trần cao hơn cho mọi model, cùng với xử lý Batch và Flex. Hãy coi bảng trên như một ảnh chụp nhanh, vì Groq có thể thay đổi những con số này mà không báo trước. Các con số của riêng bạn nằm tại trang limits trong phần cài đặt tài khoản của bạn: hãy tin trang đó hơn trang này nếu chúng khác nhau.

Hai chi tiết về chính sách quan trọng hơn các con số thô. Rate limit được áp dụng "ở cấp tổ chức, không phải từng người dùng", nên năm người dùng chung một Groq org sẽ chia sẻ một giới hạn, chứ không phải năm giới hạn riêng. Và "cached token không được tính vào rate limit của bạn", nghĩa là một cấu trúc prompt được cache tốt sẽ mang lại cho bạn nhiều thông lượng thực tế hơn so với con số trên tiêu đề gợi ý.

Những model đáng biết trước khi bạn chạm giới hạn

Giới hạn nào quan trọng phụ thuộc vào model bạn gọi. Các model văn bản và hệ thống Compound của Groq chạy với context 131.072 token:

Các model Whisper, whisper-large-v3 và whisper-large-v3-turbo, không thuộc bảng này. Chúng là các model phiên âm âm thanh, và Groq đo thông lượng của chúng bằng audio seconds mỗi giờ và mỗi ngày (ASH/ASD) song song với các giới hạn RPM và RPD riêng của chúng, chứ không phải bằng token.

Mỗi model có các giới hạn RPM, RPD và token riêng, nên đừng giả định giới hạn của llama-3.1-8b-instant áp dụng cho openai/gpt-oss-120b.

Đọc các rate-limit header thay vì đoán mò

Mọi phản hồi từ api.groq.com đều mang một tập header cho bạn biết chính xác bạn đang ở đâu, không cần mở console:

• x-ratelimit-limit-requests và x-ratelimit-limit-tokens, mức trần của bạn cho cửa sổ hiện tại
• x-ratelimit-remaining-requests và x-ratelimit-remaining-tokens, những gì còn lại ngay lúc này
• x-ratelimit-reset-requests và x-ratelimit-reset-tokens, thời điểm cửa sổ được làm mới
• retry-after, được gửi kèm khi gặp lỗi 429, cho bạn biết cần chờ bao lâu

Đọc x-ratelimit-remaining-tokens sau mỗi lần gọi và bạn có một thước đo trực tiếp, chứ không phải một con số tĩnh mà bạn tra một lần rồi quên không xem lại. Đây là một kiểm tra nhanh bằng cURL, chỉ in ra các header:

curl -sD - https://api.groq.com/openai/v1/chat/completions \
  -H "Authorization: Bearer $GROQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "llama-3.1-8b-instant", "messages": [{"role": "user", "content": "hi"}]}' \
  -o /dev/null | grep -i ratelimit

Chạy lệnh đó vài lần trong một vòng lặp với một script test nhiều lời thoại và bạn sẽ thấy x-ratelimit-remaining-tokens đếm ngược. Nếu ứng dụng của bạn cần logic backoff, hãy xem hướng dẫn của chúng tôi về cách triển khai rate limiting cho API để biết các mẫu tôn trọng header retry-after thay vì đoán một khoảng trễ.

Để coding agent của bạn chạy kiểm tra bằng Apidog CLI

Việc tự tay làm điệu curl-và-grep chỉ hiệu quả cho một phiên debug. Nó không mở rộng được cho cả nhóm, và không ai chạy lại một lệnh shell dùng một lần trước mỗi lần deploy. Hãy giao việc kiểm tra cho coding agent của bạn thay vào đó: với Apidog CLI, nó viết bài test một lần và chạy nó mỗi khi bạn yêu cầu. Thiết lập một lần:

npm install -g apidog-cli@latest
apidog login --with-token <YOUR_TOKEN>
npx -y skills add https://apidog.com   # pick your agent when prompted

Token lấy từ Apidog trong Account Settings, API Access Token. Sau đó đưa cho agent một prompt:

Use Apidog CLI on project <id>. Create a Groq environment with base URL
https://api.groq.com/openai/v1 and add POST /chat/completions with Bearer auth
from {{GROQ_API_KEY}}. Create one test case per model we run in production
(llama-3.1-8b-instant, openai/gpt-oss-120b) that asserts status 200 and fails
when x-ratelimit-remaining-tokens drops below 10% of x-ratelimit-limit-tokens.
Put both cases in a "Groq limits" test suite, run it, and report the headers.

Các lệnh nó chạy, đã đối chiếu với Apidog CLI 2.2.7:

apidog environment create Groq --project <id> --base-url https://api.groq.com/openai/v1
apidog endpoint create --project <id> --file groq-chat.json
apidog cli-schema validate test-case-create --file groq-8b-case.json
apidog test-case create --project <id> --file groq-8b-case.json
apidog test-suite create --project <id> --name "Groq limits"
apidog run --test-suite <suiteId> --project <id> -e <envId> \
  --env-var "GROQ_API_KEY=$GROQ_API_KEY" -r cli,junit

Ngân sách đang thu hẹp giờ sẽ hiện ra như một bài test thất bại thay vì một lỗi 429 bất ngờ trong lúc demo. Hãy đưa dòng cuối đó vào job CI trước khi deploy của bạn, như trong hướng dẫn về pipeline CI/CD với Apidog CLI của chúng tôi, hoặc yêu cầu agent tạo một apidog scheduled-task create, thứ chạy bộ test trên một runner theo lịch cron. Điều này càng quan trọng hơn khi xét đến việc Groq gộp chung ở cấp tổ chức: một đồng đội chạy job theo lô có thể ăn hết ngân sách chia sẻ mà endpoint production của bạn cần một giờ sau đó. Đây cũng là ý tưởng đằng sau bài viết của chúng tôi về kiểm thử API cho giới hạn rate của GPT.

Phải làm gì khi bạn thực sự chạm giới hạn

Khi một lỗi 429 trả về, hãy tôn trọng retry-after thay vì thử lại ngay lập tức. Một vòng lặp thử lại dày đặc đối với giới hạn cấp request chỉ tiêu tốn ngân sách còn lại của bạn nhanh hơn và đẩy cửa sổ reset ra xa hơn. Nếu bạn đang xây dựng điều này vào một dịch vụ production thay vì một script test, hướng dẫn đầy đủ về lỗi vượt quá rate limit của chúng tôi sẽ đi qua các chiến lược backoff hoạt động trên nhiều nhà cung cấp, không chỉ Groq.

Nếu bạn liên tục chạm mức trần trên Free Plan, cách khắc phục nhanh nhất là nâng cấp lên Developer Plan mà chính Groq chỉ ra trong tài liệu của mình. Cách khắc phục nhanh thứ hai, đặc biệt với một prototype, là trải traffic ra nhiều hơn một nhà cung cấp. Bài tổng hợp của chúng tôi về các lựa chọn thay thế OpenRouter bao gồm những endpoint khác đáng để bạn dự phòng đúng cho tình huống này.

FAQ

Groq có free tier cho API của nó không? Có. Mọi tài khoản mới đều bắt đầu với Free Plan và có quyền truy cập endpoint tương thích OpenAI. Groq công bố các giới hạn Free Plan mẫu cho một số model, nhưng các mức trần thực sự áp dụng cho tài khoản của bạn nằm trên trang limits trong phần cài đặt console của bạn.

Làm sao để kiểm tra rate limit hiện tại của tôi trên Groq? Hai cách: mở trang limits trong phần cài đặt tài khoản của bạn, hoặc đọc các header x-ratelimit-limit-requests và x-ratelimit-limit-tokens trên bất kỳ phản hồi API nào. Các header phản ánh giới hạn thực của tài khoản bạn tại thời điểm bạn gọi, đáng tin cậy hơn một con số bạn từng thấy một lần rồi ghi nhớ.

Điều gì xảy ra khi tôi vượt quá rate limit của Groq? Bạn nhận được phản hồi 429 kèm header retry-after cho biết cần chờ bao nhiêu giây. Xem hướng dẫn về vượt quá rate limit của chúng tôi để xử lý điều này trong code thay vì đoán một khoảng trễ.

Cached token có bị tính vào rate limit của Groq không? Không. Groq nói rõ rằng cached token không được tính vào rate limit của bạn, nên một cấu trúc prompt tái sử dụng một system message đã cache sẽ có thông lượng thực tế cao hơn giới hạn token thô gợi ý.

Rate limit của Groq là theo người dùng hay theo tổ chức? Theo tổ chức. Mọi key thuộc cùng một Groq org chia sẻ một pool request và token, nên script của một đồng đội có thể ăn vào ngân sách mà ứng dụng production của bạn cần.

Những model Groq nào có context window lớn nhất? llama-3.1-8b-instant, llama-3.3-70b-versatile, openai/gpt-oss-120b, openai/gpt-oss-20b, và các hệ thống Compound đều chạy với context 131.072 token. Các model Whisper là phiên âm âm thanh, không phải văn bản, nên Groq đo giới hạn của chúng bằng thời lượng âm thanh thay vào đó. Rate limit khác nhau giữa các model ngay cả trong cùng một context window, nên hãy kiểm tra từng cái riêng biệt.

Điều này để lại cho bạn điều gì

Cách miễn phí để dùng Groq API không phải là một con số bí mật, mà là một thói quen. Lấy một key, trỏ endpoint tương thích OpenAI vào nó, và đọc các response header trong mỗi lần gọi thay vì tin vào một con số bạn tìm thấy trong một bài blog, kể cả bài này.

Hãy để coding agent của bạn xây dựng việc kiểm tra đó một lần với Apidog CLI, cùng một assertion trên số token còn lại cho mỗi model, và nó sẽ chạy trong mỗi lần deploy từ đó về sau. Việc thiết lập tốn ít thời gian hơn cả việc đọc phần còn lại trong tài liệu của Groq. Để có nội dung chuyên sâu hơn về kiểm thử một lớp AI API dưới tải, hướng dẫn của chúng tôi về những công cụ kiểm thử API tốt nhất cho AI agent là điểm dừng tiếp theo phù hợp.