xAI는 2026년 7월 8일 Grok 4.5를 네 가지 코딩 벤치마크와 한 가지 효율성 차트와 함께 출시했습니다. 이 수치들은 진정으로 흥미로우며, 또한 신중하게 선택되었습니다. 이 글은 게시된 모든 수치, 각 수치의 출처, 누락된 부분, 그리고 리더보드가 따라잡기를 기다리지 않고 직접 평가를 실행하는 방법을 설명합니다.
한 문장으로 요약한 솔직한 평가는 다음과 같습니다: Grok 4.5는 강력한 2티어 코딩 모델처럼 벤치마크되며, 클로드 오푸스 4.8과 결과가 엇갈리는 한편 최첨단 모델에는 뒤처지며, 그 뛰어난 수치는 어떤 정확도 점수보다는 출력 효율성에 있습니다.
xAI가 발표한 모든 수치
발표 내용에서, 네 가지 차트 전체:
DeepSWE 1.0 (pass@1)
| 모델 | 점수 |
|---|---|
| 클로드 페이블 5 (최대) | 66.1% |
| GPT 5.5 (xhigh) | 64.31% |
| Grok 4.5 | 62.0% |
| 클로드 오푸스 4.8 (최대) | 55.75% |
| 클로드 오푸스 4.7 (최대) | 40.12% |
DeepSWE 1.1
| 모델 | 점수 |
|---|---|
| 클로드 페이블 5 (최대) | 70% |
| GPT 5.5 (xhigh) | 67% |
| 클로드 오푸스 4.8 (최대) | 59% |
| Grok 4.5 | 53% |
| GLM 5.2 | 44% |
터미널 벤치 2.1
| 모델 | 점수 |
|---|---|
| 클로드 페이블 5 (최대) | 84.3% |
| GPT 5.5 (xhigh) | 83.4% |
| Grok 4.5 | 83.3% |
| 클로드 오푸스 4.8 (최대) | 78.9% |
| 클로드 오푸스 4.7 (최대) | 78.9% |
SWE 벤치 프로 (해결률)
| 모델 | 점수 |
|---|---|
| 클로드 페이블 5 (최대) | 80.4% |
| 클로드 오푸스 4.8 (최대) | 69.2% |
| Grok 4.5 | 64.7% |
| 클로드 오푸스 4.7 (최대) | 64.3% |
| GLM 5.2 | 62.1% |
| GPT 5.5 (xhigh) | 58.6% |
그리고 효율성 차트: Grok 4.5의 SWE 벤치 프로 작업당 평균 출력 토큰은 15,954개, 오푸스 4.8 (최대)은 67,020개로 4.2배 차이입니다.
이 수치들의 출처
xAI 차트의 각주는 평소보다 더 중요합니다:
- DeepSWE 1.0은 “Datacurve가 생성하고 AA가 각 모델 제공업체의 하네스를 사용하여 실행”했습니다.
- DeepSWE 1.1은 “Datacurve가 실행한 mini-swe-agent 하네스”를 사용했습니다.
- “경쟁사 수치는 해당 개발자의 공개된 시스템 카드 또는 벤치마크 리더보드에서 가져왔습니다.”
번역하자면: 이것은 모자이크입니다. 일부 수치는 타사 평가 업체에서, 일부는 경쟁업체의 자체 마케팅 페이지에서 가져왔으며, 판매할 것이 있는 공급업체가 취합했습니다. 이는 순수한 자체 보고보다 더 투명하며, Datacurve의 참여는 신뢰성을 더합니다. 하지만 여전히 독립적인 평가는 아닙니다. 하네스, 스캐폴딩, 노력 설정이 출처마다 다르며, 이들 각각은 에이전트 점수를 여러 포인트 이동시킬 수 있습니다. 아직까지 이 모자이크 외부에서 Grok 4.5 수치를 발표한 곳은 없습니다.
동일한 차트에 대한 세 가지 해석
Opus 4.8과 비교하면, 진정한 접전입니다. 두 번의 승리 (DeepSWE 1.0에서 6.25, Terminal Bench에서 4.4), 두 번의 패배 (DeepSWE 1.1에서 6, SWE Bench Pro에서 4.5). 머스크의 “오푸스급”이라는 주장은 그가 발표한 데이터와 접촉하여 살아남았지만, 더 강한 주장은 그렇지 못했을 것입니다. 어떤 벤치마크가 어느 쪽에 속하는지 주목하세요: Grok은 터미널 지향 및 오래된 평가에서 승리하고, Opus는 더 새롭고 복잡한 레포 수준 평가에서 승리합니다. 가격을 포함한 전체 일대일 비교는 Grok 4.5 vs Claude Opus 4.8에서 확인하세요.
최첨단 모델과 비교하면 경쟁이 안 되며, xAI도 그렇지 않다고 가장하지 않았습니다. 클로드 페이블 5 (최대)는 xAI 자체 페이지의 네 가지 차트 모두에서 1위를 차지했으며, GPT 5.5 (xhigh)는 네 가지 중 세 가지에서 Grok 4.5를 능가합니다. 흥미로운 점은 xAI가 이들을 잘라내지 않고 그대로 인쇄했다는 것입니다. 주장은 명백히 가격 대비 성능이지, 우월성이 아닙니다. 페이블의 수치가 실제로 의미하는 바는 저희의 페이블 5 벤치마크 분석에서 다루고 있습니다.
이전 버전과 비교하면, 업그레이드는 실제지만 미미합니다. 이 차트에서 Opus 4.7에서 4.8로의 도약은 대부분의 세대 간 격차를 왜소하게 만들며, 훨씬 저렴한 GLM 5.2와 같은 모델에 대한 Grok 4.5의 우위는 두 개의 공유 벤치마크에서 9-11포인트입니다. 비용 대비 성능을 중시하는 구매자들은 양방향으로 이러한 격차를 신중하게 읽어야 합니다.
xAI가 당신이 보기를 원하는 지표
효율성 차트는 출시의 전략적 핵심입니다. 해결된 작업당 15,954개의 출력 토큰 대 Opus 4.8 (최대)의 67,020개는 Grok 4.5가 출력량의 1/4 미만으로 비슷한 작업을 완료하며, 초당 80토큰으로 제공된다는 것을 의미합니다.
이는 조작된 것이 아닌 합법적인 지표입니다. 출력 토큰은 비용과 소요 시간에 청구되며, 에이전트 루프에서 모든 단계에 걸쳐 복합적으로 작용합니다. SWE 벤치 프로에서 4.5포인트 낮은 점수를 받더라도 4.2배 적은 토큰을 방출하는 모델은 대규모 파이프라인에 여전히 합리적인 선택이 될 수 있으며, 이는 정확히 저희의 가격 분석이 정량화하는 트레이드오프입니다 (정가 기준 해결된 작업당 출력 비용 약 0.10달러 대 1.68달러).
두 가지 주의사항. 공급업체 측정, 단일 벤치마크. 그리고 비교 모델에게 있어서 장황함이 낭비가 아닌 경우도 있습니다: Opus의 긴 출력은 확장된 추론이며, 이는 Opus가 평가에서 승리하는 방법의 일부입니다. 효율성과 깊이는 진정한 상충 관계이며, 공짜 점심이 아닙니다.
누락된 부분
몇 주 동안 판단을 유보해야 하는 이유:
- 독립적인 제3자 평가가 없습니다. 7월 9일 현재 인공 분석 지능 지수 항목, LMArena 배치, 커뮤니티 SWE-벤치 복제는 없습니다.
- 코딩만 해당합니다. xAI는 "지식 작업"에도 마케팅하는 모델에 대해 일반 추론, 수학, 과학 또는 안전 벤치마크를 발표하지 않았습니다. 사무 작업 기능은 평가가 아닌 데모로 제공되었습니다.
- Grok 자체에 대한 노력 모드 공개가 없습니다. 경쟁자는 (최대, xhigh)로 레이블링되어 있지만, Grok 4.5의 점수가 기본 구성인지 최대 구성인지는 명시되지 않았습니다.
- 출시 첫 주 모델입니다. 모든 출시 후 첫 달에는 회귀, 서비스 불안정 및 조용한 기능 변경이 흔합니다.
중요한 벤치마크를 실행하세요: 당신의 벤치마크
공개 벤치마크는 당신의 워크로드가 아닌 평균을 예측합니다. 경량의 개인 평가가 전환 결정을 위해 위의 모든 것보다 낫습니다:
- 당신 자신의 백로그에서 10-20개의 실제 작업 (프롬프트, 코드베이스 컨텍스트, 예상 결과)을 수집하세요.
- Apidog에서 후보 모델별로 하나의 저장된 요청을 만드세요. xAI와 Anthropic 모두 OpenAI 호환 인터페이스를 노출하므로, 하네스는 세 개의 코드베이스가 아닌 하나의 모델 변수가 있는 컬렉션입니다.
- 각 작업을
grok-4.5와 현재 사용 중인 모델에 대해 실행하세요.usage객체를 단언하고 지연 시간을 캡처하여, 한 번의 실행으로 품질, 속도 및 토큰 소모를 측정할 수 있도록 하세요. - 가능하다면 출력을 블라인드로 평가하세요; 모델 이름은 누구도 인정하는 것보다 평가자에게 더 많은 편향을 줍니다.
마지막 단계에서 효율성 주장이 현실과 대조하여 시험됩니다: 당신의 프롬프트에 대한 Grok 4.5의 출력이 눈에 띄게 짧지 않다면, 헤드라인 경제성은 당신에게 적용되지 않습니다. Apidog를 무료로 다운로드하면 전체 하네스를 한 시간 안에 설치할 수 있습니다. xAI 측의 설정 세부 정보는 저희의 Grok 4.5 API 가이드에 있습니다.
자주 묻는 질문
xAI는 Grok 4.5에 대해 어떤 벤치마크를 발표했나요? 네 가지 코딩 평가 (DeepSWE 1.0 및 1.1, Terminal Bench 2.1, SWE Bench Pro)와 Opus 4.8과의 토큰 효율성 비교. 코딩 외에는 아무것도 없습니다.
독립적인 Grok 4.5 벤치마크가 있나요? 아직 없습니다. 발표된 수치는 Datacurve가 실행한 평가와 다른 공급업체의 시스템 카드에서 가져온 수치를 혼합한 것입니다. 독립 지수는 보통 주요 출시 후 몇 주 내에 나옵니다.
Grok 4.5가 클로드 오푸스 4.8을 능가하나요? 발표된 네 가지 벤치마크 중 두 가지에서 훨씬 낮은 비용으로 우세했습니다. Opus는 두 개의 더 어려운 레포 수준 평가에서 승리했습니다. 전체 비교를 참조하세요.
Grok 4.5가 사용 가능한 가장 강력한 코딩 모델인가요? 아닙니다. xAI 자체 차트에서도 나타나듯이 클로드 페이블 5 (최대)가 모든 발표된 벤치마크에서 선두를 차지하고 있습니다. Grok 4.5는 비용 대비 지능으로 경쟁합니다.