كلود سونيت 5.5: اختبارات الأداء، نتائج أنثروبيك والمستقلة، وتحليلها

حقق Claude Sonnet 5.5 نسبة 70.6% في Terminal-Bench 4.0، و 55.5% في CursorBench 4.0، و 46.2% في FrontierCode 1.1 بأقصى جهد (52.1% بجهد عالٍ جدًا)، و 81.3 في SWE-Bench Pro، مرتفعًا عن Sonnet 5 الذي حقق 10.3% و 34.1% و 42.4% و 63.2% على التوالي. يتصدر Opus 5.5 معظم صفوف جدول الإطلاق بحوالي نقطتين إلى 3 نقاط ولكنه يتخلف في Terminal-Bench. سجلت Artificial Analysis بشكل مستقل Sonnet 5.5 عند 56 نقطة في مؤشر الذكاء الخاص بها، ليحتل المرتبة الثالثة من أصل 216.

أدناه: معايير Claude Sonnet 5.5 بالكامل، ومن قام بتشغيلها، وتغيرات الجهد، وكيفية اختبار النموذج على حركة المرور الخاصة بك في Apidog. للمواصفات، انظر ما هو Claude Sonnet 5.5.

جدول الإطلاق

تقارن نشرة Anthropic للإطلاق بين أربعة نماذج (يشير "n/r" إلى شرطة). خلايا Sonnet 5.5 هي بأقصى جهد ما لم يُحدد خلاف ذلك؛ الإعدادات الافتراضية لواجهة برمجة التطبيقات هي جهد عالٍ، بينما Claude Code والتطبيقات بجهد متوسط.

الحواشي، بعبارات بسيطة:

1. نتيجة Opus 5.5 في Terminal-Bench هي عند الجهد العالي جدًا (xhigh)، وهي الأفضل له؛ بينما عند أقصى جهد (max) سجل 64.8%.
2. FrontierCode يعاقب على التعديلات خارج النطاق. عند أقصى جهد، كان Sonnet 5.5 يستخدم مهارة مراجعة الكود في Claude Code بشكل متكرر، متفرعًا إلى العديد من الوكلاء الفرعيين؛ في حالتين فحصتهما Cognition، تسبب ذلك في مهلة أو تعديلات خارج النطاق.
3. أجرت Artificial Analysis كلا اختباري العمل المعرفي على نشر قبل الإصدار به خطأ في الإخراج المنظم، تم إصلاحه منذ ذلك الحين. تتوقع Anthropic تأثيرًا صغيرًا، إن وجد، يقلل من تقدير Sonnet 5.5.
4. قامت OpenAI مؤخرًا بإصلاح خطأ في فهم الصور في GPT-6 Sol قد لا تعكسه درجات AA و Surge AI.

من قام بتشغيل كل معيار

أجرت Anthropic كل اختبار بنفسها ما لم يُذكر طرف ثالث. الصفوف المشتركة بين البائعين تشترك في اسم المعيار، وليس في الأداة أو إعداد الجهد.

تأثرت نسبة 1.5% من محاولات Sonnet 5.5 في Terminal-Bench بالعودة إلى حل بديل، بينما بلغت النسبة 10% لمحاولات Opus 5.5 (بطاقة النظام §8.5)، لذا يجب قراءة تقدم Sonnet البالغ 4.2 نقطة بحذر.

إضافات بطاقة النظام

الصفوف من واحد إلى ستة هي ملخص بطاقة النظام لأقصى جهد.

يتفوق Sonnet 5.5 على Opus 5.5 في HealthBench Professional و AutomationBench و Terminal-Bench-Science؛ بينما يتصدر Opus أو يتعادل في البقية. تتصدر Opus بفارق كبير في ProgramBench و SWE-Bench Pro و HLE بدون أدوات. نتيجة OSWorld البالغة 80.1% هي تقدير جزئي؛ 43.5% فقط من المهام تنجح بشكل كامل.

الجهد يغير الصورة

رسوم بيانية الإطلاق، كدرجة (تكلفة). تكلفة Terminal-Bench هي لكل محاولة، والأخرى لكل مهمة. يظهر مخططان GPT-5.6 Sol (*) لأن أرقام GPT-6 Sol لم تُنشر.

• تصل معظم المكاسب عند الجهد العالي جدًا (xhigh). يضيف أقصى جهد 9.1 نقطة على Terminal-Bench بتكلفة 2.4 ضعف، و 2.4 نقطة على CursorBench بتكلفة 2.5 ضعف.
• FrontierCode عند أقصى جهد يسجل نقاطًا أقل ويكلف 13 ضعفًا أكثر من الجهد العالي جدًا (46.2% بتكلفة 20.78 دولار مقابل 52.1% بتكلفة 1.59 دولار).
• Opus 5.5 بجهد أقل هو المنافس الحقيقي. في Terminal-Bench، يحقق Opus بجهد متوسط 57.6% بتكلفة 2.94 دولار؛ بينما يحقق Sonnet بجهد عالٍ 43.0% بتكلفة 1.94 دولار. يتفوق Opus بجهد عالٍ (64.2%، 3.88 دولار) على Sonnet بجهد عالٍ جدًا (61.5%، 5.30 دولار). انظر Sonnet 5.5 مقابل Opus 5.5.
• الجهد العالي هو نقطة التكلفة المثلى لـ Sonnet. FrontierCode بجهد عالٍ: 49.4% بتكلفة 0.42 دولار، مما يطابق أفضل نتيجة لـ GPT-6 Sol (49.3%) بحوالي خُمس التكلفة (تفصيل الأسعار).

النتائج المستقلة

تسجل Artificial Analysis Sonnet 5.5 عند 56 نقطة في مؤشر الذكاء v4.3.2، لتحتل المرتبة الثالثة من أصل 216، خلف Opus 5.5 فقط عند أقصى جهد وعالٍ جدًا. سجل Sonnet 5 38 نقطة. تكلفة تشغيل المؤشر:

يكلف أقصى جهد 7.6 ضعف الجهد العالي مقابل 9.2 نقطة إضافية. قراءة OfficeChai لتحليل AA تضع Sonnet 5.5 خارج حدود باريتو، الأكثر تنافسية من حيث التكلفة عند الجهد العالي، وتحسب حوالي 193,000 توكن إخراج لكل مهمة مؤشر عند أقصى جهد.

• تشغيل AA الخاص لـ Terminal-Bench 4.0: 63.6%، مقابل 70.6% لـ Anthropic.
• النتيجة المنخفضة لـ Sonnet 5 حقيقية: قاس AA 14.1% (انظر معايير Sonnet 5).
• AA-Omniscience (وفقًا لـ OfficeChai): دقة 54% ومعدل هلوسة 47%، مقابل 66% و 59% لـ Opus 5.5.
• لم يتم قياسه بعد: سرعة الإخراج ووقت التوكن الأول، لذلك يظل ادعاء Anthropic بـ "أسرع بنسبة 30%+" قائماً. لا يوجد إدراج في LMArena بعد.

معايير السلامة

حقن المطالبات، وفقًا لبطاقة النظام:

• Gray Swan: نجاح الهجوم 0.4% و 2.7% و 3.4% عند k=1 و 10 و 15 على التوالي (Sonnet 5: 0.7% و 5.1% و 6.7%). استخدام الكمبيوتر عبر واجهة المستخدم الرسومية هو الأضعف بنسبة 12.5% (k=15).
• Shade، الترميز: 3.01% بدون وسائل حماية، غالبًا عبر حل Sonnet 5 السيبراني البديل؛ تعرض Sonnet 5.5 نفسه للاختراق في 4 من أصل 5,901 طلبًا.
• استخدام المتصفح: لم ينجح أي هجوم عبر 110 سيناريوهات.

تم تشغيل التقييمات السيبرانية مع إيقاف وسائل الحماية: 46.1% على CyScenarioBench (Sonnet 5: 0.7%، Opus 5.5: 67.6%). إنه أول Sonnet مزود بوسائل حماية سيبرانية، وتحذر Anthropic من المزيد من الرفض حتى في مهام الأمان الحميدة. انظر دليلنا لحقن المطالبات.

شغّل تقييمك الخاص

لا تشبه المعايير حركة المرور الخاصة بك، ويقول دليل Anthropic للمطالبات إن الجهد قد أُعيد معايرته، لذا لا تعيد استخدام إعدادات Sonnet 5. في Apidog:

1. قم بتخزين ANTHROPIC_API_KEY كمتغير بيئة وحفظ من 20 إلى 50 مطالبة حقيقية كطلبات رسائل (Messages requests).
2. تأكد من أن الحالة هي 200، وأن stop_reason ليس "max_tokens" أو "refusal"، وأن المحتوى يتضمن الإجابة الصحيحة.
3. شغّله بجهد low و medium و high و xhigh، تمريرة واحدة لكل منها؛ تغيير الجهد يلغي صلاحية ذاكرة التخزين المؤقت للمطالبات.
4. سجل معدل النجاح وعدد التوكنات في usage، بسعر 2 دولار للإدخال و 10 دولارات للإخراج لكل مليون توكن.

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 16000,
    "output_config": {"effort": "high"},
    "messages": [{"role": "user", "content": "صنف تذكرة الدعم هذه: ..."}]
  }'

انشر النموذج بأقل جهد تقبل معدل نجاحه. انظر اختبار تطبيقات LLM و اختبار واجهات برمجة تطبيقات وكلاء الذكاء الاصطناعي، ثم قم بتنزيل Apidog لبناء المجموعة.

الأسئلة الشائعة

هل يتفوق Sonnet 5.5 على Opus 5.5؟ نعم، في Terminal-Bench 4.0 و HealthBench Professional و AutomationBench و Terminal-Bench-Science و Chartography مع الأدوات. يتصدر Opus 5.5 أو يتعادل في البقية.

ما هي نتيجة Sonnet 5.5 في SWE-Bench؟ 81.3 في SWE-Bench Pro و 90.3 في Multilingual، بأقصى جهد.

لماذا يوجد رقمان لـ FrontierCode؟ 46.2% هي بأقصى جهد (max)، و 52.1% بجهد عالٍ جدًا (xhigh)؛ تسبب تفرع الوكلاء الفرعيين بأقصى جهد في عقوبات على التعديلات خارج النطاق.

هل يجب علي الترقية من Sonnet 5؟ نعم بناءً على المعايير، ولكن اقرأ أولاً التغييرات الجوهرية في واجهة برمجة التطبيقات في Sonnet 5.5 مقابل Sonnet 5.

الخطوة التالية

ابدأ بجهد عالٍ (أو متوسط للترميز الوكيلي المحدد جيدًا)، كما تقترح Anthropic، ودع تقييمك في Apidog يقرر ما إذا كانت خطوة للأعلى تستحق العناء.