كشفت Google DeepMind مؤخرًا عن نموذج Gemini 2.5 Computer Use، وهو تطور متخصص مبني على أسس الفهم البصري القوية والاستدلال لـ Gemini 2.5 Pro. يمكّن هذا النموذج وكلاء الذكاء الاصطناعي من التفاعل مباشرة مع واجهات المستخدم الرسومية (UIs)، مما يسد فجوة حرجة في أتمتة المهام الرقمية. يمكن للمطورين الآن الوصول إلى إمكانيات تسمح للوكلاء بالتنقل في صفحات الويب والتطبيقات بدقة شبيهة بالإنسان، مثل النقر على الأزرار، وكتابة النصوص، والتمرير عبر المحتوى. علاوة على ذلك، يعالج هذا الابتكار السيناريوهات التي لا تكفي فيها واجهات برمجة التطبيقات المنظمة، مما يمكّن الوكلاء من التعامل مع مهام مثل إرسال النماذج التي تتطلب تقليديًا تدخلاً يدويًا.
تتناول هذه المقالة التفاصيل الفنية لنموذج Gemini 2.5 Computer Use، من آلياته الأساسية إلى تطبيقاته في العالم الحقيقي. نبدأ بتحديد قدراته التأسيسية ثم نستكشف كيفية عمله ضمن حلقات تكرارية.
القدرات الأساسية لنموذج Gemini 2.5 Computer Use
يتفوق نموذج Gemini 2.5 Computer Use في تمكين وكلاء الذكاء الاصطناعي من إجراء عمليات تلاعب بواجهة المستخدم تحاكي الإجراءات البشرية. على وجه التحديد، يدعم ملء النماذج، واختيار الخيارات من القوائم المنسدلة، وتطبيق الفلاتر، وحتى العمل ضمن جلسات مصادقة خلف عمليات تسجيل الدخول. يقوم المهندسون بتحسين هذا النموذج بشكل أساسي لمتصفحات الويب، حيث يظهر كفاءة استثنائية في التعامل مع عناصر الويب الديناميكية. بالإضافة إلى ذلك، يظهر نتائج واعدة في التحكم بواجهة المستخدم على الأجهزة المحمولة، على الرغم من أن التحسين الكامل لأنظمة تشغيل سطح المكتب لا يزال قيد التقدم.
تكمن إحدى نقاط القوة الرئيسية في أدائه المعياري. يحقق النموذج نتائج رائدة عبر العديد من التقييمات الموحدة، بما في ذلك Online-Mind2Web و WebVoyager و AndroidWorld. على سبيل المثال، على منصة Browserbase لـ Online-Mind2Web، يقدم دقة تزيد عن 70% مع زمن استجابة يبلغ حوالي 225 ثانية. يتفوق هذا على المنافسين من خلال توفير جودة أعلى بأوقات معالجة أقل، مما يثبت أهميته الحاسمة للتطبيقات في الوقت الفعلي.
كيف يعمل نموذج Gemini 2.5 Computer Use
في جوهره، يعمل نموذج Gemini 2.5 Computer Use من خلال حلقة تكرارية مكشوفة عبر أداة computer_use الجديدة في واجهة برمجة تطبيقات Gemini. يبدأ المطورون هذه العملية بتقديم مدخلات مثل طلب المستخدم، لقطة شاشة للبيئة الحالية، وسجل بالإجراءات السابقة. اختياريًا، يمكنهم تحديد استثناءات من قائمة إجراءات واجهة المستخدم المدعومة أو تضمين وظائف مخصصة لتكييف سلوك الوكيل.
يعالج النموذج هذه المدخلات ويولد استجابة، عادةً في شكل استدعاء دالة يمثل إجراءً محددًا لواجهة المستخدم—مثل النقر على عنصر أو الكتابة في حقل. في الحالات التي تتضمن قرارات عالية المخاطر، مثل تأكيد عملية شراء، تتضمن الاستجابة مطالبة بالتحقق من المستخدم النهائي. ثم يقوم الكود من جانب العميل بتنفيذ هذا الإجراء، ويلتقط لقطة شاشة جديدة وعنوان URL المحدث كتعليق.
تعود هذه التغذية الراجعة إلى النموذج، لتعيد تشغيل الدورة حتى تكتمل المهمة، أو ينشأ خطأ، أو تتدخل بروتوكولات السلامة. تضمن هذه الآلية سلوكًا تكيفيًا، حيث يقوم الوكيل بإعادة تقييم حالة واجهة المستخدم باستمرار. ومع ذلك، يجب على المطورين تنفيذ هذه الحلقة بعناية لتجنب التكرارات اللانهائية، مع دمج مهل زمنية أو معايير تقارب.
من منظور تقني، يستمد استدلال النموذج البصري من قدرات Gemini 2.5 Pro متعددة الوسائط، مما يسمح له بتفسير لقطات الشاشة بدقة عالية. يحدد العناصر التفاعلية من خلال تقنيات رؤية الكمبيوتر المتقدمة، وربطها بأوامر قابلة للتنفيذ. يتناقض هذا النهج مع طرق البرمجة النصية التقليدية، التي غالبًا ما تفشل في واجهات المستخدم الديناميكية بسبب المحددات الهشة.
علاوة على ذلك، يدعم النموذج مجموعة شاملة من إجراءات واجهة المستخدم، بما في ذلك التمرير، والتحويم، والسحب. يمكن للمهندسين توسيع ذلك من خلال تحديد وظائف مخصصة، مما يتيح تكييفات خاصة بالمجال.
الأداء المعياري والتقييمات الفنية
يكشف الاختبار المعياري عن تفوق نموذج Gemini 2.5 Computer Use في مهام التحكم بواجهة المستخدم. في Online-Mind2Web، يحقق أعلى دقة من خلال تفسير التعليمات المستندة إلى الويب والتصرف بناءً عليها بشكل صحيح. وبالمثل، في WebVoyager، الذي يختبر التنقل عبر مواقع ويب متنوعة، يتنقل النموذج في مسارات معقدة بأقل قدر من الأخطاء. تسلط تقييمات AndroidWorld الضوء على براعته في الأجهزة المحمولة، حيث يتعامل مع واجهات التطبيقات مثل التمرير والنقر بفعالية.
تؤكد مقاييس زمن الاستجابة (latency) تفوقه. بينما قد تتطلب النماذج المنافسة أوقات معالجة أطول للحصول على دقة مماثلة، يوازن هذا النموذج بين السرعة والدقة، وغالبًا ما يقلل زمن الاستجابة بنسبة تصل إلى 50% في الاختبارات المقارنة. أفاد المستخدمون الأوائل، مثل فرق في Poke.com، أن نموذج Gemini 2.5 Computer Use يتفوق على البدائل، مما يتيح سير عمل أسرع في الواجهات التي تركز على الإنسان.
من الناحية الفنية، تستخدم هذه المعايير أدوات تحاكي سيناريوهات العالم الحقيقي، وتقيس معدلات النجاح، وأوقات الإنجاز، ومعالجة الأخطاء. ينبع أداء النموذج ذو زمن الاستجابة المنخفض من مسارات الاستدلال المحسّنة في Gemini 2.5 Pro، والتي تستفيد من معالجة الرموز الفعالة والحسابات المتوازية. يلاحظ المطورون الذين يحللون هذه النتائج تحسينات في تحليل السياقات المعقدة، مع مكاسب تصل إلى 18% في التقييمات الصعبة، كما ذكرت Autotab.
ومع ذلك، تكشف المعايير أيضًا عن قيود، مثل انخفاض الفعالية في بيئات سطح المكتب غير المحسّنة. يعالج المهندسون هذا من خلال الجمع بين النموذج والأدوات التكميلية، مما يضمن نُهجًا هجينة لتغطية أوسع. وبالانتقال إلى الأمثلة العملية، تتجلى هذه المقاييس في حالات استخدام ملموسة.
أمثلة وتطبيقات من العالم الحقيقي
تُظهر العروض التوضيحية مرونة نموذج Gemini 2.5 Computer Use. في أحد السيناريوهات، يصل وكيل إلى صفحة تسجيل رعاية الحيوانات الأليفة على https://tinyurl.com/pet-care-signup، ويستخرج تفاصيل الحيوانات الأليفة المقيمة في كاليفورنيا، ويدمجها في نظام إدارة علاقات العملاء (CRM) لمنتجع صحي على https://pet-luxe-spa.web.app. ثم يحدد موعد متابعة مع الأخصائية أنيما لافار في 10 أكتوبر بعد الساعة 8 صباحًا، مما يعكس سبب علاج الحيوان الأليف. تتضمن هذه العملية خطوات متعددة: قراءة النموذج، استخراج البيانات، ومعالجة التقويم—وكلها تُنفذ بشكل مستقل.
مثال آخر يتضمن تنظيم لوحة ملاحظات لاصقة فوضوية على http://sticky-note-jam.web.app. يقوم الوكيل بتصنيف الملاحظات عن طريق سحبها إلى أقسام محددة مسبقًا، مما يوضح قدرات السحب والإفلات. توضح هذه العروض التوضيحية، التي تم تسريعها للعرض، تعامل النموذج السلس مع العناصر التفاعلية.
يطبقه المختبرون الأوائل في اختبار واجهة المستخدم، حيث يقوم بأتمتة فحوصات الانحدار على تطبيقات الويب. تدير المساعدات الشخصية المبنية بهذا النموذج رسائل البريد الإلكتروني والحجوزات والتذكيرات من خلال التفاعل مباشرة مع التطبيقات. تستفيد أتمتة سير العمل من قدرته على التعافي من الأعطال؛ على سبيل المثال، أفاد فريق منصة المدفوعات في Google بإصلاح أكثر من 60% من عمليات التنفيذ المتوقفة، مما يقلل أوقات الإصلاح من أيام إلى دقائق.
من وجهة نظر فنية، تتطلب هذه التطبيقات معالجة قوية للأخطاء في الحلقة. ينفذ المطورون منطق إعادة المحاولة ونقاط التحقق للحالة للحفاظ على التقدم. علاوة على ذلك، يتيح التكامل مع واجهات برمجة التطبيقات عبر أدوات مثل Apidog اختبارًا سلسًا لنقطة النهاية computer_use، مما يضمن تنسيق المدخلات مثل لقطات الشاشة بشكل صحيح. ومع ازدياد أهمية السلامة، يدمج النموذج حواجز حماية مدمجة.
ميزات السلامة وتخفيف المخاطر
تدمج Google السلامة مباشرة في نموذج Gemini 2.5 Computer Use لمواجهة المخاطر مثل سوء الاستخدام، والسلوكيات غير المتوقعة، والتهديدات الخارجية مثل حقن المطالبات. تغرس عملية التدريب آليات رفض للإجراءات الضارة، مثل المساس بسلامة النظام أو تجاوز بروتوكولات الأمان مثل CAPTCHA.
يصل المطورون إلى عناصر تحكم دقيقة، بما في ذلك خدمة أمان لكل خطوة تقوم بتقييم الإجراءات قبل التنفيذ. توجه تعليمات النظام النموذج لطلب تأكيد المستخدم للعمليات الحساسة، مثل التحكم في الأجهزة الطبية أو إجراء المعاملات المالية. يقلل هذا النهج الطبقي من نقاط الضعف في بيئات الويب المعرضة للاحتيال.
من الناحية الفنية، تتضمن تقييمات السلامة اختبارًا تنافسيًا، حيث تستكشف الهجمات المحاكاة نقاط الضعف. يحقق النموذج درجات أمان عالية من خلال تصنيف الإجراءات مقابل فئات مخاطر محددة مسبقًا، وإيقاف التقدم إذا تجاوزت العتبات. ومع ذلك، يتحمل المطورون مسؤولية الاختبار الشامل قبل الإطلاق، باتباع الوثائق الخاصة بأفضل الممارسات.
علاوة على ذلك، تتيح الشفافية في تقارير السلامة للمهندسين تحسين عمليات التكامل. بالنسبة للإعدادات القائمة على واجهة برمجة التطبيقات، تسهل أدوات مثل Apidog محاكاة استجابات السلامة أثناء التطوير، مما يضمن الامتثال دون مخاطر حية. وبالانتقال إلى التوفر، تجعل هذه الميزات النموذج متاحًا للاستخدام المسؤول.
التوفر ووصول المطورين
تتيح Google نموذج Gemini 2.5 Computer Use في معاينة عامة عبر Gemini API على منصات مثل Google AI Studio و Vertex AI. يدمجه المطورون على الفور، مستفيدين من أنظمة المصادقة والحصص الحالية.
لا يتطلب الوصول أي إعداد إضافي بخلاف مفاتيح API القياسية، مما يتيح بناء النماذج الأولية بسرعة. يستفيد مستخدمو Vertex AI من التوسع على مستوى المؤسسات، بينما يناسب Google AI Studio التجارب الفردية. يركز طرح النموذج على التغذية الراجعة التكرارية، وتشجع Google على الإبلاغ عن الحالات الهامشية.
من وجهة نظر التكامل الفني، يقوم المطورون بتضمين أداة computer_use في حلقات مخصصة باستخدام لغات مثل Python أو JavaScript. تعمل حزم تطوير البرامج (SDKs) على تبسيط معالجة لقطات الشاشة وتنفيذ الإجراءات، مما يقلل من التعليمات البرمجية المتكررة. بالإضافة إلى ذلك، توفر الوثائق عينات تعليمات برمجية للسيناريوهات الشائعة، مما يسرع من عملية التبني.
مع تزايد الاستخدام، تتعقب أدوات المراقبة مقاييس الأداء، مما يضمن التخصيص الأمثل للموارد. بالنسبة لأولئك الذين يستكشفون تفاعلات واجهة برمجة التطبيقات، يقدم Apidog تنزيلات مجانية لتصور نقاط النهاية، وتصحيح أخطاء الاستدعاءات، والتعاون في عمليات التكامل—وهو مثالي لبناء وكلاء مرنين باستخدام نموذج Gemini 2.5 Computer Use.
دمج نموذج Gemini 2.5 Computer Use مع أدوات مثل Apidog
يعزز التكامل فائدة نموذج Gemini 2.5 Computer Use. Apidog، وهي منصة شاملة لواجهة برمجة التطبيقات، تكمله بتمكين المطورين من اختبار وتوثيق نقاط نهاية Gemini API بكفاءة. يستخدم المهندسون Apidog لمحاكاة استدعاءات computer_use، والتحقق من تنسيقات الإدخال مثل لقطات الشاشة المشفرة بتنسيق JSON وسجلات الإجراءات.
من الناحية العملية، تحاكي ميزات المحاكاة في Apidog استجابات النموذج، مما يسمح بتطوير حلقات الوكيل دون اتصال بالإنترنت. هذا يمنع استدعاءات API المكلفة أثناء التكرار. علاوة على ذلك، تتيح أدوات التعاون في Apidog للفرق مشاركة مواصفات API، مما يضمن تطبيقات متسقة عبر المشاريع.
من الناحية الفنية، يدعم Apidog معايير OpenAPI، ويتوافق مع وثائق Gemini. يستورد المطورون المخططات مباشرة، ويولدون رمز العميل لاتصالات سلسة. بالنسبة للوكلاء المعقدين، يراقب Apidog زمن الاستجابة ومعدلات الأخطاء، مما يحسن كفاءة الحلقة التكرارية.
علاوة على ذلك، عند التعامل مع الوظائف المخصصة في النموذج، يقوم Apidog بتصوير تعيينات المعلمات، مما يقلل من أخطاء التكامل. تظهر دراسات الحالة أن الفرق تستخدم Apidog جنبًا إلى جنب مع Gemini لأتمتة سير العمل، مما يحقق عمليات نشر أسرع. بينما نأخذ في الاعتبار الآثار المستقبلية، تشير مثل هذه التآزرات إلى تطور النظم البيئية.
الآثار والتطورات المستقبلية
يشير نموذج Gemini 2.5 Computer Use إلى تحول نحو وكلاء ذكاء اصطناعي أكثر استقلالية. قد تمتد التكرارات المستقبلية لتشمل التحكم في أنظمة تشغيل سطح المكتب، مما يوسع التطبيقات في برامج المؤسسات. تلتزم Google بالتوسع المسؤول، مع إعطاء الأولوية للسلامة مع تقدم القدرات.
من الناحية الفنية، يمكن أن تتضمن التطورات مدخلات متعددة الوسائط محسّنة، تدمج الصوت أو التغذية الراجعة اللمسية لتفاعلات أكثر ثراءً. يستكشف الباحثون التعلم الموحد لتخصيص الوكلاء دون المساس بالخصوصية.
باختصار، يعيد نموذج Gemini 2.5 Computer Use تعريف دور الذكاء الاصطناعي في الواجهات الرقمية. من خلال تمكين التحكم الدقيق وذو زمن الاستجابة المنخفض في واجهة المستخدم، فإنه يمكّن المطورين من بناء حلول مبتكرة. تعمل أدوات مثل Apidog على تعزيز هذا النظام البيئي، وتقدم موارد مجانية لتبسيط التطوير. مع تسارع التبني، توقع تأثيرات تحويلية عبر الصناعات.