Google DeepMindは最近、Gemini 2.5 Proの堅牢な視覚理解と推論基盤の上に構築された、特殊な進歩であるGemini 2.5 Computer Useモデルを発表しました。このモデルは、AIエージェントがグラフィカルユーザーインターフェース（UI）と直接対話できるようにすることで、デジタルタスク自動化における重要なギャップを埋めます。開発者は、ボタンのクリック、テキスト入力、コンテンツのスクロールなど、人間のような精度でエージェントがウェブページやアプリケーションを操作できる機能を利用できるようになりました。さらに、この革新は、構造化されたAPIでは対応できないシナリオにも対処し、従来手動での介入が必要だったフォーム送信などのタスクをエージェントが処理できるようにします。
この記事では、Gemini 2.5 Computer Useモデルの技術的な複雑さについて、そのコアメカニズムから実世界での応用までを考察します。まず、その基本的な機能の概要を説明し、次に反復ループ内でどのように動作するかを探ります。
Gemini 2.5 Computer Useモデルの主要機能
Gemini 2.5 Computer Useモデルは、AIエージェントが人間の行動を模倣したUI操作を実行できるようにする点で優れています。具体的には、フォームの入力、ドロップダウンメニューからのオプション選択、フィルターの適用、さらにはログイン後の認証済みセッション内での操作をサポートします。エンジニアは主にウェブブラウザ向けにこのモデルを最適化しており、動的なウェブ要素の処理において卓越した能力を発揮します。さらに、モバイルUI制御においても有望な結果を示していますが、デスクトップオペレーティングシステムへの完全な最適化はまだ進行中です。
その主要な強みの一つは、ベンチマーク性能にあります。このモデルは、Online-Mind2Web、WebVoyager、AndroidWorldを含むいくつかの標準化された評価において、優れた結果を達成しています。例えば、Online-Mind2WebのBrowserbaseハーネスでは、約225秒のレイテンシで70%以上の精度を実現しています。これは、処理時間を短縮しながらより高品質を提供することで競合他社を上回り、リアルタイムアプリケーションにとって極めて重要であることを証明しています。
Gemini 2.5 Computer Useモデルの動作原理
その核心において、Gemini 2.5 Computer Useモデルは、Gemini APIの新しいcomputer_useツールを介して公開される反復ループを通じて機能します。開発者は、ユーザーのリクエスト、現在の環境のスクリーンショット、以前のアクションの履歴などの入力を提供することで、このプロセスを開始します。オプションで、サポートされているUIアクションリストからの除外を指定したり、エージェントの動作を調整するためのカスタム関数を含めたりすることもできます。
モデルはこれらの入力を処理し、通常は要素のクリックやフィールドへの入力など、特定のUIアクションを表す関数呼び出しの形式で応答を生成します。購入の確認など、重要な決定を伴うケースでは、応答にはエンドユーザーの確認を求めるプロンプトが含まれます。クライアント側のコードがこのアクションを実行し、新しいスクリーンショットと更新されたURLをフィードバックとしてキャプチャします。
このフィードバックはモデルにループバックされ、タスクが完了するか、エラーが発生するか、または安全プロトコルが介入するまでサイクルを再開します。このようなメカニズムは、エージェントがUIの状態を継続的に再評価するため、適応的な動作を保証します。ただし、開発者は無限ループを避けるために、タイムアウトや収束基準を組み込むなど、このループを慎重に実装する必要があります。
技術的な観点から見ると、モデルの視覚的推論はGemini 2.5 Proのマルチモーダル機能から派生しており、スクリーンショットを高精度で解釈できます。高度なコンピュータービジョン技術を通じてインタラクティブな要素を識別し、それらを実行可能なコマンドにマッピングします。このアプローチは、脆いセレクターのために動的なUIでしばしば失敗する従来のスクリプト作成方法とは対照的です。
さらに、このモデルはスクロール、ホバー、ドラッグを含む包括的なUIアクションセットをサポートしています。エンジニアはカスタム関数を定義することでこれを拡張し、ドメイン固有の適応を可能にすることができます。
ベンチマーク性能と技術評価
ベンチマークは、Gemini 2.5 Computer UseモデルのUI制御タスクにおける優位性を示しています。Online-Mind2Webでは、ウェブベースの指示を正確に解釈し実行することで最高の精度を達成しています。同様に、多様なウェブサイト間のナビゲーションをテストするWebVoyagerでは、モデルは最小限のエラーで複雑なパスをナビゲートします。AndroidWorldの評価は、スワイプやタップなどのアプリインターフェースを効果的に処理するモバイルでの優れた能力を浮き彫りにしています。
レイテンシの測定値は、その優位性をさらに強調しています。競合他社が同様の精度を得るためにより長い処理時間を必要とする可能性があるのに対し、このモデルは速度と精度を両立させ、比較テストではレイテンシを最大50%削減することがよくあります。Poke.comのチームなどの初期採用者は、Gemini 2.5 Computer Useモデルが他の代替案を上回り、人間中心のインターフェースでより高速なワークフローを可能にしていると報告しています。
技術的には、これらのベンチマークは、成功率、完了時間、エラー処理を測定する実世界のシナリオをシミュレートするハーネスを使用しています。モデルの低レイテンシ性能は、効率的なトークン処理と並列計算を活用するGemini 2.5 Proの最適化された推論パスに由来します。これらの結果を分析した開発者は、複雑なコンテキストの解析において改善が見られ、Autotabが引用したように、困難な評価で最大18%の向上があったと述べています。
しかし、ベンチマークは、最適化されていないデスクトップ環境での有効性の低下などの限界も露呈しています。エンジニアは、モデルを補完的なツールと組み合わせることでこれに対処し、より広範なカバレッジのためにハイブリッドアプローチを確保しています。実用的な例に移ると、これらのメトリクスは具体的なユースケースとして現れます。
実世界の例と応用
デモンストレーションは、Gemini 2.5 Computer Useモデルの多用途性を示しています。あるシナリオでは、エージェントがhttps://tinyurl.com/pet-care-signupのペットケアサインアップページにアクセスし、カリフォルニア州在住のペットの詳細を抽出し、それらをhttps://pet-luxe-spa.web.appのスパCRMに統合します。その後、ペットの治療理由を反映して、10月10日の午前8時以降に専門家のアニマ・ラバーとのフォローアップ予約をスケジュールします。このプロセスには、フォームの読み取り、データ抽出、カレンダー操作といった複数のステップが含まれ、すべてが自律的に実行されます。
別の例としては、http://sticky-note-jam.web.appにある散らかった付箋ボードを整理するケースがあります。エージェントは付箋を事前に定義されたセクションにドラッグして分類し、ドラッグアンドドロップ機能を示します。これらのデモは、視聴のために高速化されていますが、モデルがインタラクティブな要素を流暢に処理する様子を示しています。
初期のテスターは、UIテストでこれを適用し、ウェブアプリケーションの回帰チェックを自動化しています。このモデルで構築されたパーソナルアシスタントは、アプリと直接連携することで、メール、予約、リマインダーを管理します。ワークフロー自動化は、障害からの回復能力の恩恵を受けています。例えば、Googleの決済プラットフォームチームは、停止した実行の60%以上を復旧させ、修正時間を数日から数分に短縮したと報告しています。
技術的な観点から見ると、これらのアプリケーションはループ内で堅牢なエラー処理を必要とします。開発者は、進行状況を維持するために再試行ロジックと状態チェックポイントを実装します。さらに、Apidogのようなツールを介してAPIと統合することで、computer_useエンドポイントのシームレスなテストが可能になり、スクリーンショットなどの入力が正しくフォーマットされていることを保証します。安全性が最優先されるため、モデルには組み込みのガードレールが組み込まれています。
安全機能とリスク軽減
Googleは、誤用、予期せぬ動作、プロンプトインジェクションなどの外部からの脅威といったリスクに対抗するため、Gemini 2.5 Computer Useモデルに安全機能を直接組み込んでいます。トレーニングプロセスでは、システムの整合性を損なう行為やCAPTCHAのようなセキュリティプロトコルを迂回する行為など、有害なアクションに対する拒否メカニズムを組み込んでいます。
開発者は、実行前にアクションを評価するステップごとの安全サービスを含む、きめ細かな制御にアクセスできます。システム指示は、医療機器の制御や金融取引の実行など、機密性の高い操作に対してユーザーの確認を求めるようにモデルを導きます。この多層的なアプローチにより、詐欺の標的になりやすいウェブ環境における脆弱性を最小限に抑えます。
技術的には、安全評価には、シミュレートされた攻撃で弱点を調査する敵対的テストが含まれます。モデルは、事前に定義されたリスクカテゴリに対してアクションを分類し、しきい値を超えた場合は進行を停止することで、高い安全スコアを達成します。ただし、開発者は、ベストプラクティスに関するドキュメントに従い、徹底したローンチ前テストを行う責任があります。
さらに、安全報告の透明性により、エンジニアは統合を改善できます。API駆動型のセットアップでは、Apidogのようなツールが開発中に安全応答のモック化を容易にし、実際の危険なしにコンプライアンスを確保します。利用可能性に移行すると、これらの機能によりモデルは責任ある使用のためにアクセス可能になります。
利用可能性と開発者アクセス
Googleは、Gemini 2.5 Computer Useモデルを、Google AI StudioやVertex AIなどのプラットフォームでGemini APIを通じて公開プレビューとして提供しています。開発者は、既存の認証システムとクォータシステムを活用して、すぐに統合できます。
アクセスには標準的なAPIキー以外の追加設定は不要で、迅速なプロトタイピングが可能です。Vertex AIユーザーはエンタープライズグレードのスケーリングの恩恵を受け、Google AI Studioは個人の実験に適しています。モデルの展開は反復的なフィードバックを重視しており、Googleはエッジケースに関する報告を奨励しています。
技術的な統合の観点から見ると、開発者はPythonやJavaScriptなどの言語を使用して、カスタムループでcomputer_useツールをラップします。SDKはスクリーンショットの処理とアクションの実行を効率化し、ボイラープレートコードを削減します。さらに、ドキュメントには一般的なシナリオのコードサンプルが提供されており、採用を加速します。
利用が増えるにつれて、監視ツールはパフォーマンスメトリクスを追跡し、最適なリソース割り当てを保証します。APIインタラクションを探求する方のために、Apidogはエンドポイントの可視化、呼び出しのデバッグ、統合に関するコラボレーションのための無料ダウンロードを提供しており、Gemini 2.5 Computer Useモデルで堅牢なエージェントを構築するのに最適です。
Gemini 2.5 Computer UseモデルとApidogのようなツールの統合
統合により、Gemini 2.5 Computer Useモデルの有用性が向上します。Apidogは、包括的なAPIプラットフォームであり、開発者がGemini APIエンドポイントを効率的にテストおよびドキュメント化できるようにすることで、これを補完します。エンジニアはApidogを使用してcomputer_use呼び出しをシミュレートし、JSONエンコードされたスクリーンショットやアクション履歴などの入力形式を検証します。
実際には、Apidogのモック機能はモデルの応答を再現し、エージェントループのオフライン開発を可能にします。これにより、反復中の高価なAPIヒットを防ぎます。さらに、Apidogのコラボレーションツールにより、チームはAPI仕様を共有でき、プロジェクト全体で一貫した実装を保証します。
技術的には、ApidogはOpenAPI標準をサポートしており、Geminiのドキュメントと連携しています。開発者はスキーマを直接インポートし、シームレスな接続のためのクライアントコードを生成します。複雑なエージェントの場合、Apidogはレイテンシとエラー率を監視し、反復ループの効率を最適化します。
さらに、モデル内のカスタム関数を扱う際、Apidogはパラメータマッピングを視覚化し、統合エラーを削減します。ケーススタディでは、ワークフロー自動化のためにApidogをGeminiと併用するチームが、より迅速なデプロイを実現していることが示されています。将来的な影響を考慮すると、このような相乗効果は進化するエコシステムを示唆しています。
将来的な影響と開発
Gemini 2.5 Computer Useモデルは、より自律的なAIエージェントへの移行を示唆しています。将来のイテレーションでは、デスクトップOS制御にまで拡張され、エンタープライズソフトウェアでの応用が広がる可能性があります。Googleは、機能が進歩するにつれて安全性を優先し、責任あるスケーリングに取り組んでいます。
技術的には、進歩には、より豊かなインタラクションのために音声や触覚フィードバックを組み込んだ、強化されたマルチモーダル入力が含まれる可能性があります。研究者は、プライバシーを侵害することなくエージェントをパーソナライズするために、フェデレーテッドラーニングを模索しています。
要約すると、Gemini 2.5 Computer Useモデルは、デジタルインターフェースにおけるAIの役割を再定義します。正確で低レイテンシのUI制御を可能にすることで、開発者は革新的なソリューションを構築できるようになります。Apidogのようなツールは、開発を効率化するための無料リソースを提供し、このエコシステムを強化します。採用が加速するにつれて、業界全体に変革的な影響が期待されます。