```html
Mac'inizi sadece birkaç satır doğal dille kontrol ettiğinizi hayal edin. Bu rüya, Claude'un yeni Bilgisayar Kullanım aracı sayesinde artık gerçek oldu. İster sıkıcı kullanıcı arayüzü iş akışlarını otomatikleştiriyor, ister kullanıcı girdisini simüle ediyor, ister macOS arayüzleriyle etkileşim kuran demolar oluşturuyor olun, Claude'un Bilgisayar Kullanım aracı güçlü ve şaşırtıcı derecede sezgisel bir çözüm sunar.
Bu makalede, bu özelliğin ne olduğunu, nasıl kullanılacağını inceleyeceğiz ve aracın çekirdeğinin iç işleyişini analiz edeceğiz. İster tekrarlayan görevleri otomatikleştirmek isteyen bir geliştirici olun, ister sadece uygulamaları eller serbest kontrol etmek isteyen biri olun, bu kılavuz başlamak için kapsamlı bir yol göstericidir.
Claude'un Bilgisayar Kullanımı Nedir?
Bilgisayar Kullanımı, bir yapay zeka aracısının doğrudan bir Mac'in klavyesi, faresi ve ekranıyla etkileşim kurmasına olanak tanıyan, Anthropic tarafından yayınlanan Claude'a özel bir beta aracıdır. Bu etkileşim, macOS komut satırı yardımcı programları kullanılarak programlı olarak gerçekleştirilir.
Claude, bu aracı kullanarak şunları yapabilir:
- Yazmayı veya belirli tuşlara basmayı simüle etme
- Fare imlecini bir konuma taşıma
- Sol, sağ veya çift tıklama gerçekleştirme
- Geçerli ekranın ekran görüntülerini alma
- İmlecin konumunu alma
Tüm bu eylemler, bir API benzeri arayüz aracılığıyla sunulur ve Anthropic aracılarının çağırabileceği Python tabanlı bir araçta sarılır.
Neden macOS'u Claude ile Otomatikleştirmelisiniz?
AppleScript veya Automator gibi geleneksel macOS otomasyon araçları güçlü olabilir, ancak kırılgan, uygulamaya özel veya kapsam olarak sınırlı olma eğilimindedir. Claude'un Bilgisayar Kullanım API'si ile artık bu kurallarla sınırlı değilsiniz. Sistemle bir bütün olarak etkileşim kurabilirsiniz; uygulamalarda gezinme, tıklama, yazma, sürükleme ve hatta ekranı görsel olarak yorumlama, tıpkı bir insanın yapacağı gibi.
Claude, ekranınızda ne olduğunu yorumlayan ve doğal dil talimatlarını ve düşük seviyeli sistem komutlarını kullanarak görevleri gerçek zamanlı olarak yürüten akıllı bir yardımcı pilot gibi davranır.
İhtiyacınız Olanlar
Başlamak için, aşağıdakilere sahip olduğunuzdan emin olun:
- macOS 12 (Monterey) veya üzeri çalıştıran bir Mac
- Python 3.8+ yüklü
- Homebrew (macOS paket yöneticisi)
- Terminal.app veya iTerm2 gibi bir terminal uygulaması
Claude Bilgisayar Kullanım API'sine ve API anahtarınıza erişim
Ayrıca, klavye yazma ve fare kontrolü gibi düşük seviyeli etkileşim için cliclick adlı bir komut satırı yardımcı programı kullanacaksınız.
macOS Ortamınızı Kurma
Claude Mac'inizi kontrol edebilmeden önce, terminal erişilebilirlik izinleri vermeniz gerekir:
- Sistem Ayarları'nı açın
- Gizlilik ve Güvenlik → Erişilebilirlik'e gidin
- Kullandığınız terminal uygulaması için kontrolü etkinleştirin
Bu izinler olmadan otomasyon çalışmayacaktır.
Nasıl Çalışır: Claude + cliclick + Python
Sistem üç temel katman üzerine kuruludur:
- Claude'un Bilgisayar Kullanım API'si – Ekran yorumlamayı yönetir, hangi eylemlerin yapılacağına karar verir.
- cliclick – Fare hareketini, tıklamaları ve klavye girdisini simüle eden bir komut satırı aracı.
- Python Köprüsü (
computer.py) – Claude'un komutlarını cliclick ve macOS sisteminize bağlar.
Claude API'si görsel bilgileri (hangi uygulamaların açık olduğu veya düğmelerin nerede bulunduğu gibi) yorumlar ve üst düzey komutlar yayınlar. Bu komutlar daha sonra Python katmanı tarafından yönetilen cliclick aracılığıyla Mac'inizde yürütülür.
Araçları Yükleme
Otomasyon kurulumunu yüklemek ve çalıştırmak için şu adımları izleyin:
1. cliclick'i Yükleyin
brew install cliclick
2. Quickstart Deposunu Klonlayın
git clone https://github.com/anthropics/anthropic-quickstarts.git
cd anthropic-quickstarts/computer-use-demo
3. Çekirdek Betiği Değiştirin
Mevcut computer.py dosyasını, Claude Bilgisayar Kullanımı ile macOS'u Otomatikleştirme kılavuzunda sağlanan değiştirilmiş sürümle değiştirin.
4. Kurulum Betiğini Çalıştırın
./setup.sh
Bu betik bir Python sanal ortamı oluşturur ve bağımlılıkları yükler.
5. Ortamı Etkinleştirin
source .venv/bin/activate
6. Ortam Değişkenlerinizi Ayarlayın
Yer tutucuları gerçek verilerinizle değiştirin.
export ANTHROPIC_API_KEY=sk-xxxxxx
export WIDTH=1512 # Ekran genişliğiniz
export HEIGHT=982 # Ekran yüksekliğiniz
Çözünürlüğünüzü Apple Menüsü > Bu Mac Hakkında > Ekranlar altında bulabilirsiniz.
7. Streamlit Uygulamasını Başlatın
python -m streamlit run computer_use_demo/streamlit.py
Claude'a komutlar vermeye başlayabileceğiniz yerel bir tarayıcı açılacaktır.
macOS'ta Gerçek Dünya Görevlerini Otomatikleştirme
Artık her şey çalışır durumda olduğuna göre, neler yapabileceğinize bir göz atalım.
1. Uygulamaları Başlatma
Claude'dan "Safari'yi Aç" veya "Spotify'ı Başlat" isteyin. Claude, simgeleri veya menü girişlerini görsel olarak tanımlayacak ve gerekli tıklamaları ve tuş vuruşlarını simüle edecektir.
2. Uygulamalarda Metin Yazma
Claude'dan Notlar'ı açmasını ve bir mesaj yazmasını isteyebilirsiniz. Bu, otomatik günlükler veya günlük kayıtları oluşturmak için kullanışlıdır.
3. Menülerde ve Pencerelerde Gezinme
Claude, klavye kısayollarını simüle edebilir, menülerde tıklayabilir veya pencereleri belirli konumlara sürükleyebilir. Bu, dosyaları dışa aktarma veya çalışma alanınızı ayarlama gibi çok adımlı iş akışları oluşturmak için harikadır.
Bilgisayar Kullanımına Hayran Mısınız? Daha Derine İnelim:
computer.py betiği, aşağıdakileri yöneten bir ara yazılım görevi görür:
- Ekran koordinatlarını çözünürlüğe göre çevirme
- Fare ve klavye eylemlerini hassas zamanlamayla yürütme
- Görsel onay için ekran görüntülerini yakalama ve kodlama
- Claude tarafından verilen her komut (örneğin,
left_click,mouse_move,type) doğrulanır, ayrıştırılır ve ardından cliclick'e verilir.
Örnek: Claude'a Safari'yi Açmasını Söylemek. Kurulduktan sonra, Claude'a şunun gibi bir şey sorabilirsiniz:
"Lütfen Safari'yi açın, apple.com'a gidin ve bir ekran görüntüsü alın."
Arka planda, Claude şunları yapacaktır:
Cmd+Spacetuşlarına basmak içincliclick'i kullanın- "Safari" yazın
Entertuşuna basın- Tarayıcının yüklenmesini bekleyin
- "apple.com" yazın
Entertuşuna basın- Ekranı yakalamak için
screenshot()kullanın
Tüm bu adımlar doğal dilde soyutlanmıştır.
Ayrıca, Claude'un ne olduğunu "görebilmesi" ve akıllıca yanıt verebilmesi için geçerli fare konumunu veya ekran görüntüsünü döndürmek gibi geri bildirim döngülerini de destekler. Claude Bilgisayar Kullanımının sizin için neler yapabileceğini düşünün:
- İçerik Oluşturma: Photoshop'u otomatik olarak açın, bir şablon yükleyin ve bir tasarım dışa aktarın.
- Toplantılar: Zoom'u açın, toplantılara katılın ve basit istemler kullanarak sesi kapatıp açın.
- Kodlama: IDE'nizi açın, bir proje yükleyin ve derleyin; hepsi doğal dil talimatıyla tetiklenir.
- Sistem Temizleme: Finder'ı açın, İndirilenler'e gidin ve eski dosyaları silin.
Claude'un Bilgisayar Kullanımı Arka Planda Nasıl Çalışır?
Bu özelliğin merkezinde, bir yapay zeka aracısına API benzeri bir arayüz sunan bir araç uygulaması olan computer.py dosyası bulunur.
computer.py'nin ana bileşenlerini inceleyelim.
1. Araç Yapılandırması ve Kurulumu
class ComputerTool(BaseAnthropicTool):
name: Literal["computer"] = "computer"
api_type: Literal["computer_20241022"] = "computer_20241022"Bu sınıf, aracın adını ve API türünü ayarlar. Claude ile araçların nasıl iletişim kurduğunu standartlaştıran BaseAnthropicTool'dan devralır.
Oluşturucu, ekran genişliğini, yüksekliğini ve görüntü numarasını ortam değişkenlerinden yükler. Bu, fare koordinat eşlemesinin yüksek çözünürlüklü ekranlarda doğru çalışmasını sağlar.
self.width = int(os.getenv("WIDTH") or 0)
self.height = int(os.getenv("HEIGHT") or 0)2. Eylemleri Yürütme
Araç, mouse_move, type, key ve screenshot gibi çeşitli eylemleri işler. Her eylem farklı bir kabuk komutunu tetikler:
if action == "mouse_move":
return await self.shell(f"cliclick m:{x},{y}")Yazma, girdi metnini parçalara ayırarak ve tuş vuruşlarını simüle ederek işlenir:
for chunk in chunks(text, TYPING_GROUP_SIZE):
cmd = f"cliclick t:'{chunk}'"
results.append(await self.shell(cmd, take_screenshot=False))Bu, bir kullanıcının karakter karakter yazmasını taklit eder, ardından bir ekran görüntüsü dahil.
3. Ekran Görüntüsü İşlevi
screenshot() işlevi, screencapture kullanarak bir ekran görüntüsü alır, ImageMagick'in convert'ini kullanarak yeniden boyutlandırır ve base64'te kodlanmış olarak döndürür:
screenshot_cmd = f"{self._display_prefix}screencapture {path}"
await self.shell(f"convert {path} -resize {x}x{y}! {path}")Bu, Claude'un eylemleri gerçekleştirmeden önce veya sonra ekranda neler olduğunu "görmesini" sağlar.
4. Koordinat Ölçekleme
Tüm ekranlar aynı çözünürlüğe sahip değildir. scale_coordinates() yöntemi, etkileşimlerin ekranlar arasında tutarlı kalması için koordinatları ayarlar:
x_scaling_factor = target_dimension["width"] / self.width
y_scaling_factor = target_dimension["height"] / self.heightBu, yapay zeka " (400, 300) konumuna tıklayın" dediğinde, gerçek ekran boyutundan bağımsız olarak doğru yere inmesini sağlar.
5. Hata İşleme ve Doğrulama
Kod boyunca, eksik metin veya geçersiz koordinatlar gibi hatalar, yardımcı mesajlarla erken yakalanır:
if text is None:
raise ToolError(f"text is required for {action}")Bu, aracı korur ve Claude bir sistemle etkileşim kurduğunda tahmin edilebilir davranış sağlar.
Son Düşünceler
Claude'un Bilgisayar Kullanım API'si, otomasyona fütüristik bir yaklaşım sunar; daha az komut dosyası, daha fazla zeka. Ekran görsellerini yorumlayarak ve bir insan asistan gibi yanıt vererek, Claude, derin teknik beceriler gerektirmeden herhangi bir macOS kullanıcısına güçlü otomasyon getirir.
Sadece Python, birkaç araç ve API anahtarınızla, alışkanlıklarınıza ve tercihlerinize uyum sağlayan iş akışları oluşturabilirsiniz; bu da size gerçekten önemli olan şeylere odaklanmanız için daha fazla zaman verir.
```
