OpenClaw'da Scrapling MCP Kurulumu

TL;DR

Scrapling MCP, güçlü, tespit edilemeyen web kazıma yeteneklerini doğrudan OpenClaw ortamınıza getiriyor. scrapling Python paketini kurarak ve OpenClaw ayarlarınıza basit bir JSON yapılandırması ekleyerek, yapay zeka aracınızın web'de gezinmesini, Cloudflare Turnstile gibi bot karşıtı korumaları atlamasını ve yapılandırılmış verileri otomatik olarak çıkarmasını sağlayabilirsiniz. Bu kılavuz, eksiksiz kurulum sürecini, yapılandırma adımlarını ve kazınan verileri yönetmek için Apidog'u nasıl kullanacağınızı kapsar.

Giriş

Hiç yapay zeka aracınızın bir web sitesini okumasını denediniz mi, ancak "İnsan olduğunuzu doğrulayın" captcha'sı tarafından engellendi mi? Otomasyonu durduran sinir bozucu bir engeldir bu. OpenClaw gibi yapay zeka ajanları geliştirme iş akışlarımızın merkezi haline geldikçe, korumalı web içeriğine erişememeleri potansiyellerini sınırlıyor.

OpenClaw'un bir web sitesine erişemediğini gösteren ekran görüntüsü,

İşte tam bu noktada Scrapling MCP oyunu değiştiriyor. Scrapling, basit isteklerden Cloudflare tarafından korunan karmaşık, JavaScript ağırlıklı sitelere kadar her şeyi ele alan, tespit edilemeyen bir web kazıma çerçevesidir. Bunu OpenClaw'a bir Model Bağlam Protokolü (MCP) sunucusu olarak entegre ederek, aracınıza tıpkı bir insan kullanıcısı gibi web'de gezinme ve bot karşıtı sistemleri zahmetsizce atlama yeteneği kazandırırsınız.

Bu kılavuzda, Scrapling MCP'yi OpenClaw'da tam olarak nasıl kuracağınızı adım adım anlatacağız. Gerekli araçları nasıl kuracağınızı, ortamınızı nasıl yapılandıracağınızı ve dakikalar içinde veri kazımaya nasıl başlayacağınızı öğreneceksiniz. Ayrıca, kazınan verileri, özellikle API belgelerini nasıl alıp Apidog'a aktararak kullanıma hazır API testleri ve belgeleri anında oluşturacağınızı göstereceğiz.

Bu eğitimin sonunda, OpenClaw aracınız sadece kod yazmakla kalmayacak; aynı zamanda canlı web'i aktif olarak araştıracak ve onunla etkileşime girecektir.

Sorun: Yapay Zeka Ajanları Web Kazımada Neden Zorlanır?

Yapay zeka ajanları bilgiyi işlemekte harikadır, ancak genellikle onu elde etmekte çok kötüdürler. Ajanlar tarafından kullanılan geleneksel getirme araçları (curl veya standart HTTP kütüphaneleri gibi) modern web sunucularına "Ben bir botum" diye haykırır.

Bot Karşıtı Engel

Çoğu modern web sitesi gelişmiş bot karşıtı korumalar kullanır.

Cloudflare Turnstile: İnsan benzeri fare hareketlerini ve tarayıcı parmak izlerini kontrol eder.
TLS Parmak İzi: SSL/TLS el sıkışmasına dayanarak tarayıcı dışı istemcileri tanımlar.
Dinamik İçerik: Birçok site içeriği JavaScript aracılığıyla yükler ve standart getirme araçları bunu çalıştıramaz.

OpenClaw, standart araçları kullanarak bu sitelere erişmeye çalıştığında, 403 Yasak hatası veya bir captcha sayfası alır. Bu, iş akışınızı bozar ve içeriği manuel olarak kopyalayıp sohbet bağlamına yapıştırmanıza neden olur - bu sıkıcı ve ölçeklenemeyen bir süreçtir.

Bağlam Penceresi Sınırlaması

Bir ajan bir sayfaya erişebilse bile, genellikle tüm ham HTML'yi alır. 5 MB HTML'yi bir LLM'nin bağlam penceresine boşaltmak verimsiz, pahalı ve genellikle modeli karıştırır. Yapay zeka onu işlemeden önce yalnızca ilgili içeriği çıkarmanın bir yoluna ihtiyacınız var.

Scrapling MCP Nedir?

Scrapling, tespit edilemez olacak şekilde tasarlanmış Python tabanlı bir web kazıma çerçevesidir. Scrapling MCP Sunucusu bu güçlü motoru OpenClaw'ın anlayacağı bir protokole sarar.

Scrapling MCP'yi kurduğunuzda, OpenClaw'a bir dizi özel araç verirsiniz:

Gizli Tarama: Gerçek tarayıcı başlıklarını, TLS parmak izlerini ve davranışlarını taklit eder.
Başsız Tarayıcı Kontrolü: JavaScript'i oluşturmak ve sayfalarla etkileşim kurmak için Playwright ve Camoufox kullanır.
Akıllı Çıkarma: Yapay zekanın CSS seçicileri veya XPath kullanarak belirli öğeleri seçmesine olanak tanıyarak gürültüyü azaltır.
Turnstile Atlatma: Kullanıcı müdahalesi olmadan "İnsan olduğunuzu doğrulayın" kontrollerini otomatik olarak ele alır.

Bunu, OpenClaw'a sizin okuyabildiğiniz her şeyi okuyabilen uzaktan kumandalı, görünmez bir web tarayıcısı vermek gibi düşünebilirsiniz.

Adım Adım Kılavuz: Scrapling'i OpenClaw'da Kurma

Scrapling MCP'yi OpenClaw'da kurmak kolaydır. Python paketini kuracak ve ardından OpenClaw'ı onunla iletişim kuracak şekilde yapılandıracağız.

Ön Koşullar

Python 3.10+: Python'ın güncel bir sürümünün yüklü olduğundan emin olun.
OpenClaw: OpenClaw uygulamasının yüklü ve çalışır durumda olması gerekir.
Terminal Erişimi: Terminalinizde birkaç komut çalıştırmanız gerekecek.

Adım 1: Scrapling'i Kurun

Öncelikle, Scrapling paketini yapay zeka bağımlılıklarıyla birlikte kurmamız gerekiyor. Terminalinizi açın ve şunu çalıştırın:

pip install "scrapling[ai]"

Bu, çekirdek çerçeveyi ve MCP sunucu bileşenlerini kurar. Ardından, dinamik sayfaları oluşturmak için gereken tarayıcı ikili dosyalarını kurun:

scrapling install

Bu komut, Scrapling'in gerçek kullanıcıları taklit etmek için kullandığı gerekli tarayıcı motorlarını (Chromium ve Firefox) indirir.

Adım 2: OpenClaw Yapılandırmanızı Bulun

OpenClaw, MCP sunucularını yönetmek için bir JSON yapılandırma dosyası kullanır. Bu dosyayı bulmanız gerekiyor.

macOS: ~/Library/Application Support/OpenClaw/openclaw_config.json
Windows: %APPDATA%\OpenClaw\openclaw_config.json
Linux: ~/.config/OpenClaw/openclaw_config.json

Not: Dosya mevcut değilse, oluşturabilirsiniz.

Adım 3: Scrapling Sunucu Yapılandırmasını Ekleyin

Yapılandırma dosyasını favori metin düzenleyicinizde açın. mcpServers nesnesine ScraplingServer'ı eklemeniz gerekir.

İşte yapılandırma bloğu:

{
  "mcpServers": {
    "ScraplingServer": {
      "command": "python",
      "args": [
        "-m",
        "scrapling.mcp_server"
      ]
    }
  }
}

Profesyonel İpucu: Sanal bir ortam kullanıyorsanız (şiddetle tavsiye edilir), yalnızca python yerine Python yürütülebilir dosyanızın mutlak yolunu kullanın. Bu yolu, etkinleştirilmiş ortamınızda which python (macOS/Linux) veya where python (Windows) komutlarını çalıştırarak bulabilirsiniz.

Mutlak yollu örnek:

{
  "mcpServers": {
    "ScraplingServer": {
      "command": "/Users/username/my-env/bin/python",
      "args": [
        "-m",
        "scrapling.mcp_server"
      ]
    }
  }
}

Adım 4: OpenClaw'ı Yeniden Başlatın

Yapılandırma dosyasını kaydedin ve OpenClaw'ı yeniden başlatın. Yüklendiğinde, bağlam menünüzde yeni bir "ScraplingServer" göstergesi veya araç seti görmelisiniz.

Adım 5: Kurulumu Doğrulayın

Çalışıp çalışmadığını test etmek için OpenClaw'dan korumalı bir siteyi getirmesini isteyin:

https://example.com

Doğru yapılandırılırsa, OpenClaw scrapling_fetch aracını kullanacak, olası blokları atlayacak ve temiz bir özet döndürecektir.

Gelişmiş Teknikler ve En İyi Uygulamalar

Temel işlevler çalıştıktan sonra, daha iyi sonuçlar ve daha düşük maliyetler için kazıma iş akışınızı optimize edebilirsiniz.

1. Bağlamı Kaydetmek İçin Akıllı Seçiciler Kullanın

OpenClaw'dan "sayfayı okumasını" istemeyin. Bu her şeyi getirir. Bunun yerine, daha spesifik olun:

https://example.com.pricing-table

Scrapling, CSS seçicileri iletmenize olanak tanır. Bu, yalnızca ilgili verileri çıkarır, belirteç kullanımınızı düşük tutar ve yapay zekanın odağını yüksek tutar.

2. Zorlu Siteler İçin Gizli Modu Etkinleştirin

Agresif bot karşıtı önlemleri olan siteler için, OpenClaw'dan açıkça "gizli modu" kullanmasını isteyin. Scrapling'in farklı getirme stratejileri vardır:

Temel: Hızlı, HTTP tabanlı (statik siteler için iyi).
Gizli: Parmak izleme özellikli başsız bir tarayıcı kullanır (Cloudflare için iyi).
Etkileşimli: Getirmeden önce düğmelere tıklayabilir veya kaydırabilir (sonsuz kaydırma sayfaları için iyi).

3. Sayfalandırmayı Otomatik Olarak Yönetin

Sayfalandırmayı yönetmek için OpenClaw'da bir döngü oluşturabilirsiniz. Şunu isteyin:
"Blogun ilk 5 sayfasını kazı. 'Sonraki' düğme seçicisi .pagination-next'i ara ve onu takip et."
Scrapling'in kalıcı oturum yönetimi, bu istekler arasında çerezlerin ve durumun korunmasını sağlar.

Kazınan Verileri Apidog ile Entegre Etme

Bu kurulumun en güçlü kullanım durumlarından biri API belgelerini tersine mühendislikle yeniden oluşturmaktır. Genellikle, üçüncü taraf bir hizmeti araştırırken dahili API'ler veya belgelenmemiş uç noktalarla karşılaşırsınız.

OpenAPI spesifikasyonunun kazınan API yanıtından oluşturulduğunu gösteren ekran görüntüsü

Kazınan verileri Apidog kullanarak işlevsel API testlerine dönüştürmenin yolu şöyledir:

Belgeleri Kazıyın: OpenClaw'dan bir belge sayfasını veya ham bir API yanıtını kazımasını isteyin.

https://api.example.com/v1/products

OpenAPI Şartnamesi Oluşturun: OpenClaw'dan kazınan metni bir OpenAPI (Swagger) spesifikasyonuna dönüştürmesini isteyin.

"Kazınan yanıta dayanarak, bir OpenAPI 3.0 YAML spesifikasyonu oluştur."

Apidog'a Aktarın:

Apidog'u açın.
Proje İçe Aktar'a gidin.
OpenClaw tarafından oluşturulan YAML'yi yapıştırın.

OpenAPI belgesinin Apidog'a başarıyla aktarıldığını gösteren ekran görüntüsü

Bunu neden yapmalısınız?
Veriler Apidog'da olduğunda şunları elde edersiniz:

Otomatik Oluşturulan Testler: Apidog, uç noktalar için otomatik olarak test senaryoları oluşturur.
Sahte Sunucular: Ön uç ekibiniz için API'yi anında simüle edebilirsiniz.
Belgeleme: Orijinal kazınan sayfadan daha iyi, güzel, etkileşimli belgeler elde edersiniz.

Bu iş akışı, "belgeleri okumayı" dakikalar içinde "çalıştırılabilir bir test paketine sahip olmaya" dönüştürür.

Gerçek Dünya Kullanım Alanları

Rakip Fiyat Takibi

OpenClaw'da en iyi 5 rakibinizin fiyatlandırma sayfalarını kazımak için günlük bir görev ayarlayın. Scrapling'i kullanarak belirli fiyat öğelerini çıkarın ve bunları bir markdown tablosuna biçimlendirin. Bu size pahalı izleme araçlarına para ödemeden otomatik bir pazar zekası raporu sağlar.

Geliştirici Haberlerini Toplama

Scrapling'i kullanarak HackerNews'in "Show HN" bölümünü veya GitHub'ın "Trendler" sayfasını getirmenizi sağlayın. Bu sayfalar sık sık değiştiği ve dinamik öğeler içerdiği için, Scrapling'in tarayıcı tabanlı getirme özelliği hiçbir gönderiyi kaçırmamanızı sağlar. Daha sonra OpenClaw'dan günün en iyi 3 aracını özetlemesini isteyebilirsiniz.

Kendi Siteniz İçin QA'yı Otomatikleştirme

Temel kimlik doğrulamanın veya bir güvenlik duvarının arkasında bir hazırlık ortamınız varsa, Scrapling'i (OpenClaw aracılığıyla) ona erişmek üzere yapılandırabilirsiniz. OpenClaw'dan "Hazırlık ana sayfasındaki 'Kaydol' düğmesinin görünür olduğunu ve doğru metni içerdiğini doğrulamasını" isteyin. Bu, UI'nız için semantik bir duman testi görevi görür.

Sonuç

Scrapling MCP'yi OpenClaw'a entegre etmek, yapay zekanızı pasif bir metin işlemcisinden aktif bir web ajansına dönüştürür. Artık 403 hatalarından, captchalardan veya dinamik JavaScript içeriğinden korkmanıza gerek yok. Bu kılavuzdaki adımları izleyerek, araştırmayı otomatikleştirmek, rakipleri izlemek ve web'in hemen hemen her köşesinden veri çıkarmak için yeteneği açtınız.

OpenClaw'ın muhakeme yetenekleri, Scrapling'in gizli erişimi ve Apidog'un API yaşam döngüsü yönetiminin birleşimi, modern geliştiriciler için güçlü bir iş akışı yaratır.

API iş akışınızı hızlandırmaya hazır mısınız? Apidog'u ücretsiz indirin ve kazınan verilerinizi bugün eyleme geçirilebilir testlere dönüştürmeye başlayın.

Düğme

Sıkça Sorulan Sorular

S: Scrapling'i kullanmak ücretsiz mi?
C: Evet, Scrapling açık kaynaklı bir Python kütüphanesidir. Ücretsiz olarak kullanabilirsiniz, ancak tarayıcı örneklerini çalıştıran altyapıdan (yerel makineniz) siz sorumlusunuz.

S: Bu Windows'ta çalışır mı?
C: Kesinlikle. Scrapling macOS, Windows ve Linux'ta çalışır. Sadece Python'ın yüklü olduğundan ve JSON yapılandırmanızda doğru yolu kullandığınızdan emin olun.

S: Scrapling tüm captchaları atlayabilir mi?
C: Scrapling, Cloudflare Turnstile ve benzeri pasif kontrollere karşı oldukça etkilidir. Ancak, "etkileşimli" captchalar (trafik ışıklarını seçmek gibi) hala manuel müdahale veya özel çözücü hizmetleri gerektirebilir.

S: Bu, standart fetch aracıyla nasıl karşılaştırılır?
C: Standart fetch araçları kolayca engellenir ve JavaScript'i oluşturamaz. Scrapling, gerçek bir tarayıcı motoru (başsız Chrome/Firefox) kullanır ve çoğu sunucuya bir insan kullanıcısından ayırt edilemez hale gelir.