Web kazıma yeteneklerini yapay zeka araçlarıyla entegre ederek iş akışınızı kolaylaştırmak mı istiyorsunuz? VS Code'daki bir yapay zeka asistanı olan Cline, Firecrawl MCP ile birleştirildiğinde LLM'ler için .txt dosyaları oluşturmak için güçlü bir çözüm sunar. Bu eğitimde, web sitelerini LLM'ye hazır metin dosyalarına dönüştürmek için Cline'ı Firecrawl MCP ile nasıl kullanacağımızı inceleyeceğiz.
MCP desteğinin yakında Apidog'a geleceğini duyurmaktan heyecan duyuyoruz! 🚀
— Apidog (@ApidogHQ) March 19, 2025
Apidog MCP Sunucusu, API dokümanlarını doğrudan Agentic AI'ya beslemenize olanak tanıyarak, kodlama deneyiminizi güçlendirir! İster Cursor, ister Cline veya Windsurf kullanıyor olun, geliştirme sürecinizi daha hızlı ve sorunsuz hale getirecektir.… pic.twitter.com/ew8U38mU0K
Cursor gibi yapay zeka IDE'leriyle çalışırken, API iş akışınızı Apidog ile güçlendirin! Bu ücretsiz, hepsi bir arada platform, API'leri tek bir arayüzde tasarlamanıza, test etmenize, sahtesini oluşturmanıza ve belgelemenize olanak tanır. Öyleyse neden şimdi denemiyorsunuz? 👇👇
Cline ve Firecrawl MCP'ye Giriş
Cline:
Cline, yeteneklerini genişletmek için Model Context Protocol'ü (MCP) kullanan bir yapay zeka asistanıdır. MCP sunucuları da dahil olmak üzere özel araçlar oluşturabilir ve yönetebilir, doğrudan VS Code içinde. Cline, web kazıma ve veri çıkarma gibi karmaşık görevleri otomatikleştirmek için çeşitli yapay zeka modellerini ve API'lerini destekler.
Firecrawl MCP Sunucusu:
Firecrawl MCP Sunucusu, LLM istemcileri için web kazıma yeteneklerini geliştirmek üzere tasarlanmıştır. Güçlü JavaScript oluşturmayı, otomatik yeniden denemeleri ve verimli toplu işlemeyi destekler. Bu sunucu, web sayfalarından LLM'ler kullanarak yapılandırılmış bilgi çıkarmak için idealdir.
Önkoşullar
- VS Code (sürüm 1.60 veya üzeri)
- Node.js (sürüm 14.x veya üzeri)
- Cline Eklentisi (en son sürüm)
- Firecrawl API anahtarı
VS Code'da Cline'ı Kurma
Cline Eklentisini Yükleyin:
VS Code Extensions Marketplace'i açın ve "Cline" araması yapın. VS Code ortamınıza eklemek için "Yükle"ye tıklayın.
Cline'ı Yapılandırın:
Yüklendikten sonra, Cline ile VS Code terminali veya sohbet arayüzü aracılığıyla etkileşim kurabilirsiniz. Cline'dan yeni dosyalar oluşturmak veya terminal komutları yürütmek gibi görevleri gerçekleştirmesini isteyebilirsiniz.
MCP Yeteneklerini Etkinleştirin:
Cline, MCP sunucuları oluşturabilir ve yönetebilir. Cline'dan Firecrawl MCP ile ilgili bir "araç eklemesini" isteyin, sizin için kurulum işlemini halledecektir.
Firecrawl MCP Sunucusunu Cline ile Kurma
Cline'ı kullanarak Firecrawl MCP gibi bir MCP sunucusunu kurmak ve yapılandırmak, diğer yapay zeka araçlarının gerektirdiği manuel yapılandırmalardan önemli ölçüde daha kolaydır. Cline, binlerce önceden yapılandırılmış MCP sunucusuna göz atabileceğiniz bir MCP pazarı sunar ve bu da süreci kolaylaştırır ve kullanıcı dostu hale getirir.
Adım 1: Cline'ın MCP Pazarına Erişim
VS Code'da Cline'ı Açın: VS Code içinde Cline'ı açarak başlayın. Cline ile terminal veya sohbet arayüzü aracılığıyla etkileşim kurabilirsiniz.
MCP Sunucuları Pazarına Gidin: Cline içindeki MCP Sunucuları Pazarına gidin. Bu bölüm, VS Code'daki uzantılara göz atmaya benzer; burada MCP sunucularını arayabilir ve yükleyebilirsiniz.
Adım 2: Firecrawl MCP Sunucusunu Yükleyin
Firecrawl MCP'yi Arayın: Pazarda "Firecrawl MCP" araması yapın ve yüklemek için üzerine tıklayın.
Yüklü MCP Sunucularını Görüntüleyin: Yüklemeden sonra, Firecrawl MCP sunucusunun listelendiğini görmek için "Yüklü" bölümüne gidin.
Adım 3: Firecrawl MCP Sunucusunu Yapılandırın
Firecrawl API Anahtarını Alın: Firecrawl'ı kullanmak için bir API anahtarına ihtiyacınız vardır. Resmi Firecrawl web sitesini ziyaret edin, bir hesap oluşturun ve ücretsiz bir API anahtarı alın. Bu anahtarı güvenli bir şekilde kaydedin.
MCP Sunucusunu Yapılandırın: Cline'da, "MCP Sunucularını Yapılandır"a tıklayın. Firecrawl API anahtarınızı ekleyebileceğiniz bir JSON dosyası göreceksiniz.
Buna benzer bir şey görmelisiniz:
{
"mcpServers": {
"github.com/mendableai/firecrawl-mcp-server": {
"command": "cmd",
"args": [
"/c",
"set FIRECRAWL_API_KEY=<Replace with your firecrawl_api_key"fc-"> && npx -y firecrawl-mcp"
],
"env": {
"FIRECRAWL_API_KEY": <Replace with your firecrawl_api_key"fc-">
},
"disabled": false,
"autoApprove": []
}
}
}Yenileyin ve Doğrulayın: API anahtarını ekledikten sonra, MCP sunucusunu yenileyin. Artık yeşil bir nokta ile gösterildiği gibi başarıyla yapılandırılmış olmalıdır. Bu, sunucunun kullanıma hazır olduğu anlamına gelir.
Adım 4: Firecrawl MCP Araçlarını Keşfedin
Mevcut Araçları Görüntüleyin: Mevcut tüm araçları ve ayrıntılarını görüntülemek için Firecrawl MCP sunucusunun yanındaki açılır düğmeye tıklayın.
Diğer Yüklü MCP Sunucuları: Firecrawl MCP sunucusunun altında, Cline'ın pazarından yüklediğiniz diğer MCP sunucularını göreceksiniz.
Cline'da API Sağlayıcılarını Yönetme
Cline ile ücretsiz denemeleriniz biterse, farklı bir API sağlayıcısına geçebilirsiniz:
API Sağlayıcısını Değiştirin: Cline'ın ayarlarına gidin ve API sağlayıcısını "VS Code LM API" olarak değiştirin. Bu, VS Code'un Copilot'u ile entegre edilmiş Claude 3.5 modelini tamamen ücretsiz kullanmanızı sağlar! Ancak bu, aylık kullanım sınırlarıyla gelir ve her zaman sorunsuz çalışmayacaktır. Ancak, bu eğitim için, Cline'ın ücretsiz katmanı başlamanız için yeterli olacağından endişelenmenize gerek yok.
Copilot'u Yükleyin: Claude 3.5 modelini Cline ile kullanmak için, VS Code'unuzda Copilot'un yüklü olduğundan emin olun. Değilse, VS Code'u güncelleyin veya Eklentiler Marketplace'ten Copilot'u yükleyin.
Cline'ın MCP pazarını ve kolaylaştırılmış yapılandırma sürecini kullanarak, Firecrawl MCP Sunucusunu manuel kurulum ve yapılandırma zahmetine girmeden hızlı bir şekilde kurabilir ve kullanmaya başlayabilirsiniz.
Cline ve Firecrawl MCP ile LLMs.txt Dosyaları Oluşturma
Cline'dan LLMs.txt Oluşturmasını İsteyin: VS Code'da Cline ile etkileşim kurun ve Firecrawl MCP kullanarak LLMs.txt dosyaları oluşturmasını isteyin. Bir URL sağlayabilir ve maxUrls gibi parametreleri ve llms-full.txt oluşturulup oluşturulmayacağını belirtebilirsiniz.
# Örnek girdi
>> firecraw.dev'den bir llms.txt oluştur --kısa sürümOluşturma Durumunu İzleyin: Cline, Firecrawl MCP Sunucusunu kullanarak LLMs.txt dosyaları oluşturmak için komutu yürütecektir. Oluşturma işleminin durumunu Cline'ın çıktısı aracılığıyla veya Firecrawl MCP Sunucu günlüklerini kontrol ederek izleyebilirsiniz.
Oluşturulan Dosyalara Erişim: Oluşturma tamamlandıktan sonra, Cline size oluşturulan llms.txt ve isteğe bağlı olarak llms-full.txt dosyalarını sağlayacaktır. Bu dosyalar, LLM'leri eğitmek veya analiz etmek için kullanıma hazırdır.
Özellikler ve Faydalar
Verimli Web Kazıma: Firecrawl MCP Sunucusu, JavaScript oluşturma desteğiyle güçlü web kazıma yetenekleri sunarak, verileri dinamik web sayfalarından verimli bir şekilde çıkarabilmenizi sağlar.
Özelleştirilebilir: Web kazıma görevlerinizin hem verimli hem de web sitesi politikalarına uygun olmasını sağlayarak, sunucuyu toplu işlemeyi oran sınırlamasıyla işleyecek şekilde yapılandırabilirsiniz.
Yapay Zeka Entegrasyonu: Cline ile entegre olarak, LLMs.txt dosyaları oluşturma sürecini otomatikleştirerek, yapay zeka modelleri için veri hazırlamayı kolaylaştırabilirsiniz.
LLMs.txt dosyası Kullanım Alanları
Veri Analizi: Web sitesi içeriğini analiz etmek, temel bilgileri çıkarmak ve belirli görevler için LLM'leri eğitmek için oluşturulan LLMs.txt dosyalarını kullanın.
Araştırma Otomasyonu: Birden fazla web sitesinden içerik kazıyarak ve LLM'ye hazır metin dosyaları oluşturarak araştırma amaçlı veri toplamasını otomatikleştirin.
İçerik Özetleme: Her sayfayı manuel olarak incelemeden web sitelerinin içeriğini hızlı bir şekilde anlamak için llms.txt içindeki özlü özetlerden yararlanın.
Firecrawl MCP ile Çalışırken En İyi Uygulamalar
Firecrawl MCP'nin verimli çalışmasını ve Cline ile kullanırken size güvenilir bilgiler sağlayabilmesini sağlamak için, bu en iyi uygulamaları izleyin:
İşlemeden Önce Her Zaman URL'leri Doğrulayın:
URL'leri kazıma için Firecrawl MCP'ye göndermeden önce, erişilebilir olduklarını ve doğru biçimde olduklarını doğrulayın. Bu, hataları ve boşa harcanan API çağrılarını önler.
Sunucu Aşırı Yüklemesini Önlemek İçin Oran Sınırlaması Kullanın:
Cline yapılandırmanızda veya doğrudan Firecrawl MCP ayarlarında oran sınırlaması uygulayın. Bu, hedef web sitelerini aşırı yüklemediğinizden veya API sınırlarını aşmadığınızdan emin olmanızı sağlar, bu da engellemeye veya hizmet kesintilerine yol açar.
Firecrawl MCP, toplu işlemeyi verimli bir şekilde yönetmek için özelleştirilebilir oran sınırlamasını destekler.
Oluşturulan Dosyaları Düzenli Olarak Yedekleyin:
Oluşturulan LLMs.txt dosyalarınız için bir yedekleme stratejisi oluşturun. Bu, verilerinizi kazara kaybolmaya veya bozulmaya karşı korur. Yedeklemeleri güvenli ve erişilebilir bir konumda saklayın.
API Kullanımını ve Sınırlarını İzleyin:
Ücretsiz katmanda veya ücretli sınırlarda kalmak için Firecrawl API kullanımınızı düzenli olarak izleyin. Beklenmedik ücretlerden veya hizmet kesintilerinden kaçınmak için sınırlara yaklaştığınızda sizi bilgilendirmek için uyarılar ayarlayın.
Sonuç
Cline'ı Firecrawl MCP ile birleştirmek, LLMs.txt dosyaları oluşturmak için kolaylaştırılmış bir iş akışı sunar. Bu entegrasyon, web kazıma görevlerini otomatikleştirmenize, yapay zeka modelleri için veri hazırlamanıza ve veri analizi ve araştırmadaki verimliliğinizi artırmanıza olanak tanır. İster içerik özetleme, veri çıkarma veya yapay zeka modeli eğitimi üzerinde çalışıyor olun, bu kurulum başarılı olmak için ihtiyacınız olan araçları sağlar.
Ve bunu yaparken, Postman'e daha iyi bir alternatif olarak dalgalar yaratan API geliştirme için nihai platform olan Apidog'u kontrol etmeyi unutmayın.
