Wget, web'den dosya indirmek için güçlü bir komut satırı yardımcı programıdır. HTTP, HTTPS ve FTP dahil olmak üzere çeşitli protokolleri destekler ve bu da onu geliştiriciler ve sistem yöneticileri için çok yönlü bir araç haline getirir.
Bu kapsamlı kılavuzda, Windows, macOS ve Linux'ta Wget'i nasıl kuracağınız ve başlamanıza yardımcı olacak örnek komutlar hakkında ayrıntılı talimatlar vereceğim. Ek olarak, bazı gelişmiş kullanım senaryolarını, sorun giderme ipuçlarını ve Wget'i etkili bir şekilde kullanmaya yönelik en iyi uygulamaları ele alacağım. Ayrıca, Wget'i Apidog gibi araçlarla entegre etmenin API yönetiminizi ve indirme süreçlerinizi nasıl geliştirebileceğini tartışacağım.
Wget Nedir?
Wget, HTTP, HTTPS ve FTP protokollerini kullanarak dosya almak için ücretsiz bir yazılım paketidir. GNU Projesi'nin bir parçasıdır ve sağlam olacak şekilde tasarlanmıştır, bu da kullanıcıların dosyaları güvenilir bir şekilde indirmesini sağlar. Wget, yavaş veya kararsız ağ bağlantılarını yönetebilir, bu da onu büyük dosyaları indirmek veya tüm web sitelerini aynalamak için ideal bir seçim haline getirir.
Wget'in Temel Özellikleri
- Yinelemeli İndirmeler: Wget, bağlantıları yinelemeli olarak takip ederek tüm dizinleri veya web sitelerini indirebilir. Bu özellik, yedekleme oluşturmak veya web sitelerini aynalamak için özellikle kullanışlıdır.
- İndirmelere Devam Etme: Bir indirme kesilirse, Wget kaldığı yerden devam edebilir. Bu, büyük dosyalar veya güvenilmez bağlantılar için faydalıdır.
- Proxy Desteği: Wget, HTTP ve FTP proxy'leri aracılığıyla çalışabilir ve bu da onu çeşitli ağ yapılandırmaları için uygun hale getirir.
- User-Agent Özelleştirmesi: Kullanıcılar, farklı tarayıcıları veya uygulamaları taklit etmek için özel User-Agent dizeleri ayarlayabilir; bu, belirli kullanıcı aracılarının kısıtlandığı web sitelerine erişirken yardımcı olabilir.
- İndirme Hızı Sınırlaması: Wget, kullanıcıların indirme hızını sınırlamasına olanak tanır; bu, büyük indirmeler sırasında bant genişliğinden tasarruf etmek için faydalı olabilir.
Apidog'u Wget ile Entegre Etme
Wget, dosya indirmek için mükemmel bir araç olsa da, özellikle API'lerle uğraşırken, onu Apidog ile entegre etmek iş akışınızı kolaylaştırabilir. Apidog, API'leri tasarlamak, test etmek ve belgelemek için kapsamlı bir platformdur. Wget'i Apidog ile birlikte kullanarak, API'lerden veri indirme işlemini otomatikleştirerek API etkileşimlerinizi yönetmeyi kolaylaştırabilirsiniz.
Örnek Kullanım Durumu: API Yanıtlarını İndirme
Günlük raporları JSON formatında sağlayan bir API ile çalıştığınızı düşünün. Bu raporları her gün manuel olarak indirmek yerine, bu görevi otomatikleştirmek için Wget'i Apidog'un API yönetimi yetenekleriyle birlikte kullanabilirsiniz. İşte nasıl yapabileceğiniz:
- API Uç Noktanızı Apidog'da Tanımlayın: Kimlik doğrulama için gerekli başlıklar ve parametreler dahil olmak üzere API uç noktanızı belgelemek için Apidog'u kullanın.
2. Wget Komutunu Oluşturun: Apidog'daki API belgelerine göre, raporu indirmek için bir Wget komutu oluşturabilirsiniz. Örneğin:
wget --header="Authorization: Bearer YOUR_API_TOKEN" https://api.example.com/v1/files/download
Windows'ta Wget'i Yükleme
Adım 1: Windows için Wget'i İndirin
- Windows için Wget Sayfasını Ziyaret Edin: Windows için Wget'in en son sürümünü indirmek için Eternally Bored web sitesine gidin.
- Doğru Sürümü Seçin: Sistem mimarinize (32 bit veya 64 bit) bağlı olarak, uygun
.exedosyasını seçin. Emin değilseniz, çoğu modern sistem 64 bittir. - Dosyayı İndirin:
wget.exedosyasını indirmek için bağlantıya tıklayın.
Adım 2: Wget'i Yükleyin
- İndirilen Dosyayı Bulun: İndirme tamamlandıktan sonra,
wget.exedosyasını kaydettiğiniz klasöre gidin. - Dosyayı Taşıyın: Wget'e herhangi bir komut isteminden erişilebilmesini sağlamak için,
wget.exedosyasınıC:\Windows\System32klasörüne taşıyın. Bu, Wget'i tam yolu belirtmeden herhangi bir komut isteminden çalıştırmanıza olanak tanır.
- Bunu yapmak için, dosyayı sağ tıklayıp "Kes"i seçebilir, ardından
C:\Windows\System32'ye gidebilir, klasörde sağ tıklayıp "Yapıştır"ı seçebilirsiniz.
Adım 3: Yüklemeyi Doğrulayın
- Komut İstemi Açın:
Win + Rtuşlarına basın,cmdyazın ve Komut İstemi'ni açmak için Enter'a basın. - Wget Sürümünü Kontrol Edin: Aşağıdaki komutu yazın ve Enter'a basın:
wget --version3. Yüklemeyi Onaylayın: Wget doğru bir şekilde yüklenmişse, sürüm bilgilerini görmelisiniz. Bu, Wget'in kullanıma hazır olduğunu doğrular.
macOS'ta Wget'i Yükleme
Adım 1: Homebrew'i Yükleyin (henüz yüklü değilse)
Homebrew, yazılım yüklemesini basitleştiren macOS için popüler bir paket yöneticisidir.
- Terminali Açın: Terminali Uygulamalar > Yardımcı Programlar'da veya Spotlight (
Cmd + Space) kullanarak arayarak bulabilirsiniz. - Homebrew'i Yükleyin: Homebrew'i yüklemek için Terminal'de aşağıdaki komutu çalıştırın:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"3. İstekleri Takip Edin: Yüklemeyi tamamlamak için ekrandaki talimatları izleyin. Parolanızı girmeniz gerekebilir.
Adım 2: Wget'i Yükleyin
- Homebrew'i Güncelleyin: Wget'i yüklemeden önce, aşağıdakileri çalıştırarak Homebrew'in güncel olduğundan emin olun:
brew update2. Wget'i Yükleyin: Terminal'de aşağıdaki komutu çalıştırın:
brew install wget3. Yüklemeyi Bekleyin: Homebrew, Wget'i ve gerekli tüm bağımlılıkları indirecek ve yükleyecektir.
Adım 3: Yüklemeyi Doğrulayın
- Wget Sürümünü Kontrol Edin: Yükleme tamamlandıktan sonra, aşağıdakileri çalıştırarak doğrulayın:
wget --version2. Yüklemeyi Onaylayın: Wget doğru bir şekilde yüklenmişse sürüm bilgilerini görmelisiniz.
Linux'ta Wget'i Yükleme
Adım 1: Paket Deposu Güncelleme
- Terminali Açın: Linux dağıtımınıza bağlı olarak, Terminal'i genellikle uygulamalar menüsünde veya
Ctrl + Alt + Ttuşlarına basarak bulabilirsiniz. - Paket Deposu Güncelleme: Paket deponuzu güncellemek için aşağıdaki komutu çalıştırın:
sudo apt updateAdım 2: Wget'i Yükleyin
Debian tabanlı dağıtımlar (Ubuntu gibi) için:
sudo apt install wgetRed Hat tabanlı dağıtımlar (Fedora gibi) için:
sudo dnf install wgetArch Linux için:
sudo pacman -S wgetAdım 3: Yüklemeyi Doğrulayın
- Wget Sürümünü Kontrol Edin: Yüklemeden sonra, aşağıdakileri çalıştırarak doğrulayın:
wget --version2. Yüklemeyi Onaylayın: Wget doğru bir şekilde yüklenmişse sürüm bilgilerini görmelisiniz.
Wget'in Temel Kullanımı
Wget'i sisteminize yüklediğinize göre, işte başlamanıza yardımcı olacak bazı temel komutlar:
Tek Bir Dosya İndirin
Tek bir dosya indirmek için aşağıdaki komutu kullanın:
wget http://example.com/file.zipFarklı Bir Adla Dosya İndirin
İndirilen dosyayı farklı bir adla kaydetmek için, -O seçeneğini kullanın:
wget -O newfilename.zip http://example.com/file.zipDosyaları Yinelemeli Olarak İndirin
Tüm bir web sitesini veya dizini indirmek için, -r seçeneğini kullanın:
wget -r http://example.com/directory/Kesintiye Uğramış Bir İndirmeye Devam Etme
İndirmeniz kesilirse, -c seçeneğini kullanarak devam edebilirsiniz:
wget -c http://example.com/file.zipYalnızca Belirli Dosya Türlerini İndirin
Yalnızca belirli dosya türlerini (örneğin, PDF'ler) indirmek için, -A seçeneğini kullanın:
wget -r -A.pdf http://example.com/directory/User-Agent Dizesi ile İndirme
Bazen, web siteleri komut satırı araçlarından gelen istekleri engelleyebilir. Özel bir User-Agent dizesi ayarlayarak bir tarayıcıyı taklit edebilirsiniz:
wget --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" http://example.comİndirme Hızını Sınırlama
İndirme hızını sınırlamak için, --limit-rate seçeneğini kullanın:
wget --limit-rate=200k http://example.com/file.zipBu komut, indirme hızını 200 KB/s ile sınırlar.
Wget'in Gelişmiş Kullanımı
Wget sadece basit indirmeler için değildir; inanılmaz derecede faydalı olabilecek birçok gelişmiş özelliği vardır.
Kimlik Doğrulama ile İndirme
Kimlik doğrulaması gerektiren bir siteden dosya indirmeniz gerekiyorsa, --user ve --password seçeneklerini kullanabilirsiniz:
wget --user=kullanıcı_adı --password=parola http://example.com/protected/file.zipBirden Fazla Dosya İndirme
Bir URL listesi içeren bir metin dosyası oluşturabilir ve hepsini aynı anda indirmek için Wget'i kullanabilirsiniz. Aşağıdaki içeriğe sahip urls.txt adlı bir dosya oluşturun:
http://example.com/file1.zip
http://example.com/file2.zip
http://example.com/file3.zipArdından çalıştırın:
wget -i urls.txtBir Web Sitesini Aynalama
Tüm bir web sitesinin yerel bir kopyasını oluşturmak için, --mirror seçeneğini kullanabilirsiniz; bu, -r -N -l inf --no-remove-listing için bir kısayoldur:
wget --mirror http://example.comBu komut, dizin yapısını korurken tüm web sitesini indirecektir.
Wget'i Proxy'lerle Kullanma
Bir proxy'nin arkasındaysanız, .wgetrc dosyanızda proxy ayarlarını belirterek veya komut satırı seçeneklerini kullanarak Wget'i kullanacak şekilde yapılandırabilirsiniz:
export http_proxy=http://proxy-sunucusu:port
export https_proxy=https://proxy-sunucusu:portFTP Sunucularından İndirme
Wget, FTP sunucularından dosya indirmek için de kullanılabilir. Örneğin:
wget ftp://kullanıcı_adı:parola@ftp.example.com/file.zipÇerezleri İşleme
Bir oturumu veya oturum açma durumunu korumanız gerekiyorsa, Wget ile çerezleri kullanabilirsiniz. İlk olarak, çerezleri tarayıcınızdan bir dosyaya aktarın (bir tarayıcı uzantısı kullanarak) ve ardından şunu kullanın:
wget --load-cookies çerezler.txt http://example.com/protected/file.zip
Wget ile İlgili Yaygın Sorunları Giderme
Wget sağlam bir araç olsa da, bazı yaygın sorunlarla karşılaşabilirsiniz. İşte bazı sorun giderme ipuçları:
1. SSL Sertifika Hataları
SSL sertifika hataları alırsanız, aşağıdaki komutla SSL doğrulamasını atlayabilirsiniz (üretim kullanımı için önerilmez):
wget --no-check-certificate https://example.com/file.zip2. 403 Yasak Hatası
403 Yasak hatasıyla karşılaşırsanız, bunun nedeni sunucunun Wget'ten gelen istekleri engellemesi olabilir. User-Agent dizesini değiştirmeyi veya bir proxy kullanmayı deneyin.
3. Bağlantı Zaman Aşımı
Wget bağlanmaya çalışırken zaman aşımına uğrarsa, internet bağlantınızı kontrol edin ve URL'nin doğru olduğundan emin olun. Ayrıca zaman aşımı süresini de artırabilirsiniz:
wget --timeout=30 http://example.com/file.zip4. Yetersiz Disk Alanı
İndirme sırasında disk alanınız tükenirse, Wget indirmeyi durduracaktır. Büyük indirmelere başlamadan önce yeterli alana sahip olduğunuzdan emin olun.
Wget Kullanımına Yönelik En İyi Uygulamalar
Wget'ten en iyi şekilde yararlanmak için, aşağıdaki en iyi uygulamaları göz önünde bulundurun:
1. En Son Sürümü Kullanın
En son özelliklerden ve güvenlik güncellemelerinden yararlanmak için her zaman Wget'in en son sürümünü kullandığınızdan emin olun.
2. Belgeleri Okuyun
Mevcut tüm seçenekleri ve özellikleri anlamak için resmi Wget belgelerine aşina olun.
3. Küçük İndirmelerle Test Edin
Büyük dosyaları veya tüm web sitelerini indirmeden önce, her şeyin beklendiği gibi çalıştığından emin olmak için komutlarınızı daha küçük dosyalarla test edin.
4. Web Sitesi Politikalarına Uyun
Dosya indirirken, web sitesinin robots.txt dosyasına ve hizmet şartlarına uyun. Sunucuları çok fazla istek ile bunaltmaktan kaçının.
5. Günlük Kaydı Kullanın
Wget komutlarınızın çıktısını daha sonra incelemek üzere bir dosyaya kaydetmek için -o seçeneğini kullanın:
wget -o download.log http://example.com/file.zip6. Wget ile İndirmeleri Zamanlayın
Linux ve macOS'ta cron işlerini veya Windows'ta Görev Zamanlayıcı'yı kullanarak indirme görevlerinizi otomatikleştirebilirsiniz. Wget ile indirmeleri zamanlamak, komutları belirli zamanlarda çalıştırmanıza olanak tanır ve dosyaların manuel müdahale olmadan indirilmesini sağlar. Bu, günlük raporları indirmek, dosyaları yedeklemek veya web sitelerini aynalamak gibi görevler için özellikle kullanışlıdır. Bu süreci geliştirmek için, Apidog'u entegre etmek, özellikle API'lerle çalışırken ek faydalar sağlayabilir. Apidog, API'lerden veri indirmek istediğiniz uç noktaları yönetmeyi kolaylaştırarak API'leri tasarlamak, test etmek ve belgelemek için bir platform sağlar. Wget'in zamanlama yeteneklerini Apidog'un API yönetimi özellikleriyle birleştirerek, iş akışınızı kolaylaştırabilir ve API'lerden veri alımını etkili bir şekilde otomatikleştirebilirsiniz.
Linux ve macOS'ta Cron İşlerini Kullanma
Cron, Unix benzeri işletim sistemlerinde, komut dosyalarını veya komutları belirtilen aralıklarla çalıştırmanıza olanak tanıyan, zamana dayalı bir iş zamanlayıcısıdır. İşte Wget komutlarını zamanlamak için bir cron işi nasıl kurulur:
Adım 1: Crontab Dosyasını Açın
- Terminalinizi açın.
- Crontab dosyasını düzenlemek için aşağıdaki komutu yazın:
crontab -eBu komut, crontab dosyasını varsayılan metin düzenleyicide (genellikle vi veya nano) açar.
Adım 2: Bir Cron İşi Ekleme
Crontab dosyasında, zamanlamayı ve çalıştırmak istediğiniz komutu belirtebilirsiniz. Bir cron işi için sözdizimi aşağıdaki gibidir:
* * * * * yürütülecek_komutBeş yıldız işareti aşağıdaki zaman alanlarını temsil eder:
- Dakika (0-59)
- Saat (0-23)
- Ayın Günü (1-31)
- Ay (1-12)
- Haftanın Günü (0-6, burada 0 Pazar'dır)
Örneğin, bir API'den her gün saat 02:00'de bir dosya indirmek için bir Wget komutu zamanlamak için, crontab'ınıza aşağıdaki satırı ekleyebilirsiniz ve API uç noktanızı yönetmek için Apidog'u kullanabilirsiniz:
0 2 * * * wget --header="Authorization: Bearer YOUR_API_TOKEN" -O /path/to/save/daily-report.json https://api.example.com/reports/dailyAdım 3: Kaydet ve Çık
vikullanıyorsanız,Esctuşuna basın,:wqyazın ve kaydetmek ve çıkmak için Enter'a basın.nanokullanıyorsanız,Ctrl + Xtuşlarına basın, ardından kaydetmeyi onaylamak içinY'ye basın ve Enter'a basın.
Adım 4: Cron İşini Doğrulayın
Cron işinizin başarıyla eklendiğini doğrulamak için, mevcut cron işlerinizi şunlarla listeleyebilirsiniz:
crontab -1Bu komut, kullanıcınız için zamanlanmış tüm işleri görüntüleyecektir.
Örnek Cron İş Senaryoları
Her Saat Bir Dosya İndirin: Her saat bir dosya indirmek için, aşağıdaki cron işini kullanabilirsiniz:
0 * * * * wget http://example.com/file.zip -O /path/to/save/file.zipHer Pazartesi Saat 06:00'da Bir Dosya İndirin: Her Pazartesi saat 06:00'da bir dosya indirmek için şunu kullanın:
0 6 * * 1 wget http://example.com/weekly-report.zip -O /path/to/save/weekly-report.zipBirden Fazla Komut Çalıştırın: Komutları noktalı virgüllerle ayırarak birden fazla komutu zamanlayabilirsiniz. Örneğin, her gün saat 15:00'te iki dosya indirmek için:
0 15 * * * wget http://example.com/file1.zip -O /path/to/save/file1.zip; wget http://example.com/file2.zip -O /path/to/save/file2.zipWindows'ta Görev Zamanlayıcı'yı Kullanma
Windows'ta, Wget komutlarını otomatikleştirmek için Görev Zamanlayıcı'yı kullanabilirsiniz. İşte nasıl kurulacağı:
Adım 1: Görev Zamanlayıcı'yı Açın
- Çalıştır iletişim kutusunu açmak için
Win + Rtuşlarına basın. - Görev Zamanlayıcı'yı açmak için
taskschd.mscyazın ve Enter'a basın.
Adım 2: Yeni Bir Görev Oluşturun
- Sağdaki bölmede, Temel Görev Oluştur'a tıklayın.
- Görevinizi adlandırmak ve bir açıklama sağlamak için sihirbazı izleyin.
Adım 3: Tetikleyiciyi Ayarlayın
- Görevin ne zaman başlayacağını seçin (örneğin, Günlük, Haftalık).
- İhtiyaçlarınıza göre belirli zamanı ve sıklığı ayarlayın.
Adım 4: Eylemi Ayarlayın
- Eylem olarak Bir program başlat'ı seçin.
- Program/komut dosyası alanında,
wget.exe'nin konumuna göz atın. - Bağımsız değişken ekle (isteğe bağlı) alanında, Wget komutunuzu girin. Örneğin:
http://example.com/daily-report.zip -O C:\path\to\save\daily-report.zipAdım 5: Bitir ve Kaydet
- Ayarlarınızı inceleyin ve görevi oluşturmak için Bitir'e tıklayın.
Adım 6: Görevi Doğrulayın
Görevinizin zamanlandığını, Görev Zamanlayıcı Kitaplığı'nda arayarak doğrulayabilirsiniz. Ayrıca, beklendiği gibi çalıştığından emin olmak için görevi manuel olarak da çalıştırabilirsiniz.
Sonuç
Wget, web'den dosya indirmek için güçlü bir araçtır ve Windows, macOS ve Linux'ta kurulumu kolaydır. Bu kılavuzda özetlenen adımları izleyerek, Wget'i sisteminizde hızla kurabilir ve indirmeleri otomatikleştirmek, web sitelerini aynalamak ve diğer görevleri verimli bir şekilde gerçekleştirmek için kullanmaya başlayabilirsiniz. İster bir geliştirici, ister bir sistem yöneticisi veya bir güç kullanıcısı olun, Wget araç setiniz için vazgeçilmez bir araçtır. Sağlam özellikleri ve esnekliği ile Wget, indirmeleri etkili bir şekilde yönetmenize ve iş akışınızı kolaylaştırmanıza yardımcı olabilir.
Ek Kaynaklar
Wget ve yetenekleri hakkındaki anlayışınızı daha da geliştirmek için, aşağıdaki kaynakları keşfetmeyi düşünün:
- Wget Resmi Belgeleri: GNU Wget Kılavuzu
- Wget GitHub Deposu: GitHub'da Wget
Bu en iyi uygulamaları öğrenmeye ve uygulamaya zaman ayırarak, indirme görevlerinizi ele almaya ve Wget kullanarak verimli iş akışları oluşturmaya hazır olacaksınız.
