Wget CheatSheet: Wie man Wget unter Windows, Mac, Linux verwendet

Wget ist ein leistungsstarkes Befehlszeilen-Dienstprogramm zum Herunterladen von Dateien aus dem Web. Es unterstützt verschiedene Protokolle, einschließlich HTTP, HTTPS und FTP, was es zu einem vielseitigen Werkzeug für Entwickler und Systemadministratoren macht.

In diesem umfassenden Leitfaden gebe ich Ihnen detaillierte Anweisungen zur Installation von Wget unter Windows, macOS und Linux sowie Beispielbefehle für den Einstieg. Darüber hinaus werde ich einige erweiterte Nutzungsszenarien, Tipps zur Fehlerbehebung und Best Practices für die effektive Verwendung von Wget behandeln. Des Weiteren werde ich erörtern, wie die Integration von Wget mit Tools wie Apidog Ihr API-Management und Ihre Download-Prozesse verbessern kann.

💡

Wenn Sie es leid sind, mit mehreren Tools zu jonglieren oder einfach nur einen optimierten Workflow wünschen, empfehle ich Ihnen, Apidog auszuprobieren. Laden Sie es jetzt herunter und sehen Sie, wie es Ihre Arbeitsweise mit APIs verändern kann.

button

Was ist Wget?

Wget ist ein kostenloses Softwarepaket zum Abrufen von Dateien über HTTP-, HTTPS- und FTP-Protokolle. Es ist Teil des GNU-Projekts und wurde so konzipiert, dass es robust ist und es Benutzern ermöglicht, Dateien zuverlässig herunterzuladen. Wget kann mit langsamen oder instabilen Netzwerkverbindungen umgehen, was es zu einer idealen Wahl für das Herunterladen großer Dateien oder das Spiegeln ganzer Websites macht.

Hauptmerkmale von Wget

Rekursive Downloads: Wget kann ganze Verzeichnisse oder Websites herunterladen, indem es Links rekursiv verfolgt. Diese Funktion ist besonders nützlich für das Erstellen von Backups oder das Spiegeln von Websites.
Downloads fortsetzen: Wenn ein Download unterbrochen wird, kann Wget ihn an der Stelle fortsetzen, an der er abgebrochen wurde. Dies ist vorteilhaft für große Dateien oder unzuverlässige Verbindungen.
Proxy-Unterstützung: Wget kann über HTTP- und FTP-Proxys arbeiten, wodurch es für verschiedene Netzwerkkonfigurationen geeignet ist.
User-Agent-Anpassung: Benutzer können benutzerdefinierte User-Agent-Strings festlegen, um verschiedene Browser oder Anwendungen nachzuahmen, was hilfreich sein kann, wenn auf Websites zugegriffen wird, die bestimmte User Agents einschränken.
Download-Ratenbegrenzung: Wget ermöglicht es Benutzern, die Download-Geschwindigkeit zu begrenzen, was nützlich sein kann, um die Bandbreite bei großen Downloads zu schonen.

Integration von Apidog mit Wget

Während Wget ein ausgezeichnetes Werkzeug zum Herunterladen von Dateien ist, kann die Integration mit Apidog Ihren Workflow optimieren, insbesondere wenn Sie mit APIs arbeiten. Apidog ist eine umfassende Plattform für das Design, das Testen und die Dokumentation von APIs. Durch die Verwendung von Apidog neben Wget können Sie den Prozess des Herunterladens von Daten von APIs automatisieren, wodurch die Verwaltung Ihrer API-Interaktionen vereinfacht wird.

Beispielanwendungsfall: Herunterladen von API-Antworten

Stellen Sie sich vor, Sie arbeiten mit einer API, die tägliche Berichte im JSON-Format bereitstellt. Anstatt diese Berichte jeden Tag manuell herunterzuladen, können Sie Wget in Verbindung mit den API-Management-Funktionen von Apidog verwenden, um diese Aufgabe zu automatisieren. So geht's:

Definieren Sie Ihren API-Endpunkt in Apidog: Verwenden Sie Apidog, um Ihren API-Endpunkt zu dokumentieren, einschließlich der erforderlichen Header und Parameter für die Authentifizierung.

Apidog dashboard: Overall best API integration tool

Creating new endpoint documentation in Apidog

2. Generieren Sie den Wget-Befehl: Basierend auf der API-Dokumentation in Apidog können Sie einen Wget-Befehl erstellen, um den Bericht herunterzuladen. Zum Beispiel:

wget --header="Authorization: Bearer YOUR_API_TOKEN" https://api.example.com/v1/files/download

Installieren von Wget unter Windows

Schritt 1: Laden Sie Wget für Windows herunter

Besuchen Sie die Wget für Windows-Seite: Gehen Sie zur Eternally Bored-Website, um die neueste Version von Wget für Windows herunterzuladen.
Wählen Sie die richtige Version: Je nach Ihrer Systemarchitektur (32-Bit oder 64-Bit) wählen Sie die entsprechende .exe-Datei aus. Wenn Sie sich nicht sicher sind, sind die meisten modernen Systeme 64-Bit.
Laden Sie die Datei herunter: Klicken Sie auf den Link, um die Datei wget.exe herunterzuladen.

Schritt 2: Installieren Sie Wget

Suchen Sie die heruntergeladene Datei: Navigieren Sie nach Abschluss des Downloads zu dem Ordner, in dem Sie die Datei wget.exe gespeichert haben.
Verschieben Sie die Datei: Um Wget von jeder Eingabeaufforderung aus zugänglich zu machen, verschieben Sie die Datei wget.exe in den Ordner C:\Windows\System32. Auf diese Weise können Sie Wget von jeder Eingabeaufforderung aus ausführen, ohne den vollständigen Pfad angeben zu müssen.

Dazu können Sie mit der rechten Maustaste auf die Datei klicken und "Ausschneiden" auswählen, dann zu C:\Windows\System32 navigieren, mit der rechten Maustaste in den Ordner klicken und "Einfügen" auswählen.

Schritt 3: Überprüfen Sie die Installation

Öffnen Sie die Eingabeaufforderung: Drücken Sie Win + R, geben Sie cmd ein und drücken Sie die Eingabetaste, um die Eingabeaufforderung zu öffnen.
Überprüfen Sie die Wget-Version: Geben Sie den folgenden Befehl ein und drücken Sie die Eingabetaste:

wget --version

3. Bestätigen Sie die Installation: Wenn Wget korrekt installiert ist, sollten Sie die Versionsinformationen sehen. Dies bestätigt, dass Wget einsatzbereit ist.

Installieren von Wget unter macOS

Schritt 1: Installieren Sie Homebrew (falls noch nicht installiert)

Homebrew ist ein beliebter Paketmanager für macOS, der die Installation von Software vereinfacht.

Öffnen Sie das Terminal: Sie finden das Terminal in Anwendungen > Dienstprogramme oder indem Sie es mit Spotlight suchen (Cmd + Leertaste).
Installieren Sie Homebrew: Führen Sie den folgenden Befehl im Terminal aus, um Homebrew zu installieren:

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

3. Befolgen Sie die Eingabeaufforderungen: Befolgen Sie die Anweisungen auf dem Bildschirm, um die Installation abzuschließen. Möglicherweise müssen Sie Ihr Passwort eingeben.

Schritt 2: Installieren Sie Wget

Aktualisieren Sie Homebrew: Bevor Sie Wget installieren, stellen Sie sicher, dass Homebrew auf dem neuesten Stand ist, indem Sie Folgendes ausführen:

brew update

2. Installieren Sie Wget: Führen Sie den folgenden Befehl im Terminal aus:

brew install wget

3. Warten Sie auf die Installation: Homebrew lädt Wget zusammen mit allen erforderlichen Abhängigkeiten herunter und installiert es.

Schritt 3: Überprüfen Sie die Installation

Überprüfen Sie die Wget-Version: Überprüfen Sie nach Abschluss der Installation, indem Sie Folgendes ausführen:

wget --version

2. Bestätigen Sie die Installation: Sie sollten die Versionsinformationen sehen, wenn Wget korrekt installiert ist.

Installieren von Wget unter Linux

Schritt 1: Aktualisieren Sie das Paket-Repository

Öffnen Sie das Terminal: Je nach Ihrer Linux-Distribution finden Sie das Terminal normalerweise im Anwendungsmenü oder indem Sie Strg + Alt + T drücken.
Aktualisieren Sie das Paket-Repository: Führen Sie den folgenden Befehl aus, um Ihr Paket-Repository zu aktualisieren:

sudo apt update

Schritt 2: Installieren Sie Wget

Für Debian-basierte Distributionen (wie Ubuntu):

sudo apt install wget

Für Red Hat-basierte Distributionen (wie Fedora):

sudo dnf install wget

Für Arch Linux:

sudo pacman -S wget

Schritt 3: Überprüfen Sie die Installation

Überprüfen Sie die Wget-Version: Überprüfen Sie nach der Installation, indem Sie Folgendes ausführen:

wget --version

2. Bestätigen Sie die Installation: Sie sollten die Versionsinformationen sehen, wenn Wget korrekt installiert ist.

Grundlegende Verwendung von Wget

Nachdem Sie Wget auf Ihrem System installiert haben, finden Sie hier einige grundlegende Befehle für den Einstieg:

Laden Sie eine einzelne Datei herunter

Um eine einzelne Datei herunterzuladen, verwenden Sie den folgenden Befehl:

wget http://example.com/file.zip

Laden Sie eine Datei mit einem anderen Namen herunter

Um die heruntergeladene Datei unter einem anderen Namen zu speichern, verwenden Sie die Option -O:

wget -O newfilename.zip http://example.com/file.zip

Dateien rekursiv herunterladen

Um eine ganze Website oder ein Verzeichnis herunterzuladen, verwenden Sie die Option -r:

wget -r http://example.com/directory/

Setzen Sie einen unterbrochenen Download fort

Wenn Ihr Download unterbrochen wird, können Sie ihn mit der Option -c fortsetzen:

wget -c http://example.com/file.zip

Laden Sie nur bestimmte Dateitypen herunter

Um nur bestimmte Dateitypen (z. B. PDFs) herunterzuladen, verwenden Sie die Option -A:

wget -r -A.pdf http://example.com/directory/

Herunterladen mit User-Agent-String

Manchmal blockieren Websites Anfragen von Befehlszeilentools. Sie können einen Browser nachahmen, indem Sie einen benutzerdefinierten User-Agent-String festlegen:

wget --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" http://example.com

Begrenzung der Download-Geschwindigkeit

Um die Download-Geschwindigkeit zu begrenzen, verwenden Sie die Option --limit-rate:

wget --limit-rate=200k http://example.com/file.zip

Dieser Befehl begrenzt die Download-Geschwindigkeit auf 200 KB/s.

Erweiterte Verwendung von Wget

Wget ist nicht nur für einfache Downloads gedacht; es hat viele erweiterte Funktionen, die unglaublich nützlich sein können.

Herunterladen mit Authentifizierung

Wenn Sie Dateien von einer Website herunterladen müssen, die eine Authentifizierung erfordert, können Sie die Optionen --user und --password verwenden:

wget --user=username --password=password http://example.com/protected/file.zip

Herunterladen mehrerer Dateien

Sie können eine Textdatei mit einer Liste von URLs erstellen und Wget verwenden, um alle gleichzeitig herunterzuladen. Erstellen Sie eine Datei mit dem Namen urls.txt mit dem folgenden Inhalt:

http://example.com/file1.zip
http://example.com/file2.zip
http://example.com/file3.zip

Führen Sie dann Folgendes aus:

wget -i urls.txt

Spiegeln einer Website

Um eine lokale Kopie einer ganzen Website zu erstellen, können Sie die Option --mirror verwenden, die eine Abkürzung für -r -N -l inf --no-remove-listing ist:

wget --mirror http://example.com

Dieser Befehl lädt die gesamte Website herunter und behält dabei die Verzeichnisstruktur bei.

Verwenden von Wget mit Proxys

Wenn Sie sich hinter einem Proxy befinden, können Sie Wget so konfigurieren, dass es diesen verwendet, indem Sie die Proxy-Einstellungen in Ihrer Datei .wgetrc angeben oder Befehlszeilenoptionen verwenden:

export http_proxy=http://proxy-server:port
export https_proxy=https://proxy-server:port

Herunterladen von FTP-Servern

Wget kann auch zum Herunterladen von Dateien von FTP-Servern verwendet werden. Zum Beispiel:

wget ftp://username:password@ftp.example.com/file.zip

Umgang mit Cookies

Wenn Sie eine Sitzung oder einen Anmeldestatus aufrechterhalten müssen, können Sie Cookies mit Wget verwenden. Exportieren Sie zuerst die Cookies von Ihrem Browser in eine Datei (mithilfe einer Browsererweiterung) und verwenden Sie dann:

wget --load-cookies cookies.txt http://example.com/protected/file.zip

Behebung häufiger Probleme mit Wget

Obwohl Wget ein robustes Werkzeug ist, können einige häufige Probleme auftreten. Hier sind einige Tipps zur Fehlerbehebung:

1. SSL-Zertifikatsfehler

Wenn Sie SSL-Zertifikatsfehler erhalten, können Sie die SSL-Überprüfung umgehen (nicht für den Produktionseinsatz empfohlen) mit dem folgenden Befehl:

wget --no-check-certificate https://example.com/file.zip

2. 403 Forbidden-Fehler

Wenn ein 403 Forbidden-Fehler auftritt, kann dies daran liegen, dass der Server Anfragen von Wget blockiert. Versuchen Sie, den User-Agent-String zu ändern oder einen Proxy zu verwenden.

3. Verbindungs-Timeout

Wenn Wget beim Verbindungsversuch ein Timeout auslöst, überprüfen Sie Ihre Internetverbindung und stellen Sie sicher, dass die URL korrekt ist. Sie können auch die Timeout-Dauer erhöhen:

wget --timeout=30 http://example.com/file.zip

4. Nicht genügend Festplattenspeicher

Wenn Ihnen während des Downloads der Festplattenspeicher ausgeht, wird Wget den Download stoppen. Stellen Sie sicher, dass Sie über genügend Speicherplatz verfügen, bevor Sie große Downloads starten.

Best Practices für die Verwendung von Wget

Um Wget optimal zu nutzen, sollten Sie die folgenden Best Practices berücksichtigen:

1. Verwenden Sie die neueste Version

Stellen Sie immer sicher, dass Sie die neueste Version von Wget verwenden, um von den neuesten Funktionen und Sicherheitsupdates zu profitieren.

2. Lesen Sie die Dokumentation

Machen Sie sich mit der offiziellen Wget-Dokumentation vertraut, um alle verfügbaren Optionen und Funktionen zu verstehen.

3. Testen Sie mit kleinen Downloads

Bevor Sie große Dateien oder ganze Websites herunterladen, testen Sie Ihre Befehle mit kleineren Dateien, um sicherzustellen, dass alles wie erwartet funktioniert.

4. Respektieren Sie die Website-Richtlinien

Respektieren Sie beim Herunterladen von Dateien die Datei robots.txt und die Nutzungsbedingungen der Website. Vermeiden Sie es, Server mit zu vielen Anfragen zu überlasten.

5. Verwenden Sie die Protokollierung

Verwenden Sie die Option -o, um die Ausgabe Ihrer Wget-Befehle in einer Datei zu protokollieren, damit Sie sie später überprüfen können:

wget -o download.log http://example.com/file.zip

6. Planen Sie Downloads mit Wget

Sie können Ihre Download-Aufgaben mithilfe von Cron-Jobs unter Linux und macOS oder der Aufgabenplanung unter Windows automatisieren. Durch die Planung von Downloads mit Wget können Sie Befehle zu bestimmten Zeiten ausführen und so sicherstellen, dass Dateien ohne manuelles Eingreifen heruntergeladen werden. Dies ist besonders nützlich für Aufgaben wie das Herunterladen täglicher Berichte, das Sichern von Dateien oder das Spiegeln von Websites. Um diesen Prozess zu verbessern, kann die Integration von Apidog zusätzliche Vorteile bieten, insbesondere bei der Arbeit mit APIs. Apidog bietet eine Plattform für das Design, das Testen und die Dokumentation von APIs, wodurch es einfacher wird, die Endpunkte zu verwalten, von denen Sie Daten herunterladen möchten. Durch die Kombination der Planungsfunktionen von Wget mit den API-Management-Funktionen von Apidog können Sie Ihren Workflow optimieren und das Abrufen von Daten von APIs effektiv automatisieren.

Verwenden von Cron-Jobs unter Linux und macOS

Cron ist ein zeitbasierter Job-Scheduler in Unix-ähnlichen Betriebssystemen, mit dem Sie Skripte oder Befehle in festgelegten Intervallen ausführen können. So richten Sie einen Cron-Job ein, um Wget-Befehle zu planen:

Schritt 1: Öffnen Sie die Crontab-Datei

Öffnen Sie Ihr Terminal.
Geben Sie den folgenden Befehl ein, um die Crontab-Datei zu bearbeiten:

crontab -e

Dieser Befehl öffnet die Crontab-Datei im Standard-Texteditor (normalerweise vi oder nano).

Schritt 2: Fügen Sie einen Cron-Job hinzu

In der Crontab-Datei können Sie den Zeitpunkt und den Befehl angeben, den Sie ausführen möchten. Die Syntax für einen Cron-Job lautet wie folgt:

* * * * * command_to_execute

Die fünf Sternchen stehen für die folgenden Zeitfelder:

Minute (0-59)
Stunde (0-23)
Tag des Monats (1-31)
Monat (1-12)
Wochentag (0-6, wobei 0 Sonntag ist)

Um beispielsweise einen Wget-Befehl zu planen, um jeden Tag um 2 Uhr morgens eine Datei von einer API herunterzuladen, können Sie die folgende Zeile zu Ihrer Crontab hinzufügen und Apidog verwenden, um Ihren API-Endpunkt zu verwalten:

0 2 * * * wget --header="Authorization: Bearer YOUR_API_TOKEN" -O /path/to/save/daily-report.json https://api.example.com/reports/daily

Schritt 3: Speichern und Beenden

Wenn Sie vi verwenden, drücken Sie Esc, geben Sie :wq ein und drücken Sie die Eingabetaste, um zu speichern und zu beenden.
Wenn Sie nano verwenden, drücken Sie Strg + X, dann Y, um das Speichern zu bestätigen, und drücken Sie die Eingabetaste.

Schritt 4: Überprüfen Sie den Cron-Job

Um zu überprüfen, ob Ihr Cron-Job erfolgreich hinzugefügt wurde, können Sie Ihre aktuellen Cron-Jobs mit Folgendem auflisten:

crontab -1

Dieser Befehl zeigt alle geplanten Jobs für Ihren Benutzer an.

Beispiele für Cron-Job-Szenarien

Laden Sie jede Stunde eine Datei herunter: Um jede Stunde eine Datei herunterzuladen, können Sie den folgenden Cron-Job verwenden:

0 * * * * wget http://example.com/file.zip -O /path/to/save/file.zip

Laden Sie jeden Montag um 6 Uhr morgens eine Datei herunter: Um jeden Montag um 6 Uhr morgens eine Datei herunterzuladen, verwenden Sie Folgendes:

0 6 * * 1 wget http://example.com/weekly-report.zip -O /path/to/save/weekly-report.zip

Führen Sie mehrere Befehle aus: Sie können mehrere Befehle planen, indem Sie sie durch Semikolons trennen. Um beispielsweise jeden Tag um 15 Uhr zwei Dateien herunterzuladen:

0 15 * * * wget http://example.com/file1.zip -O /path/to/save/file1.zip; wget http://example.com/file2.zip -O /path/to/save/file2.zip

Verwenden der Aufgabenplanung unter Windows

Unter Windows können Sie die Aufgabenplanung verwenden, um Wget-Befehle zu automatisieren. So richten Sie es ein:

Schritt 1: Öffnen Sie die Aufgabenplanung

Drücken Sie Win + R, um das Dialogfeld Ausführen zu öffnen.
Geben Sie taskschd.msc ein und drücken Sie die Eingabetaste, um die Aufgabenplanung zu öffnen.

Schritt 2: Erstellen Sie eine neue Aufgabe

Klicken Sie im rechten Bereich auf Einfache Aufgabe erstellen.
Befolgen Sie den Assistenten, um Ihre Aufgabe zu benennen und eine Beschreibung anzugeben.

Schritt 3: Legen Sie den Trigger fest

Wählen Sie aus, wann die Aufgabe gestartet werden soll (z. B. täglich, wöchentlich).
Legen Sie die spezifische Zeit und Häufigkeit basierend auf Ihren Anforderungen fest.

Schritt 4: Legen Sie die Aktion fest

Wählen Sie Programm starten als Aktion aus.
Suchen Sie im Feld Programm/Skript nach dem Speicherort von wget.exe.
Geben Sie im Feld Argumente hinzufügen (optional) Ihren Wget-Befehl ein. Zum Beispiel:

http://example.com/daily-report.zip -O C:\path\to\save\daily-report.zip

Schritt 5: Fertigstellen und Speichern

Überprüfen Sie Ihre Einstellungen und klicken Sie auf Fertig stellen, um die Aufgabe zu erstellen.

Schritt 6: Überprüfen Sie die Aufgabe

Sie können überprüfen, ob Ihre Aufgabe geplant ist, indem Sie in der Aufgabenplanungsbibliothek danach suchen. Sie können die Aufgabe auch manuell ausführen, um sicherzustellen, dass sie wie erwartet funktioniert.

Fazit

Wget ist ein leistungsstarkes Werkzeug zum Herunterladen von Dateien aus dem Web und lässt sich einfach unter Windows, macOS und Linux installieren. Wenn Sie die in diesem Leitfaden beschriebenen Schritte befolgen, können Sie Wget schnell auf Ihrem System einrichten und damit beginnen, Downloads zu automatisieren, Websites zu spiegeln und andere Aufgaben effizient auszuführen. Ob Sie Entwickler, Systemadministrator oder Power-User sind, Wget ist ein unverzichtbares Werkzeug für Ihr Toolkit. Mit seinen robusten Funktionen und seiner Flexibilität kann Wget Ihnen helfen, Downloads effektiv zu verwalten und Ihren Workflow zu optimieren.

Zusätzliche Ressourcen

Um Ihr Verständnis von Wget und seinen Fähigkeiten weiter zu verbessern, sollten Sie die folgenden Ressourcen erkunden:

Wget-Offizielle Dokumentation: GNU Wget-Handbuch
Wget GitHub-Repository: Wget auf GitHub

Indem Sie Zeit in das Erlernen und Anwenden dieser Best Practices investieren, sind Sie gut gerüstet, um Ihre Download-Aufgaben zu bewältigen und effiziente Workflows mit Wget zu erstellen.

button