Wget
Z Wikipedii
GNU Wget jest programem służącym do pobierania plików z Internetu, za pośrednictwem protokołu HTTP lub FTP, dwóch najpowszechniej używanych protokołów internetowych. Wget zaliczany jest do kategorii narzędziowych programów sieciowych i rozpowszechniany jest na licencji typu open source.
Program ma wiele funkcji ułatwiających pobieranie plików. Oto niektóre z nich:
- jest nieinteraktywny (może pracować w tle, kiedy użytkownik nie jest zalogowany). Dzięki temu można rozpocząć pobieranie i rozłączyć się z systemem, pozostawiając programowi ukończenie pracy. Większość przeglądarek WWW wymaga stałej obecności użytkownika, co jest przeszkodą przy pobieraniu dużej ilości danych
- potrafi zagłębiać się rekurencyjnie w strukturę dokumentów HTML i drzew katalogowych FTP, tworząc lokalną kopię struktur katalogów podobną do istniejącej na zdalnym serwerze. Cechę tę można wykorzystać przy tworzeniu kopii lustrzanych (mirror) archiwów i stron głównych lub przy przeglądaniu sieci w poszukiwaniu danych, podobnie jak czynią to roboty WWW. Program Wget rozpoznaje polecenia zawarte w plikach robots.txt
- przy pobieraniu plików przez FTP dostępne jest posługiwanie się maskami nazw plików i tworzenie rekurencyjnych kopii lustrzanych. Wget umie odczytać znaczniki czasowe plików podawane przez serwery HTTP i FTP i lokalnie je zapisać. Potrafi zauważyć, że zdalny plik zmienił się od czasu ostatniego pobrania i automatycznie pobrać nową wersję. Dzięki temu Wget nadaje się do tworzenia kopii lustrzanych zarówno ośrodków FTP, jak i stron głównych.
- działa szczególnie dobrze z powolnymi bądź niestabilnymi połączeniami, ponawiając pobieranie dokumentu aż do pełnego ściągnięcia lub przekroczenia zadanej przez użytkownika liczby prób. Próbuje wznawiać pobieranie od miejsca przerwania, stosując komendę REST przy FTP i Range przy HTTP, na serwerach, które je obsługują.
- potrafi korzystać z serwerów proxy, co może odciążyć sieć, przyspieszyć pobieranie i umożliwić dostęp poza zapory ogniowe (firewalle). Jeśli jednak znajdujemy się za zaporą ogniową, która wymaga stosowania bramki typu SOCKS, można wziąć bibliotekę SOCKS i skompilować Wget z obsługą SOCKS. Wget obsługuje też, jako opcję, bierne pobieranie FTP (passive downloading)
- wbudowane funkcje oferują mechanizm precyzyjnego wyboru odnośników
- pobieranie można wygodnie obserwować na ekranie dzięki wypisywanym kropkom, z których każda reprezentuje ustaloną ilość otrzymanych danych (domyślnie 1KB). Oznakowanie to można dostosować do własnych upodobań
- większość funkcji jest w pełni konfigurowalna, albo za pośrednictwem opcji wiersza poleceń, albo poprzez plik inicjujący .wgetrc. Wget umożliwia definiowanie ogólnosystemowych, globalnych plików startowych (domyślnie /usr/local/etc/wgetrc) zawierających ustawienia dla całego serwera
- GNU Wget jest oprogramowaniem należącym do kategorii open source. Każdy może je używać, rozpowszechniać lub zmieniać na warunkach określonych w Powszechnej Licencji Publicznej GNU (GNU General Public License), opublikowanej przez Free Software Foundation
Nakładki graficzne programu wget:
-
- GNOME Transfer Manager (GTM) - dostępna jest polska wersja
- TkWget
- Wget2 dla środowiska GNOME
- odpowiednik w środowisku graficznym: Web Downloader for X (D4X)
- Może przedstawić się jako przeglądarka (opcja -U np. wget -U "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.0.1) Gecko/20021003")
Program jest instalowany domyślnie w większości dystrybucji systemu GNU/Linux. Istnieje też wersja Wget dla Microsoft Windows.
