Wget

Поделись знанием:
Перейти к: навигация, поиск
GNU Wget
Тип

менеджер загрузок

Автор

Hrvoje Nikšić[1]

Разработчики

Mauro Tortonesi, Giuseppe Scrivano и др.

Интерфейс

командная строка

Операционная система

Linux и др. UNIX-подобные, Windows

Языки интерфейса

русский и ещё 38 языков

Состояние

активное

Сайт

[www.gnu.org/software/wget/ .org/software/wget/]

WgetWget

Wget[2] — (GNU Wget) свободная неинтерактивная консольная программа для загрузки файлов по сети. Поддерживает протоколы HTTP, FTP и HTTPS, а также поддерживает работу через HTTP прокси-сервер. Программа включена почти во все дистрибутивы GNU/Linux.

Wget является неинтерактивной программой. Это означает, что после её запуска пользователь может повлиять на её работу только с помощью средств управления процессами операционной системы. Как правило, для этого используются сочетания клавиш Ctrl+C при необходимости прерывания работы программы и Ctrl+Z для помещения текущего задания в фон. Современные web-браузеры как правило имеют функцию закачки файлов, однако так как браузер рассчитан на интерактивный режим работы, то скачивание большого количества файлов вручную может быть утомительным. Браузеры, как правило, не предоставляют средств для автоматизации подобных задач. Wget же, например, поддерживает загрузку URL, указанных в файле. Таким образом можно составить список файлов, а в любое удобное время скачать их с помощью wget. Интерфейс командной строки позволяет управлять wget из других программ и скриптов, что используется при автоматизации загрузки файлов (регулярные обновления, мониторинг доступности сервера и т. д.).

Wget позволяет загружать любые файлы во всемирной паутине (в том числе и (X)HTML-страницы) по протоколам http и https, а также файлы и списки директорий по протоколу ftp.

Файлы можно скачивать рекурсивно по ссылкам в HTML страницах, как с одного сайта с определённой глубиной следования по ссылкам, так и с нескольких. Помимо этого, при загрузке по ftp файлы можно скачивать «по маске» имени (то есть можно задавать с помощью «*» группу файлов).

Wget поддерживает докачку файла в случае обрыва соединения.





Примеры

Загрузка всех URL, указанных в локальном или внешнем ФАЙЛЕ:

wget -i ФАЙЛ

Скачивание файлов в указанный каталог (-P)[3]:

wget -P /path/for/save ftp://ftp.example.org/some_file.iso

Использование имени пользователя и пароля на FTP/HTTP (вариант 1):

wget ftp://login:password@ftp.example.org/some_file.iso

Использование имени пользователя и пароля на FTP/HTTP (вариант 2):

wget --user=login --password=password ftp://ftp.example.org/some_file.iso

Скачивание в фоновом режиме (-b):

wget -b ftp://ftp.example.org/some_file.iso

Продолжить (-c continue) загрузку ранее не полностью загруженного файла:

wget -c example.org/file.iso

Скачать содержимое каталога example.org/~user/my-archive/ и всех его подкаталогов, при этом не поднимаясь по иерархии каталогов выше:

wget -r --no-parent example.org/~user/my-archive/

Также поддерживается идентификация на сервере:

wget --save-cookies cookies.txt \
--post-data 'user=foo&password=bar' \
example.org/auth.php

Скачать весь сайт целиком (глубина рекурсии — 10):

wget -r -l 10 -k -o log-file.txt -p example.org/

-r, --recursive          включение рекурсивной загрузки
-l, --level=ЧИСЛО        глубина рекурсии (inf и 0 - бесконечность)
-k, --convert-links      делать ссылки локальными в загруженном HTML или CSS
-o, --output-file=ФАЙЛ   записывать сообщения (логи) в ФАЙЛ
-p, --page-requisites    загрузить все изображения и проч., необходимые для отображения HTML-страницы
-m, --mirror             короткий параметр, эквивалентный -N -r -l inf --no-remove-listing.

Вывести содержание ответа в консоль:

wget  example.org --quiet -O -

Возвращаемый статус

До версии 1.12, возвращает 0 при успешном выполнении и 1 в случае ошибки. Начиная с версии 1.12[4], в случае ошибки возвращает от 1 до 8, в зависимости от вида.

Критика

Разработка Wget идёт медленно, многие новые расширения протоколов HTTP, FTP, сценарии JavaScript и другие функции не поддерживаются.

В некоторых случаях хорошей альтернативой может являться cURL, а для создания зеркал сайтов (чего cURL не умеет[5]) обычно используется rsync. В версии 1.17 и выше обязательна поддержка SSE2 инструкций процессором.

Напишите отзыв о статье "Wget"

Примечания

  1. [www.gnu.org/software/wget/wget.html Домашняя страница Wget.]
  2. В силу принятых в *nix-системах соглашений в командной строке эта программа вызывается словом, начинающимся со строчной буквы: wget
  3. [www.opennet.ru/man.shtml?topic=wget&category=1&russian=0 Руководство GNU wget]
  4. [www.gnu.org/software/wget/manual/wget.html#Exit-Status wget manual] Возвращаемый статус (en)
  5. [curl.haxx.se/docs/faq.html cURL FAQ]: «Curl is not a web site mirroring program.»

См. также

Ссылки

  • [www.gnu.org/software/wget/wget.html Домашняя страница Wget.]
  • [packages.altlinux.org/ru/Sisyphus/srpms/man-pages-ru Пакет man-pages-ru из ALT Linux, содержащий перевод man-страницы Wget на русский.]
  • [www.opennet.ru/man.shtml?topic=wget&category=1&russian=0 Перевод man wget на портале Opennet.]
  • [forum.ru-board.com/topic.cgi?forum=5&topic=10066 Ветка обсуждения на ru-board]

Отрывок, характеризующий Wget

Государь быстрым взглядом окинул Кутузова с головы до ног, на мгновенье нахмурился, но тотчас же, преодолев себя, подошел и, расставив руки, обнял старого генерала. Опять по старому, привычному впечатлению и по отношению к задушевной мысли его, объятие это, как и обыкновенно, подействовало на Кутузова: он всхлипнул.
Государь поздоровался с офицерами, с Семеновским караулом и, пожав еще раз за руку старика, пошел с ним в замок.
Оставшись наедине с фельдмаршалом, государь высказал ему свое неудовольствие за медленность преследования, за ошибки в Красном и на Березине и сообщил свои соображения о будущем походе за границу. Кутузов не делал ни возражений, ни замечаний. То самое покорное и бессмысленное выражение, с которым он, семь лет тому назад, выслушивал приказания государя на Аустерлицком поле, установилось теперь на его лице.
Когда Кутузов вышел из кабинета и своей тяжелой, ныряющей походкой, опустив голову, пошел по зале, чей то голос остановил его.
– Ваша светлость, – сказал кто то.
Кутузов поднял голову и долго смотрел в глаза графу Толстому, который, с какой то маленькою вещицей на серебряном блюде, стоял перед ним. Кутузов, казалось, не понимал, чего от него хотели.
Вдруг он как будто вспомнил: чуть заметная улыбка мелькнула на его пухлом лице, и он, низко, почтительно наклонившись, взял предмет, лежавший на блюде. Это был Георгий 1 й степени.


На другой день были у фельдмаршала обед и бал, которые государь удостоил своим присутствием. Кутузову пожалован Георгий 1 й степени; государь оказывал ему высочайшие почести; но неудовольствие государя против фельдмаршала было известно каждому. Соблюдалось приличие, и государь показывал первый пример этого; но все знали, что старик виноват и никуда не годится. Когда на бале Кутузов, по старой екатерининской привычке, при входе государя в бальную залу велел к ногам его повергнуть взятые знамена, государь неприятно поморщился и проговорил слова, в которых некоторые слышали: «старый комедиант».
Неудовольствие государя против Кутузова усилилось в Вильне в особенности потому, что Кутузов, очевидно, не хотел или не мог понимать значение предстоящей кампании.
Когда на другой день утром государь сказал собравшимся у него офицерам: «Вы спасли не одну Россию; вы спасли Европу», – все уже тогда поняли, что война не кончена.
Один Кутузов не хотел понимать этого и открыто говорил свое мнение о том, что новая война не может улучшить положение и увеличить славу России, а только может ухудшить ее положение и уменьшить ту высшую степень славы, на которой, по его мнению, теперь стояла Россия. Он старался доказать государю невозможность набрания новых войск; говорил о тяжелом положении населений, о возможности неудач и т. п.
При таком настроении фельдмаршал, естественно, представлялся только помехой и тормозом предстоящей войны.
Для избежания столкновений со стариком сам собою нашелся выход, состоящий в том, чтобы, как в Аустерлице и как в начале кампании при Барклае, вынуть из под главнокомандующего, не тревожа его, не объявляя ему о том, ту почву власти, на которой он стоял, и перенести ее к самому государю.
С этою целью понемногу переформировался штаб, и вся существенная сила штаба Кутузова была уничтожена и перенесена к государю. Толь, Коновницын, Ермолов – получили другие назначения. Все громко говорили, что фельдмаршал стал очень слаб и расстроен здоровьем.
Ему надо было быть слабым здоровьем, для того чтобы передать свое место тому, кто заступал его. И действительно, здоровье его было слабо.
Как естественно, и просто, и постепенно явился Кутузов из Турции в казенную палату Петербурга собирать ополчение и потом в армию, именно тогда, когда он был необходим, точно так же естественно, постепенно и просто теперь, когда роль Кутузова была сыграна, на место его явился новый, требовавшийся деятель.
Война 1812 го года, кроме своего дорогого русскому сердцу народного значения, должна была иметь другое – европейское.
За движением народов с запада на восток должно было последовать движение народов с востока на запад, и для этой новой войны нужен был новый деятель, имеющий другие, чем Кутузов, свойства, взгляды, движимый другими побуждениями.
Александр Первый для движения народов с востока на запад и для восстановления границ народов был так же необходим, как необходим был Кутузов для спасения и славы России.
Кутузов не понимал того, что значило Европа, равновесие, Наполеон. Он не мог понимать этого. Представителю русского народа, после того как враг был уничтожен, Россия освобождена и поставлена на высшую степень своей славы, русскому человеку, как русскому, делать больше было нечего. Представителю народной войны ничего не оставалось, кроме смерти. И он умер.


Пьер, как это большею частью бывает, почувствовал всю тяжесть физических лишений и напряжений, испытанных в плену, только тогда, когда эти напряжения и лишения кончились. После своего освобождения из плена он приехал в Орел и на третий день своего приезда, в то время как он собрался в Киев, заболел и пролежал больным в Орле три месяца; с ним сделалась, как говорили доктора, желчная горячка. Несмотря на то, что доктора лечили его, пускали кровь и давали пить лекарства, он все таки выздоровел.