Как использовать команду Wget с примерами
Wget — это бесплатная утилита командной строки GNU, используемая для загрузки файлов из Интернета. Она извлекает файлы с использованием протоколов HTTP, HTTPS и FTP.
Если во время загрузки возникает проблема с сетью, это полезное программное обеспечение может возобновить получение файлов, не начиная с нуля.
Другим важным аспектом является возможность рекурсивной загрузки, с помощью которой она может копировать веб-сайты переходя по ссылкам и структуре каталогов и создавая локальные версии веб-страниц.
Команда wget очень гибкая и может использоваться в терминалах, скриптах и cron-задачах. Во время загрузки пользователю не обязательно быть активным или авторизованным. Поскольку wget может работать независимо в фоновом режиме.
Как проверить, установлен ли wget?
Скорее всего, пакет wget уже есть в вашей системе, так как сейчас он предустановлен в большинстве дистрибутивов Linux.
Чтобы проверить, откройте окно терминала и введите:
Если у вас установлен wget, вы увидите сообщение, что команде wget не хватает URL-адреса, как показано на изображении ниже:
Как установить wget на Ubuntu / Debian?
Чтобы установить wget в системах Ubuntu или Debian, используйте команду:
Как установить wget на CentOS / Fedora?
Чтобы установить wget на CentOS или Fedora, введите следующую команду:
Синтаксис wget
Синтаксис wget имеет следующий шаблон:
Каждая [option] имеет свою длинную и короткую форму, которые удобно заменять. Этот атрибут указывает, что делать со следующим URL-адресом.
[URL] — это адрес файла или каталога, который вы хотите загрузить.
Список основных команд wget
Примеры команд wget
Как скачать файл из Интернета
Чтобы загрузить файл из Интернета, используйте пример:
Как скачать файл и сохранить с другим названием
Как сохранить файл в конкретный каталог
По умолчанию wget загружает файл в каталог, в котором находится пользователь. Чтобы сохранить файл в другом месте, добавьте параметр –P :
Как установить скорость загрузки
Вы можете установить скорость загрузки при скачивании большого файла, чтобы он не использовал всю доступную пропускную способность. Скорость загрузки определяется в килобайтах (k) и мегабайтах (m). Используйте команду:
Как продолжить загрузку после прерывания
Вместо того, чтобы начинать с нуля, wget может возобновить загрузку с того места, где она была остановлена до прерывания. Это полезная функция, если при загрузке файла происходит потеря соединения.
Как скачать несколько файлов
Как загрузить зеркало веб-страницы
Как скачать через FTP
Чтобы загрузить через FTP, введите имя пользователя и пароль FTP-сервера, а затем ftp-адрес:
Как скачать в фоновом режиме
Вы можете использовать функцию загрузки в фоновом режиме при работе с большими файлами:
Как увеличить число попыток повтора
По умолчанию количество повторных попыток установлено на 20.
Вы также можете установить число на бесконечность со значениями 0 или inf, как в следующем примере:
Как пропустить проверку сертификата
По умолчанию wget проверяет, есть ли у сервера действительный сертификат SSL / TLS. Если он не идентифицирует подлинный сертификат, он отказывается от загрузки.
Как изменить User Agent
При загрузке веб-страницы wget по сути эмулирует браузер. В некоторых случаях в выводе может быть указано, что у вас нет разрешения на доступ к серверу или что соединение запрещено. Это может быть связано с тем, что веб-сайт блокирует клиентские браузеры с определенным «User-Agent».
«User-Agent» — это поле заголовка, которое браузер отправляет на сервер, к которому он хочет получить доступ. Поэтому для загрузки с сервера, который отказывается подключаться, попробуйте его изменить.
Найдите базу данных всех пользовательских агентов в сети, найдите тот, который вам нужен, и выполните команду:
Команда Wget в Linux с примерами
GNU Wget — это утилита командной строки для загрузки файлов из Интернета. С Wget вы можете загружать файлы, используя протоколы HTTP, HTTPS и FTP. Wget предоставляет ряд параметров, позволяющих загружать несколько файлов, возобновлять загрузки, ограничивать пропускную способность, рекурсивные загрузки, загружать в фоновом режиме, зеркалировать веб-сайт и многое другое.
В этой статье показано, как использовать команду wget на практических примерах и подробных объяснениях наиболее распространенных параметров.
Установка Wget
Пакет wget предустановлен на сегодняшний день в большинстве дистрибутивов Linux.
Если wget не установлен, вы можете легко установить его с помощью диспетчера пакетов вашего дистрибутива.
Установка Wget в Ubuntu и Debian
Установка Wget на CentOS и Fedora
Синтаксис команды Wget
Выражения утилиты wget имеют следующую форму:
Как скачать файл с помощью wget
В простейшей форме, при использовании без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.
В следующем примере мы загружаем tar-архив ядра Linux:
Как вы можете видеть на изображении выше, wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.
Сохранение загруженного файла под другим именем
Приведенная выше команда сохранит последний zip-файл hugo с GitHub как latest-hugo.zip вместо его исходного имени.
Загрузка файла в определенный каталог
Ограничение скорости загрузки
Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 МБ:
Эта опция полезна, если вы не хотите, чтобы wget занимал всю доступную полосу пропускания.
Возобновление загрузки
В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:
Если удаленный сервер не поддерживает возобновление загрузки, wget начнет загрузку с самого начала и перезапишет существующий файл.
Загрузка в фоновом режиме
По умолчанию вывод перенаправляется в файл wget-log в текущем каталоге. Чтобы посмотреть статус загрузки, используйте команду tail :
Смена пользовательского агента Wget
Приведенная выше команда wget-forbidden.com Firefox 60, запрашивающий страницу с wget-forbidden.com
Загрузка нескольких файлов
В следующем примере показано, как загрузить iso-файлы Arch Linux, Debian и Fedora, используя URL-адреса, указанные в linux-distros.txt :
Скачивание через FTP
Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:
Создание зеркала веб-сайта
Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.
Пропуск проверки сертификата
Загрузка на стандартный вывод
Выводы
С помощью wget вы можете загружать несколько файлов, возобновлять частичные загрузки, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.
Ubuntu. Использование команды Wget
В этой статье будет рассмотрен процесс использования консольной утилиты wget с наиболее распространенными опциями.
Что такое Wget
Wget — консольная программа для загрузки файлов из интернета, позволяющая скачивать файлы по протоколам HTTP, HTTPS и FTP.
Большое количество опций этой утилиты позволяет скачивать несколько файлов одновременно, возобновлять загрузки, ограничивать скорость скачивания, загружать файлы в фоновом режиме, делать оффлайновое зеркало страниц какого-либо сайта и многое другое.
Установка Wget
В большинстве дистрибутивов Linux пакет wget предустановлен по умолчанию.
Но если wget отсутствует в системе, то его можно загрузить при помощи менеджера пакетов.
Установка Wget в Ubuntu и Debian
Установка Wget в CentOS и Fedora
Синтаксис команд для Wget
Перед началом использования консольной утилиты wget стоит ознакомиться с используемым ей форматом команд.
В общем случае синтаксис команд для wget выглядит так:
где «options» — дополнительные опции, а «url» — ссылка на файл или директорию, которую вы хотите скачать.
Как скачать файл при помощи Wget
Простейший вариант использования wget — скачивание файла в текущую директорию без всяких опций.
В качестве примера рассмотрим команду для скачивания архива с ядром Linux:
При ее использовании wget определяет сопоставляет домен с IP-адресом сервера, подключается к этому серверу и начинает загрузку данных.
В процессе загрузки в консоли будет отображаться строка состояния с именем файла и его размером, скоростью скачивания и примерным подсчетом времени до окончания загрузки. После окончания загрузки скачанный файл можно будет найти в той директории, которая была активна на момент ввода команды.
Чтобы не выводить всю эту информацию в консоль можно запустить wget с опцией -q:
А если файл с таким именем уже существует, то wget сохранит его копию, добавив после оригинального названия цифровой номер.
Как сохранить скачиваемый файл под другим именем
Для того, чтобы автоматически сохранить скачиваемый файл под другим названием можно воспользоваться опцией -O, указав после нее желаемое имя файла:
В данном примере с GitHub скачивается архив с движком Hugo (master.zip) и сохраняется на компьютере под названием latest-hugo.zip
Как скачать файл в определенную директорию
По умолчанию wget сохраняет скачиваемый файл в текущую активную директорию. Чтобы сохранить файл по другому пути можно воспользоваться опцией -P, указав после нее место для сохранения:
В данном примере файл с образом дистрибутива CentOS 7 будет скачан в директорию /mnt/iso/.
Как ограничить скорость скачивания
Для ограничения скорости загрузки можно воспользоваться опцией —limit-rate (обратите внимание: два дефиса в начале), указав предел допустимой скорости в байтах, килобайтах (суффикс k) или мегабайтах (суффикс m):
В вышеприведенных примерах скорость загрузки будет ограничена до 1 мегабайта или 1024 килобайт в секунду.
Как возобновить загрузку
Если при помощи wget загружался крупный файл, но соединение прервалось, то можно продолжить его загрузку при помощи опции -c вместо того, чтобы начинать загружать с самого начала:
Однако, при этом необходимо чтобы сам сервер поддерживал возможность возобновления загрузки. В ином случае wget начнет загрузку с начала и перезапишет имеющийся файл.
Как скачивать файлы в фоне
Чтобы загрузить файл в фоновом режиме можно воспользоваться опцией -b:
Это полезно если вы загружаете какой-то крупный файл и во время его загрузки хотите продолжать пользоваться консолью.
Как изменить User-Agent при скачивании
В некоторых случаях удаленный сервер может блокировать доступ для нестандартных User-Agent, используемых ботами или утилитами вроде wget.
Как быть в таких ситуациях? Эмулировать User-Agent какого-нибудь распространенного браузера при помощи опции -U:
В примере выше wget будет скачивать содержимое сайта http://wget-forbidden.com/, эмулируя браузер Firefox 60.
Как скачивать сразу несколько файлов
Для одновременной загрузки нескольких файлов можно воспользоваться опцией -i и задать путь к текстовому файлу со списку URL для загрузки:
Содержимое файла linux-distros.txt может выглядеть следующим образом:
Каждый URL в списке должен начинаться с новой строки.
Как скачивать файлы по FTP
Для скачивания файлов с требующего авторизации FTP-сервера нужно указать свой логин и пароль:
Как скачать сайт при помощи Wget
Для создания зеркала веб-сайта можно использовать wget с опцией -m. При этом будет создана локальная копия вебсайта со всем его содержимым, включая картинки:
Если скачиваемый веб-сайт планируется использовать для локального просмотра, то стоит добавить несколько дополнительных аргументов:
Опция -k нужна для того, чтобы wget автоматически сконвертировал все гиперссылки в загружаемых HTML-файлах для их работоспособности оффлайн. А опция -p включает в список объектов для скачивания необходимые для правильного отображения сайта ресурсы, вроде скриптов (JavaScript) и таблиц стилей CSS.
Как пропустить проверку SSL-сертификата
Если нужно скачать файл по HTTPS-протоколу с ресурса, обладающего некорректным SSL-сертификатом (распространенный пример — владелец поставил вручную бесплатный сертификат от Let’s Encrypt и забыл продлить его спустя три месяца), то можно воспользоваться опцией —no-check-certificate (опять-таки, два дефиса в начале):
Заключение
Несмотря на кажущуюся незамысловатость, wget — довольно навороченная утилита.
В данной статье были рассмотрены наиболее распространенные сценарии ее использования для скачивания нескольких файлов одновременно, возобновления сбойных загрузок и созданий локальных зеркал веб-сайтов.
Если этого недостаточно — можно ознакомиться с официальным руководством по Wget.
Что такое wget linux
Проверка заголовков файлов: Wget может считывать заголовки файлов (это доступно по протоколам HTTP и FTP) и сравнивать их с заголовкам ранее загруженных файлов, после чего может загрузить новые версии файлов. Благодаря этому при использовании Wget можно реализовывать зеркальное хранение сайтов или набора файлов на FTP.
Wget разработан для медленных или нестабильных соединений: если во время загрузки возникнет проблема, то Wget будет пытаться продолжить загрузку файла. Если сервер, с которого загружается файл, поддерживает докачку файлоа, то Wget продолжит загружать файл именно с того места, где оборвалась загрузка.
OПЦИИ
Основные параметры
Параметры сообщений
Параметры загрузки
Вы также получите поврежденный файл если ваш сервер прокси HTTP работает глупо и при обрыве соединения пишет в файл сообщение »transfer interrupted». Вероятно, в следующих версиях Wget сам будет исправлять это.
Указание 0 или inf отменит квоту.
Параметры загрузки папок
Параметры HTTP
Параметры FTP
По умолчанию использование символов маски разрешено, если URL содержит такие символы.
Помните, что этот параметр не работает при загрузке одиночного файла.
Параметры рекурсивной загрузки
Каждая ссылка изменяется одним из двух способов: * Ссылки на файлы, загруженные Wget изменяются на соответствующие относительные ссылки.
Если будет дана команда:
Все файлы и рисунок 3.gif страницы 3.html загрузятся. Аналогично
Параметры запрета/разрешения рекурсивной загрузки
ПРИМЕРЫ ИСПОЛЬЗОВАНИЯ
Просто использование
* Но что же будет, если соединение медленное, а файл длинный? Есть возможность обрыва связи перед завершением загрузки. В этом случае Wget будет продолжать попытки нового соединения, пока не кончится число попыток (по умолчанию 20). Можно изменить это число, например до 45:
Расширенное использование
* Как и в примере выше, но с конвертированием ссылки в файлах HTML в локальные, для последующего автономного просмотра:
* Загрузить одну страницу HTML и все файлы, требуемые для отображения последней (напр. рисунки, файлы каскадных стилей и т. д.). Также сконвертировать все ссылки на эти файлы:
* Сохранить заголовки в файл для дальнейшего использования.
* Вы хотите, чтобы загружаемые документы шли в стандартный вывод, а не в файлы?
Если вы хотите устроить конвейер и загрузить все сайты, ссылки на которые указаны на одной странице:
Профессиональное использование
* Вы также хотите, чтобы ссылки конвертировались в локальные. Но после прочтения этого руководства, вы знаете, что при этом не будет работать сравнение по времени. Укажите Wget оставлять резервные копии HTML файлов перед конвертацией. Команда:
С краткими аналогами команд:
ФАЙЛЫ
НАЙДЕННЫЕ ОШИБКИ
Перед отправкой: 1. Убедитесь, что поведение программы действительно ошибочно. Если Wget «вылетает», то это ошибка. Если поведение Wget не соответствует документации, то это ошибка. Если все работает странно, но вы не уверены, как оно должно работать на самом деле, то это тоже может быть ошибкой. 2. Попытайтесь повторить ситуацию с выдачей ошибки за минимальное количество действий.
СМ. ТАКЖЕ
АВТОРЫ
ПЕРЕВОД
АВТОРСКИЕ ПРАВА
Это свободное программное обеспечение; условия копирования ищите в исходных текстах. НЕ существует никаких гарантий; программа НЕ предназначена для ПРОДАЖ.
Утилита wget в Linux
Для для выполнения закачек из Интернет по протоколам HTTP или FTP в системах Linux существует специализированная утилита — wget. Она управляется из командной оболочки, имеет простой синтаксис, а также богатый функционал, позволяющий гибко выполнять закачки в самых различных ситуациях. В подавляющем большинстве дистрибутивов Linux wget изначально предустановлена в системе.
Особенности wget
Утилита wget обладает рядом особенностей, делающих её самым эффективным и популярным инструментом для организации загрузок, в особенности среди системных администраторов:
Утилита wget обладает очень богатым функционалом, который полностью описан на официальных страницах технической документации, доступной по команде man wget. Также можно воспользоваться опцией —help для получения списка поддерживаемых ключей и их описания. В большинстве случаев опция —help предоставляет описание на языке, соответствующем текущей локализации системы.
Опции
wget в примерах
Как уже отмечалось выше, wget имеет довольно простой (наряду с таким богатым функционалом) синтаксис. В самых распространённых случаях для wget указывается один единственный параметр — ссылка (URL) на ресурс (файл, картинка, HTML-страница, каталог FTP-сервера и т.д.) для закачки:
Если вы получите ошибку -bash: wget: команда не найдена, то необходимо установить wget
И снова запустите команду
В данном случае wget скачала архив c CMS Drupal с официального сайта разработчиков. Как видно, запрос был автоматически перенаправлен к FTP-ресурсу, с которого потом и началась закачка. Утилита в процессе своей работы наглядно выводит всю информацию о соединении и закачке: протокол, скорость, объём, прогресс, время и т. д. По-умолчанию закачки сохраняются в текущем каталоге.
Работа с прокси-сервером
Для того, чтобы задействовать подключение через прокси-сервер, можно просто использовать для этой цели специальные переменные окружения, а затем вызвать команду wget – она автоматически будет использовать сделанные настройки для прокси, как для HTTP, так и для FTP:
Использование рекурсивной закачки
Следующая команда скачает сайт полностью
После чего в директорию site.ru загрузится сайт со всеми страницами. Параметр «-E» добавляет к файлам расширение html, «-nc» — не перезаписывать уже существующие файлы. Остальные опции мы уже рассмотрели выше.
Режим докачки
Фоновый режим
Работа продолжается в фоновом режиме, pid 22121
Выходные данные будут записаны в «wget-log».
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.