Как использовать Wget для загрузки веб-сайтов на компьютер

Вы когда-нибудь задумывались, можно ли загрузить веб-сайт без веб-браузера? Вам повезло. Благодаря возможностям командной строки Linux возможно все. Существует несколько способов выполнить эту задачу, но в этой статье мы сосредоточимся на wget.

Что такое wget?

wget — это утилита командной строки GNU для получения контента с веб-серверов. Как загрузчик, wget сам по себе очень мощный. wget способен работать с несколькими прото

Что такое wget?

• возможность работать в автоматическом режиме или в фоновом режиме.
• интегрируется со сценариями Linux или заданиями CRON.
• может запускать несколько загрузок одновременно
• загружает файлы, для которых требуется пароль

Почему wget?

Хотя существует множество инструментов, которые могут выполнять действия на веб-сайте, wget предоставляет широкий спектр возможностей. Он дает пользователю возможность работать без веб-браузера:

• загрузка полной копии веб-сайта
• загрузка определенного файла с веб-сайта
• автоматизация получения файла по требованию
• получение документа с портала аутентификации

wget также встроен в большинство дистрибутивов Linux, поэтому он доступен с самого начала и не требует дальнейшей установки.

Основы wget

Начать работу с wget довольно просто. Сначала

Почему wget?

Открыв окно терминала, вы можете запустить wget, как показано ниже:

wget URL

Замените «URL» точным URL-адресом веб-сайта.

Чтобы возобновить частично загруженный файл, используйте переключатель -cв своей команде следующим образом:

wget -c URL

Чтобы отключить загрузку wget, добавьте переключатель -qк исходной команде wget:

wget -q URL

Если вы не уверены в правильности использования параметров wget, используйте следующее:

wget --help

Помимо веб-сайтов, вы также можете скачать файл с помощью wget. Например:

wg
Основы wget
n>//example.com/file.zip

Он просто захватит файл и сохранит его в текущем каталоге.

Если вы хотите сохранить файл под другим именем или в другом месте, используйте флаг -O.

wget https://example.com/file.zip -O ~/Documents/my_downloaded_file.zip

Параметры FTP

Как отмечалось ранее, wget также поддерживает FTP. Если просто указать FTP-сайт:

wget ftp://ftp.example.com

wget предположит, что вам нужен анонимный вход. Кроме того, вы можете вручную указать такие параметры, как имя пользователя и пароль, с помощью следующих флагов:

• --ftp-user=USER: указывает имя пользователя для входа в систему.
• --ftp-password=PASS: указывает пароль.
• --no-passive-ftp: отключает пассивный режим передачи

Тайм-ауты, повторные попытки и неудачные загрузки

Наконец, wget предлагает несколько опций, касающихся проблем с подключением к серверу и тайм-аутов. Конечно, не все сбои можно устранить, но все следующие флаги предназначены для решения проблем с сервером:

• --tries=NUMBER: указывает количество повторных попыток загрузки.
• --retry-connrefused: пытается загрузить, даже если сервер отклонил соединение.
• --timeout=SECONDS: глобальная настройка – сколько времени ждать до тайм-аута.
• --wait=SECONDS: сколько времени пройдет между успешными загрузками (если повторяется)

Кто будет использовать wget?

Читая этот пост, вы можете подумать: «Это звучит сложнее и гораздо сложнее, чем использование веб-браузера», но любой может найти применение этой утилите, будь то системный администратор или программист. Ниже приведены два примера того, как я использую эту команду в

Параметры FTP

Это облегчает мою работу как исследователя безопасности, поскольку я могу запланировать эту команду для одновременной загрузки нескольких веб-сайтов. Я могу сделать это, создав текстовый файл (с помощью любого текстового редактора), содержащий несколько URL-адресов в списке (по одному URL-адресу в строке). Выполнив приведенную ниже команду с переключателем -i, wget загрузит каждый веб-сайт в списке.

wget -i download_file_name URL

Как системный администратор я могу легко получать документы из мест, защищенных паролем. Возможно, это не поможет вам в автономном режиме, но запустив wget, вы сможете добавить учетные данные на сайт.

wget --user=user_id --password=u
Тайм-ауты, повторные попытки и неудачные загрузки
к сложно, как вы думали? Возможность автоматизировать ваши действия с помощью wget сэкономит вам время и даст вам возможность работать в автономном режиме. Что тебе терять?

Оставьте комментарий ниже и сообщите нам, нашли ли вы это полезным.
Кто будет использовать wget?