Это руководство покажет вам, как использовать команду
wget в Linux. Мы также предоставим 12 полезных примеров команды wget. К концу вы будете знать все о команде wget и сможете использовать ее для загрузки файлов из всемирной паутины.
Что такое команда Wget?
Wget - это компьютерный инструмент, созданный проектом GNU. Вы можете использовать его для получения контента и файлов с различных веб-серверов. Название представляет собой комбинацию слова "
всемирная паутина" и слова "
получить" . Он поддерживает загрузку через FTP, SFTP, HTTP и HTTPS.
Wget создается на переносимом языке C и может использоваться в любой системе Unix. Также возможно реализовать на Mac OS X, Microsoft Windows, AmigaOS и других популярных платформах.
Как установить Wget?
Для этой демонстрации команды wget мы будем использовать Ubuntu 16.04. Но синтаксис будет работать и в любом другом дистрибутиве Linux.
Во-первых, получите доступ к вашему серверу через SSH:
ssh user@your_server_ip -port
Чтобы установить wget на
Ubuntu 18.04 или аналогичный, выполните следующую команду:
sudo apt-get install wget
Чтобы установить wget на
CentOS 7 или его предыдущие дистрибутивы, используйте:
sudo yum install wget
После завершения настройки вы будете готовы к использованию. Кроме того, знание основных команд SSH может упростить задачу.
Примеры команд Wget
Для начала мы предоставим 12 примеров команд wget, которые вы можете использовать для повседневных задач. Имейте в виду, что вы также можете вызывать эту функцию из скриптов и заданий cron!
Использование команды Wget для загрузки отдельных файлов
Один из самых простых примеров команды wget - это загрузка одного файла и сохранение его в текущем рабочем каталоге. Например, вы можете получить последнюю версию WordPress, используя следующее:
wget https://wordpress.org/latest.zip
Вот результат, который вы увидите:
--2018-02-23 12:53:10-- https://wordpress.org/latest.zip
Resolving wordpress.org (wordpress.org)... 198.143.164.252
Connecting to wordpress.org (wordpress.org)|198.143.164.252|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 9332728 (8,9M) [application/zip]
Saving to: 'latest.zip'
latest.zip 100%[===================>] 8,90M 6,88MB/s in 1,3s
2018-02-23 12:53:14 (6,88 MB/s) - 'latest.zip' saved [9332728/9332728]
В этом примере файл с именем
latest.zip будет загружен в текущий рабочий каталог. Вы также увидите дополнительную информацию, такую как ход загрузки, скорость, размер, время и дату.
Использование команды Wget для загрузки нескольких файлов
Мы можем сделать еще один шаг в использовании wget и загрузить сразу несколько файлов. Для этого нам нужно будет создать текстовый документ и поместить туда URL-адреса для загрузки. В этом примере мы получим последние версии WordPress, Joomla и Drupal с помощью wget. Введите следующее:
nano example.txt
Это создаст файл example.txt и откроет интерфейс текстового редактора. Вставьте эти ссылки туда:
https://wordpress.org/latest.zip
https://downloads.joomla.org/cms/joomla3/3-8-5/Joomla_3-8-5-Stable-Full_Package.zip
https://ftp.drupal.org/files/projects/drupal-8.4.5.zip
После этого вы можете использовать
-i, чтобы получить все файлы, хранящиеся в вашем примере текстового файла:
wget -i example.txt
Подождите, пока процесс завершится, и вы получите установку трех самых популярных систем управления контентом.
Использование команды Wget для получения файлов под разными именами
В этом примере wget мы сохраним файл под другим именем с помощью опции
-O :
wget -O wordpress-install.zip https://wordpress.org/latest.zip
В этом случае загруженный ресурс будет сохранен как
wordpress-install.zip вместо исходного имени.
Использование команды Wget для сохранения файлов в указанном каталоге
Вы можете использовать wget для помещения файла в другой каталог с помощью функции
-P :
wget -P documents/archives/ https://wordpress.org/latest.zip
Файл, полученный с использованием этого синтаксиса, появится в папке
documents / archives / .
Использование команды Wget для ограничения скорости загрузки
С помощью wget вы также можете ограничить скорость загрузки. Это полезно при извлечении огромных файлов и предотвратит использование всей вашей пропускной способности. В этом примере wget будет установлено ограничение на 500 КБ:
wget --limit-rate=500k https://wordpress.org/latest.zip
Использование команды Wget для установки повторных попыток
Проблемы с подключением к Интернету могут привести к прерыванию загрузки. Чтобы решить эту проблему, мы можем увеличить количество
повторных попыток с
помощью функции
-tries :
wget -tries=100 https://wordpress.org/latest.zip
Использование команды Wget для загрузки в фоновом режиме
Для очень больших файлов вы можете воспользоваться функцией
-b . Он загрузит ваш контент в фоновом режиме.
wget -b http://example.com/beefy-file.tar.gz
В вашем рабочем каталоге появится
журнал wget , который можно использовать для проверки прогресса и статуса загрузки. Эта команда также поможет:
tail -f wget-log
Использование команды Wget для загрузки через FTP
Команда также может использоваться с FTP. Вам нужно только указать имя пользователя и пароль, как в этом примере wget:
wget --ftp-user=YOUR_USERNAME --ftp-password=YOUR_PASSWORD ftp://example.com/something.tar
Использование команды Wget для продолжения прерванных загрузок
Ваша загрузка может быть прервана, если вы потеряете подключение к Интернету или столкнетесь с отключением электроэнергии. Это довольно частое явление при получении больших файлов. Вместо того, чтобы начинать заново, можно продолжить загрузку с помощью функции
-c :
wget -c https://example/very-big-file.zip
Если вы продолжите без функции
-c , в конце нового файла будет добавлено
.1, поскольку он уже существует.
Использование команды Wget для получения целых веб-сайтов
Также можно использовать команду wget для загрузки содержимого всего сайта. Это позволит вам просматривать его локально без подключения к Интернету. Вот пример:
wget --mirror --convert-links --page-requisites --no-parent -P documents/websites/ https://some-website.com
Давайте проанализируем состав этой команды wget:
| -зеркало | Это делает вашу загрузку рекурсивной. |
| –Convert-links | Все ссылки будут преобразованы для правильного использования в автономном режиме. |
| –Page-Requisites | Следующее будет включать все необходимые файлы, такие как CSS, JS и изображения. |
| –Нет родителя | Это гарантирует, что каталоги выше иерархии не будут извлечены. |
| -P документы / веб-сайты / | Это гарантирует, что весь контент попадет в наш указанный каталог. |
После завершения процесса вы сможете открыть загруженный веб-сайт локально и найти все файлы в папке «
документы / веб-сайты / ».
Использование команды Wget для поиска неработающих ссылок
Попробуем что-нибудь посложнее. Мы можем использовать команду wget, чтобы найти все неработающие URL-адреса, отображающие ошибку 404 на определенном веб-сайте. Начните с выполнения следующего:
wget -o wget-log -r -l 5 --spider http://example.com
| -о | Собирает вывод в файл для дальнейшего использования. |
| -l | Задает уровень рекурсии. |
| -р | Делает загрузку рекурсивной. |
| –Паук | Устанавливает wget в режим паука. |
Теперь мы можем исследовать файл
wget-log, чтобы найти список неработающих ссылок. Вот как это сделать:
grep -B 2 '404' wget-log | grep "http" | cut -d " " -f 4 | sort -u
Использование команды Wget для загрузки нумерованных файлов
Если у вас есть файлы или изображения, пронумерованные в определенном списке, вы можете легко загрузить их все со следующим синтаксисом:
wget http://example.com/images/{1..50}.jpg
Комментариев 0