При работе удаленно или даже локально вам часто может потребоваться получить контент из внешнего источника.
Чтобы получить такой контент, особенно если у вас нет других опций, вам нужно использовать инструменты командной строки, чтобы выполнить работу.
В этой статье мы рассмотрим некоторые из наиболее широко используемых инструментов для загрузки контента через командную строку.
Wget
Мы собираемся начать с одного из самых популярных инструментов, называемого wget.
Это сетевая утилита, которую можно использовать для загрузки контента по HTTP, HTTPS и FTP.
Wget можно использовать как в фоновом режиме, так и на переднем плане, что делает его полезным, если вам нужно оставить загрузку запущенной, даже если вы вышли из системы.
Этот инструмент поставляется с большим количеством опций, которые позволяют вам выполнять аутентифицированные загрузки, рекурсивные загрузки с ограничениями по уровню, принимать регулярные выражения для URL-адресов, разрешать исключения, принимать входные URL-адреса из файла и многое другое.
Вариантов для wget действительно много, и настоятельно рекомендуется просмотреть страницу справки инструмента, просто запустив:
$ wget -h
Некоторые полезные примеры команды wget:
Самый простой пример загрузки wget:
$ wget https://wordpress.org/latest.zip
Пример загрузки с URL-адресов, указанных в файле. Сначала вот список нашего файла:
$ cat list.txt https://wordpress.org/latest.zip https://downloads.joomla.org/cms/joomla3/3-8-5/Joomla_3-9-4-Stable-Full_Package.zip https://ftp.drupal.org/files/projects/drupal-8.4.5.zip
Затем вы можете запустить загрузку с:
$ wget -i list.txt
Для запуска загрузки в фоновом режиме вы можете использовать:
$ wget -b https://wordpress.org/latest.zip
Если вы хотите использовать wget с FTP для загрузки одного файла.
$ wget ftp://user:password@host:/path-to-file/file.txt
$ wget -br ftp://user:password@ftp-host:/path-for-download/
Wget предустановлен на многих современных дистрибутивах Linux, но если вам нужно установить его, вы можете использовать:
$ sudo apt install wget # Debian/Ubuntu # yum install wget # CentOS/RHEL # dnf install wget # Fedora
Curl
Curl – это инструмент, который можно использовать для передачи данных с или на сервер.
Он поддерживает несколько протоколов.
Согласно справочной странице, поддерживаются следующие протоколы DICT, FILE, FTP, FTPS, GOPHER, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMB, SMBS, SMTP. , SMTPS, TELNET и TFTP.
Как вы можете себе представить, вы можете многое сделать с этим.
Как вы, наверное, поняли, curl поддерживает прокси-серверы, аутентификацию пользователей, загрузку / выгрузку с FTP, возобновление передачи файлов и многое другое.
Вот несколько примеров использования curl:
Скачать файл:
$ curl -O https://wordpress.org/latest.zip
Скачать файл в выходной файл по вашему выбору:
$ curl -o wordpress.zip https://wordpress.org/latest.zip
Чтобы возобновить прерванную загрузку, вы можете использовать:
$ curl -C - O https://wordpress.org/latest.zip
Чтобы установить curl, вы можете использовать:
$ sudo apt install curl # Debian/Ubuntu # yum install curl # CentOS/RHEL # dnf install curl # Fedora
Как установить команду cURL в Windows 10
Aria2
Aria – еще один многопротокольный инструмент для скачивания.
Aria поддерживает HTTP / HTTPS, FTP / SFTP BitTorrent и Metalink.
Некоторые функции, которые отличают его от других, заключаются в том, что он поддерживает загрузку файлов из нескольких мест одновременно, поддерживает Magnet URI и является полнофункциональным клиентом BitTorrent.
Как клиент BitTorrent, он поддерживает DHT, PEX, шифрование, URI-адрес магнита, веб-заполнение, выборочные загрузки и обнаружение локальных узлов.
Не стесняйтесь просматривать статью менеджера загрузок Aria2 для более детального использования. Ниже вы можете увидеть несколько примеров базового использования aria2
Вот несколько примеров использования Aria2
:
Скачать торрент файл:
$ aria2c http://releases.ubuntu.com/18.10/ubuntu-18.10-desktop-amd64.iso.torrent
Загрузите, используя URL-адреса, указанные в текстовом файле:
$ aria2c -i downloadurls.txt
Возобновить неполное скачивание:
$ aria2c -c http://releases.ubuntu.com/18.10/ubuntu-18.10-desktop-amd64.iso.torrent
Скачать с защищенного паролем сайта:
$ aria2c --http-user=xxx --http-password=xxx https://protectedwebsite.com/file
Чтобы установить Aria2, вы можете использовать следующие команды:
$ sudo apt install aria2 # Debian/Ubuntu # yum install aria2 # CentOS/RHEL # dnf install aria2 # Fedora
Axel
Четвертая утилита загрузки в нашем списке – Axel, которая пытается улучшить процесс загрузки, используя несколько соединений для одного файла.
Он может использовать несколько мест для одной загрузки.
По словам разработчиков, Axel может увеличить скорость ваших загрузок на 60% и поддерживает протоколы: HTTP / HTTPS, FTP и FTPS.
Чтобы выполнить простую загрузку с помощью Axel, вы можете использовать следующую команду:
$ axel https://wordpress.org/latest.zip
Вы можете установить максимальную скорость загрузки с помощью соответствующей опции –max-speed или short – -s. Значение устанавливается в байтах в секунду
$ axel --max-speed=512000 https://wordpress.org/latest.zip
Чтобы сохранить файл под другим именем, вы можете использовать опцию -o, чтобы указать имя файла:
$ axel -o wordpress.zip https://wordpress.org/latest.zip
Если вы хотите установить Axel в вашей системе Linux, используйте соответствующую команду ниже:
$ sudo apt install axel # Ubuntu/Debian # yum install epel release && yum install axel # CentOS/RHEL # dnf install axel # Fedora
Заключение
Это был наш список самых распространенных утилит загрузки в Linux.
Какие из них вы используете?
Поделитесь своим мнением в разделе комментариев ниже.
