Wget-команды: примеры. Консольная программа для загрузки файлов по сети Wget

Wget-командыКому-то может показаться, что в мире, где 50% населения активно пользуется компьютерами и привыкли к стильным графическим интерфейсам с богатыми возможностями, нет места для текстовых приложений. Примерно 20 лет назад интерфейс персонального компьютера представлял собой страшную панель черного цвета, на которой не отображалось ничего, кроме набора белых символов. Все управление сводилось к выполнению текстовых команд. Эти команды были уродливы, но при этом весьма надежны и функциональны.

Что такое Wget? Wget – это не интерактивное консольное приложение для работы с веб-страницами и файлами. По сути, это простая программа для скачивания файлов из сети Интернет, которая отличается отсутствием графического интерфейса и рядом особенностей управления, которые нельзя назвать типичными для современных решений. Разработал программу Wget инженер из Хорватии Хрвожи Никшич. Сегодня разработку поддерживает Джузеппе Скривано и сообщество Linux. Первая сборка программы, которая в то время еще называлась GetURL, была представлена в 1996 году. Написана программа была на языке программирования C. Создавалась она по лицензии GNU. Инструмент изначально был выпущен на платформе Linux. Со временем программа была переведена на множество языков. Появились версии для наиболее популярных операционных систем, таких как Windows 7 и более новых. Также можно найти Wget для MacOS. Данная программа не является интерактивной. Это означает, что любой процесс, который был запущен в рамках ее возможностей, нельзя взять под контроль. Можно управлять им только путем обращения к средствам самой операционной системы. Несмотря на то, что в современных браузерах обычно имеется встроенный менеджер загрузок, они все рассчитаны на интерактивное взаимодействие, поэтому работа в ручном режиме оказывается серьезно затруднена. Wget , напротив, дает возможность автоматизировать ряд процессов. Так, например, имеется возможность заранее подготовить текстовый документ с перечнем веб-страниц, используя который можно сразу загрузить несколько страниц и файлов.

Wget: основные функции программы

Прежде всего, стоит отметить, что Wget представляет собой программу для скачивания файлов. Поэтому ее основная функция очевидна. Wget может загружать любые материалы из сети Интернет, будь то исполнительные файлы, документы или целые веб-страницы в формате HTML. Можно также загружать файлы из директорий по протоколу FTP. Клиент может осуществлять рекурсивную загрузку в автоматическом режиме, путем перехода по ссылкам в рамках определенного веб-сайта или нескольких веб-сайтов, восстанавливая при этом изначальную структуру веб-страницы. Существует возможность просмотра загруженных веб-сайтов без доступа к сети. Wget изначально адаптировался под нестабильные и медленные типы подключений. Его важной особенностью является возможность восстановления прерванной загрузки файла. Это оказывается возможным в том случае, если сервер поддерживает заголовки RANGE. Wget также может мониторить состояние серверов для дозагрузки и обновления веб-страницы и файлов. При этом Wget проверяет заголовки файлов и поддерживает самую свежую версию. В программе имеется ряд возможностей, которые являются типичными для так называемых утилит-пауков. Такие утилиты исследуют различные сайты и серверы на предмет наличия определенных файлов.

Wget: поддерживаемые платформы

Как уже должно быть ясно, базой для Wget стал Linux. Как ранее уже было сказано, изначально данная утилита работала только на Linux.Однако она быстро набрала популярность и была адаптирована для использования в других системах. Так, к примеру, можно найти версию Wgetдля операционной системы Windows 7 и более современных операционных систем. Имеются также сборки с графическим интерфейсом. Что же касается операционной системы Linux, то Wget нередко вшивается в дистрибутив. В некоторых сборках операционной системы Linux терминалы изначально поддерживают команды Wget. Такие потребительские дистрибутивы, как Ubuntu, open SUSE, Fedora работают с программой Wget из коробки. Далее мы более подробно рассмотрим программу.

Команды Wget: список основных параметров

К основному списку команд Wget относятся:

— V – позволяет определить версию программы, используемую в данный момент;

— h  — показывает наиболее полный список команд для работы с приложением;

— b – дает возможность перевести программу в фоновый режим.

Список параметров сообщений команд Wget дает возможность полностью контролировать всю отображаемую информацию. Приведем примерный список:

— ologfile – создает файл-журнал, в который записывается весь процесс работы приложения;

— alogfile – дает возможность дополнить существующий файл-журнал вместо создания нового журнала;

— d – отображает информацию, необходимую разработчикам и отладчикам, помогать решать проблемы и исправлять ошибки, возникающие в процессе работы клиента;

— q – отвечает за отображение сообщений;

— v – предоставляет подробный отчет обо всех процессах, которые в реальном времени происходят в программе;

— nv – сокращает информацию, которую пользователь получает в сообщениях. В результате остается только необходимая информация и оповещения о возникающих ошибках;

— i-file – команда позволяет выполнить сканирование файла, вычленив из него ссылку, при этом можно использовать файлы различных форматов, в том числе и HTML, однако в случае использования данной команды не стоит в командной строке указывать путь к файлу;

— f – провоцирует программу на чтение файла как HTML. В случае использования данной команды для работы с локальным документом HTML может возникнуть ошибка.

Список параметров загрузки

Приведем базовый перечень команд для работы с загрузкой файлов при помощи программы Wget.

  • Bind-address=ADDRESS – эта команда дает возможность передать данные bind в ADDRESS локальной машины. Команда необходима при использовании соединения TCP/IP для точного указания адреса IP или нескольких;
  • t-number (необходимо указать число) – позволяет пользователю выбрать количество повторов загрузки. Значение number, чтобы избежать повторов следует указать равным нулю.
  • nc – эта команда дает возможность вернуть загружаемый файл в прежнее состояние в том случае, если произошел сбой сети и загрузка был прервана. Если не использовать команды для дозагрузки (-r, -nc, — N), Wget создаст его копию и заново начнет загрузку.
  • r – позволяет заменить существующие файлы;
  • c – способствует дозагрузке файла при потере соединения и в том случае, если Wget прекратил самостоятельные попытки для восстановления подключения. Перед ссылкой на файл достаточно просто указать данную команду. Если аналогичный файл найдется в используемой директории, то Wget выполнит его идентификацию и примет в автоматическом режиме решение о дозагрузке. Можно использовать команду только на тех серверах, в которых имеется поддержка заголовков RANGE.
  • Progress – дает возможность выбрать тип отображения прогресса загрузки. Можно указать progress=dot или progress=bar;
  • Spider – заменяет команду загрузки файла на проверку наличия на сервере;
  • w – указывает время перерыва между загрузками;
  • q – позволяет регулировать размер загружаемых файлов и лимитировать чрезмерный объем. Стоит отметить, что вне зависимости от выставленной квоты один файл будет загружен (то есть, данная опция не будет работать с одним файлом, какой-бы вес он не имел);

Перечень параметров HTTP

— http-user  и http-password – дают возможность указать логин и пароль для авторизации на ресурсе, с которого будут загружаться файлы;

— C=on/off – дает возможность включить или отключить кэширование информации на стороне сервера;

— cookies=on/off – то же самое, только для cookies – дает возможность остановить или возобновить обмен данными cookie, которые необходимы серверу для ведения статистики посещений. Данная опция включена по умолчанию, однако cookie-файлы не сохраняются на жестком диске;

— save-cookies – позволяет сохранить файлы cookie (только свежую информацию);

— proxy-user и proxy-passwd – дает возможность указать логин и пароль для авторизации на прокси-сервере, если он задействован.

Список параметров FTP

Приведем список более продвинутых параметров для работы с Wget:

— nr – устанавливает запрет на удаление временных файлов из директории listing, которые самопроизвольно генерируются при работе с FTP;

— gon/off – дает утилите возможность использовать специальные символы в директориях FTP;

— passive-ftp – можно использовать данную команду при наличииFirewall, чтобы активировать пассивный режим FTP.

Команды Wget: примеры использования

Самый простой и банальный пример работы с программой Wget – это, конечно же, загрузка файлов. Для того чтобы протестировать команды Wget, можно начать с простого. Достаточно просто найти ссылку на какой-либо файл в сети и ввести в консоль terminal: Wget*ссылка с указанием пути к файлу*. Для того чтобы продолжить загрузку файла, необходимо использовать следующую команду: Wget-c*ссылка с указанием полного и точного пути к файлу*. Если у вас имеется запланированный список со ссылками на документы и файлы, то можно использовать следующую команду: Wget –Ifilelist.txt. Что же касается процесса загрузки веб-страниц, то здесь все немного сложнее. Но и возможностей при этом намного больше. Чтобы каждый раз не вводить параметры, когда возникает необходимость загрузки веб-сайта, можно создать скрипты или прописать все настройки в файле .wgetrc. Чтобы сохранить веб-страницу в виде ссылок, необходимо использовать команду Wget–m*ссылка с указанием точного и полного пути к файлу*. Чтобы страница была доступна для просмотра без подключения к интернету, можно использовать команду Wget-r – 10 – k *ссылка с указанием полного и точного пути к файлу*. Возникновение ошибки типа команда Wget не найдена может означать, что была допущена опечатка или параметр был указан неправильно.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *