Универсальный парсер сайтов

Content Downloader является профессиональной программой. С помощью него можно парсить любые сайты в интернете (за редким исключением), собирать с них любую информацию (товары, статьи, картинки, номера телефонов, почтовые адреса, различные файлы (например: pdf, zip, mp3), URL-адреса…) и сохранять полученную информацию в любом удобном формате (CSV, XML, txt, html, xls…) с заданной пользователем структурой. Программа является многофункциональной, универсальной и настраивается отдельно под парсинг каждого WEB-ресурса. Все настройки можно сохранять в файлы проектов и затем загружать их в любое время для последующего редактирования или парсинга.

Разработка Content Downloader началась в октябре 2009 года. С тех пор было выпущено более 250 обновлений (просмотреть лог изменений).

Обновления осуществляются в полуавтоматическом режиме (программа при запуске оповещает о наличии доступных обновлений, после чего вы принимаете решение об обновлении и выполняете простые указанные действия).

Программа имеет систему помощи с достаточным количеством различных материалов. Изучив экспресс-курс из справки можно сразу приступать к выполнению большинства базовых задач. Знания языков программирования для работы с программой не требуется.

РЕКОМЕНДАЦИЯ: Для более подробного и полного ознакомления с функционалом Content Downloader изучайте его систему помощи.

Демо версия Content Downloader X1

Купить программу (есть мгновенная доставка)

Парсинг товаров ▽	Парсинг XML	Парсинг JSON	Парсинг статей	Парсинг картинок и файлов ▽	Обработка контента при парсинге ▽
Парсинг ссылок ▽	Обработка CSV ▽	Парсинг через браузер Автоматизация действий ▽	Подключение CSV, XML, TXT файлов при парсинге ▽	Создание дополнительных GET или POST запросов ▽	Автоматическая загрузка контента на FTP
Парсинг заскриптованных сайтов	Мониторинг цен товаров	Парсинг комментариев или отзывов	Парсинг контактов

Системные требования

— Windows 7 и выше;
— Наличие в системе диска с меткой C;
— Права администратора в системе;
— Установленный в системе Internet Explorer Версии 11;
— Разрешение экрана: от 1366*768;
— Стабильный интернет без прокси и экранов;
— Полная работоспособность системы и ее DLL-библиотек;
— Если пользуетесь антивирусом, используйте добротный (некоторые антивирусы мешают работе программ и могут создавать ложные тревоги).

Требования к пользователю

— Желание работать с программой (это важно);
— Быть хорошим человеком (это важно);
— Наличие логического мышления.

Лицензирование

Вы покупаете ключ для личного использования (передача третьим лицам запрещена) и можете использовать его на своем или арендованном компьютере.

Срок действия ключа не ограничен по времени.

При покупке ключа вы получаете возможность на определенный срок получать свежие обновления. По истечении срока подписки на обновления ее можно продлять. Подробнее о подписке читайте тут.

1 ключ привязывается к одному ПК. При желании можно активировать старый ключ на новом ПК или системе (повторная активация проходит обычным способом, согласно инструкции, как и в первый раз), но следует учесть, что каждый ключ можно активировать не чаще, чем 1 раз в трое суток!

Если вам требуется использовать программу на нескольких компьютерах, например, на работе и дома, оплатите дополнительный ключ для личного использования с большой скидкой.

При приобретении лицензии не с максимальным уровнем в будущем для вас возможен ее апгрейд до желаемого типа (на странице оплаты программы).

Обращаем ваше внимание на то, что в стоимость продукта не включены услуги по его настройке! Вы можете самостоятельно изучить программу, используя имеющиеся на сайте материалы системы помощи (http://sbfactory.ru/cd/). В обязанности технической поддержки входит только решение проблем с активацией программы! Ответы на остальные вопросы даются на наше усмотрение!

При активации своих ключей вы будете вводить почту, которая привяжется к ним раз и навсегда (перепривязку почты мы не производим, так как работоспособности почты не требуется для работы программы, достаточно указать правильную почту при повторной активации ключа). Настоятельно рекомендуем записать в надежное место ваш ключ и почтовый адрес, с которым вы его активировали!

Демонстрационное видео

Скриншоты программы

Примеры типовых задач

— Парсинг интернет-магазинов в CSV, XLS, XML
— Парсинг статей с картинками
— Парсинг файлов, картинок
— Парсинг контактных данных (телефоны, e-mail)
— Автоматический поиск текста статей на сайтах
— Автоматическая отправка MySQL-запросов при парсинге контента (через подключаемый PHP-скрипт, например, для пополнения баз, обновления строк баз)
— Обработка CSV-файлов через встроенный редактор (выполнить слияние двух CSV по ключевому столбцу и многое другое)
— Автоматическая имитация действий пользователя в браузере (нажатие кнопок, вставка текста в формы, прокрутка WEB-страниц и многое другое)
— …

Парсинг и обработка контента

Парсинг контента в программе осуществляется во вкладке «Контент» (смотрите видео или скриншоты).

Парсить можно практически любой WEB-контент, вы задаете границами парсинга, какую информацию выбирать из кода и можете макросами шаблона вывода загружать картинки и файлы на локальный диск.

В Content Downloader есть огромное количество функций и макросов для обработки контента прямо при парсинге. Одна только функция поиск-замены имеет очень большие возможности по обработке данных.

Также к шаблону вывода (с помощью макросов PHP_SCRIPT) можно подключать произвольные PHP-скрипты (размещенные на сервере) для специализированной обработки данных или для «общения» с базой MySQL.

Структуру сохраняемых данных вы задаете размещая макросы границ парсинга в коде редактора шаблона вывода.

Во вкладке «Контент» указывается кодировка сохраняемых данных и расширение файла(ов).

В программе есть множество библиотек для отправки HTTP/HTTPS GET и POST-запросов. Также в парсере есть все нужные инструменты для подгрузки дополнительных данных, которые на сайтах могут подгружаться скриптами, как дополнительный контент.

Парсинг ссылок

Помимо инструментов для генерации ссылок и парсингу ссылок из XML-карт сайтов, в программе есть собственный сканер сайтов, который позволяет обходить какой-либо WEB-сайт (как поисковый робот) и искать на нем нужные для результата URL-адреса.

Во всех инструментах парсинга ссылок есть мощные возможности фильтрации. Правильно настроив фильтры ссылок вы будете собирать только нужные URL-адреса.

Относительные ссылки при парсинге автоматически преобразуются в абсолютные (согласно всем правилам преобразования, включая учет BASE).