Content Downloader X1 - универсальный парсер сайтов

Content Downloader X1 – универсальный парсер сайтов

content downloader скачать/обновить программу
просмотреть весь лог изменений
экспресс-курс
Лицензионное соглашение (рекомендуем ознакомиться!)
скачать демо-версию

Если интернет – ваша работа, то Content Downloader должен стать вашими руками ©

CD X1



Для получения консультаций, для заказа готовых проектов настроек по сбору товаров с интернет-магазинов или любой другой информации с сайтов напишите по Whatsap/Telegram +79833813211 (Сергей).


>>> Демо версия Content Downloader X1 <<<

Тут вы можете более детально ознакомиться с основными возможностями программы




Парсинг в любые интернет-магазины

С помощью Content Downloader можно парсить товары в CSV с любым нужным форматом. Вы сами можете создать любой набор столбцов для файла с результатами парсинга.


Возможность парсить практически все сайты

В программе используются коммерческий компонент Clever Intetrnet Suite. Он позволяет отправлять GET/POST запросы с любыми заголовками и работает со всеми HTTPS сайтами.

Также есть возможность использовать для парсинга браузер на основе Chromium, обернутый в нашу оболочку WBAppCEF (клик для справки). При парсинге браузер выполняет все скрипты на WEB страницах + можно эмулировать действия пользователя на WEB страницах (клики, прокрутку, вставка текста и прочее).



Множество функций и макросов для обработки данных при парсинге

Обратите внимание на макросы для подгрузки/обработки данных (клик). Есть возможность удалять лишние HTML теги, создавать любые GET/POST запросы, пересчитывать цены, автоматически парсить характеристики товаров, преобразовывать HTML таблицы и многое другое…


Поддержка

Если у вас появились затруднительные моменты в настройке, вы можете бесплатно задавать вопросы на форуме. При желании можно заказывать полную настройку проектов.


Купить Content Downloader ♥
Content Downloader Start +1 год обновлений (2000 рублей)
Content Downloader Standard +1 год обновлений (2500 рублей)
Content Downloader ULTIMATE +2 года обновлений (3000 рублей)
Content Downloader ULTIMATE (UNLIMITED) + неограниченные по времени обновления + доступ к готовым проектам (5000 рублей)

Различия типов лицензии

Срок действия ключа универсального парсера сайтов не ограничен по времени

При покупке Content Downloader вы бонусом получаете возможность обновлять ее бесплатно на протяжении 1 года с момента активации (2 года или бессрочно в случае приобретения лицензии ULTIMATE) (далее, при желании, можно в любое время пролонгировать подписку на обновления)

ключ придет в течение 30 минут, максимум – 8 часов с момента оплаты

Просто оплатите нужную сумму на один из указанных ниже реквизитов и отправьте нам письмо на e-mail sbfroot@gmail.com с информацией об оплате (сумма и с какого счета/кошелька оплатили). Также желательно в примечании к переводу указать вашу почту.

  • Яндекс счет 41001648375948
  • QIWI +79833813211
  • PayPal sbfroot@gmail.com (Если вы отправляете платеж в другой валюте (не рубли), то посчитайте сумму по курсу ЦБ РФ (сумму в рублях разделить на курс валюты), сумма оплаты через PayPal на 6% больше!
  • Перевод на карту VISA 4279 3806 4767 2239 (Сбербанк, Зайковский Сергей Владимирович)

СПАСИБО!
Один код активации (1 лицензия) может использоваться только на одном компьютере (переносить программу с одного ПК на другой можно 1 раз в двое суток). Дополнительный ключ (для использования ТОЛЬКО ВАМИ на втором ПК, например, на работе) стоит 750 WMR. Для покупки дополнительного кода активации действуйте согласно этой инструкции.

После покупки не максимальной версии всегда возможен переход на более продвинутый тип лицензии.

Также вы можете купить комплект программ: Content Downloader ULTIMATE + Зеброид (со скидкой около 30%).
Различия типов лицензии: Start, Standard, ULTIMATE
Start: Базовая версия программы (можно устанавливать до 5 потоков при парсинге контента и сканировании сайта на предмет ссылок)
+ 1 год подписки на обновления

Standard: Оптимальный выбор (можно устанавливать до 20 потоков при парсинге контента и сканировании сайта на предмет ссылок)
+ 1 год подписки на обновления

ULTIMATE: Лучший выбор, открыты все возможности! (можно устанавливать до 50 потоков при парсинге контента и до 200 потоков при сканировании сайта)
+ WBApp (имитация кликов по кнопкам WEB-страниц, прокрутка WEB-страниц вниз и многое другое)
+ Мощные макросы парсинга таблиц характеристик товаров
+ 2 года подписки на обновления!

Под потоками понимается одновременное количество параллельных запросов к сайту при парсинге.

Примечание: После покупки не максимальной версии всегда возможен переход на более продвинутый тип лицензии.

Системные требования
– Windows 7 и выше (Рекомендуется использовать программу на OS Windows10 64-bit!);
– Наличие в системе диска с меткой C;
– Права администратора в системе;
– Internet Explorer Версии 11 и выше;
– Разрешение экрана: от 1366*768 до 1920*1080;
– Стабильный интернет без прокси в 512 и более кбит/с;
– Так как Content Downloader использует некоторые системные библиотеки DLL, требуется их полная работоспособность.
Дополнительная информация
Срок действия ключа универсального парсера сайтов не ограничен по времени

При покупке программы вы бонусом получаете возможность обновлять ее бесплатно на протяжении 1 года с момента активации (2 года в случае приобретения лицензии ULTIMATE) (далее, при желании, можно в любое время пролонгировать подписку на обновления)

Обращаем ваше внимание на то, что в стоимость Content Downloader не включены услуги по его настройке! Вы можете самостоятельно изучить программу, используя имеющиеся на сайте материалы системы помощи (http://sbfactory.ru/cd/). В обязанности технической поддержки входит только решение проблем активации программы! Ответы на остальные вопросы даются на наше усмотрение!

Также у специалистов по настройке вы можете заказать следующие платные услуги:
– Настройку парсера сайтов под определенный ресурс (или ресурсы);
– Персональное обучение работе с программой;
– Доработку ваших проектов.
Подчеркиваем, что мы не отвечаем за работу специалистов по настройке (так как это фрилансеры). Но мы давно и тесно с ними сотрудничаем, контролируем их деятельность и принимаем от вас любые комментарии по их работе.

После покупки ключа универсального парсера сайтов вы обязаны хранить его! Настоятельно рекомендуем записать код активации (ключ) и e-mail адрес (с которым вы его активировали) в “блокнот из бумаги”. Как показывает практика, это бывает очень полезно!

Скриншоты программы
Универсальный парсер сайтов Content Downloader

Инструмент задания границ парсинга

Сканер сайтов

Редактор таблиц CSV

Окно настроек HTTP запросов программы

Фильтры URL

WBAppCEF с движком браузера Chromium

Инструменты для парсинга ссылок

Дополнительные особенности
1) Полная универсальность

Одна программа для сбора любой информации с любых сайтов (весьма сильно). Да, она может показаться сложноватой в освоении, но зато какие большие возможости

2) Продукт, который развивается более 10 лет

Если ознакомиться с логом доработок (смотрите выше) станет понятно, сколько сил и труда вложено в универсальный парсер сайтов

3) Честный и полностью контролируемый универсальный парсер

Вы получаете полный контроль на каждом этапе. При сборе ссылок, парсинге и обработке контента, при публикации данных. Вы полностью управляете процессом и это позволяет делать уникальное

4) Серьезные технологии

Помимо оптимизированных многопоточных функций в Content Downloader используются достойные компоненты. Например, коммерческая библиотека для выполнения запросов Clever Internet Suite (позволяет делать запросы к любым сайтам и имеет очень большой функционал). Также в программе используется современный движок браузера Chromium (с ним можно парсить сайты, где обычные GET или POST запросы не справятся, также можно автоматизировать действия пользователя в браузере)

5) Лояльная цена

От 2000 до 5000 рублей (в зависимости от типа лицензии). Полностью функциональная версия за 3000 рублей

6) Поддержка

Есть вопрос – мы постараемся ответить на форуме. Хотите полностью настроенный проект – мы сделаем за подобающую стоимость

7) Развитая и полноценная справка

Обратите внимание на систему помощи, сколько в ней описано различных возможностей (ссылка справа в сайдбаре)

8) YouTube канал

Пожалуйста, посмотрите демонстрационное видео универсального парсера сайтов (не забыв выбрать качество HD в плеере):



Описание универсального парсера сайтов Content Downloader

Content Downloader – профессиональная программа, предназначенная для парсинга любой информации с любых сайтов (где это вообще возможно)

Content Downloader может применяться для:
Парсинга товаров интернет-магазина в таблицу CSV (с любым требуемым набором столбцов на выходе)
Парсинга статей с картинками и файлами (например, файлами торрентов, флеш-игр или рефератов) в txt или htm форматы
– Парсинга телефонных номеров, e-mail адресов или любой другой контактной информации (в CSV, txt или html, как вам угодно)
– Парсинга скрытой информации, доступной только после клика, например, на кнопку “показать номер” или “показать контактные данные” (для этого требуется тип лицензии ULTIMATE, включающий в себя приложение WBApp, которое и будет имитировать клики по кнопкам)
– Парсинга скрытой информации, доступной после авторизации;
– Парсинга любых, удовлетворяющих заданным фильтрам, ссылок с сайта (до 1 миллиона)
– Парсинга любых частей кода WEB-документов и их вывод в нужном для вас формате
– Парсинга XML-карт сайтов

Парсер сайтов является универсальным! Перечислять полный список его областей применений можно очень долго, так как он ограничен лишь воображением…

Принцип работы Content Downloader очень удобен, эффективен и прост: вы указываете программе (в HTML-коде страницы), с каких частей веб-страниц брать данные, и в каком формате их выводить. Если вы хотите ознакомиться с этим более детально – пожалуйста кликните сюда.

Некоторые дополнительные возможности универсального парсера сайтов:
– Многопоточность
– Авторизация через передачу cookies из IE или через POST-Запрос
– Возможность задать любые cookies
– Возможность задавать любой user agent (даже менять их при парсинге)
– Возможность использовать список прокси (в том числе и SOCKS с авторизацией)
– Возможность задавать паузу между запросами и изменять количество потоков
– Возможность обработки данных непосредственно в процессе парсинга
– Загрузка файлов и картинок на ваш FTP-сервер прямо при парсинге контента
– Автоматическая загрузка результирующего CSV-файла на FTP-сервер после процедуры парсинга контента
– Возможность парсить разом огромное количество характеристик товаров (только для ULTIMATE-версий)
– Возможность отправки данных в базу MySQL сразу при парсинге
– Возможность подключения собственных PHP-скриптов для обработки данных при парсинге контента
– Возможность парсить через Internet Explorer (DOM) (с поддержкой выполнения различных скриптов);

Варианты сохранения данных:
– В один файл/в несколько файлов
– Расширения: CSV (с любыми заданными столбцами), htm, txt, php, MySQL

Поддерживаемые кодировки парсинга: Windows-1251, koi, utf-8
Поддерживаемые кодировки сохранения контента: Windows-1251, utf-8, utf-8 без BOM

Также в универсальном парсере сайтов Content Downloader есть возможность создать xml файл импорта для WordPress из файлов htm или txt с диска компьютера.

Для более углубленного ознакомления с парсером Content Downloader вы всегда можете просмотреть материалы системы помощи.

С уважением к вам, администрация сайта…

PS: В тексте часто используется словосочетание универсальный парсер сайтов для определенных целей. Надеемся на ваше понимание. Спасибо!

Вы можете пропустить до конца и оставить ответ. Pinging в настоящее время не доступны.
Есть 1,382 коммент. к теме: “Content Downloader X1 – универсальный парсер сайтов”
  1. jimi says:

    Здравствуйте!
    Подскажите, пожалуйста, Ваша программа может парсить данные с сайта, на котором информация подгружается java или ajax после загрузки основного тела сайта или если данные грузятся во фрейме асинхронно?

    • admin says:

      Здравствуйте.

      Теоретически да. Можете мне на почту sbfroot@gmail.com выслать ссылку, откуда спарсить данные, я проверю возможность.

      Спасибо!

  2. jimi says:

    Спасибо, за столь быстрый ответ. Я Вам вышлю ссылки. Очень нравится Ваш парсер, лишь бы он это мог.

    • admin says:

      Пожалуйста. Будем надеяться. Высылайте…

      PS: Большое спасибо вам на добром слове!

  3. Nucke1avee says:

    Доброго времени суток!

    Хотел купить Content Downloader X1 Ultimate через WebMoney, но после ввода смс-кода подтверждения оплаты выслезает следующее:

    К сожалению, этот товар закончился. Попробуйте поискать похожий товар у других продавцов или загляните позже.

    Деньги не списываются, но и продолжить не могу…

    Что, собственно, делать?

    • admin says:

      Здравствуйте.

      Пожалуйста, пробуйте купить сейчас.

      Спасибо!

  4. mataxah says:

    День добрый!

    Возник вопрос, тестировался ли CD на win10? На 8.1 полет нормальный, но ноут постоянно пытаеться обновиться до 10 – боюсь к-ть это произойдет.

    • admin says:

      Здравствуйте.

      От пользователей Windows 10 нам жалоб не поступало.

      С уважением к вам, Сергей.

  5. Анатоль says:

    Здравствуйте!

    Есть возможность подключения переводчика от Яндекса или Гугла?

  6. Pasha says:

    Добрый день, можно ли установить Content Downloader на Мак ?

    • admin says:

      Здравствуйте.

      Для мак есть прекрасная программа VMWare Fusion. Она позволяет установить и использовать Windows из системы Mac OS X. На такой Windows можно использовать Content Downloader. Очень удобно!

      С уважением к вам, Сергей.

  7. Svetlana says:

    Здравствуйте.

    Как в программе Content Downloader парсить статьи на сайтах? Какие настройки нужно выполнить, чтобы сохранялся только текст статей без картинок?

    • admin says:

      Здравствуйте.

      Настройки к каждому сайту выполняются индивидуально.

      В системе помощи есть много материалов для понимания основ работы с программой http://sbfactory.ru/cd/

      Вы можете задавать вопросы или описать вашу задачу на форуме http://forum.sbfactory.ru/ (с указанием ссылки на желаемый сайт) и мы постараемся вам помочь.

      С уважением к вам, Сергей.

  8. Иван says:

    Добрый вечер. насколько я понял, Стартовая и Стандартная версии отличаются ТОЛЬКО быстродействием. Можно, хотя бы примерно сказать, сколько времени будет идти парсинг 1000 товаров в 20 категориях? Дело в том, что программа будет использована всего один раз для наполнения сайта. Дизайн сайта еще не доведен, но заливать контент уже можно. И время есть.

    • admin says:

      Здравствуйте.

      Навскидку: около 30 минут.

      С уважением к вам, Сергей.

  9. Александр says:

    Привет! Можете помочь? Нужно спарсить 1100 страниц сайта на друпал и сделать xml файл для импорта в вордпресс. Можете? Сколько это будет стоить?

    • admin says:

      Здравствуйте.

      Можем! Этим занимаются специалисты по настройке.

      Их контактные данные и прайс-листы предоставлены на этой странице http://sbfactory.ru/?p=3534

      С уважением к вам, Сергей.

  10. Александр says:

    Еще вопрос по Вашей программе. Например, я хочу спарсить циклическую информацию, которая расположена на одной странице:

    Товар1
    Описание1

    Товар2
    Описание2

    Товар3
    Описание3

    Можно ли сделать так, что при парсинге этой информации, она будет разбиваться на страницы html, чтобы потом всё это выгрузить в вордпресс в виде отдельных постов каждого товара? Если да, то как это делается? Спасибо.

    • admin says:

      Здравствуйте.

      Разбивку на файлы можно организовать макросом шаблона вывода [SAVETOFILE] (http://sbfactory.ru/cd/?p=261)

      Импорт в WP рекомендую производить через CSV-файл. Поэтому советую парсить данные в таблицу CSV (без разбивки на файлы, все в один файл) и производить импорт этого CSV в ваш WordPress.

      Информацию по импорту CSV в WordPress вы можете найти в Google по поисковой фразе wordpress csv import

      С уважением к вам, Сергей.

  11. Владимир says:

    Сергей, добрый день

    Планирую использовать вашу программу только для мониторинга цен конкурентов (10 сайтов) кол-во товаров до 10000 шт, периодичность 2 раза в неделю. От программы нужно название, количество и цена, далее сопоставлять и загружать будет другая программа. Возможно ли это, какую версию рекомендуете приобрести?

    • admin says:

      Здравствуйте.

      Для решения этой задачи рекомендую версию Start

      Спасибо!

  12. Анастасия says:

    Добрый день! При попытке оплаты появляется данное сообщение:

    К сожалению, этот товар закончился. Попробуйте поискать похожий товар у других продавцов или загляните позже.

    • admin says:

      Здравствуйте!

      Приношу свои извинения за предоставленные вам неудобства.

      Попробуйте теперь.

      С уважением к вам, Сергей.

  13. Елена says:

    Здравствуйте! Появилась необходимость массовой загрузки себе на сайт большого кол-ва товаров с других сайтов. Помогите мне разобраться в нескольких моментах:
    1) Не совсем компетентна, можете пояснить пожалуйста, что значит установка до 5 потоков или до 20 потоков (как написано в отличительных характеристиках по версиям). Это имеется ввиду одновременно столько потоков может задействоваться, или с 5 либо 20 источников (сайтов) можно использовать?
    Например если я сейчас с одного сайта одним процессом скачиваю все товары – это считается как 1 поток? А с другого сайта делаю парсинг товаров и это уже как два потока?
    2) Дальнейшее обновление программы происходит бесплатно?
    3) Какое наименование при парсинге картинок им присваивается? Можно ли привязать создание их наименований например в соответствии с артикулом товара, или задать свой отсчет от 001… и т.п.?

    • admin says:

      Здравствуйте.

      1) Под потоками понимается одновременное количество запросов к сайту (запросы для загрузки WEB-страниц с сайта делаются одновременно, параллельно);
      2) За обновления денег с наших клиентов не берем;
      3) Можно сделать любое имя для картинок http://sbfactory.ru/cd/?p=1070 (переименование файлов).

      С уважением к вам, Сергей.

  14. Тимур says:

    Здравствуйте меня интересует возможность парсинга магазина brain_com и заливка товара с картинками, описанием и характеристиками в магазин на движке опенкарт. Админы магазина источника банят парсинг как ваш парсер обходит это.

    • admin says:

      Здравствуйте.

      Парсить этот сайт возможно!

      Методы обхода бана нужно подбирать индивидуально для каждого сайта. Можно парсить в 1 поток с подобранной паузой между запросами или использовать список прокси-серверов (ctrl+r в программе).

      С уважением к вам, Сергей…

      • Тимур says:

        Можно ли делать парсинг 1.так чтоб на выходе было, категории,описание товара, характеристики и фотографии. 2.Я так понял на выходе мы получаем файл csv который затем импортируем на сайт, правильно

  15. Valera says:

    Доброе время суток!
    Есть ли поддержка xpath как метода указания границ парсинга, если нет, то планируется ли в новых версиях?
    Есть ли возможность рандомизировать (в определённом диапазоне) длительность паузы между запросами, если нет, то планируется ли в новых версиях?

    • admin says:

      Здравствуйте!

      1) http://sbfactory.ru/cd/?p=1259

      — Для парсинга всех найденных регулярным выражением вхождений (аналогично повторяющимся границам парсинга), с включенным «RegExpr mode», замените значение «[NIL]» в соответствующем текстовом поле (помечено зеленым маркером на скриншоте 3) на нужный вам разделитель вхождений, найденных заданным регулярным выражением в коде WEB-документа;

      2) Есть, например: 1000-2000

      С уважением к вам, Сергей.

  16. Евген says:

    Здравствуйте, хотел спросить, могу ли я с помощью вашей программы сделать парсинг вот этого сайта? neandroid_com/

  17. Сергей says:

    Подскажите пожалуйста-парсинг производится я так понял в формате CSV,возможно ли парсит в другом формате (для загрузки файла в CMS OPENCART) или переформатировать файл CSV в другой формат,или просто CSV можно загрузить в базу данных!?

    • admin says:

      Здравствуйте.

      Вы можете задавать любое расширение выходного файла (при том, что формат его строится по шаблону вывода, структура которого является простой текстовой и вы сами ее “строите”).

      Например, можно парсить в файлы: txt, htm, sql, php и так далее (простые текстовые). Но не: xls, xlsx, doc и так далее…

      Также можно добавлять записи в БД MySQL прямо в процессе парсинга http://sbfactory.ru/cd/?p=419

      С уважением к вам, Сергей.

  18. Сергей says:

    Можно ли сохранить после парсинга в формате yml, а не в csv ?

    • admin says:

      Здравствуйте.

      Я не могу ответить на ваш вопрос, так как не знаком с форматом yml.

      С уважением к вам, Сергей.

  19. Smuta says:

    Добрый день. Под Mac OS установится?

    • admin says:

      Здравствуйте.

      Программа для OS Windows. На OS X программы для Windows не запускаются.

      С уважением к вам, Сергей.

  20. Сергей says:

    Подскажите пожалуйста по поводу работы с MySQL!
    Я так понимаю что при парсинге карточек,товаров с интернет магазина поставщика,в базе данных сразу будут создаватся таблицы!? Т.Е. можно обойтись без файлов,а сразу напрямую парсить с одного интернет магазина в другой?
    Имеет ли значение CMS на которой изготовлен сайт донор?
    Парсер существует как самостоятельное П.О.,и не имеет привязок к доменам,т.е. я смогу использовать его для всех 3 моих магазинов?
    Спасибо.

    • admin says:

      Здравствуйте!

      Да, верно! Записи будут создаваться при парсинге каждого товара.

      Вот соответствующая информация из системы помощи http://sbfactory.ru/cd/?p=419

      Каждая CMS имеет свою структуру БД и добавлять записи вам нужно будет согласно ее структуре!

      Программа “не имеет привязок” к доменам. Можно парсить и наполнять сколько угодно много сайтов.

      С уважением к вам, Сергей…

Написать комментарий

Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)

Добавить изображение к комментарию (jpg)