Content Downloader X1 - универсальный парсер сайтов

Content Downloader X1 – универсальный парсер сайтов

content downloader скачать/обновить программу
просмотреть весь лог изменений
экспресс-курс
Лицензионное соглашение (рекомендуем ознакомиться!)
скачать демо-версию

Если интернет – ваша работа, то Content Downloader должен стать вашими руками ©

CD X1



Для получения консультаций, для заказа готовых проектов настроек по сбору товаров с интернет-магазинов или любой другой информации с сайтов напишите по Whatsap/Telegram +79833813211 (Сергей).


>>> Демо версия Content Downloader X1 <<<

Тут вы можете более детально ознакомиться с основными возможностями программы




Парсинг в любые интернет-магазины

С помощью Content Downloader можно парсить товары в CSV с любым нужным форматом. Вы сами можете создать любой набор столбцов для файла с результатами парсинга.


Возможность парсить практически все сайты

В программе используются коммерческий компонент Clever Intetrnet Suite. Он позволяет отправлять GET/POST запросы с любыми заголовками и работает со всеми HTTPS сайтами.

Также есть возможность использовать для парсинга браузер на основе Chromium, обернутый в нашу оболочку WBAppCEF (клик для справки). При парсинге браузер выполняет все скрипты на WEB страницах + можно эмулировать действия пользователя на WEB страницах (клики, прокрутку, вставка текста и прочее).



Множество функций и макросов для обработки данных при парсинге

Обратите внимание на макросы для подгрузки/обработки данных (клик). Есть возможность удалять лишние HTML теги, создавать любые GET/POST запросы, пересчитывать цены, автоматически парсить характеристики товаров, преобразовывать HTML таблицы и многое другое…


Поддержка

Если у вас появились затруднительные моменты в настройке, вы можете бесплатно задавать вопросы на форуме. При желании можно заказывать полную настройку проектов.


Купить Content Downloader ♥
Content Downloader Start +1 год обновлений (2000 рублей)
Content Downloader Standard +1 год обновлений (2500 рублей)
Content Downloader ULTIMATE +2 года обновлений (3000 рублей)
Content Downloader ULTIMATE (UNLIMITED) + неограниченные по времени обновления + доступ к готовым проектам (5000 рублей)

Различия типов лицензии

Срок действия ключа универсального парсера сайтов не ограничен по времени

При покупке Content Downloader вы бонусом получаете возможность обновлять ее бесплатно на протяжении 1 года с момента активации (2 года или бессрочно в случае приобретения лицензии ULTIMATE) (далее, при желании, можно в любое время пролонгировать подписку на обновления)

ключ придет в течение 30 минут, максимум – 8 часов с момента оплаты

Просто оплатите нужную сумму на один из указанных ниже реквизитов и отправьте нам письмо на e-mail sbfroot@gmail.com с информацией об оплате (сумма и с какого счета/кошелька оплатили). Также желательно в примечании к переводу указать вашу почту.

  • Яндекс счет 41001648375948
  • QIWI +79833813211
  • PayPal sbfroot@gmail.com (Если вы отправляете платеж в другой валюте (не рубли), то посчитайте сумму по курсу ЦБ РФ (сумму в рублях разделить на курс валюты), сумма оплаты через PayPal на 6% больше!
  • Перевод на карту VISA 4279 3806 4767 2239 (Сбербанк, Зайковский Сергей Владимирович)

СПАСИБО!
Один код активации (1 лицензия) может использоваться только на одном компьютере (переносить программу с одного ПК на другой можно 1 раз в двое суток). Дополнительный ключ (для использования ТОЛЬКО ВАМИ на втором ПК, например, на работе) стоит 750 WMR. Для покупки дополнительного кода активации действуйте согласно этой инструкции.

После покупки не максимальной версии всегда возможен переход на более продвинутый тип лицензии.

Также вы можете купить комплект программ: Content Downloader ULTIMATE + Зеброид (со скидкой около 30%).
Различия типов лицензии: Start, Standard, ULTIMATE
Start: Базовая версия программы (можно устанавливать до 5 потоков при парсинге контента и сканировании сайта на предмет ссылок)
+ 1 год подписки на обновления

Standard: Оптимальный выбор (можно устанавливать до 20 потоков при парсинге контента и сканировании сайта на предмет ссылок)
+ 1 год подписки на обновления

ULTIMATE: Лучший выбор, открыты все возможности! (можно устанавливать до 50 потоков при парсинге контента и до 200 потоков при сканировании сайта)
+ WBApp (имитация кликов по кнопкам WEB-страниц, прокрутка WEB-страниц вниз и многое другое)
+ Мощные макросы парсинга таблиц характеристик товаров
+ 2 года подписки на обновления!

Под потоками понимается одновременное количество параллельных запросов к сайту при парсинге.

Примечание: После покупки не максимальной версии всегда возможен переход на более продвинутый тип лицензии.

Системные требования
– Windows 7 и выше (Рекомендуется использовать программу на OS Windows10 64-bit!);
– Наличие в системе диска с меткой C;
– Права администратора в системе;
– Internet Explorer Версии 11 и выше;
– Разрешение экрана: от 1366*768 до 1920*1080;
– Стабильный интернет без прокси в 512 и более кбит/с;
– Так как Content Downloader использует некоторые системные библиотеки DLL, требуется их полная работоспособность.
Дополнительная информация
Срок действия ключа универсального парсера сайтов не ограничен по времени

При покупке программы вы бонусом получаете возможность обновлять ее бесплатно на протяжении 1 года с момента активации (2 года в случае приобретения лицензии ULTIMATE) (далее, при желании, можно в любое время пролонгировать подписку на обновления)

Обращаем ваше внимание на то, что в стоимость Content Downloader не включены услуги по его настройке! Вы можете самостоятельно изучить программу, используя имеющиеся на сайте материалы системы помощи (http://sbfactory.ru/cd/). В обязанности технической поддержки входит только решение проблем активации программы! Ответы на остальные вопросы даются на наше усмотрение!

Также у специалистов по настройке вы можете заказать следующие платные услуги:
– Настройку парсера сайтов под определенный ресурс (или ресурсы);
– Персональное обучение работе с программой;
– Доработку ваших проектов.
Подчеркиваем, что мы не отвечаем за работу специалистов по настройке (так как это фрилансеры). Но мы давно и тесно с ними сотрудничаем, контролируем их деятельность и принимаем от вас любые комментарии по их работе.

После покупки ключа универсального парсера сайтов вы обязаны хранить его! Настоятельно рекомендуем записать код активации (ключ) и e-mail адрес (с которым вы его активировали) в “блокнот из бумаги”. Как показывает практика, это бывает очень полезно!

Скриншоты программы
Универсальный парсер сайтов Content Downloader

Инструмент задания границ парсинга

Сканер сайтов

Редактор таблиц CSV

Окно настроек HTTP запросов программы

Фильтры URL

WBAppCEF с движком браузера Chromium

Инструменты для парсинга ссылок

Дополнительные особенности
1) Полная универсальность

Одна программа для сбора любой информации с любых сайтов (весьма сильно). Да, она может показаться сложноватой в освоении, но зато какие большие возможости

2) Продукт, который развивается более 10 лет

Если ознакомиться с логом доработок (смотрите выше) станет понятно, сколько сил и труда вложено в универсальный парсер сайтов

3) Честный и полностью контролируемый универсальный парсер

Вы получаете полный контроль на каждом этапе. При сборе ссылок, парсинге и обработке контента, при публикации данных. Вы полностью управляете процессом и это позволяет делать уникальное

4) Серьезные технологии

Помимо оптимизированных многопоточных функций в Content Downloader используются достойные компоненты. Например, коммерческая библиотека для выполнения запросов Clever Internet Suite (позволяет делать запросы к любым сайтам и имеет очень большой функционал). Также в программе используется современный движок браузера Chromium (с ним можно парсить сайты, где обычные GET или POST запросы не справятся, также можно автоматизировать действия пользователя в браузере)

5) Лояльная цена

От 2000 до 5000 рублей (в зависимости от типа лицензии). Полностью функциональная версия за 3000 рублей

6) Поддержка

Есть вопрос – мы постараемся ответить на форуме. Хотите полностью настроенный проект – мы сделаем за подобающую стоимость

7) Развитая и полноценная справка

Обратите внимание на систему помощи, сколько в ней описано различных возможностей (ссылка справа в сайдбаре)

8) YouTube канал

Пожалуйста, посмотрите демонстрационное видео универсального парсера сайтов (не забыв выбрать качество HD в плеере):



Описание универсального парсера сайтов Content Downloader

Content Downloader – профессиональная программа, предназначенная для парсинга любой информации с любых сайтов (где это вообще возможно)

Content Downloader может применяться для:
Парсинга товаров интернет-магазина в таблицу CSV (с любым требуемым набором столбцов на выходе)
Парсинга статей с картинками и файлами (например, файлами торрентов, флеш-игр или рефератов) в txt или htm форматы
– Парсинга телефонных номеров, e-mail адресов или любой другой контактной информации (в CSV, txt или html, как вам угодно)
– Парсинга скрытой информации, доступной только после клика, например, на кнопку “показать номер” или “показать контактные данные” (для этого требуется тип лицензии ULTIMATE, включающий в себя приложение WBApp, которое и будет имитировать клики по кнопкам)
– Парсинга скрытой информации, доступной после авторизации;
– Парсинга любых, удовлетворяющих заданным фильтрам, ссылок с сайта (до 1 миллиона)
– Парсинга любых частей кода WEB-документов и их вывод в нужном для вас формате
– Парсинга XML-карт сайтов

Парсер сайтов является универсальным! Перечислять полный список его областей применений можно очень долго, так как он ограничен лишь воображением…

Принцип работы Content Downloader очень удобен, эффективен и прост: вы указываете программе (в HTML-коде страницы), с каких частей веб-страниц брать данные, и в каком формате их выводить. Если вы хотите ознакомиться с этим более детально – пожалуйста кликните сюда.

Некоторые дополнительные возможности универсального парсера сайтов:
– Многопоточность
– Авторизация через передачу cookies из IE или через POST-Запрос
– Возможность задать любые cookies
– Возможность задавать любой user agent (даже менять их при парсинге)
– Возможность использовать список прокси (в том числе и SOCKS с авторизацией)
– Возможность задавать паузу между запросами и изменять количество потоков
– Возможность обработки данных непосредственно в процессе парсинга
– Загрузка файлов и картинок на ваш FTP-сервер прямо при парсинге контента
– Автоматическая загрузка результирующего CSV-файла на FTP-сервер после процедуры парсинга контента
– Возможность парсить разом огромное количество характеристик товаров (только для ULTIMATE-версий)
– Возможность отправки данных в базу MySQL сразу при парсинге
– Возможность подключения собственных PHP-скриптов для обработки данных при парсинге контента
– Возможность парсить через Internet Explorer (DOM) (с поддержкой выполнения различных скриптов);

Варианты сохранения данных:
– В один файл/в несколько файлов
– Расширения: CSV (с любыми заданными столбцами), htm, txt, php, MySQL

Поддерживаемые кодировки парсинга: Windows-1251, koi, utf-8
Поддерживаемые кодировки сохранения контента: Windows-1251, utf-8, utf-8 без BOM

Также в универсальном парсере сайтов Content Downloader есть возможность создать xml файл импорта для WordPress из файлов htm или txt с диска компьютера.

Для более углубленного ознакомления с парсером Content Downloader вы всегда можете просмотреть материалы системы помощи.

С уважением к вам, администрация сайта…

PS: В тексте часто используется словосочетание универсальный парсер сайтов для определенных целей. Надеемся на ваше понимание. Спасибо!

Вы можете пропустить до конца и оставить ответ. Pinging в настоящее время не доступны.
Есть 1,382 коммент. к теме: “Content Downloader X1 – универсальный парсер сайтов”
  1. Марина says:

    Добрый день!
    Нам необходимо парсить информацию о товарах на сайт интернет-магазина вместе с изображениями. Можно ли подключить функцию автоматического уменьшения веса изображений при парсинге?
    Спасибо.

    • admin says:

      Здравствуйте.

      Такой функции в программе нет.

      Рекомендую использовать утилиты для массового сжатия картинок в папке (после выполнения парсинга).

      С уважением к вам, Сергей.

  2. Фарид says:

    Добрый день!
    Как можно настроить парсинг с этого сайта nowodvorski_com/ru/Glavnaia/Priedlozhieniie?category=6675
    Там каждая карточка товара открывается как всплывающее окно.

  3. Фарид says:

    Супер! Спасибо. Буду разбираться…

  4. Slavik says:

    Есть возможность парсить онлайн результатов матчей?

    • admin says:

      Здравствуйте.

      Да, возможность есть.

      С уважением к вам, Сергей.

  5. Ирина says:

    здравствуйте. нужно после составления файла с товарами, выгрузить их в фотоальбоме вконтакте в группу. вместе с описанием. Это возможно сделать? если да, то каким образом? хочу купить программу, но этот вопрос мне не ясен

    • admin says:

      Здравствуйте.

      Выгрузка фотографий в альбомы контакта средствами программы, думаю, невозможна.

      С уважением к вам, Сергей.

  6. Ирина says:

    а может тогда можно загрузить другой программой? то есть с вашей сделать каталог, а другой выгрузить в вк, вдруг знаете

    • admin says:

      Думаю, есть программы для постинга данных в ВК. Я таких не знаю.

      С уважением к вам, Сергей.

    • jkhj says:

      Ирина, могу помочь. Пишите в аську 70096689 или скайп daymos1

  7. Евгений says:

    WBApp есть только в Ultimate версии или во всех?

    • admin says:

      Здравствуйте.

      Возможность парсить WEB-страницы с помощью оболочки Internet Explorer (WBApp) есть во всех типах лицензии. Но выполнение списка событий WBApp (клики по элементам WEB-интерфейса, прокрутка WEB-страниц и прочее) есть только в ULTIMATE-версиях.

      С уважением к вам, Сергей.

  8. Светлана says:

    А просто парсинг ссылок автоматом можно делать в программе? Для рерайтинга текстов?

  9. Антон says:

    Добрый день! работает ли программа с магазинами на wix.com?
    Интересует экспорт каталога товаров с фото в CSV

    • admin says:

      Здравствуйте.

      Работает.

      PS: Не важно, “на чем функционирует” интернет-магазин. Парсить можно практически все интернет-магазины за редким исключением.

      С уважением к вам, Сергей.

      • Евгений says:

        Пытаюсь собрать ссылки с сайта tortoevsky_ru он на wix’e. Сканер запускается и сразу останавливается, т.е. сбор ссылок не получается произвести.

  10. Рашит says:

    Здравствуйте. Не могу спарсить “Размерный чертеж”. phoenixcontact_com/online/portal/ru?uri=pxc-oc-itemdetail:pid=0310402&library=ruru&tab=1#drawings
    Подскажите процедуру. Буду очень признателен.

    • admin says:

      Здравствуйте.

      Так как технические данные на этом сайте подгружаются при клике на соответствующую вкладку в описании товара, нужно их либо подгружать макросом GETMORECONTENT (что у меня не вышло для данного сайта, запрос на подгрузку данных очень “хитрый”), либо имитировать в приложении WBApp (http://sbfactory.ru/cd/?p=1515) клик по этой вкладке:

      1
      2
      
      [CLICK][innerhtml][N]0[/N][FULL]:Технические данные
      [WAIT]:2000

      После чего, ссылка на размерный чертеж будет парсится.

      С уважением к вам, Сергей.

  11. Oleg says:

    День добрый можно ли оплатить программу в гривнах через карточку банка (Приват банк)

    • admin says:

      Здравствуйте.

      Можете сделать перевод на карту VISA (указана тут http://sbfactory.ru/?p=2763). Карта рублевая, при отправке сумма должна автоматически конвертироваться в рубли. Отправляемую сумму считайте по курсу ЦБРФ.

      После перевода отправите письмо нам на почту sbfroot@gmail.com (в письме укажите сумму совершенного перевода).

      Спасибо!

      С уважением к вам, Сергей…

  12. Mike says:

    Добрый день. Подскажите, можно ли с помощью вашего парсера забрать список ссылок ссылки из группы вконтакте и экспортировать в csv с заданными параметрами в таблице эксель (тайтл, имэйдж превью, сама ссылка на видео)

    • admin says:

      Здравствуйте.

      Можно спарсить все, что есть в коде WEB-документа.

      Если то, что выделено на скриншоте, есть подразумеваемая вами ссылка на видео, проблем быть не должно.

      С уважением к вам, Сергей.

  13. Наталья says:

    Добрый день! Подскажите, а может ли данный парсер собрать ссылки на папки/файлы в облаке майл.ру?

    • admin says:

      Здравствуйте.

      Данной информацией не располагаю.

      Если угодно, вы можете заказать выполнение услуги проверки возможности парсинга указанного сайта у наших специалистов http://sbfactory.ru/?p=3534

      С уважением к вам, Сергей.

  14. альберт says:

    Добрый день

    А встроенный парсер гугл картинок работает ?

    • admin says:

      Здравствуйте.

      Эту функцию давно убрали из программы по причине смены алгоритмов работы сервиса “Google картинки”.

      С уважением к вам, Сергей.

  15. awdbor says:

    Моё почтение!

    Для того чтобы парсить с помощью CD надо либо вручную закинуть в него ссылки для парсинга, либо указать файл, откуда эти ссылки CD забирает сам, всё и сразу. Назовём это ссылки №1.

    А если в файл со ссылками сниффер (уже в процессе парсинга) дописывает новые ссылки (назовём это ссылки №2)? Как настроить CD чтобы он, когда закончатся ссылки №1, просканировал файл со ссылками и, если там есть новые ссылки (ссылки №2) – загружал их для парсинга и продолжал парсить?

    Есть такая функция?

    • admin says:

      Здравствуйте.

      Функции именно с таким назначением нет.

    • admin says:

      Альтернативное решение есть.

    • admin says:

      Продолжение

    • admin says:

      Примечание: Если требуется запускать парсинг проекта определенное количество раз (не зацикливать его повторение до бесконечности), добавьте в список проектов планировщика ваш проект несколько раз подряд (а функцию интервала периодического запуска отключите).

      Также учтите, что подобные вопросы нужно задавать в разделе FAQ. Все комментарии, заданные не на соответствующей им странице сайта, будут удалены!

      С уважением к вам, Сергей.

  16. Marat says:

    Здравствуйте, скажите пожалуйста можно ли с помощью данной программы спарсить объявленя с доски объявлений для начального наполнения, например сайтов типа авито. Интересует именно полностью спарсить объявление и перенести его на свою доску. Спасибо за ответ

    • admin says:

      Здравствуйте.

      Можно.

      PS: Для парсинга Авито требуется версия ULTIMATE (на этом сайте для отображения номера нужно имитировать действие клика по соответствующей кнопке).

      С уважением к вам, Сергей.

  17. Юрий says:

    Добрый день. Сейчас плотно начал работать с CD. Мне требуется много потоков и очень часто я использую фришные прокси для парсинга. Но они очень часто умирают или их банят. Но программа продолжает парсинг невзирая на этитрудности:)

    К примеру я паршу сайт и он мне отдает информацию, программа считает что это удачная загрузка но по сути данные которые мне пришли это мои теги ХМЛ разметки.
    На картинке н1 видно что каунт меньше 100 это и есть та проблема о которой я говорю. Я нашел решение но оно не совсем удобное. Хотелось бы чтобы была функция в которой можно указать минимальный каунт если число символов меньше то программа считала бы ссылку не обработанной. Проблема в том, что прокси на сайте считает не надежным и ему отдается какая то страница ошибки было бы удобно такие прокси фильтровать.

    • admin says:

      Здравствуйте.

      Постараюсь реализовать решение этого вопроса в ближайшие три дня (по мере готовности, вам на почту придет уведомление об ответе на комментарий).

      С уважением к вам, Сергей.

    • admin says:

      Здравствуйте.

      Прошу принять мои извинения, пока не реализовал функционал по вашей просьбе. Пожалуйста, подождите еще 1 сутки от этого момента.

      С уважением к вам, Сергей.

    • admin says:

      Здравствуйте.

      Установите доработанную версию (в программе нажмите: главное меню – файл – центр обновлений -> кнопка “обновить через сайт”).

      После чего можно будет использовать новый макрос шаблона вывода [PROXY_REMOVE] (удаление текущего прокси из списка прокси в памяти).

      Используйте связку макросов [CHECKENTRY] (http://sbfactory.ru/cd/?p=261) (проверить, исходя из загруженного кода WEB-документа ([DOCSOURCE], в бане прокси или нет) + [PROXY_REMOVE] (удаление текущего прокси в случае, если он забанен сайтом) + [RELOADDOCUMENT] (инициация повторного парсинга WEB-документа).

      1
      
      [CHECKENTRY(ЧАСТЬ КОДА WEB-ДОКУМЕНТА, КОДА ПРОКСИ ЗАБАНЕН/ПРИЗНАК БАНА ПРОКСИ)][DOCSOURCE][THENTEXT][PROXY_REMOVE][RELOADDOCUMENT][/CHECKENTRY]

      С уважением к вам, Сергей.

  18. Владимир says:

    Здравствуйте.

    Уточните пожалуйста, возможно ли вашей программой скачать сайт и залить его например на вордпресс? Либо программмной можно выкачать только контент?

    • admin says:

      Здравствуйте.

      Для WordPress есть плагины импорта данных из CSV. Программой можно парсить в CSV-файлы любого желаемого формата.

      С уважением к вам, Сергей.

  19. Роман says:

    Здравствуйте!

    Не парсятся румынские буквы șțăîâ, вместо них вопросительные знаки, вместо слова «Experiența» получается «Experien?a».

    Скажите, это можно как-то решить?

    Спасибо.

    • admin says:

      Здравствуйте.

      Можно. Так как эти символы относятся к кодировке UTF-8, выберите для сохраняемого документа эту самую кодировку.

      Прошу ознакомиться с правилами комментирования http://sbfactory.ru/?page_id=4923 и задавать вопросы в соответствующих разделах.

      С уважением к вам, Сергей.

  20. Дмитрий says:

    Добрый день!
    Почему при парсинге сбивается порядок урлов.
    То есть порядок в списке ссылок в программе не сохраняется в csv.
    Возможно ли это исправить?
    Или можно как-то создать столбец в csv, в который будет записываться url страницы, с которой парсится контент?

    • admin says:

      Здравствуйте.

      Прошу ознакомиться с правилами комментирования http://sbfactory.ru/?page_id=4923 и задавать вопросы в соответствующем разделе.

      Все комментарии, которые были оставлены с нарушением вышеуказанных правил, будут удалены.

      С уважением к вам, Сергей.

Написать комментарий

Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)

Добавить изображение к комментарию (jpg)