Content Downloader X1 - универсальный парсер сайтов

Content Downloader X1 – универсальный парсер сайтов

January 27th, 2010 1,382 коммент. »

content downloader скачать/обновить программу
просмотреть весь лог изменений
экспресс-курс
Лицензионное соглашение (рекомендуем ознакомиться!)
скачать демо-версию

Если интернет – ваша работа, то Content Downloader должен стать вашими руками ©

CD X1



Для получения консультаций, для заказа готовых проектов настроек по сбору товаров с интернет-магазинов или любой другой информации с сайтов напишите по Whatsap/Telegram +79833813211 (Сергей).


>>> Демо версия Content Downloader X1 <<<

Тут вы можете более детально ознакомиться с основными возможностями программы




Парсинг в любые интернет-магазины

С помощью Content Downloader можно парсить товары в CSV с любым нужным форматом. Вы сами можете создать любой набор столбцов для файла с результатами парсинга.


Возможность парсить практически все сайты

В программе используются коммерческий компонент Clever Intetrnet Suite. Он позволяет отправлять GET/POST запросы с любыми заголовками и работает со всеми HTTPS сайтами.

Также есть возможность использовать для парсинга браузер на основе Chromium, обернутый в нашу оболочку WBAppCEF (клик для справки). При парсинге браузер выполняет все скрипты на WEB страницах + можно эмулировать действия пользователя на WEB страницах (клики, прокрутку, вставка текста и прочее).



Множество функций и макросов для обработки данных при парсинге

Обратите внимание на макросы для подгрузки/обработки данных (клик). Есть возможность удалять лишние HTML теги, создавать любые GET/POST запросы, пересчитывать цены, автоматически парсить характеристики товаров, преобразовывать HTML таблицы и многое другое…


Поддержка

Если у вас появились затруднительные моменты в настройке, вы можете бесплатно задавать вопросы на форуме. При желании можно заказывать полную настройку проектов.


Купить Content Downloader ♥
Content Downloader Start +1 год обновлений (2000 рублей)
Content Downloader Standard +1 год обновлений (2500 рублей)
Content Downloader ULTIMATE +2 года обновлений (3000 рублей)
Content Downloader ULTIMATE (UNLIMITED) + неограниченные по времени обновления + доступ к готовым проектам (5000 рублей)

Различия типов лицензии

Срок действия ключа универсального парсера сайтов не ограничен по времени

При покупке Content Downloader вы бонусом получаете возможность обновлять ее бесплатно на протяжении 1 года с момента активации (2 года или бессрочно в случае приобретения лицензии ULTIMATE) (далее, при желании, можно в любое время пролонгировать подписку на обновления)

ключ придет в течение 30 минут, максимум – 8 часов с момента оплаты

Просто оплатите нужную сумму на один из указанных ниже реквизитов и отправьте нам письмо на e-mail sbfroot@gmail.com с информацией об оплате (сумма и с какого счета/кошелька оплатили). Также желательно в примечании к переводу указать вашу почту.

  • Яндекс счет 41001648375948
  • QIWI +79833813211
  • PayPal sbfroot@gmail.com (Если вы отправляете платеж в другой валюте (не рубли), то посчитайте сумму по курсу ЦБ РФ (сумму в рублях разделить на курс валюты), сумма оплаты через PayPal на 6% больше!
  • Перевод на карту VISA 4279 3806 4767 2239 (Сбербанк, Зайковский Сергей Владимирович)

СПАСИБО!
Один код активации (1 лицензия) может использоваться только на одном компьютере (переносить программу с одного ПК на другой можно 1 раз в двое суток). Дополнительный ключ (для использования ТОЛЬКО ВАМИ на втором ПК, например, на работе) стоит 750 WMR. Для покупки дополнительного кода активации действуйте согласно этой инструкции.

После покупки не максимальной версии всегда возможен переход на более продвинутый тип лицензии.

Также вы можете купить комплект программ: Content Downloader ULTIMATE + Зеброид (со скидкой около 30%).
Различия типов лицензии: Start, Standard, ULTIMATE
Start: Базовая версия программы (можно устанавливать до 5 потоков при парсинге контента и сканировании сайта на предмет ссылок)
+ 1 год подписки на обновления

Standard: Оптимальный выбор (можно устанавливать до 20 потоков при парсинге контента и сканировании сайта на предмет ссылок)
+ 1 год подписки на обновления

ULTIMATE: Лучший выбор, открыты все возможности! (можно устанавливать до 50 потоков при парсинге контента и до 200 потоков при сканировании сайта)
+ WBApp (имитация кликов по кнопкам WEB-страниц, прокрутка WEB-страниц вниз и многое другое)
+ Мощные макросы парсинга таблиц характеристик товаров
+ 2 года подписки на обновления!

Под потоками понимается одновременное количество параллельных запросов к сайту при парсинге.

Примечание: После покупки не максимальной версии всегда возможен переход на более продвинутый тип лицензии.

Системные требования
– Windows 7 и выше (Рекомендуется использовать программу на OS Windows10 64-bit!);
– Наличие в системе диска с меткой C;
– Права администратора в системе;
– Internet Explorer Версии 11 и выше;
– Разрешение экрана: от 1366*768 до 1920*1080;
– Стабильный интернет без прокси в 512 и более кбит/с;
– Так как Content Downloader использует некоторые системные библиотеки DLL, требуется их полная работоспособность.
Дополнительная информация
Срок действия ключа универсального парсера сайтов не ограничен по времени

При покупке программы вы бонусом получаете возможность обновлять ее бесплатно на протяжении 1 года с момента активации (2 года в случае приобретения лицензии ULTIMATE) (далее, при желании, можно в любое время пролонгировать подписку на обновления)

Обращаем ваше внимание на то, что в стоимость Content Downloader не включены услуги по его настройке! Вы можете самостоятельно изучить программу, используя имеющиеся на сайте материалы системы помощи (http://sbfactory.ru/cd/). В обязанности технической поддержки входит только решение проблем активации программы! Ответы на остальные вопросы даются на наше усмотрение!

Также у специалистов по настройке вы можете заказать следующие платные услуги:
– Настройку парсера сайтов под определенный ресурс (или ресурсы);
– Персональное обучение работе с программой;
– Доработку ваших проектов.
Подчеркиваем, что мы не отвечаем за работу специалистов по настройке (так как это фрилансеры). Но мы давно и тесно с ними сотрудничаем, контролируем их деятельность и принимаем от вас любые комментарии по их работе.

После покупки ключа универсального парсера сайтов вы обязаны хранить его! Настоятельно рекомендуем записать код активации (ключ) и e-mail адрес (с которым вы его активировали) в “блокнот из бумаги”. Как показывает практика, это бывает очень полезно!

Скриншоты программы
Универсальный парсер сайтов Content Downloader

Инструмент задания границ парсинга

Сканер сайтов

Редактор таблиц CSV

Окно настроек HTTP запросов программы

Фильтры URL

WBAppCEF с движком браузера Chromium

Инструменты для парсинга ссылок

Дополнительные особенности
1) Полная универсальность

Одна программа для сбора любой информации с любых сайтов (весьма сильно). Да, она может показаться сложноватой в освоении, но зато какие большие возможости

2) Продукт, который развивается более 10 лет

Если ознакомиться с логом доработок (смотрите выше) станет понятно, сколько сил и труда вложено в универсальный парсер сайтов

3) Честный и полностью контролируемый универсальный парсер

Вы получаете полный контроль на каждом этапе. При сборе ссылок, парсинге и обработке контента, при публикации данных. Вы полностью управляете процессом и это позволяет делать уникальное

4) Серьезные технологии

Помимо оптимизированных многопоточных функций в Content Downloader используются достойные компоненты. Например, коммерческая библиотека для выполнения запросов Clever Internet Suite (позволяет делать запросы к любым сайтам и имеет очень большой функционал). Также в программе используется современный движок браузера Chromium (с ним можно парсить сайты, где обычные GET или POST запросы не справятся, также можно автоматизировать действия пользователя в браузере)

5) Лояльная цена

От 2000 до 5000 рублей (в зависимости от типа лицензии). Полностью функциональная версия за 3000 рублей

6) Поддержка

Есть вопрос – мы постараемся ответить на форуме. Хотите полностью настроенный проект – мы сделаем за подобающую стоимость

7) Развитая и полноценная справка

Обратите внимание на систему помощи, сколько в ней описано различных возможностей (ссылка справа в сайдбаре)

8) YouTube канал

Пожалуйста, посмотрите демонстрационное видео универсального парсера сайтов (не забыв выбрать качество HD в плеере):



Описание универсального парсера сайтов Content Downloader

Content Downloader – профессиональная программа, предназначенная для парсинга любой информации с любых сайтов (где это вообще возможно)

Content Downloader может применяться для:
– Парсинга товаров интернет-магазина в таблицу CSV (с любым требуемым набором столбцов на выходе)
– Парсинга статей с картинками и файлами (например, файлами торрентов, флеш-игр или рефератов) в txt или htm форматы
– Парсинга телефонных номеров, e-mail адресов или любой другой контактной информации (в CSV, txt или html, как вам угодно)
– Парсинга скрытой информации, доступной только после клика, например, на кнопку “показать номер” или “показать контактные данные” (для этого требуется тип лицензии ULTIMATE, включающий в себя приложение WBApp, которое и будет имитировать клики по кнопкам)
– Парсинга скрытой информации, доступной после авторизации;
– Парсинга любых, удовлетворяющих заданным фильтрам, ссылок с сайта (до 1 миллиона)
– Парсинга любых частей кода WEB-документов и их вывод в нужном для вас формате
– Парсинга XML-карт сайтов

Парсер сайтов является универсальным! Перечислять полный список его областей применений можно очень долго, так как он ограничен лишь воображением…

Принцип работы Content Downloader очень удобен, эффективен и прост: вы указываете программе (в HTML-коде страницы), с каких частей веб-страниц брать данные, и в каком формате их выводить. Если вы хотите ознакомиться с этим более детально – пожалуйста кликните сюда.

Некоторые дополнительные возможности универсального парсера сайтов:
– Многопоточность
– Авторизация через передачу cookies из IE или через POST-Запрос
– Возможность задать любые cookies
– Возможность задавать любой user agent (даже менять их при парсинге)
– Возможность использовать список прокси (в том числе и SOCKS с авторизацией)
– Возможность задавать паузу между запросами и изменять количество потоков
– Возможность обработки данных непосредственно в процессе парсинга
– Загрузка файлов и картинок на ваш FTP-сервер прямо при парсинге контента
– Автоматическая загрузка результирующего CSV-файла на FTP-сервер после процедуры парсинга контента
– Возможность парсить разом огромное количество характеристик товаров (только для ULTIMATE-версий)
– Возможность отправки данных в базу MySQL сразу при парсинге
– Возможность подключения собственных PHP-скриптов для обработки данных при парсинге контента
– Возможность парсить через Internet Explorer (DOM) (с поддержкой выполнения различных скриптов);

Варианты сохранения данных:
– В один файл/в несколько файлов
– Расширения: CSV (с любыми заданными столбцами), htm, txt, php, MySQL

Поддерживаемые кодировки парсинга: Windows-1251, koi, utf-8
Поддерживаемые кодировки сохранения контента: Windows-1251, utf-8, utf-8 без BOM

Также в универсальном парсере сайтов Content Downloader есть возможность создать xml файл импорта для WordPress из файлов htm или txt с диска компьютера.

Для более углубленного ознакомления с парсером Content Downloader вы всегда можете просмотреть материалы системы помощи.

С уважением к вам, администрация сайта…

PS: В тексте часто используется словосочетание универсальный парсер сайтов для определенных целей. Надеемся на ваше понимание. Спасибо!

Рубрики: Программы для WEB мастеров Теги: , , , , , , , , ,
«
»
Вы можете пропустить до конца и оставить ответ. Pinging в настоящее время не доступны.
Есть 1,382 коммент. к теме: “Content Downloader X1 – универсальный парсер сайтов”
  1. Тимур says:
    23 December 2016 at 11:46

    Здравствуйте, в каком виде сохраняются картинки с сайта при закачке товаров в csv?

    Reply
    • admin says:
      23 December 2016 at 11:59

      Здравствуйте.

      Сохраняются в папку рядом с CSV. В ячейку CSV записывается имя файла сохраненной картинки.

      Reply
      • Тимур says:
        23 December 2016 at 12:57

        я посмотрел хелпы – там есть функция сохранения имени файлов, а можно сохранить ссылку на эту картинку? Мне для закачки товаров нужна только ссылка на большую картинку.

        Reply
  2. Евгений says:
    24 December 2016 at 9:25

    Здравствуйте. Подскажите, пожалуйста, можно ли будет так настроить программу. Есть сайт интернет каталог, с карточками товаров. Помимо описания товара, которое присутствует всегда, есть табы, типа характеристики, скриншоты и т.п. Эти табы, при переключении подгружаются ДИНАМИЧЕСКИ. Интересует таб скриншоты. Они также соответственно подгружаются динамически. Подгружаются картинки небольшого размера. При нажатии для увеличения открывается окно какого-нибудь фотохранилдища типа radicalfotо и т.п. и там уже большой размер картинки. Можно ли будет выполнить настройку для автоматического выдирания большой и маленькой картинки при таких условия ? Спасибо

    Reply
  3. Сергей says:
    25 December 2016 at 9:42

    Здравствуйте.

    Подскажите, пожалуйста, столкнулся с проблемой парсинга некоторых областей сайта ***.
    Проблема заключается в том, что в html не находит границы для таких параметров как Страна, Режиссер, Актеры, Годы выпуска, Жанр.
    Наглядный пример на странице ***

    Если у вас есть возможность, подскажите, пожалуйста.

    Reply
  4. Вероника says:
    28 December 2016 at 16:43

    Добрый день! А вы сами не берете заказы по скачиванию контента?

    Reply
  5. Александр says:
    12 January 2017 at 11:01

    Здравствуйте, скажите пожалуйста есть какой то инструмен что бы спарсить характеристики товаров с https bellinimebel com ua/product/mebel-dlya-spalni/avrora-krovat/#product-description Но спарсить так, как спарсил бы инструмент [VERTTABLE] если бы характеристики были в таблице. Т.е. Наименование характеристик в шапке а значения с подобных страниц построчно в csv.

    Спасибо

    Reply
    • admin says:
      12 January 2017 at 11:29

      Здравствуйте.

      Макрос [DYNAMICVALUES] (http://sbfactory.ru/cd/?p=2170)

      Пожалуйста, примите к сведению: Вопросы по функционалу программы задаются на форуме.

      Спасибо!

      Reply
      • Александр says:
        12 January 2017 at 11:44

        Спасибо, задал здесь, так как форум раньше был закрыт для сообщений, а сейчас не посмотрел, что его опять открыли.

        Reply
  6. samalov says:
    16 January 2017 at 17:44

    Планирую купить Content Downloader ULTIMATE. У меня есть возможность использовать программу на OS Windows7 32-bit.
    В системных требованиях указано, что рекомендуется программу запускать на OS Windows7 64-bit. Есть ли какие ограничения при запуске программы на OS Windows7 32-bit? Что-то не будет работать в программе?

    Reply
    • admin says:
      16 January 2017 at 18:11

      Здравствуйте.

      В 64-бит системах процессам больше памяти выделяется. Если не планируете парсить более миллиона ссылок за раз, ограничений нет.

      Спасибо!

      Reply
  7. Дмитрий says:
    19 January 2017 at 22:36

    Здравствуйте, пытыюсь настроить Content Downloader ULTIMATE, но не могу найти макрос для вывода количества отработанных повторяющихся границ. Существует ли он? И можно в контенте сайтов искать с текста слова по морфологическому признаку?

    Reply
  8. kurales says:
    20 January 2017 at 20:54

    Здравствуйте, хотелось бы узнать, есть ли какие то решения при ситуации когда парсишь товар с разных сайтов и может получится ситуация, что один и тот же товар с разных сайтов, но называется по разному к примеру “зубная щетка” и “щетка зубная”?

    Reply
    • admin says:
      21 January 2017 at 11:19

      Здравствуйте.

      Пока нет и по возможной реализации этого сейчас тоже ничего не скажу.

      С уважением к вам, Сергей.

      Reply
  9. Дмитрий says:
    23 January 2017 at 16:04

    Здравствуйте, Сергей!

    Я уже 5 лет жду когда ваша программа будет под Linux. Вы планируете добавить поддержку Linux или нет?

    Может есть какие-то другие сложности или просто лень?
    Есть парадокс: люди не хотят делать программы под linux потому что мало людей им пользуются, пользователи не хотят переходить на линукс потому что на нем мало программ. Это касается и игр. Пора разорвать этот порочный круг.!! Спасибо. Верим. Надеемся. Ждем.

    Reply
  10. Ольга says:
    26 January 2017 at 16:02

    1. Парсить характеристики в отдельные столбцы возможно только версией ULTIMATE?
    2. Что предусмотрено при установки блоков со стороны донора?

    Reply
    • admin says:
      26 January 2017 at 16:13

      Здравствуйте.

      1) Когда характеристик не много (до 50 и они ОДНОТИПНЫЕ) их можно парсить любой версией (функции версии ULTIMATE позволяют собирать сотни РАЗНОТИПНЫХ характеристик товаров с авто-распределением их по столбцам таблицы CSV, вот посмотрите мануал http://sbfactory.ru/cd/?p=2170);

      2) Чтобы избежать временного бана от сайтов можно снизить количество потоков до 1 и выставить паузу между запросами (это сработает практически везде, но в ущерб скорости сбора данных) либо использовать список качественных прокси (в окне ctrl+r). Сразу скажу, что сайты корпораций типа Google уже забанили множество (даже платных) прокси.

      С уважением к вам, Сергей.

      Reply
  11. Сега says:
    31 January 2017 at 1:57

    Можно ли парсить инфу с job-mo ru через него?

    Reply
  12. Руслан says:
    8 February 2017 at 13:21

    Здравствуйте, скажите вы сможете доработать, чтобы экспорт был еще XML?

    Reply
  13. Вова says:
    10 February 2017 at 21:35

    Здраствуйте, после просмотра экспрес курса не совсем понятен момент с парсингом именно каталога товаров на сайте, надо все ссылки на товары загружать ручками? Или будет достаточно указать путь site.ru/catalog/ ,ну а с самой карточки товара непосредственно прописать все границы, после добавления пути до каталога товаров.

    Reply
    • admin says:
      11 February 2017 at 1:52

      Здравствуйте.

      Изучите материалы более подробно, там все это пояснено.

      С уважением к вам, Сергей.

      Reply
  14. Георгий says:
    21 February 2017 at 17:59

    Здравствуйте!
    я хотел бы создать папки с сохраненными функциями парсинга страниц. В них собирать товары, в каждой – свой поставщик. Это все на одном компьютере. Подходит ли для этих задач ваш модуль? Могу ли я сохранять настройки для того чтобы не вводить каждый раз разные? Спасибо!

    Reply
    • admin says:
      21 February 2017 at 22:49

      Здравствуйте.

      Программа позволяет решать подобные задачи.

      С уважением к вам, Сергей.

      Reply
  15. Елена says:
    24 February 2017 at 13:10

    последняя версия не от 23 февраля не пускает обновить пишет ошибку 404

    Reply
    • admin says:
      24 February 2017 at 14:50

      Здравствуйте.

      Это ошибка старой версии программы. Сейчас она исправлена. Нужно скачать доработанную версию по ссылке, полученной при покупке.

      Если вы потеряли данные для загрузки, напишите мне на почту, напомню их вам.

      С уважением к вам, Сергей.

      Reply
  16. Сергей says:
    28 February 2017 at 14:53

    Подскажите если мне надо парсить с 50 разных сайтов раздел с названием “новости”, а точнее их дату и заголовки, я могу так настроить программу, чтобы она сохранила список этих сайтов (которые имеют абсолютно разную структуру) и ежедневно их парсить.

    Reply
    • admin says:
      28 February 2017 at 15:44

      Здравствуйте.

      Создайте по проекту на каждый сайт и запускайте список проектов с помощью встроенного планировщика (ctrl+p).

      PS: Вопросы по функционалу программы, пожалуйста задавайте на форуме.

      С уважением к вам, Сергей.

      Reply
  17. Александр says:
    5 March 2017 at 11:53

    Добрый день.
    Я в этом ничего не понимаю.
    Подскажите, пожалуйста, программа может:
    1) собирать данные с определенного сайта
    2) каждый день на этой странице новые данные
    3) заходить во все данные на этой странице и вытаскивать нужнуую информацию , отмеченную по-особенному
    4) данные выводить на экран отдельно от остолтных
    5) сделать фильтр для данных
    6) оповещать о соответствии выбранного фильтра
    7) работа онлайн
    8) делает архив собранной информации
    9) делает автоматическую статистику архива по фильтрам

    Подскажите, пожалуйста, программу либо кто может такое сделать.

    Спасибо.

    Reply
    • admin says:
      5 March 2017 at 12:18

      Здравствуйте.

      Вопросы заданы неоднозначно. Прочитав их скажу: да, может.

      Вы можете загрузить демо-версию для ознакомления или обратиться к специалистам по настройке за персональным обучением или заказом других услуг.

      Спасибо!

      С уважением к вам, Сергей.

      Reply
  18. Сергей says:
    29 March 2017 at 10:37

    Добрый день! Забыл e-mail на который оформлял покупку, как его восстановить? Код есть

    Reply
  19. Виталий says:
    28 April 2017 at 6:09

    Здравствуйте.Скажите пожалуйста можно парсить с помощью вашего пакета START данные и особенно телефоны с таких сайтов как Avito, lalafo kg, lalafo az и т.д.

    Reply
    • admin says:
      28 April 2017 at 7:24

      Здравствуйте.

      Для Avito требуется версия ULTIMATE (для имитации клика по кнопке типа “показать номер” http://sbfactory.ru/cd/?p=1515).

      С уважением к вам, Сергей.

      Reply
  20. Виталий says:
    28 April 2017 at 12:25

    Скажите а можно с помощью ULTIMATE загонять спарсенный контент сразу в базу доски объявлений под управление osclass, или нужно проделывать какие то манипуляции, или только через CSV?

    Reply

« Older Comments
Newer Comments »

Написать комментарий

Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)

Добавить изображение к комментарию (jpg)