Content Downloader X1 – универсальный парсер контента

content downloader1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 199, средний балл: 4.60)

Loading...

скачать/обновить программу ver 11.9999956 (22.05.2016)
просмотреть весь лог изменений
экспресс-курс
Лицензионное соглашение
скачать демо-версию!

Если интернет – ваша работа, то Content Downloader должен стать вашими руками ©

CD X1

Купить Content Downloader ♥
Различия типов лицензий: Start, Standard, ULTIMATE
Системные требования
Дополнительная информация

Пожалуйста, посмотрите демонстрационное видео (не забыв выбрать качество HD в плеере):




Описание универсального парсера Content Downloader:

Content Downloader – профессиональная программа, предназначенная для парсинга любой информации с любых сайтов (где это вообще возможно)

Content Downloader может применяться для:
Парсинга товаров интернет-магазина в таблицу CSV (с любым требуемым набором столбцов на выходе)
Парсинга статей с картинками и файлами (например, файлами торрентов, флеш-игр или рефератов) в txt или htm форматы
– Парсинга телефонных номеров, e-mail адресов или любой другой контактной информации (в CSV, txt или html, как вам угодно)
– Парсинга скрытой информации, доступной только после клика, например, на кнопку “показать номер” или “показать контактные данные” (для этого требуется тип лицензии ULTIMATE, включающий в себя приложение WBApp, которое и будет имитировать клики по кнопкам)
– Парсинга скрытой информации, доступной после авторизации;
– Парсинга любых, удовлетворяющих заданным фильтрам, ссылок с сайта (до 1 миллиона)
– Парсинга любых частей кода WEB-документов и их вывод в нужном для вас формате
– Парсинга XML-карт сайтов

Парсер является универсальным! Перечислять полный список его областей применений можно очень долго, так как он ограничен лишь воображением…

Принцип работы Content Downloader очень удобен, эффективен и прост: вы указываете программе (в HTML-коде страницы), с каких частей веб-страниц брать данные, и в каком формате их выводить. Если вы хотите ознакомиться с этим более детально – пожалуйста кликните сюда.

Некоторые дополнительные возможности парсера:
– Многопоточность
– Авторизация через передачу cookies из IE или через POST-Запрос
– Возможность задать любые cookies
– Возможность задавать любой user agent (даже менять их при парсинге)
– Возможность использовать список прокси (в том числе и SOCKS с авторизацией)
– Возможность задавать паузу между запросами и изменять количество потоков
– Возможность обработки данных непосредственно в процессе парсинга
– Загрузка файлов и картинок на ваш FTP-сервер прямо при парсинге контента
– Автоматическая загрузка результирующего CSV-файла на FTP-сервер после процедуры парсинга контента
– Возможность парсить разом огромное количество характеристик товаров (только для ULTIMATE-версий)
– Возможность отправки данных в базу MySQL сразу при парсинге
– Возможность подключения собственных PHP-скриптов для обработки данных при парсинге контента
– Возможность парсить через Internet Explorer (DOM) (с поддержкой выполнения различных скриптов);

Варианты сохранения данных:
– В один файл/в несколько файлов
– Расширения: CSV (с любыми заданными столбцами), htm, txt, php, MySQL

Поддерживаемые кодировки парсинга: Windows-1251, koi, utf-8
Поддерживаемые кодировки сохранения контента: Windows-1251, utf-8, utf-8 без BOM

Также в программе есть возможность создать xml файл импорта для WordPress из файлов htm или txt с диска компьютера.

Для более углубленного ознакомления с парсером Content Downloader вы всегда можете просмотреть материалы системы помощи.

С уважением к вам, администрация сайта…

Вы можете пропустить до конца и оставить ответ. Pinging в настоящее время не доступны.

Есть 1,042 коммент. к теме: “Content Downloader X1 – универсальный парсер контента”

  1. Марина says:

    Добрый день!
    Нам необходимо парсить информацию о товарах на сайт интернет-магазина вместе с изображениями. Можно ли подключить функцию автоматического уменьшения веса изображений при парсинге?
    Спасибо.

    • admin says:

      Здравствуйте.

      Такой функции в программе нет.

      Рекомендую использовать утилиты для массового сжатия картинок в папке (после выполнения парсинга).

      С уважением к вам, Сергей.

  2. Фарид says:

    Добрый день!
    Как можно настроить парсинг с этого сайта nowodvorski_com/ru/Glavnaia/Priedlozhieniie?category=6675
    Там каждая карточка товара открывается как всплывающее окно.

  3. Фарид says:

    Супер! Спасибо. Буду разбираться…

  4. Slavik says:

    Есть возможность парсить онлайн результатов матчей?

    • admin says:

      Здравствуйте.

      Да, возможность есть.

      С уважением к вам, Сергей.

  5. Ирина says:

    здравствуйте. нужно после составления файла с товарами, выгрузить их в фотоальбоме вконтакте в группу. вместе с описанием. Это возможно сделать? если да, то каким образом? хочу купить программу, но этот вопрос мне не ясен

    • admin says:

      Здравствуйте.

      Выгрузка фотографий в альбомы контакта средствами программы, думаю, невозможна.

      С уважением к вам, Сергей.

  6. Ирина says:

    а может тогда можно загрузить другой программой? то есть с вашей сделать каталог, а другой выгрузить в вк, вдруг знаете

    • admin says:

      Думаю, есть программы для постинга данных в ВК. Я таких не знаю.

      С уважением к вам, Сергей.

    • jkhj says:

      Ирина, могу помочь. Пишите в аську 70096689 или скайп daymos1

  7. Евгений says:

    WBApp есть только в Ultimate версии или во всех?

    • admin says:

      Здравствуйте.

      Возможность парсить WEB-страницы с помощью оболочки Internet Explorer (WBApp) есть во всех типах лицензии. Но выполнение списка событий WBApp (клики по элементам WEB-интерфейса, прокрутка WEB-страниц и прочее) есть только в ULTIMATE-версиях.

      С уважением к вам, Сергей.

  8. Светлана says:

    А просто парсинг ссылок автоматом можно делать в программе? Для рерайтинга текстов?

  9. Антон says:

    Добрый день! работает ли программа с магазинами на wix.com?
    Интересует экспорт каталога товаров с фото в CSV

    • admin says:

      Здравствуйте.

      Работает.

      PS: Не важно, “на чем функционирует” интернет-магазин. Парсить можно практически все интернет-магазины за редким исключением.

      С уважением к вам, Сергей.

      • Евгений says:

        Пытаюсь собрать ссылки с сайта tortoevsky_ru он на wix’e. Сканер запускается и сразу останавливается, т.е. сбор ссылок не получается произвести.

  10. Рашит says:

    Здравствуйте. Не могу спарсить “Размерный чертеж”. phoenixcontact_com/online/portal/ru?uri=pxc-oc-itemdetail:pid=0310402&library=ruru&tab=1#drawings
    Подскажите процедуру. Буду очень признателен.

    • admin says:

      Здравствуйте.

      Так как технические данные на этом сайте подгружаются при клике на соответствующую вкладку в описании товара, нужно их либо подгружать макросом GETMORECONTENT (что у меня не вышло для данного сайта, запрос на подгрузку данных очень “хитрый”), либо имитировать в приложении WBApp (http://sbfactory.ru/cd/?p=1515) клик по этой вкладке:

      1
      2
      
      [CLICK][innerhtml][N]0[/N][FULL]:Технические данные
      [WAIT]:2000

      После чего, ссылка на размерный чертеж будет парсится.

      С уважением к вам, Сергей.

  11. Oleg says:

    День добрый можно ли оплатить программу в гривнах через карточку банка (Приват банк)

    • admin says:

      Здравствуйте.

      Можете сделать перевод на карту VISA (указана тут http://sbfactory.ru/?p=2763). Карта рублевая, при отправке сумма должна автоматически конвертироваться в рубли. Отправляемую сумму считайте по курсу ЦБРФ.

      После перевода отправите письмо нам на почту sbfroot@gmail.com (в письме укажите сумму совершенного перевода).

      Спасибо!

      С уважением к вам, Сергей…

  12. Mike says:

    Добрый день. Подскажите, можно ли с помощью вашего парсера забрать список ссылок ссылки из группы вконтакте и экспортировать в csv с заданными параметрами в таблице эксель (тайтл, имэйдж превью, сама ссылка на видео)

    • admin says:

      Здравствуйте.

      Можно спарсить все, что есть в коде WEB-документа.

      Если то, что выделено на скриншоте, есть подразумеваемая вами ссылка на видео, проблем быть не должно.

      С уважением к вам, Сергей.

  13. Наталья says:

    Добрый день! Подскажите, а может ли данный парсер собрать ссылки на папки/файлы в облаке майл.ру?

    • admin says:

      Здравствуйте.

      Данной информацией не располагаю.

      Если угодно, вы можете заказать выполнение услуги проверки возможности парсинга указанного сайта у наших специалистов http://sbfactory.ru/?p=3534

      С уважением к вам, Сергей.

  14. альберт says:

    Добрый день

    А встроенный парсер гугл картинок работает ?

    • admin says:

      Здравствуйте.

      Эту функцию давно убрали из программы по причине смены алгоритмов работы сервиса “Google картинки”.

      С уважением к вам, Сергей.

  15. awdbor says:

    Моё почтение!

    Для того чтобы парсить с помощью CD надо либо вручную закинуть в него ссылки для парсинга, либо указать файл, откуда эти ссылки CD забирает сам, всё и сразу. Назовём это ссылки №1.

    А если в файл со ссылками сниффер (уже в процессе парсинга) дописывает новые ссылки (назовём это ссылки №2)? Как настроить CD чтобы он, когда закончатся ссылки №1, просканировал файл со ссылками и, если там есть новые ссылки (ссылки №2) – загружал их для парсинга и продолжал парсить?

    Есть такая функция?

    • admin says:

      Здравствуйте.

      Функции именно с таким назначением нет.

    • admin says:

      Альтернативное решение есть.

    • admin says:

      Продолжение

    • admin says:

      Примечание: Если требуется запускать парсинг проекта определенное количество раз (не зацикливать его повторение до бесконечности), добавьте в список проектов планировщика ваш проект несколько раз подряд (а функцию интервала периодического запуска отключите).

      Также учтите, что подобные вопросы нужно задавать в разделе FAQ. Все комментарии, заданные не на соответствующей им странице сайта, будут удалены!

      С уважением к вам, Сергей.

  16. Marat says:

    Здравствуйте, скажите пожалуйста можно ли с помощью данной программы спарсить объявленя с доски объявлений для начального наполнения, например сайтов типа авито. Интересует именно полностью спарсить объявление и перенести его на свою доску. Спасибо за ответ

    • admin says:

      Здравствуйте.

      Можно.

      PS: Для парсинга Авито требуется версия ULTIMATE (на этом сайте для отображения номера нужно имитировать действие клика по соответствующей кнопке).

      С уважением к вам, Сергей.

  17. Юрий says:

    Добрый день. Сейчас плотно начал работать с CD. Мне требуется много потоков и очень часто я использую фришные прокси для парсинга. Но они очень часто умирают или их банят. Но программа продолжает парсинг невзирая на этитрудности:)

    К примеру я паршу сайт и он мне отдает информацию, программа считает что это удачная загрузка но по сути данные которые мне пришли это мои теги ХМЛ разметки.
    На картинке н1 видно что каунт меньше 100 это и есть та проблема о которой я говорю. Я нашел решение но оно не совсем удобное. Хотелось бы чтобы была функция в которой можно указать минимальный каунт если число символов меньше то программа считала бы ссылку не обработанной. Проблема в том, что прокси на сайте считает не надежным и ему отдается какая то страница ошибки было бы удобно такие прокси фильтровать.

    • admin says:

      Здравствуйте.

      Постараюсь реализовать решение этого вопроса в ближайшие три дня (по мере готовности, вам на почту придет уведомление об ответе на комментарий).

      С уважением к вам, Сергей.

    • admin says:

      Здравствуйте.

      Прошу принять мои извинения, пока не реализовал функционал по вашей просьбе. Пожалуйста, подождите еще 1 сутки от этого момента.

      С уважением к вам, Сергей.

    • admin says:

      Здравствуйте.

      Установите доработанную версию (в программе нажмите: главное меню – файл – центр обновлений -> кнопка “обновить через сайт”).

      После чего можно будет использовать новый макрос шаблона вывода [PROXY_REMOVE] (удаление текущего прокси из списка прокси в памяти).

      Используйте связку макросов [CHECKENTRY] (http://sbfactory.ru/cd/?p=261) (проверить, исходя из загруженного кода WEB-документа ([DOCSOURCE], в бане прокси или нет) + [PROXY_REMOVE] (удаление текущего прокси в случае, если он забанен сайтом) + [RELOADDOCUMENT] (инициация повторного парсинга WEB-документа).

      1
      
      [CHECKENTRY(ЧАСТЬ КОДА WEB-ДОКУМЕНТА, КОДА ПРОКСИ ЗАБАНЕН/ПРИЗНАК БАНА ПРОКСИ)][DOCSOURCE][THENTEXT][PROXY_REMOVE][RELOADDOCUMENT][/CHECKENTRY]

      С уважением к вам, Сергей.

  18. Владимир says:

    Здравствуйте.

    Уточните пожалуйста, возможно ли вашей программой скачать сайт и залить его например на вордпресс? Либо программмной можно выкачать только контент?

    • admin says:

      Здравствуйте.

      Для WordPress есть плагины импорта данных из CSV. Программой можно парсить в CSV-файлы любого желаемого формата.

      С уважением к вам, Сергей.

  19. Роман says:

    Здравствуйте!

    Не парсятся румынские буквы șțăîâ, вместо них вопросительные знаки, вместо слова «Experiența» получается «Experien?a».

    Скажите, это можно как-то решить?

    Спасибо.

    • admin says:

      Здравствуйте.

      Можно. Так как эти символы относятся к кодировке UTF-8, выберите для сохраняемого документа эту самую кодировку.

      Прошу ознакомиться с правилами комментирования http://sbfactory.ru/?page_id=4923 и задавать вопросы в соответствующих разделах.

      С уважением к вам, Сергей.

  20. Дмитрий says:

    Добрый день!
    Почему при парсинге сбивается порядок урлов.
    То есть порядок в списке ссылок в программе не сохраняется в csv.
    Возможно ли это исправить?
    Или можно как-то создать столбец в csv, в который будет записываться url страницы, с которой парсится контент?

    • admin says:

      Здравствуйте.

      Прошу ознакомиться с правилами комментирования http://sbfactory.ru/?page_id=4923 и задавать вопросы в соответствующем разделе.

      Все комментарии, которые были оставлены с нарушением вышеуказанных правил, будут удалены.

      С уважением к вам, Сергей.

Написать комментарий

Пожалуйста, ознакомьтесь с правилами комментирования (почему некоторые комментарии могут быть удалены?!)

Добавить изображение к комментарию (jpg)