Типы лицензии Content Downloader

Content Downloader имеет три типа лицензии (Start, Standard, ULTIMATE). Они различаются максимальным количеством потоков при парсинге контента и максимальным количеством потоков в сканере сайтов (5, 20, 50 соответственно).

Динамические границы парсинга (неограниченное количество + они поддерживают регулярные выражения) можно задавать во всех версиях, кроме Start.

Рекомендации для выбора типа лицензии:
Парсинг в 10-20 потоков является наиболее оптимальным для большинства сайтов в сети. В некоторых случаях для повышения скорости парсинга требуется большее количество потоков.

Случаи, когда использование большего количества потоков бесполезно:
– Бан на сайтах из-за частых GET-запросов;
– Загрузка сети или ядра процессора на 100%;
– Сайт блокирует долю частых запросов.
Примечание: при использовании 10 и более потоков желательно использовать Windows 64-bit.

Результаты тестов Content Downloader с различным количеством потоков:

Тесты производились на различных сайтах с реальными рабочими проектами.
Тактовая частота ядра процессора: 2100 МГц
Скорость интернет-соединения: 8 мегабит/секунда


1) my_mail_ru (парсинг анкет)
Загрузка картинок – нет.

Количество потоков Количество загруженных страниц за 60 секунд Загрузка ядра процессора (%)
5 73 5-30
10 126 10-35
50 177 30-55



2) sportsdirect_com (парсинг товаров в CSV)
В каждом документе 1-3 картинки по 10-20 kb.

Количество потоков Количество загруженных страниц за 60 секунд Загрузка ядра процессора (%)
5 77 4-12
10 133 5-20
50 179 8-50



3) rutaobao_com (парсинг товаров в CSV) – очень медленный сайт
В каждом документе по 1 картинке (около 70 kb).

Количество потоков Количество загруженных страниц за 60 секунд Загрузка ядра процессора (%)
5 25 1-5
10 50 5-30
50 вылетела капча 15-30

1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 4, средний балл: 5.00)
Loading...
Вы можете оставить комментарий, или поставить трэкбек со своего сайта.

Есть 29 коммент. к теме: “Типы лицензии Content Downloader”

  1. azat says:

    если я купил давно, мне что-то платить еще надо?

  2. admin says:

    Ваша версия никоим образом не урезана, продолжайте ей так же пользоваться.

  3. DEDuschka says:

    Вопрос не в урезанности, а какой тип лицензии будет у “старичков”?

  4. nikolas1612 says:

    какова будет политика обновлений? все силы на EXTENDED? или теперь одинаковые обновления будут выходить сразу в 3х вариантах, на каждую лицензию отдельно?

  5. admin says:

    Все версии абсолютно одинаковые. Различия только в максимальном количестве потоков при парсинге контента.

  6. gadiks says:

    Сегодня сделал апгрейд!

    Общие впечатления – только положительные!
    Скорость использовал на все 50 потоков, так как парсинг шел с разных сайтов, так что сразу был заметен прирост в скорости и главное экономии времени!

  7. Алексей says:

    А есть какая-нибудь бесплатная версия программы, чтобы можно было её попробовать в работе?

  8. Алексей says:

    И ещё вопрос – можно ли оплатить лицензию через Яндекс.Деньги?

  9. admin says:

    Здравствуйте, демо нет, если есть желание, посмотрите видео, должно быть все понятно http://sbfactory.ru/cd/
    Оплата Яндекс Деньгами возможна. Переведите нужную сумму на счет 41001648375948 (В примечании укажите ваш e-mail).
    Спасибо!

    • Алексей says:

      А будет ли версия EXTENDED работать на Win32? Если да, то с какими ограничениями?

      • admin says:

        Здравствуйте.
        Может вылетать ошибка “out of memory”.
        Для ее устранения обычно помогает вот это http://ucoz24.com/forum/122-14679-1
        Но я за это ручаться не могу. Можно попробовать, если не устроит, перейти на обычную версию с возвратом разницы их стоимостей.
        С уважением к вам, Сергей.

  10. Алексей says:

    Сергей, при переустановке виндоуса лицензия остается у программы или надо будет к вам обращаться для её запуска?

    • admin says:

      Здравствуйте.
      Автоматическая переактивация срабатывает раз в неделю, так что не переживайте.

      • Евген says:

        Поясните пж-ста последнюю фразу. Т.е. после переустановки виндоуса или переезда на новый компьютер в течение недели программа должна заработать?

        • admin says:

          Чтобы активировать программу на новой OS или оборудовании должна пройти неделя с МОМЕНТА ПОСЛЕДНЕЙ процедуры АКТИВАЦИИ. Если нужно ускорить процесс, прошу обратиться ко мне. ICQ 571-880-051.

  11. Sorcio says:

    Здравствуйте, можно оплатить через Яндекс деньги? Или карту Сбербанка?

    • admin says:

      Здравствуйте.
      Яндекс счет 41001648375948 (в примечании к переводу укажите вашу почту).
      Спасибо!

  12. Bkmz99 says:

    Добрый день а ваше программа на mac os не будет функцирнировать???

  13. Юрий says:

    Здравствуйте может уже отвечали, лень читать все отзывы ))) прогу можно купить через яндекс деньги

  14. Артем says:

    А если использовать личные прокси ( можно купить за $8.0 – 350 штук*) . Скорость парсинга в 50 потоков увеличится? Прокси в списке пребираются? Нужно сайт спарсить, там страниц 1.5кк.

  15. Николай says:

    Здравствуйте, а подскажите пожалуйста разве разные версии кроме колличества потоков еще чем то отличаются? Просто в описании написано что в версии старт еще нету поддержки регулярных выражений:(

Написать комментарий

Пожалуйста, ознакомьтесь с правилами комментирования (почему некоторые комментарии могут быть удалены?!)

Добавить изображение к комментарию (jpg)