Архивы рубрики: ‘Новости’

Как увеличить количество потоков в программе (проапгрейдить тип лицензии)

17211936-auto-turbine-3d-concept-steel-turbocharger-isolated-on-whiteЕсли вы хотите увеличить количество потоков при ПАРСИНГЕ КОНТЕНТА и в СКАНЕРЕ САЙТОВ или пользоваться функционалом, доступным в “более продвинутых” версиях, то оплатите нужную сумму любым удобным для вас способом:

  • Яндекс счет 41001648375948
  • WMR R343596475065
  • WMZ Z201847902942 (сумма к оплате рассчитывается от стоимости в рублях по курсу ЦБРФ)
  • QIWI +79833813211
  • PayPal sbfroot@gmail.com (Если вы отправляете платеж в другой валюте (не рубли), то посчитайте сумму по курсу ЦБ РФ (сумму в рублях разделить на курс валюты)
  • Перевод на карту VISA 4276 3000 1865 8628 (Сбербанк, Зайковский Сергей Владимирович)

В примечании к переводу укажите ваш код (или несколько кодов) активации, слово “UP” и вашу почту. В течении суток тип вашей лицензии будет изменен (требуется обычная перезагрузка программы).
Спасибо!

Стоимость увеличения потоков является разницей в стоимости вашей текущей (ПОСМОТРЕТЬ ВАШ ТЕКУЩИЙ ТИП ЛИЦЕНЗИИ МОЖНО В: главное меню -> справка -> о программе) и желаемой версии (уточнить цену можно всегда на этой странице):
Start -> Standard (1000 рублей) (бонусом добавляется пол года подписки на обновления)
Start -> ULTIMATE (2000 рублей) (бонусом добавляется год подписки на обновления)
Standard -> ULTIMATE (1000 рублей) (бонусом добавляется пол года подписки на обновления)

Рекомендации по выбору количества потоков:
Парсинг в 10-20 потоков является наиболее оптимальным для большинства сайтов в сети. В некоторых случаях для повышения скорости парсинга требуется большее количество потоков. Увеличение количества потоков до 50 особенно актуально при парсинге с использованием списка медленных прокси-серверов.

Случаи, когда использование большего количества потоков не даст прироста в скорости парсинга:
– Загрузка вашего интернет-канала на 100%
– Полная загрузка ЯДРА вашего процессора на 100% (речь идет о ядре многоядерного процессора, которое использует программа)
– Сайт, который парсите, не может отвечать быстрее на большее количество запросов (работает медленно)

Также учтите, что некоторые сайты могут временно банить за частые обращения к ним. В таких случаях использование большого количества потоков нецелесообразно!

Примерная скорость парсинга товаров интернет магазина в CSV с загрузкой нескольких (1-5) картинок для каждой позиции:
5 потоков – 1,0 товар в секунду (3600 товаров/час)
10 потоков – 1,8 товаров в секунду (6480 товаров/час)
50 потоков – 2,0 товара в секунду (7200 товаров/час)

Примечания:
– Если у вас есть несколько ключей программы, то вы платите за апгрейд только одного (апгрейд остальных – бонусом, вы их указываете в примечании к переводу)
– Тип вашей лицензии можно посмотреть в меню – справка – о программе
– Если вы оплачиваете апгрейд лицензии способом, который не предусматривает оставление примечания к переводу, то, после оплаты, вышлите письмо с номером перевода и вашим ключем(ами) на sbfroot@gmail.com
– Возврата средств нет!!!
(more…)

Как купить дополнительный ключ Content Downloader по специальной цене (на второй ПК)

Если вы хотите использовать программу на двух ПК (например: дома и на работе), то оплатите 750 рублей любым удобным для вас способом:

  • Яндекс счет 41001648375948
  • WMR R343596475065
  • WMZ Z201847902942 (сумма к оплате рассчитывается от стоимости в рублях по курсу ЦБРФ)
  • QIWI +79833813211
  • PayPal sbfroot@gmail.com (Если вы отправляете платеж в другой валюте (не рубли), то посчитайте сумму по курсу ЦБ РФ (сумму в рублях разделить на курс валюты)
  • Перевод на карту VISA 4276 3000 1865 8628 (Сбербанк, Зайковский Сергей Владимирович)

В примечании к переводу укажите ваш первый код активации (ключ) и почту (куда выслать второй ключ). В течении суток на указанный вами в примечании к переводу e-mail придет второй ключ (если ключ в течении суток не пришел, то проверьте папку “СПАМ”), который вы активируете на втором ПК обычным способом.
Спасибо!

– Специальная цена распространяется только на второй ключ (на третий и последующие не распространяется)
– Второй ключ должен использоваться только вами
– Если вы оплачиваете дополнительный код активации способом, который не предусматривает оставление примечания к переводу, то, после оплаты, вышлите письмо с номером перевода и вашим первым ключем на sbfroot@gmail.com
(more…)

Обновление программы Content Downloader до версии 3.00

content downloader Скачать/обновить программу
Просмотреть весь лог изменений
Обсудить на форуме

Content Downloader 3 версии 3.00 (14.12.2012):

После обновления потребуется переактивировать программу (перед обвновлением смотрите ваш ключ в “меню” – “справка” – “о программе”)!

– Основные списки ссылок программы теперь работают на новом БЫСТРОМ компоненте;
– Поддержка SOCKS прокси;
– Сканер сайтов теперь обрабатывает относительные ссылки, которые начинаются с символа ?;
– Устранены ошибки в работе планировщика;
– Теперь запуск всегда осуществляется с правами администратора;
– Лимит добавления ссылок в список через F8 теперь значительно увеличен;
– Добавлены полосы прогресса практически во все функции работы со списками ссылок;
– Доработан макрос шаблона вывода DOCSNAMES (ранее из-за него программа могла зависнуть);
– Добавлена опция “пытаться повторно загружать документы” при парсинге контента (вкладка “контент” – кнопка “дополнительно”);
– В списке прокси-серверов при проверке proxy теперь можно указать url-адрес сайта, к которому будут производиться запросы (для определения работоспособности прокси именно на указанном сайте);
– В макрос шаблона вывода GETMORECONTENT добавлен параметр auto (автоматический поиск текста статьи в коде документа);
– Макрос шаблона вывода [CATS] (для импорта рубрик в WordPress) теперь можно использовать несколько раз в одном документе (для импорта одной статьи в несколько рубрик WordPress);
– Множество доработок.
(more…)

Парсинг и импорт в Webasyst

Основные сложности с Webasyst:
– Импорт картинок;
– Импорт рубрик (категорий).
(more…)

Обновление программы Content Downloader II до версии 2.88

content downloader Скачать/обновить программу
Просмотреть весь лог изменений
Обсудить на форуме

Content Downloader II версии 2.88 (05.11.2012):

– Отчет парсинга теперь работает и при парсинге во вкладке ссылки;
– Теперь в отчете парсинга поддерживается multiselect и копирование выделенных ссылок в буфер обмена (правый клик);
– Во вкладку ссылки добавлена кнопка авторизации;
– Во вкладку ссылки добавлен CheckBox “приостановить парсинг в случае бана”;
– Несколько доработок.

Content Downloader II версии 2.87 (03.11.2012):

– При предпросмотре результата парсинга ссылок (во вкладке “ссылки”) из окна с найденными ссылками теперь можно вызвать окно фильтров ссылок, причем при изменении фильтров ссылок, будет меняться список найденных ссылок (в реальном времени);
– Список прокси теперь не загружается и не сохраняется вместе с файлом проекта, он стал единым для всех проектов;
– В окно задания границ парсинга добавлен CheckBox “авто” (для автоматического присвоения имени задаваемой границы парсинга);
– Несколько доработок.

Content Downloader II версии 2.85 (26.10.2012):

– Во вкладке “ссылки” теперь появилась возможность парсить xml карты сайтов;
– Несколько доработок и изменений.

Content Downloader II версии 2.82 (23.10.2012):

– В инструмент добавления файлов с диска (панель инструментов – “добавить ссылки для парсинга” – “добавить файлы с диска”) добавлена функция поиска файлов в подкаталогах выбранной директории (правый клик по дереву);
– Макрос шаблона вывода DOWNLOADFILENAMES_ теперь поддерживает не только задание имени файла, но и папки;
– Несколько доработок и изменений.

Content Downloader II версии 2.81 (09.10.2012):

– Добавлена возможность запускать приложения с передачей параметров перед парсингом контента (вкладка “контент” – кнопка “дополнительно”).
(more…)

Обновление программы Content Downloader II до версии 2.80

content downloader Скачать/обновить программу
Просмотреть весь лог изменений
Обсудить на форуме

Content Downloader II версии 2.80 (05.10.2012):

– Добавлена возможность запускать приложения с передачей параметров после парсинга контента (вкладка “контент” – кнопка “дополнительно”);
– Несколько доработок.

Content Downloader II версии 2.79 (06.09.2012):

– Доработан макрос шаблона вывода [IFNIL] (и разделитель данных теперь не [SEP], а [ELSE]).

Content Downloader II версии 2.78 (05.09.2012):

– Доработан макрос шаблона вывода [IFNIL] (и разделитель данных теперь не |, а [SEP]).
(more…)

Обновление программы Content Downloader II до версии 2.77

content downloader Скачать/обновить программу
Просмотреть весь лог изменений
Обсудить на форуме

Content Downloader II версии 2.77 (01.09.2012):

– Добавлена возможность использовать альтернативную библиотеку для GET-запросов программы, так как со стандартной библиотекой некоторые web-страницы не загружались (меню – настройка – опции программы);
– В сканер сайтов добавлена функция копирования неудачно загруженных ссылок в буфер обмена системы;
– Макрос DOWNLOADFILENAMES теперь удаляет из имен файлов все символы кроме цифр, букв, тире и нижнего подчеркивания;
– Добавлен макрос шаблона вывода [REGUPALL] (поднимает регистр всех букв в указанном тексте);
– Несколько доработок.

Content Downloader II версии 2.70 (07.08.2012):

– В параметре URL макроса GETMORECONTENT и макроса GETMORECYCLECONTENT теперь обрабатываются PHP_SCRIPT;
– Несколько исправлений и доработок.

Content Downloader II версии 2.59 (02.08.2012):

– Исправлена ошибка с отсутствием шапки CSV при сохранении в UTF-8 Без BOM;
– Теперь при парсинге ссылок панель с полосой прогресса появляется не под статус баром, а выше.

Content Downloader II версии 2.57 (01.08.2012):

– Добавлена возможность задавать любые custom headers к http-запросам программы (вкладка “контент” – кнопка “дополнительно”);
– Несколько доработок.

Content Downloader II версии 2.47 (27.07.2012):

– При создании XML-файла импорта в WordPress nicename рубрик теперь генерируется правильно;
– Исправлена функция построения повторяющихся границ парсинга;
– Множество доработок и исправлений.

Content Downloader II версии 2.40 (24.07.2012):

– Добавлена поддержка кодировки ISO.

Content Downloader II версии 2.39 (17.07.2012):

– Количество колонок в редакторе CSV файлов увеличено с 50 до 1200;
– Окно настройки повторяющихся границ в редакторе шаблона вывода теперь не закрывается при закрытии шаблона вывода и вызове окна с настройкой всех повторяющихся границ;
– В StatusBar сканера сайтов Добавлен счетчик скорости загрузки документов;
– В окне задания границ парсинга доработаны некоторые функции скроллинга окна с кодом;
– Множество доработок и исправлений.

Content Downloader II версии 2.38 (16.07.2012):

– Теперь при загрузке карты сайта старые ссылки не удаляются;
– Доработана функция фильтрации документов по списку ключевиков;
– В “настройка повторяющихся границ” (на панели инструментов) теперь можно выставить ограничение на максимальное количество циклов в выбранной повторяющейся границе;
– Несколько доработок.

Content Downloader II версии 2.37 (11.07.2012):

– Исправлена ошибка, связанная с разделителем дробной части чисел в функциях программы;
– Добавлен макрос шаблона вывода [REGUPFIRST]текст[/REGUPFIRST] (поднимает регистр первой встретившейся буквы в тексте);
– Исправлена ошибка, связанная с присвоением имен сохраняемым документам.
(more…)