Прошу излагать в комментариях свои пожелания по развитию программы Content Downloader. Все ваши предложения будут рассмотрены в кратчайший срок и, в случаях целесообразности их реализации, доработки будут осуществляться в ближайших обновлениях.
Для комментирования не требуется регистрация.
PS: Также вы можете оставлять предложения по развитию программы в этой теме на форуме.
Спасибо.
Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)
С вопросами о покупке (или другими организационными), вы можете в любое время обращаться по Телефону +7 983 381 3211 или Телеграм @ContentDownloaderX1 (Сергей Владимирович)
WBApp (дополнение для Content Downloader) - парсинг с выполнением WEB-скриптов, с возможностью имитации кликов по элементам страниц, произведение прокрутки страниц, заполнение текстовых полей и многое другое...
Новости RSS
Рубрики: 
Теги:
Добрый день. Вот уже года 4 жду, когда в CD в “обработке и импорте в CMS” появится поддержка unicode. Есть ли вероятность, что это произойдет? Спасибо.
Content Downloader X1 версии 11.1.0000135 (05.04.2017)
– Инструмент “Обработка и импорт в CMS” теперь работает с файлами в кодировке UTF8.
Сделайте пожалуйста фильтр минимальное количество символов в абзаце с такой функцией будет легче искать автоматически статьи.
Иногда нужно знать какие дубли ссылок были удалены при использовании функции “удалить дубли ссылок”. Такой функции насколько я понял пока в программе нет)
Добрый день.
Сделайте, пожалуйста, чтобы сканер сайтов работал и на локальную директорию.
Иногда нужно парсить локально, и приходится запускать DirLister, потом править его косые ссылки и далее уже вставлять. Почему бы сразу не реализовать это в парсере. Например, чтобы он собирал все ссылки на локальные файлы по директории с папками и подпапками)
Здравствуйте.
Смотрите скриншот.
Сергей, доброго времени суток!
Не нашел нигде в настройках, может уже есть!
Можете добавить настройку, что если в логе идет например незагрузка страницы и из 100 например больше 70% не загрузилось, то останавливать парсинг вообще! До вмешательства пользователя и чтобы настройки можно было самому еще регулировать имеется ввиду % незагруза из какого то количества.
А то поставил парсинг и ушел, у сайта лимиты стоят по 1000 запросов в сутки, сайт мне весь прокси лист убил и дальше идут одни незагрузки, хотелось бы, чтобы в этом случае парсер останавливался.
Здравствуйте.
Попробуйте выставить количество попыток загрузки WEB-документов, скажем, равное 10 (в окне ctrl+h) и включить функцию приостановки парсинга в случае бана в окне ctrl+u.
С уважением к вам, Сергей…
Здравствуйте, а можно ли добавить в программу еще макросы условия [IF3],[IF4],[IF5]? А то двух не хватает.
Здравствуйте. Очень не хватает возможности использовать многопоточность при парсинге во вкладке “ссылки”.
Здравствуйте.
Сканер сайтов работает в многопоточном режиме. Его можно использовать аналогично вкладке “Ссылки”, включив CheckBox “не пополнять очередь”.
Здравствуйте!
Хочу выразить огромную благодарность создателю данной программы, я не первый год пользуюсь данным продуктом и заметил одну закономерность, как только я сталкиваюсь с какой то проблемой в работе, сразу возникает мысль обратиться к автору для решения данной проблемы, но меня постоянно опережают при каждом следующем обновлении мои трудности испаряются.
Для новичков конечно может показаться, что разобраться, как это работает и понять все возможности, будет очень и очень трудно. На самом деле это совершенный конструктор по парсингу и моё мнение конкурентов нет. Есть программы с помощью которых некоторые функции делаются гораздо быстрее и понятнее, но как правило это работает только на простых и без информативных сайтах, но с данной программой можно сделать то, что казалось бы сделать невозможно.
Хочу еще отметить, что цена и качество не имеет себе равных.
Ждем новых обновлений))
Здравствуйте.
Спасибо.
Здравствуйте.
19 October 2015 at 23:45 Сергей says:
“В настройку приостановить парсинг при бане, добавьте возможность выбрать еще одну границу для контроля,.. одной границы контроля часто не хватает”.
Присоединяюсь с уточнением. В моём частном случае нужна проверка типа:
если ГраницаX=пусто — останов;
если ГаницаY=пусто и ГраницаZ=пусто — останов.
Если подобную проверку можно реализовать макросом, пожалуйста, дайте ссылку. Найти материал по этому вопросу не удалось.
Здравствуйте.
Создайте тему с вашим вопросом на форуме.
ENCODE UNIXTIME
будет очень полезно
Здравствуйте.
На данный момент есть макрос вывода текущего времени в формате UNIXTIME.
Если требуется кодировать в этот формат любое произвольное время, создайте на форуме тему с примером работы желаемой функции (в каком формате в нее время заходит).
Здравствуйте
Не знаю куда писать о возможной ошибке, напишу сюда. При загрузке урла с https в host помимо хоста подставляется порт (при использовании библиотеки INDY). Если можно прошу подправить это, порта в хосте быть не должно, потому что это не соответствует работе браузера и приводит к ошибкам при некоторых настройках сертификатов. Пример на скрине, урл https whatismybrowser com/detect/what-http-headers-is-my-browser-sending выводит заголовки запроса “браузера”.
Программа в host записывает www whatismybrowser com:443, а надо просто www whatismybrowser com.
Здравствуйте.
Нажмите ctrl+h и выберите библиотеку Clever Internet Suite.
С Clever Internet Suite сайт из примера вообще не грузится (ошибка AcquireCredentials failed). Но грузится с библиотеками win или DOM, про переключение библиотек знаю и использую. Просто хотел указать на ошибку в работе библиотеки ведь если её можно исправить программно – это уменьшит количество ошибок и танцев с бубном, а https сейчас явно набирает популярность.
Грузится, не проверил, не посоветовал бы.
Да точно, если пощелкать настройками https, сайт загрузился. Вы бы написали это ошибка или не ошибка – или ошибка, но в библиотеке вы её не исправите? А то так всегда можно написать – не грузите этот сайт или не запускайте программу и все будет ок… Вчера же, например, еще и память утекала, и при подходе к 3,2гб занимаемой памяти программа работать отказалась – тут логика та же, надо просто загружать по 100 страничек и все будет ок?
я к тому что в сложных программах почти всегда есть обходной путь сделать то же самое, но значит ли это что не нужно исправлять неожиданное поведение отдельных путей? Если библиотека не изменяется – все ок, я понял, а если подправить это поведение можно парой строк – то не вижу причин указывать на другие варианты сделать то же самое.
Здравствуйте! Добавьте, пожалуйста, макросы шаблона вывода для WordPress:
1. для задания имени автора поста (по аналогии с [NAME][/NAME] для автора комментария)
и
2. даты публикации комментария (по аналогии с [POST_DATE][/POST_DATE] для даты публикации поста).
Это позволило бы формировать просто идеальные файлы импорта для WordPress.