Прошу излагать в комментариях свои пожелания по развитию программы Content Downloader. Все ваши предложения будут рассмотрены в кратчайший срок и, в случаях целесообразности их реализации, доработки будут осуществляться в ближайших обновлениях.
Для комментирования не требуется регистрация.
PS: Также вы можете оставлять предложения по развитию программы в этой теме на форуме.
Спасибо.
Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)
С вопросами о покупке (или другими организационными), вы можете в любое время обращаться по Телефону +7 983 381 3211 или Телеграм @ContentDownloaderX1 (Сергей Владимирович)
WBApp (дополнение для Content Downloader) - парсинг с выполнением WEB-скриптов, с возможностью имитации кликов по элементам страниц, произведение прокрутки страниц, заполнение текстовых полей и многое другое...
Новости RSS
Рубрики: 
Теги:
Приветствую!
Хотелось бы доработку в “Настройку фильтров ссылок” Чтобы можно было ограничивать получение количества ссылок с 1 страницы
Например у нас общих ссылок с которых мы получаем ссылки на товары 2000, с каждой ссылки мы получаем, например по 60 ссылок, это для нас много, хотелось бы 30 или 20. Т.е. у нас не стоит задача спарсить все.
Добавьте пожалуйста ограничение на вывод.
Так как использовать для этого вкладку контент с повторяющимися границами не совсем правильно.
Спасибо!
Приветствую!
Выложите пожалуйста на сайте список горячих клавиш, чтобы можно было скачать и распечатать).
Добрый.
Добавьте в сканере сайтов ограничение на количество получаемых ссылок для исходной ссылки.
Есть такое предложение, в лог добавить код ответа сервера, потому что при парсинге возникают разные ошибки – 404, 301, иногда просто не спарсилось и тоже ошибку пишет. И когда ошибочных страниц много, нужно повторно парсить, а 404 было бы хорошо сразу выкинуть.
И также нужна галка “записывать в файл вместе с кодом ответа сервера”
+1, давно просил коды ответов…
Здравствуйте.
Скажите пожалуйста, будет ли сильно проблематично добавить в программу в списках прокси две возможности:
“Использовать только первый прокси из списка для всех потоков” и “Заменять прокси на следующий в списке через …секунд”?
Сделайте пожалуйста вывод информации о работающем сканере во всплывающем окошке, где сейчас выводятся проценты парсинга. А то работающую программу от неработающей сложно отличать.
Делал вчера себе карту сайта (sitemap.xml) с помощью программы, т.к стандартная в движке генерируется очень долго, и поисковик выдает ошибку, и хотел предложить новую функцию генератора карты сайта из ссылок в сканере одной кнопкой 🙂
Продублирую с форума. Было бы шикарно иметь такой инструмент. Из настроек – позиция (верх лево, верх прво и т.д.), размер лого в % от ширины/высоты, смещение в pix по х и по y.
Предлагаю при парсинге документов рядом со строкой : Загружено документов xxx
вывести строку: не загружено документов xxx
Для удобства.
Пример: см. скриншот
Добрый день.
Не могли бы вы добавить в “обработчик CSV” функцию записи действий, с возможностью импорта/экспорта в файл. Т.е. что-то вроде шаблона обработки таблиц.
Добрый день.
В редактор поиск/замены ввести 2 момента
1) Создавать строки с комментариями, как для отдельных строк (//лалала), так и для многострочного текста (/*лалала*/)
2) сделать шаблонизатор для поиск / замены
т.е. чтоб было как с менеджером шаблонов или макросов. Есть наработки, которые все время приходится вставлять.
Введите пожалуйста макрос [AUTO] поиска закрывающего тега и для функции поиска-замены в границах парсинга.
Здравствуйте.
Готово http://forum.sbfactory.ru/threads/predlozhenija-po-uluchsheniju-programmy.13/page-48#post-26400
С уважением к вам, Сергей.
Доброго времени суток. Очень хочется чтобы в downloadfile встроили функцию наложение водяных знаков. Т.е. при скачивании изображений программа накладывала бы изображение с водяным знаком в указанный угол скачанной картинки.
Мне ускорило бы работу вдвое, а то и втрое 😉
Здравствуйте.
Готово!
http://sbfactory.ru/?p=5706
Я просто в шоке! За пол дня встроили в программу функцию! Просто нет слов! Даже не ожидал, что сделаете. Спасибо вам огромное!
И вам спасибо!
Приветствую!
1) Очень сильно нужна возможность сохранять документы в массовом загрузчике в папку записанную в [PARAM]
2) при добавлении ссылок в массовый загрузчик, контент умирает на довольно продолжительный промежуток времени. (загружается 500000 ссылок) Почему он не вставляется так же быстро как в обычном проекте?
Здравствуйте!
Будет прекрасной доработкой если сделать в окне автоматизации галочки
по завершении или ошибке парсинга (приостановить парсинг при бане, значение когда 0)
1. Уложить компьютер в спячку Sleep
2. Выключить Poweroff
3. Suspend
Уже который раз замечаю, как этого не хватает, когда уходишь спать, а комп трудится полночи, а потом еще полночи стоит в простое жужжа вентиляторами))
Спасибо за прекрасный софт!
Здравствуйте.
Учли.
PS: Спасибо на добром слове!
Добрый день!
Хотелось бы все же просить рассмотреть (если конечно это реально) возможность сделать так, чтобы было можно добавлять количество обычных границ парсинга свыше жестко прописанных в системе 20. Вас уже просили об этом, но Вы ограничились советами использовать макрос. Я тоже его использовал, да, и мне удалось решить задачу, но…
Во-первых, макрос невозможно визуально настроить используя стандартную функцию задания границ парсинга. там мы можем открыть страницу и УВИДЕТЬ что именно будет парситься. Макросы работают вслепую, я должен каким-то образом вычислить его правильный синтаксис для того чтобы он работал. Это не всегда просто.
Во-вторых, возможно для Вас это будет сюрпризом, но большинство пользователей программы – ни разу не гики, а вполне себе обычные пользователи. Ожидать от пользователя уровня продвинутого, только потому что сам являешься продвинутым, это все же мне кажется немного неоправданно. Да, я убил некоторое время и овладел таки тем макросом, и сделал таки парсинг того, что не смог спарсить из-за жестко забитых 20 границ. Но я убил кучу времени, которое стоит вполне таки реальных денег. А ведь мог бы сделать это играючи используя знакомый функционал простого и понятного визуального определения обычных границ…
Поэтому мне кажется, что был бы смысл упростить людям работу, просто сделав возможность добавлять еще границ парсинга. Нажал на кнопочку – оппа, добавилось, и задавай ее как обычно – удобно и понятно через редактор. 🙂 Может, все же сделаете программу чуть более дружественной к не-гикам? 🙂
Еще одно небольшое замечание. Я полностью разделяю Ваше стремление к получению адекватной компенсации за свою работу по усовершенствованию, в смысле платных подписок на получение апдейтов. Но тем не менее, само по себе отсутствие апдейтов для того, кто не приобрел подписку, является УЖЕ достаточным мотиватором. Нет никакого смысла наказывать пользователя тем, что завешивать программу на довольно продолжительное время при попытке проверить обновления. А то нажимаешь кнопку, программа виснет намертво и надолго (пару минут наверно), чтобы потом выплюнуть сообщение что мол 404 not found. Нельзя ли убрать эту пару минут? Просто сразу выдавать сообщение что мол у вас недоступны новые обновления, так как нет подписки. Мне кажется, что так будет справедливо по отношению к пользователям?
Спасибо заранее за то, что, возможно, Вы все-таки прислушаетесь к очередной просьбе насчет количества границ парсинга, ну и спасибо за отличный инструмент, коим безусловно является программа!
Здравствуйте.
Пожалуйста, обратите внимание на этот материал системы помощи: Задание динамических границ парсинга (КОГДА НУЖНО ЗАДАТЬ БОЛЕЕ 20 ГРАНИЦ ПАРСИНГА, работают аналогично обычным границам парсинга, но поддерживают регулярные выражения и не ограничены по количеству)
PS: Ошибка 404 not found при попытке обновить программу является следствием допущенной ранее ошибки в коде, которая уже исправлена (скачайте программу по ссылке, которую получали при покупке).
С уважением к вам, Сергей.
Большое спасибо! Теперь ясно, как можно это обойти – динамические границы парсинга. Программу скачаю!
Спасибо за помощь!
Всех благ
С уважением!
Здравствуйте.
Нельзя ли передавать cookies при закачке файлов макросом DOWNLOADFILE?
У меня сложилась такая ситуация: если открыть окно авторизации ctrl+k и вставить в адресную строку адрес файла, то он закачивается. Если же закачивать этот же файл макросом DOWNLOADFILE, то появляется ошибка “Программе не удалось загрузить файл (wrong content type (text/html))”.
Если убрать в настройках макроса флажок “поддерживать редиректы”, то появляется ошибка “Программе не удалось загрузить файл (HTTP/1.1 302 FOUND)”.
Эта ошибка связана с тем, что при загрузке файла сайт проверяет авторизован ли пользователь, пытающийся скачать файл, и если он не авторизован, то производится редирект пользователя на форму авторизации.
Здравствуйте.
Можно. Пожалуйста, задайте ваш вопрос на форуме.
PS: На этой странице высказываются предложения по доработке программы. Задавать вопросы по функционалу на этой странице нельзя!
С уважением к вам, Сергей.
Приветствую!
Есть куча доработок
1) в редакторе поиск/замена вернуть окошко с поиском (в wbapp оно кстати есть)
И желательно вставить кнопочку “Найти далее” или “Найти предыдущее”, а не делать это сочетаниями клавиш (ну лично мне так удобнее)
2) Создать новую версию генератора ссылок, которые обычно собираются руками и имеют вид:
site.ru_1?p={1:100}site.ru_2?p={1:10}
site.ru_3?p={1:80}
site.ru_4?p={1:500}
мысль: создать типа {key3} в который можно просто загрузить список выше и нажать на кнопочку сгенерировать. Также чтоб он умел работать с [PARAM]
3) В макрос [LOADHTMLTABLE], а конкретнее в [REBUILD()] добавить возможность выбора символа переноса строк таблицы (сейчас там что-то наподобие {br}) потому что частенько нужно не в виде таблицы, а в виде последовательных строк. и приходится делать манипуляции по поиску/замене
Спасибо.
p.s. Надеемся что хоть что-то из перечисленного будет одобрено)
Здравствуйте
1) Учли
2) Поясните на форуме зачем это нужно (с конкретной постановкой задачи)
3) Читайте внимательно хелп http://sbfactory.ru/cd/?p=2921 все разделители задаются
С уважением к вам, Сергей.
Добрый день, сделайте, пожалуйста, возможность загружать sitemap из файла.
Здравствуйте.
Простите, не вижу смысла делать функцию парсинга ссылок из XML-карты на локальном диске. Первый раз слышу о такой потребности.
С уважением к вам, Сергей.
Ну тогда другое предложение – самостоятельно находить карты сайта из robots.txt
Спасибо!
Сергей, добрый день.
Хочу предложить такое:
Когда работаешь с Проксями и WBABB.
Когда работаешь при предпросмотре, WBAPP показывает окно браузера, без использования прокси и куки из программы CD, А с моего настоящего ip и куков записанных в мой виндовый IE.
Это немного путает, так как бывает, что комп уже забанен, а прокси нет, и наоборот.
И начинаешь гадать, делать проверки и прочее.
Я то уже привык, но поначалу жестко тупил.
Может новичкам будет полезно.
Я помню как то просил это в меню назначения границ, Вы сделали, стало очень удобно, спасибо, но сейчас все больше сайтов которые под WBAPP.
Необязательная доработка, просто предложил.
Спасибо.
Здравствуйте.
Если вписать прокси в Windows IE, то он принудительно будет ко всему применяться! (Я не знаю, как это обойти).
С уважением к вам, Сергей.
Окей, спасибо, не проблема. Для истории: если кто наткнется на эту ветку: используйте тогда программу proxifier, он накроет весь трафик wbapp и CD