Пожелания и предложения по развитию программы Content Downloader

content downloader icoПрошу излагать в комментариях свои пожелания по развитию программы Content Downloader. Все ваши предложения будут рассмотрены в кратчайший срок и, в случаях целесообразности их реализации, доработки будут осуществляться в ближайших обновлениях.

Для комментирования не требуется регистрация.

PS: Также вы можете оставлять предложения по развитию программы в этой теме на форуме.

Спасибо.

Вы можете оставить комментарий, или поставить трэкбек со своего сайта.

Есть 1,492 коммент. к теме: “Пожелания и предложения по развитию программы Content Downloader”

  1. Антон says:

    Приветствую!
    Хотелось бы доработку в “Настройку фильтров ссылок” Чтобы можно было ограничивать получение количества ссылок с 1 страницы
    Например у нас общих ссылок с которых мы получаем ссылки на товары 2000, с каждой ссылки мы получаем, например по 60 ссылок, это для нас много, хотелось бы 30 или 20. Т.е. у нас не стоит задача спарсить все.
    Добавьте пожалуйста ограничение на вывод.
    Так как использовать для этого вкладку контент с повторяющимися границами не совсем правильно.
    Спасибо!

  2. Юрий says:

    Приветствую!
    Выложите пожалуйста на сайте список горячих клавиш, чтобы можно было скачать и распечатать).

  3. Андрей says:

    Добрый.
    Добавьте в сканере сайтов ограничение на количество получаемых ссылок для исходной ссылки.

  4. Андрей says:

    Есть такое предложение, в лог добавить код ответа сервера, потому что при парсинге возникают разные ошибки – 404, 301, иногда просто не спарсилось и тоже ошибку пишет. И когда ошибочных страниц много, нужно повторно парсить, а 404 было бы хорошо сразу выкинуть.
    И также нужна галка “записывать в файл вместе с кодом ответа сервера”

  5. Дмитрий says:

    Здравствуйте.
    Скажите пожалуйста, будет ли сильно проблематично добавить в программу в списках прокси две возможности:
    “Использовать только первый прокси из списка для всех потоков” и “Заменять прокси на следующий в списке через …секунд”?

  6. 1 says:

    Сделайте пожалуйста вывод информации о работающем сканере во всплывающем окошке, где сейчас выводятся проценты парсинга. А то работающую программу от неработающей сложно отличать.

  7. Кирилл says:

    Делал вчера себе карту сайта (sitemap.xml) с помощью программы, т.к стандартная в движке генерируется очень долго, и поисковик выдает ошибку, и хотел предложить новую функцию генератора карты сайта из ссылок в сканере одной кнопкой 🙂

  8. ser9ga says:

    Продублирую с форума. Было бы шикарно иметь такой инструмент. Из настроек – позиция (верх лево, верх прво и т.д.), размер лого в % от ширины/высоты, смещение в pix по х и по y.

  9. Кирилл says:

    Предлагаю при парсинге документов рядом со строкой : Загружено документов xxx
    вывести строку: не загружено документов xxx
    Для удобства.

    Пример: см. скриншот

  10. Алексей says:

    Добрый день.
    Не могли бы вы добавить в “обработчик CSV” функцию записи действий, с возможностью импорта/экспорта в файл. Т.е. что-то вроде шаблона обработки таблиц.

  11. Kreol says:

    Добрый день.
    В редактор поиск/замены ввести 2 момента
    1) Создавать строки с комментариями, как для отдельных строк (//лалала), так и для многострочного текста (/*лалала*/)
    2) сделать шаблонизатор для поиск / замены
    т.е. чтоб было как с менеджером шаблонов или макросов. Есть наработки, которые все время приходится вставлять.

  12. Александр says:

    Введите пожалуйста макрос [AUTO] поиска закрывающего тега и для функции поиска-замены в границах парсинга.

  13. Кирилл says:

    Доброго времени суток. Очень хочется чтобы в downloadfile встроили функцию наложение водяных знаков. Т.е. при скачивании изображений программа накладывала бы изображение с водяным знаком в указанный угол скачанной картинки.
    Мне ускорило бы работу вдвое, а то и втрое 😉

  14. Kreol says:

    Приветствую!
    1) Очень сильно нужна возможность сохранять документы в массовом загрузчике в папку записанную в [PARAM]
    2) при добавлении ссылок в массовый загрузчик, контент умирает на довольно продолжительный промежуток времени. (загружается 500000 ссылок) Почему он не вставляется так же быстро как в обычном проекте?

  15. Andrey says:

    Здравствуйте!

    Будет прекрасной доработкой если сделать в окне автоматизации галочки
    по завершении или ошибке парсинга (приостановить парсинг при бане, значение когда 0)
    1. Уложить компьютер в спячку Sleep
    2. Выключить Poweroff
    3. Suspend

    Уже который раз замечаю, как этого не хватает, когда уходишь спать, а комп трудится полночи, а потом еще полночи стоит в простое жужжа вентиляторами))
    Спасибо за прекрасный софт!

  16. Карл says:

    Добрый день!

    Хотелось бы все же просить рассмотреть (если конечно это реально) возможность сделать так, чтобы было можно добавлять количество обычных границ парсинга свыше жестко прописанных в системе 20. Вас уже просили об этом, но Вы ограничились советами использовать макрос. Я тоже его использовал, да, и мне удалось решить задачу, но…

    Во-первых, макрос невозможно визуально настроить используя стандартную функцию задания границ парсинга. там мы можем открыть страницу и УВИДЕТЬ что именно будет парситься. Макросы работают вслепую, я должен каким-то образом вычислить его правильный синтаксис для того чтобы он работал. Это не всегда просто.

    Во-вторых, возможно для Вас это будет сюрпризом, но большинство пользователей программы – ни разу не гики, а вполне себе обычные пользователи. Ожидать от пользователя уровня продвинутого, только потому что сам являешься продвинутым, это все же мне кажется немного неоправданно. Да, я убил некоторое время и овладел таки тем макросом, и сделал таки парсинг того, что не смог спарсить из-за жестко забитых 20 границ. Но я убил кучу времени, которое стоит вполне таки реальных денег. А ведь мог бы сделать это играючи используя знакомый функционал простого и понятного визуального определения обычных границ…

    Поэтому мне кажется, что был бы смысл упростить людям работу, просто сделав возможность добавлять еще границ парсинга. Нажал на кнопочку – оппа, добавилось, и задавай ее как обычно – удобно и понятно через редактор. 🙂 Может, все же сделаете программу чуть более дружественной к не-гикам? 🙂

    Еще одно небольшое замечание. Я полностью разделяю Ваше стремление к получению адекватной компенсации за свою работу по усовершенствованию, в смысле платных подписок на получение апдейтов. Но тем не менее, само по себе отсутствие апдейтов для того, кто не приобрел подписку, является УЖЕ достаточным мотиватором. Нет никакого смысла наказывать пользователя тем, что завешивать программу на довольно продолжительное время при попытке проверить обновления. А то нажимаешь кнопку, программа виснет намертво и надолго (пару минут наверно), чтобы потом выплюнуть сообщение что мол 404 not found. Нельзя ли убрать эту пару минут? Просто сразу выдавать сообщение что мол у вас недоступны новые обновления, так как нет подписки. Мне кажется, что так будет справедливо по отношению к пользователям?

    Спасибо заранее за то, что, возможно, Вы все-таки прислушаетесь к очередной просьбе насчет количества границ парсинга, ну и спасибо за отличный инструмент, коим безусловно является программа!

  17. Сергей says:

    Здравствуйте.

    Нельзя ли передавать cookies при закачке файлов макросом DOWNLOADFILE?

    У меня сложилась такая ситуация: если открыть окно авторизации ctrl+k и вставить в адресную строку адрес файла, то он закачивается. Если же закачивать этот же файл макросом DOWNLOADFILE, то появляется ошибка “Программе не удалось загрузить файл (wrong content type (text/html))”.

    Если убрать в настройках макроса флажок “поддерживать редиректы”, то появляется ошибка “Программе не удалось загрузить файл (HTTP/1.1 302 FOUND)”.

    Эта ошибка связана с тем, что при загрузке файла сайт проверяет авторизован ли пользователь, пытающийся скачать файл, и если он не авторизован, то производится редирект пользователя на форму авторизации.

    • admin says:

      Здравствуйте.

      Можно. Пожалуйста, задайте ваш вопрос на форуме.

      PS: На этой странице высказываются предложения по доработке программы. Задавать вопросы по функционалу на этой странице нельзя!

      С уважением к вам, Сергей.

  18. Kreol says:

    Приветствую!
    Есть куча доработок
    1) в редакторе поиск/замена вернуть окошко с поиском (в wbapp оно кстати есть)
    И желательно вставить кнопочку “Найти далее” или “Найти предыдущее”, а не делать это сочетаниями клавиш (ну лично мне так удобнее)
    2) Создать новую версию генератора ссылок, которые обычно собираются руками и имеют вид:
    site.ru_1?p={1:100}
    site.ru_2?p={1:10}
    site.ru_3?p={1:80}
    site.ru_4?p={1:500}

    мысль: создать типа {key3} в который можно просто загрузить список выше и нажать на кнопочку сгенерировать. Также чтоб он умел работать с [PARAM]

    3) В макрос [LOADHTMLTABLE], а конкретнее в [REBUILD()] добавить возможность выбора символа переноса строк таблицы (сейчас там что-то наподобие {br}) потому что частенько нужно не в виде таблицы, а в виде последовательных строк. и приходится делать манипуляции по поиску/замене

    Спасибо.
    p.s. Надеемся что хоть что-то из перечисленного будет одобрено)

    • admin says:

      Здравствуйте

      1) Учли

      2) Поясните на форуме зачем это нужно (с конкретной постановкой задачи)

      3) Читайте внимательно хелп http://sbfactory.ru/cd/?p=2921 все разделители задаются

      С уважением к вам, Сергей.

  19. kaukf says:

    Добрый день, сделайте, пожалуйста, возможность загружать sitemap из файла.

    • admin says:

      Здравствуйте.

      Простите, не вижу смысла делать функцию парсинга ссылок из XML-карты на локальном диске. Первый раз слышу о такой потребности.

      С уважением к вам, Сергей.

  20. Djah says:

    Сергей, добрый день.
    Хочу предложить такое:

    Когда работаешь с Проксями и WBABB.
    Когда работаешь при предпросмотре, WBAPP показывает окно браузера, без использования прокси и куки из программы CD, А с моего настоящего ip и куков записанных в мой виндовый IE.

    Это немного путает, так как бывает, что комп уже забанен, а прокси нет, и наоборот.

    И начинаешь гадать, делать проверки и прочее.

    Я то уже привык, но поначалу жестко тупил.

    Может новичкам будет полезно.

    Я помню как то просил это в меню назначения границ, Вы сделали, стало очень удобно, спасибо, но сейчас все больше сайтов которые под WBAPP.

    Необязательная доработка, просто предложил.

    Спасибо.

    • admin says:

      Здравствуйте.

      Если вписать прокси в Windows IE, то он принудительно будет ко всему применяться! (Я не знаю, как это обойти).

      С уважением к вам, Сергей.

      • Djah says:

        Окей, спасибо, не проблема. Для истории: если кто наткнется на эту ветку: используйте тогда программу proxifier, он накроет весь трафик wbapp и CD

Написать комментарий

Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)

Добавить изображение к комментарию (jpg)