Пожелания и предложения по развитию программы Content Downloader

Пожелания и предложения по развитию программы Content Downloader

content downloader icoПрошу излагать в комментариях свои пожелания по развитию программы Content Downloader. Все ваши предложения будут рассмотрены в кратчайший срок и, в случаях целесообразности их реализации, доработки будут осуществляться в ближайших обновлениях.

Для комментирования не требуется регистрация.

PS: Также вы можете оставлять предложения по развитию программы в этой теме на форуме.

Спасибо.

Вы можете оставить комментарий, или поставить трэкбек со своего сайта.
Есть 1,522 коммент. к теме: “Пожелания и предложения по развитию программы Content Downloader”
  1. Kreol says:

    В макрос CSVIMAGES добавить макрос, который позволяет имена картинкам присваивать из границы, например граница Артикул
    [CSVIMAGES(img)]<CD_GRAN_8!>[/CSVIMAGES]=>[CSVIMAGES(img)[name_photo]<CD_GRAN_2!>[/name_photo]]<CD_GRAN_8!>[/CSVIMAGES]

    • admin says:

      Здравствуйте.

      Используйте для этого макрос шаблона вывода [IMAGESNAMES].

      С уважением к вам, Сергей.

  2. Nike says:

    Лог парсинга сайтов
    -добавить метку времени к событию (столбец)
    -возможность писать лог в файл

  3. Николай says:

    Поскольку Контент Даунлодер начал уже орабатывать картинки, предлагаю сделать фичу, которой нет ни у одного грабера-уникальизатора

    1. Склейка картинок. То есть, парсим 20 картинок по поисковому запросу, а КД при сохранении картинок склеивает, например по 2 шт. Итого получится не 20 картинок, а 10 попарно склеенных.
    2. Добавление к картинкам надписи из ключевых слов или снипетов-альтов картинок. Как в демативаторах.

  4. Kreol says:

    Здравствуйте
    Добавить в поиск/замену wbapp метод автозавершения тега
    {AUTO}div|{AUTO}{GETMETHOD}
    Спасибо

  5. Kreol says:

    Здравствуйте!
    Можно ли добавить макрос IFNIL4 который будет работать перед FINAL_REPLACE?
    в связи с условиями, необходимо использование 2-х IFNIL3 которые не обрабатываются правильно.

    • Kreol says:

      т.е. по факту выходит вот такое
      [IFNIL3][IFNIL3][ELSE]1111[/IFNIL3][ELSE]2222[/IFNIL3]
      само собой автозавершение тега тут не срабатвает и мы получаем [IFNIL3][IFNIL3][ELSE]1111[/IFNIL3] а в итоге пустоту, а должны 2222

    • admin says:

      Здравствуйте.

      Вместо [IFNIL] используйте макрос [CHECKENTRY] (он поддерживает вложенное выполнение).

  6. Kreol says:

    Приветствую
    Можно ли доработать GENERATE чтоб использовать вот такую конструкцию
    [TO][R0][/TO]
    мы забираем границей количество товаров(например 14) и потом их делим на 10 (так как на странице 10 позиций, и округляем в большую сторону, чтоб получить 2 страницы
    Данная конструкция не работает
    [GENERATE][FROM]2[/FROM][TO][R0][/TO][INC]1[/INC][SEP]{br}[/SEP]?page=[VARIABLE][REPLACE(___|)][PAR___AM][/REPLACE]:[PARAM][/GENERATE]
    Сайт очень банит, использовать генератор ссылок совсем не представляется возможным

    • admin says:

      Здравствуйте.

      Готово!

      Скачайте и установите доработанную версию программы (в программе: главное меню – файл – центр обновлений -> кнопка “обновить программу/скачать обновленную сборку”).

      С уважением к вам, Сергей.

      • Kreol says:

        Спасибо

        • Kreol says:

          Вот такой штуки нехватает
          [GENERATE][FROM]2[/FROM][TO] < TOPRICE/10 >313< /TOPRICE >[/TO]

          • admin says:

            В актуальной версии программы в параметре [TO] НЕ нужно использовать макрос TOPRICE. В параметре [TO] и так работают арифметические операции (*, /, +, -).

          • Kreol says:

            Что-то я видимо не понимаю
            вот ситуация
            в границе 1 у нас число 12
            генерация ссылок идет через +36
            по факту вот так
            &list_start=0
            &list_start=36
            &list_start=72

            Вот пытаюсь сделать так: Не работает, версия 108
            [GENERATE][FROM]0[/FROM][TO*36]<CD_GRAN_1!>[/TO][INC]36[/INC][SEP]{br}[/SEP]<CD_DOCURL!>&list_start=[VARIABLE][/GENERATE]

          • Kreol says:

            обновился до 125, не помогло.
            Добавь пожалуйста в хелп описание этой функции.

          • admin says:

            Не так прописываете, нужно операции прописывать внутри параметра [TO] (между [TO] и [/TO]). Если не справляетесь с этим, создайте тему на форуме.

  7. Александр says:

    Здравствуйте!
    Хотелось бы по аналогии с обновлением от 23 февраля, сохранять родительский адрес и во вкладке “Ссылки”, лучше даже не в [param], а просто чтобы добавлялись в список найденных, а отсеивались те, в которых ссылки не найдены.
    Спасибо!

    • Александр says:

      Извиняюсь за неточную формулировку. Нужно с точностью до наоборот, нетривиальная задача… родительский url наоборот должен исключаться из списка, а ссылки на которых ссылки не найдены нужно чтобы добавлялся в список.

      • admin says:

        В этом случае нужно парсить во вкладке “Контент” и с помощью макроса [CHECKENTRY] делать проверку наличия определенных ссылок или кода и в зависимости от этого выводить в результат исходный URL или нет.

        Если у вас с этим проблемы, создайте тему на форуме с подробной постановкой задачи.

        С уважением к вам, Сергей.

    • admin says:

      Здравствуйте.

      Добавлено по первой вашей просьбе:

      Content Downloader X1 версии 11.1.0000118 (01.03.2017)

      – Появилась возможность автоматически вставлять макрос DOWNLOADFILE в атрибут SRC всех HTML-тегов IMG (с последующим удалением HTML-тегов неудачно-загруженных картинок, shift+ctrl+l);
      – Появилась возможность включать автоматическое преобразование [DOWNLOADFILE] -> непосредственно перед выполнением макроса DOWNLOADFILE (нужно, например, в случаях с парсингом картинок при использовании макросов [DYNAMICVALUES], [HORIZTABLE], [VERTTABLE], shift+ctrl+l);
      – Несколько других доработок.

  8. Djah says:

    Сергей, добрый день.
    У меня такая идея есть.
    Закрыть при помощи CD, большую потребность в Ecommerce
    А именно задачу универсального разбора файлов EXCEL и CSV с последующей обработкой при помощи CD

    Это реально Важная и нужная задача, для обновления данных на сайте, для автоматизированного анализа на новые товары, для любого разбора файлов Excel вообще, так как сейчас универсальной автоматизации нет. А форматов и видов Excel файлов от поставщиков миллионы, подо все писать макросы на VBA, жизни не хватит.

    Какое для меня актуальное применение:
    1) поставщики присылают на почту или отдают по ссылке к скачке файлы xls и xlsx – надо этот файл забрать оттуда.
    2) В файлах лежат листы, в листах строки и колонки на пересечении, ячейки, в ячейках данные. – надо это разобрать в один документ и пометить границами для парсинга, чтобы можно было распарсить этот документ после. Нпример сделать из него текстовый документ, по примеру HTML
    3) Распарсить этот документ Как обычно при помощи CD/

    Я думал, может быть можно сделать модуль для CD по Экселю, наподобие как это делает модуль WBApp, который подготовит для CD документ в привычном для CD Виде.

    Я в принципе могу поучаствовать финансово в этой разработке, если в целом Вы не против добавления такого модуля в функционал CD.

    • admin says:

      Здравствуйте.

      300 евро стоит лицензия модуля работы с XLS (и то не понятно, как он будет работать, будет ли он поддерживать XLS старых годов (какие часто высылают поставщики) или нет, можно пока только гадать). Собственный модуль работы с XLS разрабатывать, думаю, нецелесообразно (займет очень много времени).

      Может быть есть варианты получать прайсы в формате CSV? Или какие-нибудь решения, позволяющие производить конвертацию XLS -> CSV.

      Если можно, создайте тему по этому поводу на форуме, постараемся найти решение.

      Спасибо!

  9. google4mo says:

    Софт все лучше и лучше!
    Развития и процветания!
    Всегда тут отписываюсь после обновления )))
    Спасибо Сергей!

    • admin says:

      Здравствуйте.

      Большое спасибо! И вам всего доброго!

      С уважением к вам, Сергей.

  10. Кирилл says:

    Доброго времени суток. Есть несколько пожеланий по доработке программы.
    1. В макрос SKY UNIQUE хотелось бы иметь возможность добавлять префикс перед случайно генерируемыми буквами или цифрами (например: kr-598690), либо после (5674832-01)
    2. В макросе downloadfile, если стоит галочка конвертации всех картинок в jpeg, то прозрачность изображения PNG заменяется черным фоном, хотелось бы чтобы эта прозрачность заменялась белым цветом. (пример прикрепил)
    3. Если в макросе downloadfile поставить галочку изменять размеры изображения и накладывать WaterMark, то сначало накладывается водный знак, а потом вместе с ним меняется изображение. Получается совсем не красиво. Нужно чтобы сначала менялся размер изображения, а потом уже накладывался водный знак.

    • admin says:

      Здравствуйте.

      1) Ничего не мешает сделать так [SKU_UNIQUE:10LD][/SKU_UNIQUE]-01 или так kr-[SKU_UNIQUE:10LD][/SKU_UNIQUE];

      2) Доработал. Скачайте и установите доработанную версию программы (в программе: главное меню – файл – центр обновлений -> кнопка “обновить программу/скачать обновленную сборку”);

      3) Ничего подобного! WaterMark накладывается в самом конце! Возможно, ваш предпросмотрщик изображений делает scale (выбирайте масштаб 100%). Сжатое изображение с WaterMark в оригинальном размере прикрепил к комментарию (В прикрепленном к комментарию изображении тоже делается scale! Для просмотра оригинального изображения, кликните по его Preview!).

      С уважением к вам, Сергей.

  11. Владимир says:

    Есть ли возможность WaterMark масштабировать по отношению к картинке? Парсятся разного размеры и смотрится иногда в пол экрана

    • admin says:

      Здравствуйте.

      Возможность есть.

      Вопросы по функционалу, пожалуйста, задавайте на форуме. Тут – только предложения по развитию!

  12. Kreol says:

    Приветствую.
    Возможно ли сделать функционал, который по ключу будет перезагружать прокси , а соответственно и документ?
    Проблема в том, что есть сайт, который выдает строку
    Превышено число запросов и ip попадает в бан
    а в другой раз выдает капчу, с капчей то решаемо, но вот с превышением числа запросов – нет.
    Переходя на 2-3 видим ту же самую картину, но например на 5-м прокси у нас все нормально работает.
    Можно ли как-то обходить данную ситуацию?
    Сайт
    Улетает в бан очень быстро.
    Спасибо

    • admin says:

      Здравствуйте.

      Пожалуйста, вопросы по функционалу задавайте на форуме. Тут – только предложения по развитию!

  13. IVAN says:

    Добрый день!

    Подскажите, будет ли реализован автоматический запуск парсинга по расписанию?

  14. Евгений says:

    Добрый день. Добавьте кнопку “получения” sitemap.xml из файла robots.txt директивы Sitemap: xxxxxx ru/sitemap.xml

  15. Иван says:

    Здравствуйте.
    Не могу получить “ID пользователя” (ctrl+F7), т.к. программа не обновлена до актуального состояния. Как следствие, не могу зарегистрироваться на форуме.

    • admin says:

      Здравствуйте.

      Скачайте программу по ссылке, полученной при покупке.

      Если утратили ссылку, напишите мне на почту.

      С уважением к вам, Сергей.

  16. Djah says:

    Добрый день.
    Есть такое предложение.
    Мнемонические символы, на некоторых типах сайтов, типа ЯМаркет, попадают в шаблон назначения границ при любых раскладах.
    Предлагаю добавить в меню SHIFT+CNTRL+R , функцию замены всех мнемоников на их символы. Таким образом мнемоники будут заменены всегда и везде, и в документе при назначении границ парсинга их тоже не будет. А то они иногда подбешивают 🙂

    • Djah says:

      Хотя лучшее не делать так ! Тормозит от этого просто фиерически!
      ПРЕДЛОЖЕНИЕ СНИМАЮ !

  17. Андрей says:

    В CSV редактор добавить функцию удаления строк, если в определенном столбце одинаковые значения.
    Поясню:
    попался сайт, на котором дубли карточек товара (совершенно одинаковые), но с разными URLами.
    Надо оставить только 1 строку, ориентируясь скажем по артикулу или названию товара.

    • admin says:

      Здравствуйте.

      Такой функционал в редакторе давно есть.

      Смотрите скриншот.

      С уважением к вам, Сергей.

  18. Андрей says:

    Хм – не заметил.
    Спасибо!!!

  19. Djah says:

    Предлагаю интенрировать сервис reCAPCHA v.2 от рукапчи
    По второму варианту.
    https rucaptcha com/support/faq/41/

    А то прокси проксями, а на ресурсах с аккаунтом никакие прокси не помогут.

    • admin says:

      Здравствуйте.

      Спасибо за информацию!

      • Djah says:

        Сергей, спасибо что ознакомились с предложением.
        Еще хотел спросить для общего понимания: этот механизм может быть когда-либо добавлен в CD? Или в этом нет смысла ?

  20. Alex says:

    Сделайте уже наконецто работу через ТОР, уже устал с прокси и проксифаером. Спасибо

Написать комментарий к admin

Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)

Добавить изображение к комментарию (jpg)