Прошу излагать в комментариях свои пожелания по развитию программы Content Downloader. Все ваши предложения будут рассмотрены в кратчайший срок и, в случаях целесообразности их реализации, доработки будут осуществляться в ближайших обновлениях.
Для комментирования не требуется регистрация.
PS: Также вы можете оставлять предложения по развитию программы в этой теме на форуме.
Спасибо.
В макрос CSVIMAGES добавить макрос, который позволяет имена картинкам присваивать из границы, например граница Артикул
[CSVIMAGES(img)]<CD_GRAN_8!>[/CSVIMAGES]=>[CSVIMAGES(img)[name_photo]<CD_GRAN_2!>[/name_photo]]<CD_GRAN_8!>[/CSVIMAGES]
Здравствуйте.
Используйте для этого макрос шаблона вывода [IMAGESNAMES].
С уважением к вам, Сергей.
Лог парсинга сайтов
-добавить метку времени к событию (столбец)
-возможность писать лог в файл
Поскольку Контент Даунлодер начал уже орабатывать картинки, предлагаю сделать фичу, которой нет ни у одного грабера-уникальизатора
1. Склейка картинок. То есть, парсим 20 картинок по поисковому запросу, а КД при сохранении картинок склеивает, например по 2 шт. Итого получится не 20 картинок, а 10 попарно склеенных.
2. Добавление к картинкам надписи из ключевых слов или снипетов-альтов картинок. Как в демативаторах.
А если не секрет, что это дает 🙂 ?
Здравствуйте
Добавить в поиск/замену wbapp метод автозавершения тега
{AUTO}div|{AUTO}{GETMETHOD}
Спасибо
Здравствуйте.
Доработал.
В программе: Главное меню – Файл – Центр обновлений
С уважением к вам, Сергей.
спасибо!
Пожалуйста…
Здравствуйте!
Можно ли добавить макрос IFNIL4 который будет работать перед FINAL_REPLACE?
в связи с условиями, необходимо использование 2-х IFNIL3 которые не обрабатываются правильно.
т.е. по факту выходит вот такое
[IFNIL3][IFNIL3][ELSE]1111[/IFNIL3][ELSE]2222[/IFNIL3]
само собой автозавершение тега тут не срабатвает и мы получаем [IFNIL3][IFNIL3][ELSE]1111[/IFNIL3] а в итоге пустоту, а должны 2222
Здравствуйте.
Вместо [IFNIL] используйте макрос [CHECKENTRY] (он поддерживает вложенное выполнение).
Приветствую
Можно ли доработать GENERATE чтоб использовать вот такую конструкцию
[TO][R0][/TO]
мы забираем границей количество товаров(например 14) и потом их делим на 10 (так как на странице 10 позиций, и округляем в большую сторону, чтоб получить 2 страницы
Данная конструкция не работает
[GENERATE][FROM]2[/FROM][TO][R0][/TO][INC]1[/INC][SEP]{br}[/SEP]?page=[VARIABLE][REPLACE(___|)][PAR___AM][/REPLACE]:[PARAM][/GENERATE]
Сайт очень банит, использовать генератор ссылок совсем не представляется возможным
Здравствуйте.
Готово!
Скачайте и установите доработанную версию программы (в программе: главное меню – файл – центр обновлений -> кнопка “обновить программу/скачать обновленную сборку”).
С уважением к вам, Сергей.
Спасибо
Вот такой штуки нехватает
[GENERATE][FROM]2[/FROM][TO] < TOPRICE/10 >313< /TOPRICE >[/TO]
В актуальной версии программы в параметре [TO] НЕ нужно использовать макрос TOPRICE. В параметре [TO] и так работают арифметические операции (*, /, +, -).
Что-то я видимо не понимаю
вот ситуация
в границе 1 у нас число 12
генерация ссылок идет через +36
по факту вот так
&list_start=0
&list_start=36
&list_start=72
…
Вот пытаюсь сделать так: Не работает, версия 108
[GENERATE][FROM]0[/FROM][TO*36]<CD_GRAN_1!>[/TO][INC]36[/INC][SEP]{br}[/SEP]<CD_DOCURL!>&list_start=[VARIABLE][/GENERATE]
обновился до 125, не помогло.
Добавь пожалуйста в хелп описание этой функции.
Не так прописываете, нужно операции прописывать внутри параметра [TO] (между [TO] и [/TO]). Если не справляетесь с этим, создайте тему на форуме.
Здравствуйте!
Хотелось бы по аналогии с обновлением от 23 февраля, сохранять родительский адрес и во вкладке “Ссылки”, лучше даже не в [param], а просто чтобы добавлялись в список найденных, а отсеивались те, в которых ссылки не найдены.
Спасибо!
Извиняюсь за неточную формулировку. Нужно с точностью до наоборот, нетривиальная задача… родительский url наоборот должен исключаться из списка, а ссылки на которых ссылки не найдены нужно чтобы добавлялся в список.
В этом случае нужно парсить во вкладке “Контент” и с помощью макроса [CHECKENTRY] делать проверку наличия определенных ссылок или кода и в зависимости от этого выводить в результат исходный URL или нет.
Если у вас с этим проблемы, создайте тему на форуме с подробной постановкой задачи.
С уважением к вам, Сергей.
Здравствуйте.
Добавлено по первой вашей просьбе:
Сергей, добрый день.
У меня такая идея есть.
Закрыть при помощи CD, большую потребность в Ecommerce
А именно задачу универсального разбора файлов EXCEL и CSV с последующей обработкой при помощи CD
Это реально Важная и нужная задача, для обновления данных на сайте, для автоматизированного анализа на новые товары, для любого разбора файлов Excel вообще, так как сейчас универсальной автоматизации нет. А форматов и видов Excel файлов от поставщиков миллионы, подо все писать макросы на VBA, жизни не хватит.
Какое для меня актуальное применение:
1) поставщики присылают на почту или отдают по ссылке к скачке файлы xls и xlsx – надо этот файл забрать оттуда.
2) В файлах лежат листы, в листах строки и колонки на пересечении, ячейки, в ячейках данные. – надо это разобрать в один документ и пометить границами для парсинга, чтобы можно было распарсить этот документ после. Нпример сделать из него текстовый документ, по примеру HTML
3) Распарсить этот документ Как обычно при помощи CD/
Я думал, может быть можно сделать модуль для CD по Экселю, наподобие как это делает модуль WBApp, который подготовит для CD документ в привычном для CD Виде.
Я в принципе могу поучаствовать финансово в этой разработке, если в целом Вы не против добавления такого модуля в функционал CD.
Здравствуйте.
300 евро стоит лицензия модуля работы с XLS (и то не понятно, как он будет работать, будет ли он поддерживать XLS старых годов (какие часто высылают поставщики) или нет, можно пока только гадать). Собственный модуль работы с XLS разрабатывать, думаю, нецелесообразно (займет очень много времени).
Может быть есть варианты получать прайсы в формате CSV? Или какие-нибудь решения, позволяющие производить конвертацию XLS -> CSV.
Если можно, создайте тему по этому поводу на форуме, постараемся найти решение.
Спасибо!
Сергей, спасибо за ответ, создам.
Пожалуйста…
Софт все лучше и лучше!
Развития и процветания!
Всегда тут отписываюсь после обновления )))
Спасибо Сергей!
Здравствуйте.
Большое спасибо! И вам всего доброго!
С уважением к вам, Сергей.
Доброго времени суток. Есть несколько пожеланий по доработке программы.
1. В макрос SKY UNIQUE хотелось бы иметь возможность добавлять префикс перед случайно генерируемыми буквами или цифрами (например: kr-598690), либо после (5674832-01)
2. В макросе downloadfile, если стоит галочка конвертации всех картинок в jpeg, то прозрачность изображения PNG заменяется черным фоном, хотелось бы чтобы эта прозрачность заменялась белым цветом. (пример прикрепил)
3. Если в макросе downloadfile поставить галочку изменять размеры изображения и накладывать WaterMark, то сначало накладывается водный знак, а потом вместе с ним меняется изображение. Получается совсем не красиво. Нужно чтобы сначала менялся размер изображения, а потом уже накладывался водный знак.
Здравствуйте.
1) Ничего не мешает сделать так [SKU_UNIQUE:10LD][/SKU_UNIQUE]-01 или так kr-[SKU_UNIQUE:10LD][/SKU_UNIQUE];
2) Доработал. Скачайте и установите доработанную версию программы (в программе: главное меню – файл – центр обновлений -> кнопка “обновить программу/скачать обновленную сборку”);
3) Ничего подобного! WaterMark накладывается в самом конце! Возможно, ваш предпросмотрщик изображений делает scale (выбирайте масштаб 100%). Сжатое изображение с WaterMark в оригинальном размере прикрепил к комментарию (В прикрепленном к комментарию изображении тоже делается scale! Для просмотра оригинального изображения, кликните по его Preview!).
С уважением к вам, Сергей.
Есть ли возможность WaterMark масштабировать по отношению к картинке? Парсятся разного размеры и смотрится иногда в пол экрана
Здравствуйте.
Возможность есть.
Вопросы по функционалу, пожалуйста, задавайте на форуме. Тут – только предложения по развитию!
Приветствую.
Возможно ли сделать функционал, который по ключу будет перезагружать прокси , а соответственно и документ?
Проблема в том, что есть сайт, который выдает строку
Превышено число запросов и ip попадает в бан
а в другой раз выдает капчу, с капчей то решаемо, но вот с превышением числа запросов – нет.
Переходя на 2-3 видим ту же самую картину, но например на 5-м прокси у нас все нормально работает.
Можно ли как-то обходить данную ситуацию?
Сайт
Улетает в бан очень быстро.
Спасибо
Здравствуйте.
Пожалуйста, вопросы по функционалу задавайте на форуме. Тут – только предложения по развитию!
Добрый день!
Подскажите, будет ли реализован автоматический запуск парсинга по расписанию?
Здравствуйте.
Уже давно реализован, пожалуйста, изучайте систему помощи http://sbfactory.ru/cd/?p=1149
С уважением к вам, Сергей.
Добрый день. Добавьте кнопку “получения” sitemap.xml из файла robots.txt директивы Sitemap: xxxxxx ru/sitemap.xml
Здравствуйте.
Не могу получить “ID пользователя” (ctrl+F7), т.к. программа не обновлена до актуального состояния. Как следствие, не могу зарегистрироваться на форуме.
Здравствуйте.
Скачайте программу по ссылке, полученной при покупке.
Если утратили ссылку, напишите мне на почту.
С уважением к вам, Сергей.
Добрый день.
Есть такое предложение.
Мнемонические символы, на некоторых типах сайтов, типа ЯМаркет, попадают в шаблон назначения границ при любых раскладах.
Предлагаю добавить в меню SHIFT+CNTRL+R , функцию замены всех мнемоников на их символы. Таким образом мнемоники будут заменены всегда и везде, и в документе при назначении границ парсинга их тоже не будет. А то они иногда подбешивают 🙂
Хотя лучшее не делать так ! Тормозит от этого просто фиерически!
ПРЕДЛОЖЕНИЕ СНИМАЮ !
В CSV редактор добавить функцию удаления строк, если в определенном столбце одинаковые значения.
Поясню:
попался сайт, на котором дубли карточек товара (совершенно одинаковые), но с разными URLами.
Надо оставить только 1 строку, ориентируясь скажем по артикулу или названию товара.
Здравствуйте.
Такой функционал в редакторе давно есть.
Смотрите скриншот.
С уважением к вам, Сергей.
Хм – не заметил.
Спасибо!!!
Пожалуйста…
Предлагаю интенрировать сервис reCAPCHA v.2 от рукапчи
По второму варианту.
https rucaptcha com/support/faq/41/
А то прокси проксями, а на ресурсах с аккаунтом никакие прокси не помогут.
Здравствуйте.
Спасибо за информацию!
Сергей, спасибо что ознакомились с предложением.
Еще хотел спросить для общего понимания: этот механизм может быть когда-либо добавлен в CD? Или в этом нет смысла ?
Постараемся добавить.
Было бы супер круто!
Спасибо
Сделайте уже наконецто работу через ТОР, уже устал с прокси и проксифаером. Спасибо