Прошу излагать в комментариях свои пожелания по развитию программы Content Downloader. Все ваши предложения будут рассмотрены в кратчайший срок и, в случаях целесообразности их реализации, доработки будут осуществляться в ближайших обновлениях.
Для комментирования не требуется регистрация.
PS: Также вы можете оставлять предложения по развитию программы в этой теме на форуме.
Спасибо.
Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)
С вопросами о покупке (или другими организационными), вы можете в любое время обращаться по Телефону +7 983 381 3211 или Телеграм @ContentDownloaderX1 (Сергей Владимирович)
WBApp (дополнение для Content Downloader) - парсинг с выполнением WEB-скриптов, с возможностью имитации кликов по элементам страниц, произведение прокрутки страниц, заполнение текстовых полей и многое другое...
Новости RSS
Рубрики: 
Теги:
Парсю яндекс картинки через гугл переводчик. гугл отдает ответ в фрейме.
CD не может открывать фрейм и показывать какой там контент, как быть?
В зеннопостере вче отлично работает, там фрейм показывается. Но зенка медленная, а КД шустрая..
Так вот получается это КД так не отдает или гдето чтото нужно включить?
Было бы хорошо, если бы появился бы макрос, по которому, программа, по завершении обработки, делала бы запись в журнале windows. Тогда появилась бы возможность настроить событие в планировщике windows, чтобы запускать например другую программу, для дальнейшей обработки напарсенного
Здравствуйте.
Графические пояснения на прикрепленном скриншоте.
С уважением к вам, Сергей.
Пытался создать с помощью программы YML файл. было бы неплохо если бы был такой функционал. изначально.
хотя в принципе тело такого файла сделал. однако требуется на выходе получить табуляцию строк
Как это реализовать?
пробовал [ADDTEXT(||{br})][/ADDTEXT] не помогло. пробовал прописать
\t табуляция (HT/TAB), можно также \x09 в начале строк тоже не привело к успеху.
может вы подскаите как это сделать. или может это не возможно сделать?
версия 11.1.0000012
Пытался создать с помощью программы YML файл. было бы неплохо если бы был такой функционал. изначально.
хотя в принципе тело такого файла сделал. однако требуется на выходе получить табуляцию строк
<offer id="" available=""><categoryId></categoryId>
<category></category>
<name></name>
<description></description>
<picture></picture>
<price></price>
<currencyId></currencyId>
<url></url>
</offer>
Как это реализовать?
пробовал [ADDTEXT(||{br})][/ADDTEXT] не помогло. пробовал прописать
\t табуляция (HT/TAB), можно также \x09 в начале строк тоже не привело к успеху.
может вы подскаите как это сделать. или может это не возможно сделать?
версия 11.1.0000012
Здравствуйте.
Пожелание услышал.
Откройте блокнот (notepad), нажмите клавишу tab на клавиатуре, выделите символ табуляции (ctrl+a), скопируйте его в буфер обмена (ctrl+c). Перейдите в Content Downloader и вставьте символ табуляции в нужное место (ctrl+v).
PS: Символ табуляции ” ” (в кавычках).
С уважением к вам, Сергей.
спасибо. получилось только табуляцию надо делать без ковычек иначе все криво парсится и не верно если значение слишком длинное в поле.
Предлагаю добавить макрос VARF_0, который будет срабатывать сразу после PHP_SCRIPT_0.
Нужно для того чтобы за 1 запрос забрать массив данных из базы данных, а потом его сразу поместить в VARF_0. После VARF_0 “нарезать” на фрагменты через get в FIRST_REPLACE, и поместить эти фрагменты каждый в свой VARF . А после спокойно обрабатывать эти фрагменты в разных местах шаблона, другими макросами многократно.
Так как сейчас есть макрос VARF и VAR, но их к сожалению не хватает, для полноценной работы с переменными, из за порядка выполнения других переменных.
Появление VARF_0 решило бы массу проблем.
Без этого макроса приходится делать множество обращений PHP скриптом к базе данных, что замедляет парсинг и может нагружать базу дополнительно.
Заранее спасибо.
И еще заметил что PHP SCRIPT5 выполняется не самым последним, как то можно его заставить срабатывать после всех обработок, прямо перед записью документа на диск? Нужно для того, чтобы после обработки всеми макросами, вернуть результат в базу данных.
Я еще протестировал: заметил что IF2, TOPPRICE2, VAR, идут после PHP SCRIPT5 , тоесть нет PHP SCRIPT в который можно погрузить результат их обработки. Может у меня что то поломалось или так должно быть ?
Сергей, добрый день.
Не подскажете, Вы видели мой пост, который Выше о VARF0 ?
Вот этот: Предлагаю добавить макрос VARF_0, который будет срабатывать сразу после PHP_SCRIPT_0.
Сможете такой макрос добавить?
Здравствуйте.
Думаю, что плодить дубли макросов уже достаточно.
В течение 48 часов постараюсь хорошо обдумать этот вопрос и дам тут ответ.
С уважением к вам, Сергей.
Сергей, спасибо.
Я думал относительно того, что заранее установленный порядок выполнения немного усложняет написание сложных проектов. Не знаю как это правильно сформулировать, но если бы у нас, как у пользователей, была бы возможность любой макрос выполнять в указанном нами порядке, было бы круто. Но и так очень круто, спасибо Вам.
Я это понимаю, если бы было все так просто. У функций и макросов сложная взаимосвязь. Спасибо за предложение!
Здравствуйте.
Макрос [VARF] теперь выполняется после <PHP_SCRIPT_0>
Добрый день. Давно хотел пропросить такой багфикс: при парсинге с локалхоста предпросмотр работает, но не работает по какой-то причине, если файлы добавлены как файлы локально с диска.
Здравствуйте.
Не могу понять, в чем суть проблемы. Если можно, запишите видео или приложите скриншоты.
Спасибо!
Уникальность имени файла результатов парсинга. Добавьте к DOCNAME макрос типа DFN, так-как при одинаковых именах файл заменяется, а старый соответственно не сохраняется.
Здравствуйте.
Как вариант, добавляйте в конец имени файла (в [DOCNAME]) нарастающую числовую переменную (макрос шаблона вывода [INT_ID]). Это должно исключить появление дублей имен документов.
С уважением к вам, Сергей.
Здравствуйте!
Парсингом занимаюсь уже давно с помощью вашей программы. Сейчас вопрос стал в том, что нужно спарсить более 20 различных частей страницы. Сейчас имеется только 20. Как быть в этом случае? как то можно добавлять новые? Не в два прохода же парсинг проводить..
Возможно это будет идея.
Здравствуйте.
Обратите внимание на этот материал системы помощи http://sbfactory.ru/cd/?p=1259
С уважением к вам, Сергей.
Отлично, спасибо за обновки и за старание!
html дерево прямо в тему, давно нужно было такое сделать!
Можно только обновы не так часто пилить ))) а то я устал обновлятся так часто!
Можно все обновы раз в месяц делать, ну или раз в 2 недели!
Сергей, мы и так знаем, что ты молодец и трудяга!
Здравствуйте.
Спасибо на добром слове!
Пожелание учтено!
С уважением к вам, Сергей.
День добрый. Спасибо за софт и постоянный обновления.
Есть пожелание прикрутить консоль, чтобы видеть, что и как парсится. Бывает парсинг стоит сутками и непонятно собирает ли нужные данные или какой то косяк. По логам тоже не всегда ясно, особенно когда не стандартные страницы попадаются. Бывает открываешь файл, а там на определённом типе страниц ошибка и всё нужно переделывать. С консолью подобные ошибки сразу видно. Каждый раз останавливать парсинг и открывать файл не вариант. Чтобы не тянуло ресурсы, можно отдельно включать.
Здравствуйте.
Спасибо!
Учтено.
Спасибо за программу!
отлично работает, пользуюсь с 2012 года!
Есть пожелание, возможно, когда то в будущем, появится функция, которая будет коннектится непосредственно в SQL серверу, и постить прямо туда))) а не только в csv
Спасибо! Учтено!
Добрый день.
Прошу сделать возможность использования прокси при задании границ парсинга, подробнее писала на почту 🙂
Здравствуйте.
Такая возможность есть, ctrl+r для настройки.
С уважением к вам, Сергей.
Хорошо, тогда так: сделать возможность работать с ПО не только с прямым выходом в интернет, но и если работаешь изначально через прокси.
Такое не предусмотрено. В системных требованиях программы указано “Стабильный интернет без прокси в 512 и более кбит/с” (http://sbfactory.ru/?p=600)
Доброго дня.
1. Вопрос по макросу DFN, прописываю так [DFN][CLEAR][TRANSLITE]site.ru_{ext}jpg[/DFN], на выходе имею название картинки, которое может начинаться или так: site.ru_картинка; или так: siteru_картинка. Поэкспериментировал, оказалось, что если в название имеется “точка”, например, = имя_картинки.8, то после загрузки будет так: siteru_картинка. А если “точка” в названии не встречается, то будет так: site.ru_картинка. Хотя может и не только вточке дело и я что-то не знаю? Можно этот факт исправить?
2. Я правильно понимаю, что CD не может автоматически менять размер изображения при загрузке? т.е. оригинал на сайте, например, 800*600, а при парсинге чтобы было, например, 640*480. Очень хотелось бы такую функцию. В идеале, чтобы можно было задать параметр большей стороны. Например, ввожу в настройках 500px, и CD уменьшает картинку по большей стороне до 500, и пропорционально меньшую сторону.
2.1. В дополнение в пункту 2, было бы здорово, чтобы макрос WEBASYSTIMG прописывал не только названия картинок по принципу (image.jpg,image_thm.jpg,image_enl.jpg), но и формировал и загружал эти 3 картинки, каждая из которых будет уменьшена до заданного значения, как я описал в п. 2.
Заранее спасибо!
Здравствуйте.
Предлагаю рассмотреть вопрос о расширении функционала в области скачивания картинок макросамии.
NIMG
CSVIMAGES
(может еще и этого img src)
Макросы работают отлично, но когда возникает необходимость задать разные папки для разных файлов, приходится прибегать к макросу DOWNLOADFILE и DFN
например класть картинки в папку с названиями папок сформированными макросами, я не знаю как при помощи CSVIMAGES /CD_DATE_YYYY-CD_DATE_MM-CD_DATE_DD-CD_DATE_HH-CD_DATE_NN/supersite/image/
Приходится использовать другие приемы.
Но это не супер важное дополнение, просто было бы немного удобнее если бы это когда нибудь было бы добавлено в функционал.
Спасибо.
Прошу прощения: IMAGESPATH уже давно создан.
А я его хотел предложить 🙂
Здравствуйте!
Есть ли возможность отключить загрузку картинок в WbAPP?
Здравствуйте.
При парсинге (не при настройке) они и так “отключены”.
С уважением к вам, Сергей.
Сделай пожалуйста подсветку [CSVCS] очень трудоемко читаются большие обработки.
Либо как вариант, чтоб можно было нажать на кнопку, и у нас все [CSVCS] переместились на новые строки, мы посмотрели, отредактировали и назад на кнопку.
Спасибо
Хотелось бы добавить следующий функционал – импорт альтернативных границ парсинга в виде csv файла с неограниченным количеством строк
Добрый день.
Хочу предложить следующий функционал. С помощью Вашей программы очень хотелось бы формировать карту сайта sitemap.xml. Парсер ссылок + ваши фильтры = будет очень удобно формировать sitemap.xml.
Спасибо.
Это итак легко сделать
Добавьте, пожалуйста, опцию заранее отключения построения дерева элементов в программе. У меня CD вылетает на сложных сайтах (очень большой DOM и куча js), приходится сначала грузить простые, отключать, потом добавлять в список “сложный” сайт.
Здравствуйте.
Стоит 1 раз отключить эту опцию и дерево больше не будет появляться! Не понимаю проблемы.
Неудобство в том, что на проблемном сайте я даже не успеваю отключить её – CD вылетает. Приходится сначала загрузить простой сайт, затем отключить дерево в нем, и потом уже работать с проблемным.
Не должно такого быть, нужно выявить причину проблемы. Обратитесь ко мне по WhatsApp или почте http://sbfactory.ru/?page_id=7
Приветствую!
При использовании макроса [MUSTBEINMACRO] в повторяющихся границах, научить его удалять и сам цикл (который остается пустым)
При таком использовании
Здравствуйте.
Для удаления пустых строк используйте макрос [DEL_EMPTY_STRINGS]