Прошу излагать в комментариях свои пожелания по развитию программы Content Downloader. Все ваши предложения будут рассмотрены в кратчайший срок и, в случаях целесообразности их реализации, доработки будут осуществляться в ближайших обновлениях.
Для комментирования не требуется регистрация.
PS: Также вы можете оставлять предложения по развитию программы в этой теме на форуме.
Спасибо.
Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)
С вопросами о покупке (или другими организационными), вы можете в любое время обращаться по Телефону +7 983 381 3211 или Телеграм @ContentDownloaderX1 (Сергей Владимирович)
WBApp (дополнение для Content Downloader) - парсинг с выполнением WEB-скриптов, с возможностью имитации кликов по элементам страниц, произведение прокрутки страниц, заполнение текстовых полей и многое другое...
Новости RSS
Рубрики: 
Теги:
Еще раз хочу поблагодарить автора за его работу и внести предложение:
Все знают, насколько важны уникальные заголовки title. Поэтому хотелось бы видеть, несколько границ для задания заголовка. Трех-четырех хватит (сейчас одна). Тогда можно будет играться с заголовком, так же как и с основным контентом – резать, склеивать, переставлять и вставлять нужное, тем более с новой фишкой Вставка строк из файлов (при парсинге). Сейчас можно это сделать, не используя границы заголовка, а работая с основными границами, но тратить на это три четыре границы основных непозволительная роскошь их и так в последнее время не хватает надо бы добавить.
Спасибо.
Лучше добавить еще несколько обычных границ.
Спасибо. Насыпьте еще “десяток” и пост обработка умрет как анахронизм. Для меня тогда лично блок заголовка будет не нужен совсем ИМХО.
Добавьте работу программу через прокси с авторизацией.
Существует множество готовых решений (утилит) для использования программы на ПК с интернетом через прокси.
У меня проблема с программой. Почему-то парсит не до конца. К примеру, стоит в задаче 600 урлов для парсинга текста и сохранение в html. Сохраняет примерно около 590 файлов (иногда чуть больше, иногда чуть меньше). Все, на этом программа стопориться. Показывается, что идет парсинг, но он не идет. Долго ждал, толку ноль. Такое ощущение, что программа зависла или не хочет дальше парсить и такое наблюдается только в самом конце.
Это происходит потому, что некоторые потоки не могут завершитсья (не получается загрузить веб-контент с сервера). В этом случае используйте меню – файл – сброс кнопок управления.
В дальнейшем планирую устранить ошибку, прошу мне посодействовать в этом. Пожалуйста скиньте проблемные файлы проекта на admin@smartbyte.org
Спасибо!
В новой версии не очень понравился интерфейс массовой обработки файлов.
А в частности вкладка “автозаполнение полей”. Пользуюсь этой функцией постоянно, а с прокруткой стало немного не удобно.
Можно убрать прокрутку? За счет либо удлинения окна, либо сделать окно растягивающимся.
Как многие знают, существуют блоги, в которых короткая новость имеет маленькую картинку.
Хотелось, бы выдергивать эту картинку и вставлять например ее в начало записи. К тому же это будет полезно при парсинге видео – контента, где как правило в превью новости картинка с изображением кадра из видео, а перейдя на внутреннюю страницу, – само видео.
Выдергивайте картинку с помощью задания границ парсинга.
Чего – то я не понял как это сделать. Например перейдите на http://www.break.com . Ведь парсинг возможен только по конечным урам (где видео). А у нас картинка находится в короткой новости. Вот ее выдернуть и поставить перед спарсенной видео-страницей. Получается КАРТИНКА ВИДЕОКОНТЕНТ. Скажите подробнее как это сделать.
Не досмотрел, что она на другом url.
Как вариант: сначала напарсить ссылки на эти картинки, сохранить их в файл, потом через макрос FILE (в шаблоне вывода) проставить их уже в готовые статьи ;).
Привет!
Относительно модуля обработки и импорта контента есть несколько предложений.
1. Автоматическая простановка тегов
для всех файлов проекта (массовая).2. Макросы Descriptions, Keywords и Title для вставки только текстового содержимого полей (без тегов). Сейчас есть , но такой вариант не всегда подходит.
3. Макросы nextpage и previouspage.
4. Возможность отключить добавление в строки со ссылкой на рубрику (ту что добавляется в конец документа).
Надеюсь, не утомил?
В п.1 имел в виду теги абзацев p
Упс! Теги не видно, отправлю заново.
1. Автоматическая простановка тегов p для всех файлов проекта (массовая).
2. Макросы Descriptions, Keywords и Title для вставки только текстового содержимого полей (без тегов). Сейчас есть CD_META!, но такой вариант не всегда подходит.
3. Макросы nextpage и previouspage.
4. Возможность отключить добавление в CD_CONTENT! строки со ссылкой на рубрику (ту что добавляется в конец документа).
Чего то не пойму. А можно ли в закладке “ссылки” добавить из буфера обмена свой список ссылок. Ну или из файла? Мне нужно это, так как парсер не смог яндекс выдачу пропарсить. Было бы неплохо, если загружать свой список ссылок из файла и буфера.
Сори за офтоп. Но разобрался:) Блин, в этой программе есть ВСЁ)))
Не все, но многое.
Из описания программы, не понятно может ли она работать по расписанию. Вот что имеется в виду: Есть несколько сайтов по одной тематике (сайты обьявлений), есть желание собирать с них информацию и вываливать все на своем сайте, мне надо чтобы программа сама с заданой периодичностью парсила исходные сайты, и добавляла новые обьявления к себе в базу. Пока писал появился еще вопрос: можно ли парсить не в файлы а в базу данных, например технические характеристики для дальнейшего анализа.
По расписанию не парсит. В базу выводить можно (создавать дамп, который потом загрузите на сервер).
Кое что придумал.
1. Добавить парсинг вложенности. Например есть страница. http://www.kinopoisk.ru/level/1/film/447301/ На этой странице есть много дочерних вкладок(постеры, актеры, обои, слова). Посмторите на урлы этих вкладок. Там меняется одно число. Можно создать инструмент, который переходил бы на заданную вкладку, и выставив там границы, вставить спарсенный дополнительный материал в шаблон вывода.
Спасибо, постараюсь что-нибудь придумать.
По данному предложению ни чего не получилось придумать?
Пока нет и не скоро.
Еще одна хорошая и нужная идея появилась. При вставке строк из файла, нужно сделать так, чтобы строки вставлялись рандомно, а не по порядку.
Нет, так делать не стоит, последовательность важна при собирании контента из разных файлов. Просто перемешайте строки в файле…
Я так понял что в парсере есть встроенный синонимайзер. У меня есть база синонимов и база стоп слов (точнее несколько баз).
Есть ли возможность подключать эти базы в парсер?
Обязательно необходимо подключить базу стоп слов – так как она у меня большая и в ней содержатся многие слова и словосочетания которые нельзя синонимизировать. С нетерпением жду ответа, и если это есть в проге обязательно куплю для работы!
Привет, в парсере нет базы стоп слов, а в Smartrewriter есть, при покупке Content Downloader, отдам Smartrewriter бесплатно…
Понятно, неужели для вас так сложно прикрутить базу стоп слов к парсеру? Вы такие фичи делаете, а эту мелочь добавить забыли =)
Синонимайзер не нужен в принципе. Так как удобнее работать только в одной программе, нежели делить эту работу на несколько. Вы представте нужно спарсить контент, дальше запустить синонимайзер, там пакетно обработать все файлы, потом возвращаться назад в парсер и там обрабатывать дальше тексты…
То есть получается вместо нажатия всего одной кнопки в парсере, нужно использовать кучу кнопок в синонимайзере =)
Поддерживаю, Se0mashines. Пригодилась бы возможность парсинга “вложенных страниц. Как раз задумывался над парсингом контента с Кинопоиска.