Новости RSS
Здравствуйте!
WEB-страница доступна только для чтения! Если у вас есть какие-либо вопросы, можете задавать их на форуме http://forum.sbfactory.ru/
Спасибо!
ЕСЛИ У ВАС ПРОБЛЕМА С ОТОБРАЖЕНИЕМ ТЕКСТА ИНТЕРФЕЙСА ПРИ УСТАНОВКЕ ПРОГРАММЫ, ОБРАТИТЕ ВНИМАНИЕ НА ЭТОТ ВАРИАНТ ЕЕ РЕШЕНИЯ!
Рекомендации по заданию вопросов:
1) Постарайтесь максимально подробно изложить все детали вопроса (чтобы мы ясно понимали, что вы делаете/что требуется получить/какие именно функции используете и так далее…) и, вероятно, мы вам сразу дадим ответ без дальнейшей переписки с целью выяснения нюансов;
2) Для публикации макросов или HTML-кода используйте кнопку “code” над формой ввода текста комментария.
Учтите! В разделе FAQ задаются вопросы следующего вида:
– Есть ли в программе такая-то функция?
– Как можно реализовать подобный алгоритм действий?
– Почему при парсинге происходит то-то или то-то?
– …
Иными словами: Раздел FAQ предназначен для осуществления консультаций.
Другие вопросы, которые требуют от нас изучения/доработки ваших файлов проектов, изучения сайтов, продумывания новых или специфичных алгоритмов для парсинга определенных данных с указанных ресурсов (т.е. где требуется выполнить работу) решаются платно! Их решают специалисты по настройке в индивидуальном порядке! Как заказать услуги специалистов по настройке (клик).
Примечания:
1) Мы в праве отказать в предоставлении ответов на некоторые вопросы без пояснения причин!
2) Мы в праве удалять любые комментарии без пояснения причин!
С уважением к вам, администрация сайта.
(оценок: 7, средний балл: 4.43)
Loading...
Рубрики: 
Теги: 
С вопросами о покупке (или другими организационными), вы можете в любое время обращаться по Телефону +7 983 381 3211 или Телеграм @ContentDownloaderX1 (Сергей Владимирович)
WBApp (дополнение для Content Downloader) - парсинг с выполнением WEB-скриптов, с возможностью имитации кликов по элементам страниц, произведение прокрутки страниц, заполнение текстовых полей и многое другое...
Добрый день.
Как с помощью WEBApp выполнить событие при условии наличия на странице определенного текста?
Здравствуйте.
Такой функции пока нет. Ваш комментарий учли.
Спасибо!
Здравствуйте еще раз!
Вот добавили функционал:
С уважением.
вобще не плохой макрос но лучше бы просто условное форматирование сделал if else тогда бы больше функциональности добавилось бы макросам ожидания элемента
Здравствуйте.
Подскажите, прокси-серверы используются только при парсинге?
Никак не могу собрать ссылки с сайта. По всей видимости забанен.
На сайт через браузер войти также не получается. А включая прокси в браузере – проблем нет, страницы открываются.
Добавление адресов прокси в CD при сканировании сайта не помогает.
Как можно собрать ссылки?
Спасибо.
Здравствуйте.
Прокси сервера используются и при сборе ссылок (если поставлены соответствующие галочки в окне ctrl+r).
С уважением к вам, Сергей.
подскажите как get запрос сделать, программа отправляет пост запрос, а нужен гет.
Здравствуйте.
Смотрите скриншот.
Добрый день. Вопрос по WBApp.
В помощи написано: “Напоминаем, что парсить через WBApp можно с любым типом лицензии, но использование списка событий WBApp возможно только с типом лицензии ULTIMATE! Обладатели менее продвинутых версий могут протестировать WBApp в полной мере (в режиме настройки WBApp)”. Смотрю обучающее видео, там при нажатии на кнопку выводятся настройки плюс окно с самой веб-страницей. А уменя только настройки.
Я что-то делаю неправильно или это из-за того как раз, что у меня не Ультимейт версия?
Здравствуйте.
Мне непонятно, о какой кнопке идет речь. Также непонятно, куда у вас делось окно с WEB-страницей (и что именно за окно).
С уважением к вам, Сергей.
Добрый день.
Наверняка, сеть видео урок, где рассказывается как парсить вот такие mik-ns ru/catalog/ магазины. Дайте, пжл., ссылочку.
Нашла http://sbfactory.ru/?p=3898
как при парсинге в csv у картинок менять расширение, с png на jpg например?
Здравствуйте.
Форматы png и jpg имеют разные алгоритмы сжатия и банальная смена расширения в имени файла будет некорректным решением. Нужно переконвертировать сам файл (а не его название).
“Функции переконвертации” форматов изображений в программе, на данный момент, нет.
Как вариант, замените расширения в именах файлов макросом шаблона вывода [REPLACE] (чтобы картинки с новыми расширениями сохранились в CSV). А после парсинга изображения на диске можно будет обработать каким-нибудь подходящим конвертером.
С уважением к вам, Сергей.
добрый день, подскажите как вставлять определенное слово при парсинге в рандомное место в предложении.
напр текст:
“маленький ежик по травке скочит мокрая травка щекотит.”
нужно вставить слово “пупочек” в рандомное место в предложении
“маленький ежиг по травке письку скочит мокрая травка щекотит.”
допустим вставлять “пупочек” нужно 2-3 раза в спаршеном тексте.
с уважением, валера.
Здравствуйте.
Используйте макрос шаблона вывода [ADDKEYS].
С уважением к вам, Сергей.
подскажите как осуществить
-паршу форум, нужно отсеять комментарии в которых меньше (например 400) символов, я задаю потвторяющиеся границы и как сделать фильтр в них по колву символов.
-парсинг на определеное включения слова/групп слов(при использовании повторяющихся границ), если есть слово – парсит топик, нет – не парсит
спасибо
Здравствуйте.
Используйте для этого следующую конструкцию макросов шаблона вывода:
[CHECKENTRY2(слово)][MINLENGTH:400][VALUE][/MINLENGTH][/CHECKENTRY2]С уважением к вам, Сергей.
Добрый день,
очередной раз спасибо автору программы, вопрос у меня как технический так и идейный.
Ума не приложу как лучше спарсить подобное alesyamebel_ru/catalog/gostinye/berlin_1/ и mfdiana_ru/detskie-2/detskaya-nemo
Карточки -то без вопросов, а тут видно, что еще представлен модельный ряд (сами карточки) и их вложенность в общую.
3ий день думаю, не могу придти к общему знаменателю, может подскажет кто в каком направлении пойти можно ? Чтобы максимально автоматизировать процесс парсинга, и дальнейшего импорта.
Заранее благодарю,
Виктор
а DYNAMICVALUES не работает с обычными границами парсинга?
т.е. парсинг в csv как обычно, там категории название товара и плюс DYNAMICVALUES
Здравствуйте.
Работает. Используйте его согласно документации http://sbfactory.ru/cd/?p=2170
С уважением к вам, Сергей.
Подскажите, пожалуйста, как можно сохранить url спарсеной страницы в одной строке с другими данными; как спарсить данные по товару вместе с названием категории/подкатегорий, в которых он находится?
Здравствуйте.
1) Прочтите “Вывод в результат парсинга контента некоторых данных” (в начале этого поста)
2) Задайте границы парсинга для категорий и подкатегорий и вставьте их в нужное место шаблона вывода http://sbfactory.ru/cd/
С уважением к вам, Сергей.
с локального компа не парсит прога? у меня пишет ошибку
Программе не удалось загрузить WEB-страницу (Socket Error # 11001 Host not found)
Здравствуйте.
Парсит. Как файлы добавляете к парсингу? Что именно добавляете?
файл html загружаю в браузер с диска и беру этот путь в строке
file:///C:/Downloads/96.html
Пользуйтесь специальной функцией (смотрите скриншот).
ок спасибо
Не совсем по парсеру, но, где бы тыкнуть галочку чтоб Windows, не уходила в сон при работе парсера?
Здравствуйте.
В программе такой опции нет, настройте Windows (смотрите скриншот).
С уважением к вам, Сергей.
Добрый день! Пользуюсь макросом [EXTRACTPHONES]
со страниц дергает странные числа, которые я даже в коде найти не могу. Как с этим быть? Есть ли какое решение?
Пример:
vietpepper_com_vn/vietnam-black-pepper/#contactdetailrow
[EXTRACTPHONES][DOCSOURCE][/EXTRACTPHONES] выводит
82052209934
81231934160
81801594933
89999001106
Спасибо
Здравствуйте.
Цифры такие в коде есть.
Макрос использует простые алгоритмы вычисления номеров телефонов. Чтобы его сделать “всеядным” потребуется много времени. Сейчас пока это реализовать не удалось.
С уважением к вам, Сергей.
Понимаю – все лучше, чем ничего) и за это спасибо!
Еще предложение по этим макросам – нельзя ли ввести кастомный разделитель? В csv иногда неудобно очень пользоваться результатами с переносом строки между результатами. Это же касается GETURLSBYANCHORS – было бы здорово.
И вопрос – сейчас при поиске телефона получается макрос подставляет впереди восьмерку?
Пожалуйста.
Да, восьмерка подставляется автоматически (не очень хорошая идея была по поводу этого, но для российских номеров подходило). Если надо, макрос доработаем, как дойдет до него дело!
Замену разделителя на любой другой можно осуществить макросом [REPLACE] (заменить переносы строки: {br}|другой_разделитель).
С уважением к вам, Сергей.
паршу в CSV магаз, и почему то не все страницы парсит, хотя при открытии в программе ctrl+f2 все поля подгружаются этих страниц.
т.е. происходит как бы проскальзывание ссылок некоторых
паршу в 1 поток 4 сек задержка
ставил “приостановить если бан” потом по пустоте границы напр. категории.
и все равно пропускает некоторые страницы
може программа не успевает загрузить страницу и происходит переход на следующую?
скорей так оно и есть, что программа не успевает загрузить документ и через 4 секунды берет следующий
разве в программе не предусмотрено чтобы документ полностью загружался?
Здравствуйте.
Парсите с использованием библиотеки Inrernet Explorer (DOM) (ctrl+h)?
INDY , у меня win xp ie8
Покажите скриншот лога парсинга (после парсинга, ctrl+l). Также покажите скриншот окна ctrl+h.
вот
лог
номера строк
1
4
5
6
8
9
10
т.е. 2,3,7 ссылки пропустил, в файле csv их нет
Вышлите проект на почту sbfroot@gmail.com
Вы случайно CSV не открываете во время парсинга?
да, открываю, во время парсинга
После парсинга открывайте! Если вы открываете файл, например в Excel, запись в него блокируется! Не открывайте файл во время парсинга!!!
Здравствуйте!
Подскажите как избежать замену буквы u с двумя точками над ней (и т.п.) на ü
Вернее буквы ü на
üВобщем такие буквы подменяются несколькими символами
Здравствуйте. Они не подменяются программой, они представлены сайтом в таком виде. Ознакомьтесь с основами HTML, если интересно.
Хорошо, спасибо, почитаю об этом. =)
Но какие инструменты есть в программе или может быть есть макросы, обрабатывающие такие “закодированные” буквы. При парсинге ссылок, у меня получаются абсолютно не рабочие ссылки, если в них попадаются эти буквы.
Если парсите во вкладке “Ссылки”, воспользуйтесь соответствующей функцией поиск-замены для преобразования таких дел (смотрите прикрепленный скриншот).
Если парсите во вкладке “Контент”, воспользуйтесь макросом шаблона вывода [HTMLDECODE]…[/HTMLDECODE].
С уважением к вам, Сергей.
Здравствуйте, у меня такой вопрос: как собрать ссылки только вида адрес/ddddd, где ddddd – это цифры, остальные не нужны. Я так понимаю, нужно в фильтре ссылок задать шаблон для цифр, но не знаю как. Спасибо
здравствуйте.
Используйте регулярные выражения в фильтрах ссылок (http://sbfactory.ru/cd/?p=2332)
С уважением к вам, Сергей.
Добрый день, подскажите можно ли при Парсинге картинок задовить им другой размер и наносить надписи на изображение, например название товара?
Здравствуйте.
Средствами программы пока это сделать нельзя.
С уважением к вам, Сергей.
можно ли к скачиваемым картинкам добавлять типа префикса не затрагивая названия картинок
т.е.
паршу в csv, в одной из ячеек код хтмл и там картинки
и чтоб было так
в коде на сайте допустим
name.jpg
name2.jpg
а программа должна брать
prefix_name.jpg
prefix_name2.jpg
Здравствуйте.
С помощью макроса [DFN] можно задать любые имена для файлов, скачиваемых с помощью <DOWNLOADFILE>.
http://sbfactory.ru/cd/?p=1070
С уважением к вам, Сергей.