Здравствуйте!
WEB-страница доступна только для чтения! Если у вас есть какие-либо вопросы, можете задавать их на форуме http://forum.sbfactory.ru/
Спасибо!
Рекомендации по заданию вопросов:
1) Постарайтесь максимально подробно изложить все детали вопроса (чтобы мы ясно понимали, что вы делаете/что требуется получить/какие именно функции используете и так далее…) и, вероятно, мы вам сразу дадим ответ без дальнейшей переписки с целью выяснения нюансов;
2) Для публикации макросов или HTML-кода используйте кнопку “code” над формой ввода текста комментария.
Учтите! В разделе FAQ задаются вопросы следующего вида:
– Есть ли в программе такая-то функция?
– Как можно реализовать подобный алгоритм действий?
– Почему при парсинге происходит то-то или то-то?
– …
Иными словами: Раздел FAQ предназначен для осуществления консультаций.
Другие вопросы, которые требуют от нас изучения/доработки ваших файлов проектов, изучения сайтов, продумывания новых или специфичных алгоритмов для парсинга определенных данных с указанных ресурсов (т.е. где требуется выполнить работу) решаются платно! Их решают специалисты по настройке в индивидуальном порядке! Как заказать услуги специалистов по настройке (клик).
Примечания:
1) Мы в праве отказать в предоставлении ответов на некоторые вопросы без пояснения причин!
2) Мы в праве удалять любые комментарии без пояснения причин!
С уважением к вам, администрация сайта.
Здравствуйте. Я только изучаю парсер не могли бы Вы подсказать а парсит ли он желтые страницы и подобные сайты где есть информация о том или ином объекте (ах) с телефонами адресами и тд. и скартинками?
Моно ли с его помощью парсить законы и всякую другую юридическую информацию?
И можно ли парсить доски объявлений и вакансии по работе. Спасибо за ответ.
Здравствуйте.
По вопросам парсинга определенных сайтов следует консультироваться со специалистами по настройке.
Спасибо!
Добрый день!
Последнее время провожу парсинг картинок и использую функцию [INT_ID].
Все прекрасно работает, но вот небольшая, как по мне, проблема: с одной страницы выгружается альбом(название альбом-папка-подпапка-изображение_INT_ID)
Хотелось бы узнать, возможно ли установить для данной функции ограничения, чтобы она не безостановочно считала, а сбрасывала значение в каждой новой папке?
Весь код выглядит так: [DFN](CD_GRAN_4!)\(CD_GRAN_2!)_[INT_ID].png[/DFN](DOWNLOADFILE)[VALUE](/DOWNLOADFILE).
Очень неудобно получается, когда первое изображение в папке имеет порядковый номер 40000 и более.
Здравствуйте.
Не нужно использовать макрос [INT_ID], при совпадении имен, макрос DOWNLOADFILE сам переименует картинку!
С уважением к вам, Сергей.
Тогда не сохраняется очередность, а это важно. Могу я Вам на почту проект скинуть, чтобы вы увидели, что там без очередности никуда?:-)
Нет, проекты изучать желания нет.
На данный момент не вижу других вариантов, кроме как, парсить в 1 поток (в этом случае порядок “нумерации” “сбиваться” не будет).
Собственно именно так я и делаю.
Можно ли в шаблон вывода или в настройках указать, чтобы он прерывал парсинг после каждой ссылки и начинал по новой?
Нет. Зачем это?
Для того, чтобы в каждой папке они шли от одного и до максимума. Для дальнейшей обработки файлов это очень полезно.
О, а возможно, чтобы счет шел не с единицы, а, например, со ста тысяч или миллиона, например?
(100001-100002-…-104502-…-n)
Возможно.
В программе: главное меню – настройка – настройка макросов – DOWNLOADFILE -> опция “стартовое значение числовой добавки для переименования файлов”.
PS: Программа должна быть актуальной версии.
С уважением к вам, Сергей.
Спасибо! Именно то, что мне было нужно!:-)
Пожалуйста.
Добрый день! Приобретал программу для парсинга сайта parts_amacoint_com
Все делаю по инструкции, однако на этапе сканирования сайта в очередь поиска добавляется не более 500 ссылок, хотя знаю что их далеко за сто тысяч.
Никаких фильтров не ставил. В чем причина, почему парсер работает некорректно?
Здравствуйте.
Спасибо!
Программа работает корректно! Просто нужно выполнить соответствующие настройки ввиду специфики работы этого сайта.
На данном сайте ссылки на товары и каталоги(?) подгружаются скриптами при выполнении WEB-документа.
Программа ПО УМОЛЧАНИЮ работает с обычными GET-запросами (при этом WEB-скрипты не выполняются, просто от сайта на GET-запрос приходит код WEB-документа в оригинальном виде).
Для парсинга ссылок из этого сайта с обработкой WEB-скриптов необходимо включить библиотеку “Internet Explorer (DOM)” в окне ctrl+h.
С уважением к вам, Сергей.
А я уже зарядился на борьбу 🙂
Спасибо за оперативность и за то, что Вы делаете.
Все работает! Спасибо еще раз.
Пожалуйста.
Также рекомендую ознакомиться с этим материалом http://sbfactory.ru/cd/?p=2787 (при правильной настройке ускорится процесс парсинга и исключатся возможные пропуски парсинга некоторых ссылок).
Добрый день, и снова проблема с этим же ресурсом. Выгружает только 59000 ссылок, хотя знаю что там товаров только 300000.
Пробовал убрать абсолютно все фильтры, парсил весь сайт от корки до корки – цифра не меняется, 59000 и все.
Почему такое может быть?
Пробовал программу на других ресурсах – все работает идеально.
есть ли возможность в программе, если граница пустая то вместо нее берется другая граница?
там вроде только другой шаблон вставляется… т.е. тот же шаблон но с другой границей одной?
Здравствуйте.
Есть. Смотрите скриншот.
Добрый вечер.
Вроде бы где-то видел на сайте инструкцию, как работать с парсингом веб-каталогов, которые требуют залогинивания, но сейчас не могу найти. Можете напомнить / сбросить ссылку?
http://sbfactory.ru/cd/?p=138
Спасибо, будем пробовать!
Пожалуйста.
Добрый день, Сергей!
Есть ли макрос преобразующий дату и время формата Unix timestamp?
Пример этого формата в коде страницы:
“date datet t1465657200-4-1-1-1
Здравствуйте, мне надо дату в шаблоне выставлять в определенном интервале например с 10.10.2016 по 05.05.2017 а сечас у меня стоит одна дата прописана, как это сделать?
сечас вот так
[DUPIGNORE][INT_ID][CSVCS]1[CSVCS]2016-01-10 [CD_DATE_HH]:[CD_DATE_NN]:[CD_DATE_SS][CSVCS]2016-01-10 [CD_DATE_HH]:[CD_DATE_NN]:[CD_DATE_SS][CSVCS]
Здравствуйте.
Такую дату лучше получать с помощью подключенного PHP-скрипта http://sbfactory.ru/cd/?p=186
Здравствуйте. Подскажите пожалуйста, если я через php скрипт, подключенный к программе, импортирую статьи с других сайтов в mysql, то как настроить загрузку изображений из этих статей на фтп, чтобы они оставались на тех же местах, т.е. как это происходит при просмотре парсинга с самой программы без php скрипта.
Сейчас даже при просмотре в программе, если статья загрузилась через php скрипт, допустим переведена, то картинки тне грузятся даже на диск…
Здравствуйте.
Опция загрузки скачанных картинок на FTP есть в окне дополнительных параметров загрузки изображений (ctrl+9). Также опция загрузки скачанных файлов на FTP есть у макроса DOWNLOADFILE (shift+ctrl+l).
Вопрос по поводу загрузки картинок со статей после их перевода задайте на форуме.
Здравствуйте, подскажите как загрузить код этой странички, без wb app ?
prom md/opinions/list/10704
Здравствуйте.
Ссылка возвращает 404, можно актуальную ссылку?
Спасибо!
вот именно как мне открыть код этой 404 ошибки ?
Смотрите скриншот.
Собственно заметил следующую интересную тенденцию.
Использую ряд прокси для сбора информации с сайтов входящих в группу Indetex
Через определенный промежуток времени IP с которого происходит сбор информации блокируют.
При этом если в IE прописать любой из прокси то сканирование продолжается. Отсюда делаю вывод что модуль с прокси скорее всего работает некорректно, либо я делаю что то не так.
Здравствуйте, очень ждал ответа с 30 ноября. Нужен макрос (если есть такой), чтобы конвертировал дату-время из формата Unixtime в привычный формат DD.MM.YYYY HH-mm. Если нет, то не могли бы Вы такой макрос сделать? Спасибо!
Здравствуйте.
Нет, такого макроса нет и его делать не собираемся (зачем его вводить, если он навряд ли кому-то еще понадобится). В таких случаях пользуйтесь макросом PHP_SCRIPT http://sbfactory.ru/cd/?p=186 В PHP есть функции для декодирования Unix TimeStamp.
Скачайте и установите доработанную версию программы (в программе: главное меню – файл – центр обновлений -> кнопка “обновить через сайт”).