При желании в менеджере заказов вы можете приобрести услуги по настройке или персональному обучению
Файл проекта Content Downloader:
– Файл проекта программы (меню – файл – загрузить проект)
(оценок: 8, средний балл: 4.38)
Loading...
Файл проекта Content Downloader:
– Файл проекта программы (меню – файл – загрузить проект)
(оценок: 8, средний балл: 4.38)Loading...
Последние статьи
Если не сложно, то можно добавить ещё шаблоны (“введите шаблон, изменяющаяся часть {num}”)
для парсинга снипетов поисковиков, которые используют поиск от гугла?
А то гугл после 250 спарсиных снипетов даёт бан!
+1 к Дмитрию
Уж очень надо!
Перезалил видео и файл проекта, теперь все ок…
Банит Гуглишка после пары сотен запросов. Попробовать поставить паузу секунды на 3?
Не надо паузу, смотрите видео внимательнее…
Если вы имели ввиду отправку cookies, то их отправляю точно как на видео… да и вообще все делаю пошагово как на видео…
У меня с вашими действиями только одно отличие: после того как вылетело сообщение, что парсинг приостановлен, перехожу в “авторизяция/cookies” и попадаю на главну страницу google.ru (начальное поисковое окно без поисковой фразы)… капчу ввести не предлагает…
Делаю всё как на видио,но не получается спарсить сниппеты.
http://sbfactory.ru/cd/projects/snippets_google.zip – меню-файл-загрузить проект (и все получится).
Огромное спасибо!
Блин всё ни чего но ставлю галочку в сохранять контент по папкам согласно ключивикам,всё равно запись идёт в один файл
Хупс разобрался
Из видео не понял как размножить ссылки. Нажал F8, вставил ссылки из буфера… А дальше видно, что ссылки размножаются, но что нужно для этого сделать непонятно. Подскажите,плиз…
1) Скачать файл проекта http://sbfactory.ru/cd/projects/snippets_google.zip
2) Загрузить его (меню-файл-загрузить проект)
3) Делать все в точности так же, как на видео
Всё – разобрался.
Где находиться флажек -приостановить парсинг в случае бана-? в упор не вижу)
На панели инструментов кнопка “задать границы парсинга” – включить флажек “приостановить парсинг в случае бана”.
Я загрузил Ваш проэкт делаю все как на видео но ссылки не размножаются, а просто добавляется дубль скопированных ссылок.
Я для примера их накопировал побольше…
Просто генерируйте и вперед.
Уже дошло, что Вы через ctrl+v наклонировали.
Все работает, но по непонятной мне причине сниппеты получаются обрезанными (делаю предпросмотр двойным кликом по ссылке и вижу, что сниппет неполный, потому что если открыть эту ссылку в ьраузере – сниппеты длинее). Причем критерий, по которому идет обрезка мне определить не удалось. Подскажите, где настраивается длина сниппета чтоли или еще проще – как парсить полные сниппеты, а то нечитабельно получается.
Все облазил – не нашел.
Гугл немного изменил верстку.
Вот новый файл проекта
Спасибо, но все равно немного не то.
1. Парсятся в том числе даты, они то есть в сниппетах, но зачем их парсить – они точно не нужны, а как их обрезать я не знаю.
2. У некоторых вообще парсится только дата со сниппета.
когда останавливается парсинг снипетов нажимаю “авторизация/cookies” попадаю на страницу ввода капчи. капчу ввожу, нажимаю отправить и ничего не происходит. может 5 мин пройти пока что-то изменится. очень не удобно. не проще ли антикапчу прикрутить?
хех. дело было в настройках безопасности броузера…
но антикапчу все равно прикрутить нужно )
а вот теперь уже амба. забанил гугл айпишник. а прокси не используются при парсинге снипетов. что делать в этом случае?
Ждать около суток когда разбанит…
а вы могли бы прокси к сбору снипетов прикрутить?
Во вкладке “контент” поддерживаются прокси: главное меню – Управление proxy.
Туда можно добавить список, это не помогает?
Сейчас там прокси с логин/паролем не поддерживаются (острой нужды не было) так как есть платные прокси с привязкой к вашему IP.
Если что-то нужно, попросите, рассмотрю и постараюсь реализовать…
В CD II не парсит по этому проекту.
А есть готовый проект под парсинг не сниппетов, а тупо ссылок с выдачи?
Скажите, а парсинг сниппетов выдачи яндекса аналогично происходит?
Здравствуйте.
Не проверял, попробуйте. Если будут проблемы с настройкой, обращайтесь к нам на форум за помощью.
С уважением к вам, Сергей.
Подскажите прогу которая можетспарсить снипеты по определенному запросу с определенного поисковика, например с мсн или с яху, не только гугл или яндекс.
Знаю в дорвеях такая функция есть, на лету парсят снимпеты и добавляют в контент, мне бы просто чтобы в файлик сохранялось