Как спарсить сниппеты Google





Файл проекта Content Downloader:
— Файл проекта программы (меню — файл — загрузить проект)

1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 8, средний балл: 4,38)
Загрузка...
Автор: admin, 16 мая 2011
Рубрики: Примеры парсинга
Метки: , ,
32 комментария к сообщению: “Как спарсить сниппеты Google”
  1. Дмитрий:

    Если не сложно, то можно добавить ещё шаблоны («введите шаблон, изменяющаяся часть {num}»)
    для парсинга снипетов поисковиков, которые используют поиск от гугла?
    А то гугл после 250 спарсиных снипетов даёт бан!

  2. Ваня:

    +1 к Дмитрию
    Уж очень надо!

  3. admin:

    Перезалил видео и файл проекта, теперь все ок…

  4. Игорь:

    Банит Гуглишка после пары сотен запросов. Попробовать поставить паузу секунды на 3?

    • admin:

      Не надо паузу, смотрите видео внимательнее…

      • Игорь:

        Если вы имели ввиду отправку cookies, то их отправляю точно как на видео… да и вообще все делаю пошагово как на видео…
        У меня с вашими действиями только одно отличие: после того как вылетело сообщение, что парсинг приостановлен, перехожу в «авторизяция/cookies» и попадаю на главну страницу google.ru (начальное поисковое окно без поисковой фразы)… капчу ввести не предлагает…

  5. Андрей:

    Делаю всё как на видио,но не получается спарсить сниппеты.

  6. Андрей:

    Блин всё ни чего но ставлю галочку в сохранять контент по папкам согласно ключивикам,всё равно запись идёт в один файл

  7. beroslav:

    Из видео не понял как размножить ссылки. Нажал F8, вставил ссылки из буфера… А дальше видно, что ссылки размножаются, но что нужно для этого сделать непонятно. Подскажите,плиз…

  8. admin:

    1) Скачать файл проекта http://sbfactory.ru/cd/projects/snippets_google.zip
    2) Загрузить его (меню-файл-загрузить проект)
    3) Делать все в точности так же, как на видео

  9. Аноним:

    Где находиться флажек -приостановить парсинг в случае бана-? в упор не вижу)

  10. Andrey:

    Я загрузил Ваш проэкт делаю все как на видео но ссылки не размножаются, а просто добавляется дубль скопированных ссылок.

  11. Andrey:

    Уже дошло, что Вы через ctrl+v наклонировали.

  12. Все работает, но по непонятной мне причине сниппеты получаются обрезанными (делаю предпросмотр двойным кликом по ссылке и вижу, что сниппет неполный, потому что если открыть эту ссылку в ьраузере — сниппеты длинее). Причем критерий, по которому идет обрезка мне определить не удалось. Подскажите, где настраивается длина сниппета чтоли или еще проще — как парсить полные сниппеты, а то нечитабельно получается.
    Все облазил — не нашел.

  13. Ironman:

    когда останавливается парсинг снипетов нажимаю «авторизация/cookies» попадаю на страницу ввода капчи. капчу ввожу, нажимаю отправить и ничего не происходит. может 5 мин пройти пока что-то изменится. очень не удобно. не проще ли антикапчу прикрутить?

  14. Ironman:

    хех. дело было в настройках безопасности броузера…
    но антикапчу все равно прикрутить нужно )

  15. Ironman:

    а вот теперь уже амба. забанил гугл айпишник. а прокси не используются при парсинге снипетов. что делать в этом случае?

  16. admin:

    Ждать около суток когда разбанит…

  17. Ironman:

    а вы могли бы прокси к сбору снипетов прикрутить?

    • admin:

      Во вкладке «контент» поддерживаются прокси: главное меню — Управление proxy.
      Туда можно добавить список, это не помогает?
      Сейчас там прокси с логин/паролем не поддерживаются (острой нужды не было) так как есть платные прокси с привязкой к вашему IP.
      Если что-то нужно, попросите, рассмотрю и постараюсь реализовать…

  18. Андрей:

    В CD II не парсит по этому проекту.

  19. Леонид:

    А есть готовый проект под парсинг не сниппетов, а тупо ссылок с выдачи?

  20. Алекс:

    Скажите, а парсинг сниппетов выдачи яндекса аналогично происходит?

Написать комментарий

Вы должны войти чтобы добавить комментарий.

Последние статьи

css.php