Как спарсить сниппеты Google





Файл проекта Content Downloader:
– Файл проекта программы (меню – файл – загрузить проект)

1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 8, средний балл: 4.38)
Loading...
Автор: admin, 16 May 2011
Рубрики: Примеры парсинга
Tags: , ,
Есть 33 коммент. к сообщению: “Как спарсить сниппеты Google”
  1. Дмитрий says:

    Если не сложно, то можно добавить ещё шаблоны (“введите шаблон, изменяющаяся часть {num}”)
    для парсинга снипетов поисковиков, которые используют поиск от гугла?
    А то гугл после 250 спарсиных снипетов даёт бан!

  2. Ваня says:

    +1 к Дмитрию
    Уж очень надо!

  3. admin says:

    Перезалил видео и файл проекта, теперь все ок…

  4. Игорь says:

    Банит Гуглишка после пары сотен запросов. Попробовать поставить паузу секунды на 3?

    • admin says:

      Не надо паузу, смотрите видео внимательнее…

      • Игорь says:

        Если вы имели ввиду отправку cookies, то их отправляю точно как на видео… да и вообще все делаю пошагово как на видео…
        У меня с вашими действиями только одно отличие: после того как вылетело сообщение, что парсинг приостановлен, перехожу в “авторизяция/cookies” и попадаю на главну страницу google.ru (начальное поисковое окно без поисковой фразы)… капчу ввести не предлагает…

  5. Андрей says:

    Делаю всё как на видио,но не получается спарсить сниппеты.

  6. Андрей says:

    Блин всё ни чего но ставлю галочку в сохранять контент по папкам согласно ключивикам,всё равно запись идёт в один файл

  7. beroslav says:

    Из видео не понял как размножить ссылки. Нажал F8, вставил ссылки из буфера… А дальше видно, что ссылки размножаются, но что нужно для этого сделать непонятно. Подскажите,плиз…

  8. admin says:

    1) Скачать файл проекта http://sbfactory.ru/cd/projects/snippets_google.zip
    2) Загрузить его (меню-файл-загрузить проект)
    3) Делать все в точности так же, как на видео

  9. beroslav says:

    Всё – разобрался.

  10. Anonymous says:

    Где находиться флажек -приостановить парсинг в случае бана-? в упор не вижу)

    • admin says:

      На панели инструментов кнопка “задать границы парсинга” – включить флажек “приостановить парсинг в случае бана”.

  11. Andrey says:

    Я загрузил Ваш проэкт делаю все как на видео но ссылки не размножаются, а просто добавляется дубль скопированных ссылок.

    • admin says:

      Я для примера их накопировал побольше…
      Просто генерируйте и вперед.

  12. Andrey says:

    Уже дошло, что Вы через ctrl+v наклонировали.

  13. bablo says:

    Все работает, но по непонятной мне причине сниппеты получаются обрезанными (делаю предпросмотр двойным кликом по ссылке и вижу, что сниппет неполный, потому что если открыть эту ссылку в ьраузере – сниппеты длинее). Причем критерий, по которому идет обрезка мне определить не удалось. Подскажите, где настраивается длина сниппета чтоли или еще проще – как парсить полные сниппеты, а то нечитабельно получается.
    Все облазил – не нашел.

    • admin says:

      Гугл немного изменил верстку.
      Вот новый файл проекта

      • bablo says:

        Спасибо, но все равно немного не то.
        1. Парсятся в том числе даты, они то есть в сниппетах, но зачем их парсить – они точно не нужны, а как их обрезать я не знаю.
        2. У некоторых вообще парсится только дата со сниппета.

  14. Ironman says:

    когда останавливается парсинг снипетов нажимаю “авторизация/cookies” попадаю на страницу ввода капчи. капчу ввожу, нажимаю отправить и ничего не происходит. может 5 мин пройти пока что-то изменится. очень не удобно. не проще ли антикапчу прикрутить?

  15. Ironman says:

    хех. дело было в настройках безопасности броузера…
    но антикапчу все равно прикрутить нужно )

  16. Ironman says:

    а вот теперь уже амба. забанил гугл айпишник. а прокси не используются при парсинге снипетов. что делать в этом случае?

  17. admin says:

    Ждать около суток когда разбанит…

  18. Ironman says:

    а вы могли бы прокси к сбору снипетов прикрутить?

    • admin says:

      Во вкладке “контент” поддерживаются прокси: главное меню – Управление proxy.
      Туда можно добавить список, это не помогает?
      Сейчас там прокси с логин/паролем не поддерживаются (острой нужды не было) так как есть платные прокси с привязкой к вашему IP.
      Если что-то нужно, попросите, рассмотрю и постараюсь реализовать…

  19. Андрей says:

    В CD II не парсит по этому проекту.

  20. Леонид says:

    А есть готовый проект под парсинг не сниппетов, а тупо ссылок с выдачи?

  21. Алекс says:

    Скажите, а парсинг сниппетов выдачи яндекса аналогично происходит?

    • admin says:

      Здравствуйте.

      Не проверял, попробуйте. Если будут проблемы с настройкой, обращайтесь к нам на форум за помощью.

      С уважением к вам, Сергей.

  22. 대구오피 says:

    Подскажите прогу которая можетспарсить снипеты по определенному запросу с определенного поисковика, например с мсн или с яху, не только гугл или яндекс.
    Знаю в дорвеях такая функция есть, на лету парсят снимпеты и добавляют в контент, мне бы просто чтобы в файлик сохранялось

Написать комментарий

Последние статьи

css.php