Как и где быстро напарсить много тематических картинок

Всем привет.

Решил поделиться с вами одной темой: где быстро напарсить сколько угодно много картинок с помощью Content Downloader.

И так, начнем с источника картинок. http://www.flickr.com/ – это буржуйский сайт, где фотографы (профессионалы и любители) уже много лет выкладывают свои фотки. Там просто нереально много картинок.

Для начала работы заюзаем поиск на сайте (search). Будем использовать поисковое слово “fruits”. Итог – 1,142,298 results. Далее переключаемся в режим view: medium (для того, чтобы выдача состояла из картинок побольше – примерно 240*178 пикселей).

Как видно, выдача состоит из огромного количества страниц с картинками (которые мы будем парсить). Для построения списка url этих страниц зададим программе шаблон http://www.flickr.com/search/?page={num}&q=fruits&z=e и укажем диапазон от 1 до 100.

После построения списка урлов, переходим во вкладку контент, ставим галочку на “сохранять картинки в одну папку” и начинаем парсить.

После этого в подпапку images начнут скачиваться нужные нам картинки.

вот результат парсинга первых страниц выдачи
вот файл проекта Content Downloader

Хорошо и то, что можно прямо из парсера менять выдачу картинок. Посмотрите на адрес http://www.flickr.com/search/?page={num}&q=fruits&z=e. Подстрока “&q=fruits” – это и есть наш запрос про фрукты, который можно легко заменить на cars или еще что-нибудь.

Если вдруг будут парситься слишком маленькие картинки (размером менее 240*185), то это значит, что вы задали шаблон для маленьких превьюшек. Для больших превью он имеет подстроку “&z=e” на конце.