Парсинг

Парсинг ссылок, подгружаемых при клике по кнопке типа «показать еще» (с помощью WBApp)

Пример парсинга товаров с несколькими ценами и вариантами характеристик

Парсинг XML файла в CSV (преобразование XML в CSV)

Вызов WBApp для смены пользователя (на сайте) через каждые n документов при парсинге во вкладке «Контент»

Скачивание нескольких картинок с использованием повторяющихся границ парсинга

Вставка в различные места результирующего документа имен файлов, скачанных макросом DOWNLOADFILE

Парсинг HTML-кода фрейма WEB-документа с помощью WBApp

Преобразование HTML-таблиц с объединенными ячейками (атрибуты rowspan и colspan) в обычный вид (макрос [APPLYTABLESPANS])

Получение адресов редиректов ссылок (событие WBApp — [MODE_GETREDIRECT])

Парсинг товаров по списку артикулов/наименований

Парсинг WEB-документов в XML файлы

Парсинг статей разбитых на несколько WEB-страниц (GETMORECONTENT (LOOP Mode))

Парсинг определенных характеристик товаров из неформатированного текста (макрос [EXTRACTATTR])

Парсинг определенных (перечисленных) слов из текста или очистка текста от определенных (перечисленных) слов (макрос [EXTRACTWORD])

Работа с подключаемыми таблицами CSV (чтение и запись данных из/в CSV-файлы на диске и многое другое, макросы: [LOADCSV], [GETCSVDATA], [PUTCSVDATA], [GETCSVCOORD], [COPYCSVDATA], [CSVREPLACE])

Вставка в шаблон одной повторяющейся границы парсинга смежных значений из любых других повторяющихся границ

Создание комбинаций из значений циклов выбранных повторяющихся границ парсинга

Анализатор контента границ парсинга

Создание скриншотов WEB-страниц с помощью приложения WBApp

Значительное ускорение процесса парсинга и исключение пропусков WEB-страниц при парсинге с использованием библиотеки Internet Explorer (WBApp)

Описание работы макросов [COUNTUP1] и [COUNTUP2]

Генерация уникальных ID товаров или статей при парсинге контента с помощью макроса [SKU_UNIQUE]

Получение редиректов ссылок (макрос [GETREDIRECT])

Передача адресов WEB-страниц из WBApp в Content Downloader (событие WBApp [GETCURRENTURL])

Экспресс-курс по изучению основ работы с Content Downloader

Парсинг товаров с изменяющимися атрибутами (размеры меняются в зависимости от выбранного цвета)

Автоматический парсинг e-mail адресов и номеров телефонов из кода WEB-документов

Парсинг контента и ссылок с использованием POST-запросов

Рендеринг (создание изображений) элементов WEB-страниц с помощью WBApp

ID кодировок (Code Page Identifiers)

Парсинг BASE64-картинок

Модификаторы регулярных выражений

Синтаксис регулярных выражений

Парсинг HTML-таблиц в CSV

Как автоматически загрузить в список ссылок файлы из папки на локальном диске (просканировать папку на наличие файлов и приступить к парсингу контента)

Поиск конца обычных границ парсинга в обратном направлении (параметр инверсия)

Распознавание капчи, отправка текста капчи и получение ответных cookies (с использованием WBApp) при парсинге контента

Использование PHP-скриптов с локального сервера (localhost) для обработки контента при парсинге

Как избежать повторной загрузки одних и тех же WEB-документов при следующем парсинге (во вкладке «контент»)

Как сделать поиск элементов нужной повторяющейся границы в тексте обычной границы парсинга, а не в целом коде WEB-документа

Пример парсинга статей с сайта (с картинками и без)

Передача произвольных HTTP-заголовков (custom headers) при парсинге контента и ссылок

Задание повторяющихся границ парсинга внутри повторяющихся (с возможностью задания обычных границ парсинга внутри повторяющихся)

Парсинг одного WEB-документа в несколько разных файлов на диск (сохранение произвольных частей шаблона вывода в указанные файлы макросом [SAVETOFILE])

Как удалять HTML-теги при парсинге контента: все, кроме указанных, только указанные

Настройка сохранения результатов парсинга контента в файл(ы) на диск (задание имен сохраняемых документов, кодировки сохраняемых документов, парсинг в один файл/в отдельные файлы и другое)

Парсинг картинок по ключевым словам (Bing)

Парсинг телефонных номеров с Авито в виде текста (парсинг информации, которая подгружается при клике на кнопку)

Парсинг поиска Вконтакте (парсинг ссылок групп и анкет людей по ключевым словам)

Шаблон вывода

Парсинг ссылок из XML-карты сайта

Распознавание капчи с помощью сервиса Antigate

Загрузка документов (в которые парсим контент), файлов и картинок на FTP-сервер при парсинге контента

WBApp (только для ULTIMATE версий)

Парсинг в CSV всех характеристик товара РАЗОМ

Парсинг интернет-магазинов в CSV

Знакомство с элементами интерфейса

Как парсить контент (основы)

Другие методы парсинга ссылок, методы добавления ссылок в программу, парсинг файлов с локального диска

Задание динамических границ парсинга

Задание обычных границ парсинга внутри повторяющейся (когда нужно парсить несколько товаров с одной WEB-страницы)

Задание повторяющихся границ парсинга

Задание обычных границ парсинга

Задание границ парсинга с использованием регулярных выражений в Content Downloader 8+

Запуск программы с передачей параметров (например, из планировщика Windows с возможностью запуска по расписанию)

Как парсить несколько картинок с одной страницы с присвоением каждой уникального имени файла

Решение проблем с возможными «зависаниями» программы или с ошибками «out of memory», «thread creation error…» при парсинге во вкладке «контент» или в сканере сайтов

Загрузка файлов и картинок при парсинге контента

Загрузка и переименование картинок при парсинге контента с помощью макроса шаблона вывода <NIMG>

Основные понятия

Генерация списков ссылок с использованием заданных числовых и/или строковых значений (ключевых слов)

Как парсить контент, которого нет в коде страницы (контент подгружается скриптами)

Парсинг ссылок со страниц рубрики или выдачи (сбор ссылок во вкладке «ссылки»)

Макрос шаблона вывода [GETMORECYCLECONTENT]

Как парсить интернет-магазины в CSV файлы

Порядок выполнения функций при парсинге контента

Нужно знать

Загрузка изображений на сервер сразу при парсинге

Макрос для импорта произвольных полей в WordPress ([POSTMETA][/POSTMETA])

Макрос для импорта комментариев в WordPress ([COMMENT][/COMMENT])

Макрос для импорта рубрик в WordPress ([CATS][/CATS])

Автоматический парсинг в MYSQL-базу (обновление цен товаров, добавление записей и многое другое)

Макрос {skip} для функций поиск-замены

Макрос шаблона вывода GETMORECONTENT (для задания границ парсинга с разных url)

Регулярные выражения в функциях поиск-замены

Макрос шаблона вывода GETGOOGLEIMAGE (для загрузки картинок с Google)

Дополнительные макросы шаблона вывода

Парсинг файлов (загрузка файлов на диск — DOWNLOADFILE)

Парсинг файлов с локального диска

Макросы размножения статей в шаблоне вывода {пример1|пример2}

Автоподстановка ключевых слов в шаблон генерации ссылок ({key})

Повторяющиеся границы парсинга в Content Downloader

Парсинг автомобильных объявлений (bazar-auto_ru)

Парсинг интернет-магазина с наручными часами (mir4asov_ru)

Парсинг интернет-магазина с ЖК телевизорами (as-video_ru)

Подключение php скриптов к шаблону вывода (макрос PHP_SCRIPT)

Управление списком proxy серверов

Сохранение изображений при парсинге контента

Авторизация на сайтах

Методы добавления ссылок в список парсинга


css.php