Парсинг

Работа с подключаемыми таблицами CSV (чтение и запись данных из/в CSV-файлы на диске, макросы: [LOADCSV], [GETCSVDATA], [PUTCSVDATA], [GETCSVCOORD])

Вставка в шаблон одной повторяющейся границы парсинга смежных значений из любых других повторяющихся границ

Создание комбинаций из значений циклов выбранных повторяющихся границ парсинга

Анализатор контента границ парсинга

Создание скриншотов WEB-страниц с помощью приложения WBApp

Значительное ускорение процесса парсинга и исключение пропусков WEB-страниц при парсинге с использованием библиотеки Internet Explorer (WBApp)

Описание работы макросов [COUNTUP1] и [COUNTUP2]

Генерация уникальных ID товаров или статей при парсинге контента с помощью макроса [SKU_UNIQUE]

Получение редиректов ссылок (макрос [GETREDIRECT])

Передача адресов WEB-страниц из WBApp в Content Downloader (событие WBApp [GETCURRENTURL])

Экспресс-курс по изучению основ работы с Content Downloader

Парсинг товаров с изменяющимися атрибутами (размеры меняются в зависимости от выбранного цвета)

Автоматический парсинг e-mail адресов и номеров телефонов из кода WEB-документов

Парсинг контента и ссылок с использованием POST-запросов

Рендеринг (создание изображений) элементов WEB-страниц с помощью WBApp

ID кодировок (Code Page Identifiers)

Парсинг BASE64-картинок

Модификаторы регулярных выражений

Синтаксис регулярных выражений

Парсинг HTML-таблиц в CSV

Как автоматически загрузить в список ссылок файлы из папки на локальном диске (просканировать папку на наличие файлов и приступить к парсингу контента)

Поиск конца обычных границ парсинга в обратном направлении (параметр инверсия)

Распознавание капчи, отправка текста капчи и получение ответных cookies (с использованием WBApp) при парсинге контента

Использование PHP-скриптов с локального сервера (localhost) для обработки контента при парсинге

Как избежать повторной загрузки одних и тех же WEB-документов при следующем парсинге (во вкладке «контент»)

Как сделать поиск элементов нужной повторяющейся границы в тексте обычной границы парсинга, а не в целом коде WEB-документа

Пример парсинга статей с сайта (с картинками и без)

Передача произвольных HTTP-заголовков (custom headers) при парсинге контента и ссылок

Задание повторяющихся границ парсинга внутри повторяющихся (с возможностью задания обычных границ парсинга внутри повторяющихся)

Парсинг одного WEB-документа в несколько разных файлов на диск (сохранение произвольных частей шаблона вывода в указанные файлы макросом [SAVETOFILE])

Как удалять HTML-теги при парсинге контента: все, кроме указанных, только указанные

Настройка сохранения результатов парсинга контента в файл(ы) на диск (задание имен сохраняемых документов, кодировки сохраняемых документов, парсинг в один файл/в отдельные файлы и другое)

Парсинг картинок по ключевым словам (Bing)

Парсинг телефонных номеров с Авито в виде текста (парсинг информации, которая подгружается при клике на кнопку)

Парсинг поиска Вконтакте (парсинг ссылок групп и анкет людей по ключевым словам)

Шаблон вывода

Парсинг ссылок из XML-карты сайта

Распознавание капчи с помощью сервиса Antigate

Загрузка документов (в которые парсим контент), файлов и картинок на FTP-сервер при парсинге контента

WBApp (только для ULTIMATE версий)

Парсинг в CSV всех характеристик товара РАЗОМ

Парсинг интернет-магазинов в CSV

Знакомство с элементами интерфейса

Как парсить контент (основы)

Другие методы парсинга ссылок, методы добавления ссылок в программу, парсинг файлов с локального диска

Задание динамических границ парсинга

Задание обычных границ парсинга внутри повторяющейся

Задание повторяющихся границ парсинга

Задание обычных границ парсинга

Задание границ парсинга с использованием регулярных выражений в Content Downloader 8+

Запуск программы с передачей параметров (например, из планировщика Windows)

Как парсить несколько картинок с одной страницы с присвоением каждой уникального имени файла

Решение проблем с возможными «зависаниями» программы или с ошибками «out of memory», «thread creation error…» при парсинге во вкладке «контент» или в сканере сайтов

Загрузка файлов и картинок при парсинге контента

Загрузка и переименование картинок при парсинге контента с помощью макроса шаблона вывода <NIMG>

Основные понятия

Генерация списков ссылок с использованием заданных числовых и/или строковых значений (ключевых слов)

Как парсить контент, которого нет в коде страницы (контент подгружается скриптами)

Парсинг ссылок со страниц рубрики или выдачи (сбор ссылок во вкладке «ссылки»)

Макрос шаблона вывода [GETMORECYCLECONTENT]

Как парсить интернет-магазины в CSV файлы

Порядок выполнения функций при парсинге контента

Нужно знать

Загрузка изображений на сервер сразу при парсинге

Макрос для импорта произвольных полей в WordPress ([POSTMETA][/POSTMETA])

Макрос для импорта комментариев в WordPress ([COMMENT][/COMMENT])

Макрос для импорта рубрик в WordPress ([CATS][/CATS])

Автоматический парсинг в MYSQL-базу (обновление цен товаров, добавление записей и многое другое)

Макрос {skip} для функций поиск-замены

Макрос шаблона вывода GETMORECONTENT (для задания границ парсинга с разных url)

Регулярные выражения в функциях поиск-замены

Макрос шаблона вывода GETGOOGLEIMAGE (для загрузки картинок с Google)

Дополнительные макросы шаблона вывода

Парсинг файлов (загрузка файлов на диск — DOWNLOADFILE)

Парсинг файлов с локального диска

Макросы размножения статей в шаблоне вывода {пример1|пример2}

Автоподстановка ключевых слов в шаблон генерации ссылок ({key})

Повторяющиеся границы парсинга в Content Downloader

Парсинг автомобильных объявлений (bazar-auto_ru)

Парсинг интернет-магазина с наручными часами (mir4asov_ru)

Парсинг интернет-магазина с ЖК телевизорами (as-video_ru)

Подключение php скриптов к шаблону вывода (макрос PHP_SCRIPT)

Управление списком proxy серверов

Сохранение изображений при парсинге контента

Авторизация на сайтах

Методы добавления ссылок в список парсинга

Шаблон вывода

Как парсить контент в CSV файлы (также про автозамену переносов строк и символов ; (точки с запятой) при парсинге в CSV)

Задание обычных и повторяющихся границ парсинга (как парсить определенные части web-страниц)

Фильтры ссылок (отсеивание лишних ссылок при парсинге)

Сканер сайтов (сбор ссылок)


css.php